Tensorflow和Caffe等深度学习中,监督学习的数据标注是一件非常繁琐和耗时的工作,目前大多数公司都采用外包给标注公司进行处理,或者购买现有的数据集,使得进行深度学习研究的成本异常高。本文介绍一种以人工智能解决数据标注的思路和方法。

一、思路

步骤:

1、以一个初步模型对小批量待标注数据进行检测,这里的初步模型可以是自己用少批量数据集训练出来的,也可以用网上公布的;

2、对检测出来的结果进行人为干预纠正;

3、把纠正后的数据训练新的模型;

4、用新模型对中等批量待测数据进行检测;

5、通过1~5步骤的循环迭代,可以逐步求精;

6、虽然也需要人工参与,但可以极大减少工作量。

实现方法:

1、Anno-Mage

Anno-Mage是一个半自动标注工具,通过一个通用模型对数据集进行检测。但这个工具能标注的物品类型有限,也没有模型迭代逐步求精的过程,可以自行对其源码进行修改优化。

github代码地址:https://github.com/virajmavani/semi-auto-image-annotation-tool 

2、easyDL智能标注

2.1、智能标注

百度easyDL提供了智能标注的功能,跟以上思路差不多,都是先对小批量数据进行标注学习训练,然后以学习结果去标注剩下的数据集,然后人工纠正,迭代求精。

easyDL平台网址:https://ai.baidu.com/easydl/lite

智能检测技术文档:https://ai.baidu.com/ai-doc/EASYDL/lk38n327g

2.2、数据导出

但easyDL官方不提供数据导出功能和api,这阻碍了我们把数据拿到Tensorflow和Caffe进行训练。所以我们可以通过爬虫技术来爬取训练好的数据。

工具github地址:https://github.com/kooky126/easydl2labelImg

Logo

学大模型,用大模型上飞桨星河社区!每天8点V100G算力免费领!免费领取ERNIE 4.0 100w Token >>>

更多推荐