智能鉴黄争霸，NPDI图片测试集亲测哪家强

近日随着360云盘宣布关闭，色情内容监管问题再次回到风口浪尖。色情图片识别是互联网从业者们一直想解决的问题，传统的人力审核效率低下，成本高，已经不适应现在的图片规模。而最近几年，深度学习技术得到快速发展，利用深度学习技术识别色情图片能极大的降低成本。最近，雅虎技术团队就在他们的tumblr博客上 发表了一篇文章，公开了一种用于色情图片检测的开源方案，并在github上公开了他们的模型和测试程序, 引起了广泛的关注。雅虎的这套方案训练了一个CNN模型来对输入图片进行分类，输出输入图片属于正常图片(SFW)和色情图片(NSFW)的概率分数，如下图所示。

雅虎色情图片检测结果示例

事实上，公开色情图片检测方案的不止雅虎一家，今年早些时候，imagenet2013的第一名美国clarifai公司也在官方博客中公开了他们的色情图片检测方法，并提供了一个api供开发者使用。

除了国外的这两家公司，国内也有不少公司关注并提供色情图片检测方案。像阿里云推出的阿里绿网，为阿里云用户提供图片鉴黄服务;腾讯云也上线了万象优图鉴黄，对外以API形式为腾讯云的客户提供鉴黄服务，用于对存储在腾讯云上的海量图片和视频进行鉴黄。根据介绍，这两家公司的鉴黄服务也都是采用了深度学习技术。

阿里绿网鉴黄

腾讯万象优图鉴黄

这么多家鉴黄服务，究竟哪家的效果更精准更有效?笔者对雅虎，clarifai，阿里和腾讯的鉴黄服务进行了一次测试。

要测试不同公司鉴黄技术的好坏，首先要选择一个客观的测试集，就像考试需要有考卷一样。 由于敏感性，网上很少有公开的色情图片数据集。通过检索笔者找到了一个名为NPDI的色情图片测试集，NPDI色情图片集是巴西一所大学的一个小组发布的，他们收集了80个小时的视频，包括400段正常的视频，200段比较容易混淆的正常视频和200段色情视频，并且通过截帧获取到1万6千张图片，其中色情图片6000多张，非色情10000多张。其中一部分图片如下图所示。

NPDI测试集图例

这个测试集的难点在于，它包含了各种不同种类的图片，不同种族，不同肤色，以及不同分辨率，多模态(实物，动漫)，还包括很多特别容易混淆的非色情场景，这些对于鉴黄任务都是一个挑战。“考卷”准备好了，评价指标也要明确一下，这里笔者采用了固定误判率(FAR)下的召回率(TAR)来测试结果进行评价，其中误判率为非色情图片中被误判为色情图片的比例， 召回率为色情图片中被正确识别的比例。例如对于一个包含100张非色情图片和100张色情图片的测试集，有10张非色情图片被模型误判为了色情图片，同时有90张色情图片被正确识别，那么这个模型的误判率就是10%, 召回率为90%。在相同误判率情况下，召回率越高，表示模型能够召回的色情图片越多， 其效果也就越好。明确了测试集和指标，下面就可以对这四家公司进行评测

首先测试clarifai，clarifai的鉴黄API只返回图片的类别，不返回各个类别的分数，因此只能直接计算它的TAR和FAR，不能通过调节阈值来控制这两个指标。在总共16727张测试图中，有513张图片没有返回结果，而在剩余返回结果的16214张图片中包括了9985张非色情图片和6229张色情图片。经过统计这9985张非色情图片中，有701张被误判为了色情图片，而6229张色情图片中有3822张被正确识别，不难算出其FAR=0.07， TAR=61.4%。有clarifai的结果为基准，下面测试其他三家的结果时就可以调节阈值使的FAR = 0.07，然后比较TAR的值。阿里绿网和腾讯优图都提供了鉴黄API，其中，阿里的API返回图片的色情概率和建议的标签，腾讯优图的鉴黄API则是返回了正常，性感，色情三个类别的分数，同时返回了一个融合了三个类别分数的综合分，供用户参考。笔者通过调用阿里绿网和腾讯优图的API来测试NPDI测试集中的图片，得到每张图片的色情分数，通过调节阈值得到FAR=0.07时的TAR; 不同于前面三家公司，雅虎则是直接放出了他们训练好的基于caffe的鉴黄模型，因此我们可以在本地安装caffe后直接对雅虎的模型进行测试，同样也是得到色情类别的分数然后调节阈值， 使FAR=0.07。最终测试结果显示在FAR = 0.07时，雅虎的TAR= 60.20%; 阿里的结果为TAR=65.14%;腾讯的结果为TAR = 70.90%，下面的表格展示了测试结果。

TAR(FAR=0.07)

Clarifai61.40%

Yahoo60.20%

阿里65.16%

腾讯70.90%

通过以上测试对比结果可以看出，在所有提供鉴黄服务的公司里，腾讯的鉴黄服务在公开测试集上的测试结果要优于另外三家。

以上是对四家公司的色情图片检测模型在公开数据集上做的一个测试，虽然近两年深度学习技术在图像识别领域取得巨大的进展，也带动了机器鉴黄的进步，减少了人力成本，但是要真正的完全摆脱人工鉴黄，完全实现机器自动鉴黄还有很长的一段路要走，需要所有从业人员的共同努力。

（编辑：常州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!