【资源】人脸识别检测测评平台汇总

现在日常生活中生物识别技术的应用越来越普及，比如手机刷脸支付，指纹、声纹解锁，人脸识别名注册，安检人像比对，银行办证识别等等。

从事人脸识别技术开发的公司也是雨后春笋般的出现，面对这么多公司和算法，怎样区分他们的好坏，怎样评价他们呢？

丁爸今天汇总了一下网上的一些测评平台推荐给大家。

人脸识别技术通俗的来讲就分三步:

1.人脸检测，就是在镜头中确定位置，找到人脸“在哪里”

2.关键点检测，在已经确定的人脸位置处，找准眉眼、耳鼻等脸部轮廓的关键点，为进一步的分析做基础数据库；

3.基于大规模数据的人脸识别匹配，进行1:1或者1:N匹配对比

对应以上三点，国际上分别有多套评测体系，比如：人脸检测FDDB评测、人脸关键点定位300-W评测和人脸识别LFW评测。

一、FDDB

FDDB是全球人脸检测评测平台之一，包含2845张图片，共有5171个人脸作为测试集。图片来源：美联社和路透社新闻报道图片，并删除了重复图片。多家国内公司声称在FDDB测评中名列全球第一。目前看来FDDB的检测数据量比较少，无法拉开参评公司的差距。

FDDB评测官方网址：http://vis-www.cs.umass.edu/fddb/results.html

二、LFW

LFW是由美国马萨诸塞大学发布并维护的公开人脸数据集，测试数据规模为万，目前LFW刷榜情况比较普遍，参考意义不大。国内多个团队例如百度、腾讯、大华、旷视、商汤都曾获得了99.5%以上的成绩。

LFW测评官网地址：http://vis-www.cs.umass.edu/lfw/results.html

三、300-W

https://ibug.doc.ic.ac.uk/resources

四、MegaFace

MegaFace是由美国华盛顿大学发布并维护的公开人脸数据集，资料集包含一百万张图片，代表690000个独特的人。今年4月腾讯称其优图实验室在MegaFace测试中，以83.290%的成绩在100万级别人脸识别测试（Challenge1/FaceScrub identification）中取得第一。

MegaFace测评官网地址：http://megaface.cs.washington.edu

五、ILSVRC

ImageNet大规模视觉识别挑战赛(ILSVRC)

ILSVRC这个数据集包含约150万张图像，分为1000个不同的类别，软件被要求为10万张前所未见的测试图像进行分类。因数据是开放式，有参加测评的公司注册多个账号来训练算法，从而提高排名。国内某度著名公司就在该测试中被指作弊。据称2017大规模视觉识别挑战赛（ILSVRC）将是最后一届比赛。

ILSVRC测评官网地址：http://www.image-net.org/challenges/LSVRC/

2017年ImageNet (ILSVRC2017)的比赛结果：在物体检测（识别）、物体定位、视频物体检测三个大类中，南京信息工程大学和帝国理工学院组成的 BDAT 团队、新加坡国立大学与奇虎360合作团队、伦敦帝国理工学院和悉尼大学合作的团队分别拿下冠军。

六、FRVT

FRVT是由美国国家标准技术局(NIST)主持的，数据规模达到百万量级，均来自真实业务场景。测试数据不公开(盲测)，使参赛的算法团队无法利用测试数据做模型训练，相对于LFW、MegaFace而言，FRVT则更能体现测试的公正性。FRVT对不同实战场景、人种、年龄、性别，做了详细分解下的识别性能比较，并在模型速度、特征库大小、比对阈值等做了详细评估。

FRVT测评官网：https://www.nist.gov/programs-projects/face-recognition-vendor-test-frvt

从上述情况看来，比较靠谱的评测还是FRVT。FRVT官网上可下载各个阶段测试情况的pdf报告：

下图就是2017年7月份的测评报告截图，其中

本次参加测评的公司有：

Dermalog 德国

3divi 俄罗斯

Ayonix 日本

Digital Barriers 英国

Is It You 以色列

ITMO University 俄罗斯

Neurotechnology 立陶宛

N-TechLab 俄罗斯

Morpho 法国

Rank One Computing 美国

SamtechInfoNetLimited 印度

TongYi Transportation Technology 美国

Tupel 

VCognition 美国

VigilantSolutions 美国

VisionLabs 俄罗斯

Vocord  俄罗斯

Shanghai Yitu 中国

从测试情况来看，中国上海依图的测评效果不错，有三个项目排名第一。最低的排名也是五。

七、MS-Celeb-1M

2016 年 6 月，微软向公众发布了大规模现实世界面部图像数据集 MS-Celeb-1M，含有 10 万个名人的约 1000 万（10M）张脸部图片，鼓励研究人员开发先进的人脸识别技术。

参赛队伍的目标是识别出混百万人中的 1000 个人，但具体是哪 1000 人参赛者并不知道。

MS-Celeb-IM 百万名人识别竞赛还设有“小样本学习”（lowshot learning）环节，这里特别关注当有些人的训练数据很少的时候，怎么把模型效果做上去。

在这里，参赛队伍需要从 2 万 1000 人中识别 1000 人。但是，这 1000 人都每个人都只有 1 张用于训练的图片。在很多情况下，比如公安人脸识别，犯罪嫌疑人只有 1 张模糊的或有遮盖的图片，要将其在茫茫人海中找出来，就属于小样本学习。

这在一定程度上倡导了当今人工智能的另一个垂直方向：从有限样本中学习视觉概念。

MS-Celeb-1M测评官网地址：https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/

2017竞赛结果：

百万名人识别子命题：

1.无限制类（可以自由使用外部数据）

第一名：Panasonic-NUS（新加坡国立大学）获得，

第二名：中国中科院重庆绿色智能技术研究院（CIGIT）与中科院合作团队

第三名：美国东北大学；

2.有限制类（只使用竞赛提供数据），

第一名是 Beijing Orion Star Technology Co., Ltd.（北京猎户星空科技有限公司）

识别单一训练样本的名人子命题：

1. 无限制类（可以自由使用外部数据），第一名是 NUS-Panasonic

2. 有限制类（只使用竞赛提供数据），第一名是美国东北大学

优胜团队在技术上都采用了基于深度学习的方法，以及网络大数据。从中可以看出，网络大数据是发展趋势，多模型融合是现在各个比赛得奖的利器。

总结：

图像目标检测任务在过去几年取得了巨大的进展，检测性能得到明显提升。但在视频监控、车辆辅助驾驶等领域，基于视频的目标检测有着更为广泛的需求。由于视频中存在运动模糊，遮挡，形态变化多样性，光照变化多样性等问题，仅利用图像目标检测技术检测视频中的目标并不能得到很好的检测结果。如何利用视频中目标时序信息和上下文等信息成为提升视频目标检测性能的关键。

另外，掌握标准制定话语权和实际全球影响力的美国国家标准技术局，用于测评的数据与实际运用的千万级比对、亿级比对还有差距。期待不久的将来，只有参与中国制定的标准测试，才能体现为全球最前沿的技术。

对于一个公司的评价，不仅要看其软件算法是否先进，还有看其运营能力，凑集资金能力，引进人才技术能力等等。软件算法等技术测评，只是评价指标之一。