用人脸识别找到你的“老婆”。
机器之心报告，作者:船
自20世纪70年代以来，人脸识别已经成为计算机视觉和生物特征识别领域的研究热点之一。近年来，传统的人脸识别方法已经被基于卷积神经网络(CNN)的深度学习方法所取代。目前，人脸识别技术广泛应用于安防、商业、金融、智能自助终端、娱乐等领域。在行业应用的强烈需求推动下，动画媒体越来越受欢迎，动画角色的人脸识别成为一个新的研究领域。
虽然动画形象比较有标志性，但也有类似的动画形象和场景。毕竟b站知名up主凉风的“一眼认出动画”这种技能并不是很常见。
不行，手动不行，那么用人脸识别进行动漫人物识别怎么样？
最近，爱奇艺的一项新研究提出了一个新的基准数据集，名为iCartoonFace。这个数据集由5013个动漫角色的389678张图片组成，包含ID、包围盒、姿势等辅助属性。ICartoonFace是目前图像识别领域最大的卡通媒体数据集，质量高、标注丰富、内容全面，包括相似图像、遮挡图像和外观不同的图像。
地址:https://arxiv.org/pdf/1907.13394.pdf
在半自动标记算法的帮助下，研究人员为动画媒体提供了两种类型的标注，即面部识别和面部检测。为了进一步研究这个具有挑战性的数据集，研究人员提出了一种多任务领域适应方法，该方法将人类和动画领域知识与三种判别正则化方法相结合。此外，研究者还对提出的数据集进行了基准分析，验证了提出的方法在卡通人物人脸识别任务中的优越性。
图1:示意图1:iCartoonFace嵌入。
与人脸识别类似，卡通人物的人脸识别也存在一些经典问题。
如下图所示，利用iCartoonFace数据集可以区分相似的动漫人脸，识别不同的动漫角色:
同一个动漫人物，从不同的角度看，可以认定为同一个动漫人物:
即使画面中有较重的遮挡，也能识别出动漫人物:
另外，两张亮度不同的图片也可以识别为同一动漫人物:
接下来，我们来看看这个研究方法的细节。
基于的数据集构建与分析
半自动集成过程
为了减轻标签的负担，研究人员开发了一种半自动算法来收集iCartoonFace数据集并添加注释。研究框架可以分为三个阶段:
分层数据收集数据过滤过程Q/A 手动注释
1.分级数据收集
ICartoonFace数据集采用分层的方式收集(从动漫剧集名称到动漫角色名称，最后到动漫角色形象)。本研究首先形成面向排行榜的动漫剧列表。然后根据列表从网上获取主要角色，再获取动漫角色列表和对应的动漫剧。接下来，从多媒体下载公开可用的图像，包括图像、漫画书和视频源。通过这种方式，研究人员获得了数百万张带有噪声标签的图像，这些图像被用于后续的数据过滤过程。
2.数据过滤
实际上，在下载的图像中存在大量不相关或重复的数据，这给有效数据的选择带来了很大的挑战，尤其是在没有任何先验知识的情况下。因此，本研究借助人工标记的人脸对无用样本进行粗略过滤。换句话说，我们借用两个已有的人类知识来帮助数据过滤过程，即人脸检测过滤和人脸识别过滤。
3.问答手册注释
本研究开发了一个人工标注卡通人脸身份信息的问答系统。如图2所示，在注释页面中，一部分显示参考图像，另一部分显示要标记的图像。注释器需要确定每个新图像是否与参考图像共享相同的徽标。参考形象是专家根据动漫系列和动漫人物的名字提供的身份形象。在这个数据集中，有5013个图像，这意味着每个身份都有一个探针。
数据集概述
1.大规模的
ICartoonFace数据集包含来自1302个动漫相册的5013个动漫角色的389678张图片。这是动画人脸识别最大的人工标注图像数据集。如图4(a)所示，该数据集中的卡通人物包括来自日本、中国、欧洲和美国的卡通人物。
2.图片数量不一致
数据集是自然产生的。50%的动漫角色图片不到30张，有的动漫角色图片在500张左右。
3.高质量
数据集经过人工标记后，实施交叉校验的方法，二次校验的错误率小于5%。图4(c)显示图像的分辨率大于100 × 100，其中65%的图像分辨率超过200 × 200。图像的清晰度由拉普拉斯矩阵计算。大多数样本的值如图4(e)所示，并且需要大于100，以确保图像边界的清晰度和锐度。
4.丰富的属性
每幅图像都提供了人脸包围盒、身份、区域、姿态和性别等信息。图4(b)和图4(d)显示了有关姿势和性别的统计信息。选择10，000个随机样本，并用3D姿势信息进行注释。
基于动画和真人的多角色训练框架
图5是研究团队提出的基于动画和真人的多角色训练框架。该框架主要包括分类损失、未知身份拒绝损失和域迁移损失。
其中，为了获得分类特征提取器，研究者使用分类损失正则化动画人脸和真实人脸分类器对动画人脸和真实人脸进行分类。未知身份拒绝损失旨在寻找不同域之间无监督正则化的特征重投影。领域适应损失是为了减少卡通人脸和真实人脸之间的领域差距。
实验
在实验部分，研究者提出了三个问题并回答了它们。
1.动漫人脸用哪种算法最好？
研究人员评估了几种常用的算法，包括softmax、SphereFace、CosFace、ArcFace和Focal loss，并在下图中可视化了相应的CMC曲线。可以看出，ArcFace FL在五种算法中表现最好。
五种算法的CMC曲线。
2.上下文对于动漫人脸识别有用吗？
人脸是识别动漫角色的主要部分。“脸盲症”呢？在某些情况下，仅仅依靠动漫人物的面部并不足以区分不同的动漫人物。研究人员以不同的比例扩大了动画脸。下图显示了更多的上下文信息可以获得更好的性能。
3.把人脸识别的知识转到动漫人脸识别有收获吗？
第一次训练的卡通人脸模型准确率为91.0%。如下图，加入人脸识别数据后，性能提升到92.4%，对标注过程有帮助。