项链|看下巴识心情，这个AI项链挂胸前也能识别面部表情_Neck|摄像头|红外|Face|表情|

兴坤发自凹非寺
量子位报道 | 公众号 QbitAI
瞄一瞄你的下巴，就知道你有没有在难过。
这个温馨的场景对应的不是窝在怀里的小猫咪，而是……
Neck Face ，一款用于监控情绪的智能工具。

文章图片

它被设计成项链及颈带样式， AI只需要看到使用者的下巴，就可以获取面部表情数据。
这款设备的面部识别原理，不仅打破了必须在正面放置摄像头的局限，而且还能做到在运动过程中持续捕捉表情信息。
智能项链Neck Face
项链式仪器包含一组Neck Face ，由红外摄像头OV5647、近红外LED和红外带通滤波器组成，佩戴时位于下巴正下方；颈带式仪器包含两组，佩戴时分别位于两侧锁骨位置。

文章图片

摄像头位置这么靠下，能看到我们的表情吗？
【项链|看下巴识心情，这个AI项链挂胸前也能识别面部表情】

文章图片

如此低的机位，自然看不到完整的面部表情，只能获得包含下巴部分下半张脸的轮廓图像。
AI通过对这部分图像的信息提取，以算法推测出完整面部表情。
当我们做面部表情时，面部肌肉会拉伸和收缩，推拉皮肤影响附近面部肌肉的张力，这种效果会导致脸颊轮廓发生变化。
Neck Face从颈部和下巴下方角度，用红外相机记录面部肌肉运动，以及所引起的面部轮廓变化。
获得脸部轮廓红外图像后，通过卷积神经网络帮助将二维图像轮廓重构为完整信息，并利用计算机视觉和深度学习模型，找到颈部和下巴红外图像与完整面部的联系。
结合ARKit ，从深度相机中提取了52个混合形状参数(blend-shape) ，以及头部偏转角度数据，重构出完整的表情。

文章图片

经过这样的处理过程，能够从下巴角度图像获得完整面部表情。并且可以在佩戴过程中，连续记录表情变化。
为验证这款设备监测结果准不准确，研究人员使用了苹果手机深度相机作对比分析。

文章图片

测试者被要求在静坐和行走过程做出八种不同的表情，并且包含了上下左右四个方向转动头部的过程。
对比各种情况下手机和可穿戴仪器表情识别的差异，计算所得出的混合形状参数（分值0-1000）平均绝对误差。

文章图片

通过对测试结果总结分析，可穿戴表情监测仪器误差在20-35之间。且可识别头部转动角度，角度误差在2-4.5度。

文章图片

△左侧为手机摄像头识别处理的结果，右侧为NeckFace面部重建的结果。
两种设计相比，颈带式设备性能优于项链式，原因可能在于两侧摄像头能够捕获更多信息。
应用优势
现代人对自身健康越来越重视，不仅是身体机能的健康，心理健康也逐渐得到了更多关注。
以科学的方法对情绪进行监控，可以更好地掌握自身状况，及时做出调整或治疗，避免影响到身体机能。
记录情绪及心理状态建立起数据库，还可以方便个体追踪自身行为，有利于就医等社会活动。
提到大数据，一定会有人担心隐私泄漏的问题，由于Neck Face都是从头部下方对面部表情进行检测，而仅仅通过下半张脸无法识别到用户全部面部信息。
另外， Neck Face是红外成像，对环境不作识别，可以很好地隐藏环境信息。

文章图片

对Neck Face的测试过程中也提到了，设备可以在行走中保持工作，这就大大解放了远程办公或视频会议时对使用者的局限，可以更自由地参与线上讨论。
研究团队
本研究主要由北京大学学生陈拓潮，麦吉尔大学学生Yaxuan Li完成，参与单位还有康奈尔大学SciFi实验室，康奈尔信息科学学院研究人员等。
康奈尔大学计算机与信息科学学院Cheng Zhang教授研发出可穿戴传感器C-Face 。在此基础上，陈拓潮等人做出改进，开发出这款更方便穿戴，性能更好的Neck Face 。

文章图片

△左侧为使用者佩戴C-Face ，右侧为3D模型反馈的面部表情。
参考文献
https://dl.acm.org/doi/10.1145/3463511
参考链接
https://news.cornell.edu/stories/2021/08/smart-necklace-could-track-your-detailed-facial-expressions?fbclid=IwAR1RXF6iBQ3SkQn3cJUjFkGYEJktitIeHnT2B6x1aT7nW4bfP3heUqMuOlo
— 完 —
本文系网易新闻?网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。
_原题《看下巴识心情，这个AI项链挂胸前也能识别面部表情》
阅读原文

项链|看下巴识心情，这个AI项链挂胸前也能识别面部表情

推荐阅读

舞蹈出身却被迫成为央视主持人，颜值不输李红，半隐退后生活成谜

南韩和北朝是什么关系「建议收藏」

关于春节的好词好句

dnf绝望之塔强势阵容 dnf绝望之塔有什么强势的阵容

是有多不好让每个人都讨厌

十三衙门是个什么机构康熙年间的十三衙门是干什么的

孕妇能喝冷饮吗？夏季孕妇喝冷饮好吗？

老人怎样做才能有益于睡眠呢？老人如何做才能睡得好？

西红柿羊肉能一起吃吗羊肉最忌四种蔬菜

vivo云相册在哪里打开 vivo手机怎么打开云相册

电脑上可以下载抖音吗电脑上可以下载抖音吗安卓

Qualcomm 骁龙888 Pro现身跑分网站：CPU提升至3.0GHz

loward的日志：朱鎔基丰韵丹姿效果怎么样_功效与作用

糍粑的来历关于糍粑的简介

50条唯美文艺的微信爱情表白个性签名

怎么找回qq密码手机号不用了

春联大全七字 2020年春联

女人不易的经典语录做女人太难了的说说

投资者网海通证券三大业务暴露风险新增私募资管产品须停摆半年

外墙漆可以刷内墙吗