软件和应用 研究员证实监考软件Proctorio在使用种族主义算法来检测人脸
据外媒报道,有色人种学生长期以来一直抱怨,Proctorio和其他考试监督公司使用的面部检测算法无法识别他们的面孔,这使得他们很难甚至不可能参加高风险考试 。现在,一名软件研究员指出,他可以证明Proctorio软件使用的面部检测模型在超50%的情况下无法识别黑人面孔 。据悉,他碰巧也是使用Proctorio的一所学校的大学生 。
研究人员Akash Satheesan告诉Motherboard:“我之所以决定调查这件事,是因为(Proctorio)声称其只听说过‘不到5起’的该类型案例--由种族原因导致的面部识别问题 。然而从轶事中我知道这是不可能的……于是我开始寻找一些更确凿的证据,我想我已经相当肯定找到了 。”
Satheesan最近在一系列博客文章中发表了他的发现 。在这些文章中,他描述了他是如何分析Proctorio Chrome浏览器扩展背后的代码,并发现跟该工具面部检测功能相关的文件名与OpenCV发布的文件名相同 。据悉,OpenCV是一个开放源代码的计算机视觉软件库 。
Satheesan在向Motherboard演示了Proctorio工具中嵌入的人脸检测算法在同一组人脸上进行测试时跟OpenCV模型的表现完全相同 。Motherboard还咨询了一位安全研究员,后者也验证了Satheesan的发现并能重现他的分析 。
Proctorio则在其网站上宣称,公司使用的是“专有的面部检测”技术 。另外它还表示,其是在使用OpenCV的产品,但没有说明具体使用的产品或用于什么 。当Motherboard询问该公司是否使用OpenCV的模型进行面部识别时,Proctorio的发言人Meredith Shadle并没有直接回答 。相反,她发送了一个链接到Proctorio的许可证页面,其中包括OpenCV的许可证 。
Shadle在给Motherboard的邮件中写道:“虽然公开的报告没有完全准确地描述我们的技术是如何工作的,但我们很感激分析证实了Proctorio使用了人脸检测(而非人脸识别) 。”
Proctorio也没有回答关于该技术的几个问题,包括该公司是否对OpenCV模型进行了微调以便在其软件中使用 。
而基于OpenCV构建的面部识别和检测软件此前被发现存在偏差 。
Satheesan将这些模型跟FairFaces数据集中包含近1.1万张人脸的图像进行了测试 。FairFaces数据集是一个包含代表多个种族和种族的有标签的图像库 。
结果在57%的情况下,这些模型无法识别出被标记为包括黑人面孔的图像 。其中一些失败非常明显:算法检测到了白人的脸,但没有检测到出现在同一个画面的黑人的脸 。
文章图片
两个女人站在一起面带微笑 。左边的白人女性脸上有一个蓝色的方框(意味被检测到),而右边的黑人女性没有(意味没有被检测到) 。
其他组的通过率要好一些,但仍远未达到先进水平 。Satheesan测试的模特在包含有41%中东人面孔、40%白人面孔、37%东亚人面孔、35%东南亚或印度人面孔和33%拉丁人面孔的照片中都未能识别出人脸 。
黑人学生描述了Proctorioi糟糕的面部检测系统是多么得令人沮丧和焦虑 。他们当中一些人指出,每次他们参加测试,软件都不能识别他们 。另一些人则担心,如果他们离开了完美的照明环境,测试将会突然关闭并将他们拒之门外 。
【软件和应用|研究员证实监考软件Proctorio在使用种族主义算法来检测人脸】Satheesan表示,他的发现有助于证明监考软件的根本缺陷:这些工具表面上是为教育目的而设计的,实际上却破坏了教育--尤其是对已经处于劣势的学生 。
推荐阅读
- 火星 百年后火星将定居数百万人?美研究员:中国的实力允许他们这样做
- Huawei 鲁大师测试HarmonyOS 2.0:应用恢复率高达95.45% 力压iOS
- 软件和应用 欧洲投资公司Prosus以18亿美元收购Stack Overflow码农服务网站
- 社交 Facebook开发大会推新应用:着力发展电子商务和增强现实业务
- Google Android手机即将可以投屏应用到Chromebook了
- Apple 苹果开发者应用更新 为 WWDC21 服务
- 网络应用 Zoom第一季度营收9.562亿美元 净利同比大增741%
- Windows [图]WSLg功能初探:在Windows 10上运行Linux GUI应用
- 软件和应用 DahliaOS/FImage发布 可在个人电脑上体验Fuchsia系统了
- 社交 社交音频应用Clubhouse将很快向公众全面开放