攻击者拿到一张你的照片 , 据此制作一副特殊“眼镜” , 就可以刷脸解锁你的手机?这是真的 。
最近 , 依托清华大学人工智能研究院成立的团队瑞莱智慧RealAI披露了新的研究成果: 研究人员通过对抗样本攻击 , 破解了19款安卓手机的人脸识别解锁系统 。
同样被破解的 , 还包括 十余款金融和政务服务类App 。
视频↓↓
照片加上特殊“花纹”即可骗过人脸识别
在介绍RealAI的新研究之前 , 我们先简单解释一下何为“对抗样本” 。
训练算法模型需要输入数据 。 而对抗样本 , 简单而言 , 就是一种由攻击者设计的错误输入数据 。 只要在原有数据上添加干扰因素 , 就能导致算法模型输出完全不同的结果 。
人的肉眼可能完全看不出对抗样本的变化 。 所以 , 你也可以把干扰因素理解为一种特殊的“花纹” 。
对抗样本最有名的例子之一 , 出自前谷歌大脑研究人员、有着“生成对抗网络(GAN)之父”称号的科学家伊恩·古德费洛(Ian Goodfellow)——在他的研究中 , 算法将一张大熊猫图片的对抗样本识别成了长臂猿 。
文章图片
研究人员在大熊猫图片上添加干扰后 , 算法将其识别成了长臂猿 。
瑞莱智慧RealAI高级产品经理 张旭东介绍 , 他们此次采用的破解方式 , 也是对抗样本攻击 。
不过 , 不同于学术界研究较多的虚拟世界攻击 , 这一攻击发生在真实世界 。 研究人员不需要用到劫持摄像头等手段 , 便可以直接破解人脸识别系统 。
在制作对抗样本时 , 研究人员需要同时用到“攻击者”和“受害者”的照片 , 将“攻击者”照片设定为基准、“受害者”照片设定为攻击目标 。
攻击算法在接收到两人的照片后 , 会自动生成干扰后的图案 , 就像一块人脸“补丁” 。 随后 , 攻击者用A4纸打印出这块“补丁” , 再贴到一副镜框上戴好 , 就会“化身”为受害者 , 让算法识别错误 。
文章图片
研究人员使用的“眼镜” 。
据了解 , 人脸识别算法 , 是依据相似度来分辨不同的人 。 两张图片的相似度高于阈值 , 就会被算法判定为同一人 。 攻击者通过戴上“补丁”眼镜让两个人的相似度大幅提高 , 从而实现破解 。
文章图片
左一是“受害者”的眼部图像 , 右一、二是对抗样本图像 。
19款主流品牌手机及数款银行应用被破解
据介绍 , 研究人员选取了20款手机进行测试 , 除了苹果以外 , 还涉及到国内五大主流手机品牌的不同价位机型 。
经过测试 , 除了一台iPhone11 , 其余安卓机型全部被成功解锁 。 攻击者进入手机系统后 , 可以任意翻阅机主的微信、短信、照片等私密信息 。
南都·AI前哨站在测试现场看到 , 攻击者破解手机的过程相当迅速 , 基本上几秒内就可以顺利解锁 。
研究人员说 , 整体而言 , 低端机的安全性要差一些 , 但高端机同样能够被破解 。 他们测试了一款2020年12月发布的国产品牌旗舰机 , 也是“一下子就打开了” 。
文章图片
研究人员通过手机人脸识别解锁 。
不仅仅是手机 , 部分App的人脸识别也存在类似的安全漏洞 。
在掌握了受害者的姓名、身份证号、手机号等个人信息后 , 研究人员甚至可以在十余款银行及政务类App上通过人脸识别验证 , 冒用受害者身份完成银行开户 , 或者查看受害者的社保、公积金等详细信息 。
值得注意的是 , App实名认证的安全要求比手机解锁更加严格 , 一般会要求用户进行一些交互操作 , 比如眨眨眼、点点头 。 但在测试中 , 研究人员把对抗样本的眼睛部分挖掉 , 再做出眨眼、点头等动作 , 依然可以通过验证 。
文章图片
研究人员通过某政务类App人脸识别验证 。
这意味着 , 即便是那些搭载了交互式活体检测功能的商用人脸识别算法 , 依然能被对抗样本破解 。
有研究人员告诉南都·AI前哨站 , 目前业界主流的人脸识别算法都具备了活体检测能力 , 所以之前常见的用一张照片、一段视频来完成刷脸的做法已经行不通 。 但对抗样本攻击针对的是算法模型底层的漏洞 , 完全不受活体检测限制 。 攻击者在脸上添加了局部扰动 , 导致算法产生了错误识别 。
“对于人脸识别应用来说 , 这是一个此前从未有过的攻击面 , 需要采取针对性的措施加固 。 ”研究人员说 。
破解的技术门槛较高 但仍有现实威胁
不同的手机厂商和App , 使用的人脸识别算法难道没有差异?为什么同一副眼镜能解锁不同的手机和App?
张旭东告诉南都·AI前哨站 , 一个对抗样本不可能攻破所有的产品 , 但“在一定范围内是通用的” 。 “现在市场上在商用的主流人脸识别模型其实只有几种 。 模型之间有可迁移性 , 也就是有相通的地方 , 所以我们可以利用这一原理去进行攻击 , 攻破这19款手机也只用到了两幅眼镜 。 ”
需要说明的是 , 对抗样本的制作 , 依赖于一个核心的算法模型 。
【算法|细思恐极!一个动作,19款手机人脸识别被破解】张旭东介绍 , 虽然在此次的研究中 , 模型仅用5分钟左右就可以输出质量较高的对抗样本 , 但他们所使用的模型也经历了多次迭代的过程 。
要开发出这样的模型并不容易 , 技术门槛较高 。 但张旭东说 , 如果有黑客恶意开源相关模型 , 制作对抗样本的难度就会大大降低 , 没有技术背景的人也可以上手 。
在人工智能领域 , 类似的案例并不少见 , AI换脸便是典型 。 在Deepfake问世之后 , 各种各样的开源换脸模型和软件也相继出现 。 裁判文书网案例显示 , 一些犯罪团伙便是使用开源软件完成了换脸素材的制作 , 进而攻破一些金融支付类App 。
还有外国开发者推出过一款AI软件 , 可以把正常照片转换为“裸照” 。 因为争议太大 , 开发者很快下架了软件 。 但直到很久之后 , 这款软件还在各种网络灰色渠道流传 , 甚至被人高价出售 。
研究人员建议:
不要随便在网上发照片
令人不安的是 , RealAI团队所使用的人工智能模型 , 对于受害者的照片没有太高要求 。 “大家平常在社交网站上传的照片 , 只要能看清脸 , 其实就可以用来做攻击 。 ”张旭东说 。
因此 , 他建议大家不要随便在网上发含有清晰人脸的照片 , 同时要保护好自己的手机号、身份证号等个人信息 。
以银行类App为例 , 虽然现在的支付转账操作都需要多因素验证 , 但一旦用户的个人信息全部泄露 , 不法分子就可能同时完成刷脸、输入手机验证码等操作 , 使得多因素验证失效 。
信息安全攻防 , 是一个“魔高一尺 , 道高一丈”的过程 。 在张旭东看来 , 就像照片攻击推动了活体检测的诞生 , 未来 , 也需要有专门的产品和技术来应对对抗样本攻击 。
目前 , 研究团队已经与测试中涉及的厂商取得联系 , 协同推进漏洞的修复 。
“所有的攻击研究 , 最终的目标还都是为了找出漏洞 , 然后再去针对性地打补丁、做防御 。 ”张旭东说 , “我们攻克的人脸识别 , 其实只是厂商业务环节之中的一环 。 他们面临的安全风险到底处于什么程度?要怎样解决问题?不同的场景下 , 业务方所面临的安全风险和加固需求都是不一样的 , 需要大家一起去探索 。 ”
南方都市报(nddaily)原创报道
采写/视频:南都采访人员 冯群星 潘颖欣
* 南方都市报(nddaily)原创内容未经授权 , 不得转载 。
▊ 南都君特选(戳下方标题)
广东春节天气 , 宣布了!接下来有4波冷空气 , 不过……
深圳紧急辟谣!
推荐阅读
- 产品|字节入局音乐流媒体,“算法推荐”会带来新“鲶鱼效应”吗?
- 技术|中电兴发:公司的多种数据算法技术处于业界领先水平并得到大量商用
- 方面|梁正:算法治理应关注技术使用过程及产生的影响
- 经济|崔鹏:对算法监管需秉持友好理念
- 数据|陈昌凤:应在善用算法的同时警惕数据主义
- 模式|首个基于时序平移的视频迁移攻击算法,复旦大学研究入选AAAI 2022
- 隐私|戴思源:提升公众专用智能素养 可建立算法技术信任
- 算法|曾毅:企业算法伦理与应用要做到知行合一
- 算法|李伦:算法伦理是企业数字责任的核心
- 起点|陈玲:将算法治理的“可接受公平”框架落到实处