控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面

子豪 发自 凹非寺
量子位 报道 | 公众号 QbitAI
只需动动手 , 就能「掌」控一切?

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

Facebook最近公布的腕带式的AR传感器 , 让你在虚拟世界get绯红女巫同款技能 。
这一设备由Facebook的AR/VR研究部门——Facebook Reality Labs(FRL)研发 , 佩戴者可以通过手腕上的电运动神经信号 , 以手指动作控制AR眼镜 。

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

就连被称为卷积网络之父的图灵奖获得者、Facebook首席AI科学家Yann LeCun也为之点赞 。

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

功能不断升级
那么 , 它能用来做什么呢?
据官方介绍 , 无论是走在路上还是坐着 , 把手放在身前、两侧或是口袋里 , 都可以通过腕带实现操控 。
最初 , 腕带只能通过拇指与食指的捏、放手势 , 实现简单的单击操作 。 而后 , 又添加了更为丰富的控制功能 , 比如可以触摸和移动虚拟对象 。

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

除此之外 , 研究团队还在进一步探索 , 力图开发在桌子或膝上高速打字的功能 , 甚至实现比使用键盘更快的打字速度 。
与物理键盘相比 , 虚拟键盘不仅可以随时使用 , 而且能够随着时间推移 , 学习和适应每个人不同的打字风格 , 并产生适应性的变化 , 实现更快的打字速度 。
FRL团队在个性化模型方面取得了重要进展 , 使适应个人风格的键盘模型的训练时间得以减少 。

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

不仅如此 , FRL研究科学主管Hrvoje Benko表示:
“我们相信 , 可穿戴的腕带设备可以为AR眼镜 , 提供超低摩擦、随时可用的输入 , 但它们本身并不是一个完整的解决方案 。
就像鼠标是用户界面的一部分一样 , 需要在意图预测和用户建模方面为他们提供帮助 , 以实时适应用户以及特定的环境 。 ”
因此 , FRL团队近期正致力于 , 探索适应特定环境的自适应界面 , 实现“智能点击” 。
也就是 , 无需用户移动视线、浏览菜单 , 系统通过在不同环境中预测用户意图 , 主动提供自适应界面 , 而用户只需轻量级的反馈 , 就可以进行控制 。
FRL研究科学经理Tanya Jonker也补充道:
“系统会学习有用户位置和关键对象的信息 , 例如跑鞋或活动识别 , 根据用户过去的行为预测意图 。
比如 , 往常你穿着某一双鞋出门时 , 通常会启动音乐程序 。 那么当你再次穿上它出门 , 系统认为你最有可能想要收听音乐 , 于是显示屏上会出现‘是否播放音乐?’选项 , 用户使用简单的手势确认或更改建议即可 。 ”
利用这些微手势 , 用户无需停止正在做的事 , 或是为其分心 , 从而节省了时间 。

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

Facebook官方介绍中也提到 , 实现这一功能 , 需要应用机器学习、人机交互、用户界面设计等技术 , 目前仍存在许多技术挑战 。
虽然利用超低摩擦的输入方式 , 能够实现与自适应界面的交互 , 但是要想对虚拟物体有所感知 , 还需要触觉技术 。
对此 , FRL研究科学总监Sean Keller表示:
“人们从出生时的第一次抓握 , 直到灵巧地操作物体和在键盘上打字 , 手和手指会拥有非常丰富的反馈 。
我们利用触觉信号来了解世界 , 触觉使我们能够使用工具和精细控制 。 从使用手术刀的外科医生到感觉到琴键边缘的钢琴演奏家 , 这一切都取决于触觉 。 ”
利用腕带 , 用户无需进行查看 , 就能够通过触觉作出识别 , 并进行决策 。 比如:
虚拟弓箭就利用腕部的触觉 , 使佩戴者有近似拉弓的感觉 , 从而知道自己是否做对了动作;

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

根据用户设置 , 收到紧急邮件时 , 手环能发出比收到普通邮件更为强烈的震动;
当有电话呼入时 , 通过不同的触觉反馈 , 用户即可得知对方的身份 。
甚至 , 研究人员还补充说:“触觉还能够传达不同的情感 , 这可能是改善社交沟通的一种新的方式 。 ”
目前 , Facebook团队正在构建研究原型 , 包括拥有8个气动波纹管的Bellowband , 以及使用了6个震动触动器和新颖的手腕挤压机制的Tasbi , 以进一步探索的触觉反馈的类型 。
利用EMG技术实现控制
这些功能 , 都是依赖EMG(肌电图)技术实现的 。
EMG技术 , 就是使用传感器 , 将通过手腕传到手部的电运动神经信号 , 转化为数字指令 。 用户可以用这些指令来控制设备的功能 , 这种控制程度是高度个性化的 , 可以用于多种情况 。
据Facebook介绍 , 通过手腕发出的信号非常清晰 , 哪怕是一毫米的手指运动 , EMG也可以感知 , 因此可以毫不费力地输入 。 甚至在未来 , 连移动手指的意图也可能感知到 。

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

现任神经运动接口主管的Thomas Reardon表示:
“我们要做的神经界面 , 就是让用户利用周围神经系统的输出 , 特别是脑外神经 , 激活手和手指肌肉的动作 , 来直接控制机器 。 ”

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

为什么要选择手腕?
FRL团队对此作了解释:
手是人们接触世界的重要身体部分 , 戴在手腕上能够利用手部丰富的控制功能 , 实现更好的交互功能 。
与语音控制相比 , 穿戴设备更便于在公共场合使用;
类似手表的设计使其能够用于日常生活和社交环境;
并且 , 手腕位置也适合舒适地佩戴一整天;
而设计成一款单独的设备 , 能够实现更便捷的应用 , 无需通过手机或是其他设备控制;
置于手腕的可穿戴设备还可以轻松地作为计算、电池和天线的平台 , 同时支持多种传感器 。

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

网友关注
这项获得LeCun点赞的技术 , 自然也引起了网友的广泛关注 。
不少网友为此感到惊喜:
“这是实际的延迟效果吗?看起来很棒 。 ”

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

还有一些网友 , 对这项技术的应用提出了设想:
“这可以让失去手的人 , 仍然能依靠神经来模拟手势 , 不是吗?”

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

“毫无疑问 , 这可以用于连接假肢 , 并且推进恢复和学习过程 。 ”

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

不过 , 有人提出了质疑:
“什么?这不是很多年以前的MYO手环吗?”

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

事实上 , 这款基于EMG技术的腕带的雏形MYO , 最初由AR眼镜公司North的前身Thalmic Labs开发 , 而后其专利被初创公司CTRL-labs收购 。
2019年 , Facebook斥资数亿美元收购了CTRL-labs , 原研究团队也随之加入FRL 。
【控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面】与此同时 , 也有网友对此感到欣喜:
“早在几年前 , 当我第一次阅读有关Myo的文章时 , 我就想知道它对于VR的潜力 。 很高兴它取得现在的成果 。 ”

控制|袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面
文章图片

这款手环主要用于配合Facebook正在研发的AR眼镜使用 , 上市时间尚未公布 。
参考链接:
[1]https://tech.fb.com/inside-facebook-reality-labs-wrist-based-interaction-for-the-next-computing-platform/
[2]https://twitter.com/schrep/status/1372568994738180098
— 完 —
本文系网易新闻?网易号特色内容激励计划签约账号【量子位】原创内容 , 未经账号授权 , 禁止随意转载 。
_原题《袖口里的“超能力”:Facebook腕带式AR传感器 , 可隔空打字、操控界面 , LeCun点赞》
阅读原文

    推荐阅读