通信技术|浙大最新研究“空气输入法”:空中动动手指就能给智能手表输入文本

许多人日常在用的智能手表 , 它的文本输入要么靠语音 , 要么靠打字或手写 。但有时你可能不方便说话 , 或者在那么小的屏幕上戳键盘实在有点“局促” 。那咋办?也许可以试试“隔空打字”法 。浙江大学就开发了这样一个名叫 AirText 的应用 , 只需你动动手指和手腕 , 手表就确识别空中字符 , 错误率低至 3.9% 。还配备联想和推荐功能 , 让拼写速度更快 。
通信技术|浙大最新研究“空气输入法”:空中动动手指就能给智能手表输入文本
文章图片

给智能手表配上“隔空打字”功能
开发 AirText 的一个主要挑战在于如何让它理解手腕运动和指尖拼写动作的对应关系 。
就像下面这张图所展示的 , 拼写时手腕呈现出来的轨迹和正常字母差得还挺多的 。
通信技术|浙大最新研究“空气输入法”:空中动动手指就能给智能手表输入文本
文章图片

为此 , 研究团队先借助了一个现成工具 Leap Motion , 它可以用红外传感器跟踪手势 。
然后八名志愿者使用五种不同的智能手表拼出超过 25000 个字符 , 用 Leap Motion 收集相关的手腕和手指运动数据 。
通信技术|浙大最新研究“空气输入法”:空中动动手指就能给智能手表输入文本
文章图片

再将数据输入神经网络模型 , 进行训练 , 最终 AirText 可以根据用户手腕微小的动作变化推断指尖的轨迹 。
然后 , 仅通过智能手表就可以高效、准确地将推断出的轨迹识别为相应的字符 。
为了加快拼写速度 , 他们还给系统配上了单词预测和推荐功能 。
预测单词会显示在手表屏幕的四个方向 , 我们可以将手表向上下左右倾斜就能进行选择(晃动手表可以退格) 。
通信技术|浙大最新研究“空气输入法”:空中动动手指就能给智能手表输入文本
文章图片

词错误率为 3.9%
首先来看 AirText 的准确性测试 。
衡量指标为 WER(词错误率 , Word Error Rate) , 计算方法就是将错误字 / 识别正确的字 。
其中错误字涉及三种类型:漏字(用 I 表示 , 即校对成正确的拼写时需要再插入的字的数量)、多字(用 D 表示 , 即需要删除的字数量)、错字(用 S 表示 , 即需要替换的字数量) 。
通信技术|浙大最新研究“空气输入法”:空中动动手指就能给智能手表输入文本
文章图片

将 AirText 与俩基线方法(IMU-CNN 和 BLSTM)相比 , 最终 AirText 得分最低 , 也就是准确性最高 。

推荐阅读