来自加利福尼亚大学洛杉矶分校的生物工程师设计了一种类似于手套的设备,可以将手语实时转换为可听单词。 研究 发表在《自然电子》杂志上。
陈俊加州大学洛杉矶分校萨穆埃利工程学院生物工程助理教授是该研究的主要作者。 “我们希望这项技术能够成为一种简单的工具,用于翻译手语并直接与不懂手语的人进行交流,而无需中介,”他说。 “我们也希望它能够帮助更多的人自学手语。”
翻译手套的制作方法
该系统由几个可穿戴设备组成。 这些是带有细长传感器的手套,可延伸五个手指的长度。 这些由导电纱线制成的传感器可检测指示单个字母,数字,单词和短语的手部运动和手指位置。
然后,该设备将手指的运动转换成电信号,然后将电信号发送给手腕设备,其大小与硬币大小相同。 该卡将这些信号无线传输到智能手机,该智能手机以每秒大约一个单词的速度将手语翻译成单词。
研究人员还在测试人员的脸部(眉毛和嘴巴的侧面之间)添加了粘性传感器,以捕获手语一部分的面部表情。
翻译手语更容易
Chen说,以前的提供手语翻译的可穿戴系统受到笨重设备的限制,或者不舒服穿着。
UCLA团队开发的设备由轻便,经济高效但持久且可拉伸的聚合物制成。 电子传感器也非常灵活且便宜。
在测试该设备时,研究人员与四名使用手语的聋人一起工作。佩戴者将每个手势重复 15 次。定制的机器学习算法将这些手势转换为它们所代表的字母、数字和单词。该系统可识别 660 个符号,包括字母表中的每个字母和从 0 到 9 的数字。
这项技术的改进将打破重要的障碍。 它的小型化将意味着有一天可能会戴上简单的可戴手环,以翻译手语,而不是戴手套。 否则它将向虚拟现实环境开放,在虚拟现实环境中,无论语言如何,每个人之间都可以立即进行对话(语言 或非语言)。