一家致力于为各种能力的人简化人机交互的计算机实验室开发了一种数字唇形阅读器,它具有自己的机器学习系统,可以帮助用户更好地理解。
唇型 这是教授的发明 艾哈迈德·萨比尔·阿里夫(Ahmed Sabbir Arif) 和 他的实验室。 简而言之:读嘴唇运动。 它的阅读效果非常好,以至于人们可以在PC和智能手机上发送短信或电子邮件,并且可以与ATM或其他信息亭等公共设备进行非接触式交互。 不大声说话。
还有其他的唇读设备,但它们使用缓慢且经常出故障,因此并未得到广泛使用。
向前飞跃
听写错误很多,尤其是在吵闹的地方。有语言问题的人也很难让别人理解自己的意思,这可能是因为他们的口音。 LipType适用于任何人。 人们可能需要在公共场所或会议中发送私人消息,并且使用LipType,他们可以摆动嘴唇而不会发出声音。
阿里夫(Arif)的学生添加了具有不同算法的各种过滤器 人工智能 以便在不同的照明条件下读取嘴唇。 然后他们引入了基于不同语言模型的纠错器,并发现LipType的速度明显快于其他现有设备。
唇读测试
为了配合软件测试,Arif的实验室进行了一项社会研究,看人们是否会使用这种技术。 他们联系了学生和社区人士,包括残疾人,并进行了在线调查。 反应热烈。
软件测试结果也很出色。研究人员表示:“LipType 的执行速度比其他模型快 58%” 拉克西米·潘迪(Laxmi Pandey)。 “该设备已被证明在各种现实环境中、低光和低噪音的情况下都是最先进的。 LipType 的成功让我相信它可以彻底改变我们彼此之间以及与计算设备的交互。”
社会研究和 LipType 唇读器研究已被接受在人机交互重大国际会议上发表和演示。
LipType唇读机的可能应用
该唇读系统有多种可能的应用。显然 LipType 可以让残疾人更接近数字工具。在许多情况下,警察了解在他们无法通过监听进行访问的情况下会发生什么情况可能会很有用。汽车界面也很有用,因此您甚至可以在听音乐时写信息。一切都有一个设计理念:极限就是你的想象力。