如果因身体状况导致您无法使用电脑的鼠标,该如何查看您的电子邮件?或者,如果您是一名医生,正在进行分诊,并需要与其他医生共享一台电脑,但又不想造成细菌交叉感染,该怎么办?这就是 Dean Mohamedally 教授在 2020 年新冠肺炎疫情早期,请他在 UCL(伦敦大学学院)计算机科学系的同事和学生解决的问题。
在英特尔及其他合作伙伴的帮助下,他的学生们开发了后来的 UCL MotionInput,目前已推出了第三代产品。利用这套开创性的应用程序,人们无需实际接触键盘、鼠标或操控板即可使用电脑。取而代之的是,他们可以使用由网络摄像头捕获的语音命令、面部表情或身体动作。UCL MotionInput 在医疗、教育、工业和游戏等领域用途十分广泛,它向我们展示了未来的用户体验 (UX) 是什么样子。
它始于一间教室
尽管 UCL MotionInput 用途十分广泛,但最初却是为了应对全球新冠肺炎疫情而打造的。它旨在让所有学生都能进行远程学习,并帮助英国国家医疗服务体系 (NHS) 进行快速的患者分诊,这要感谢临床 HCI 研究员 Sheena Visram 和 NHS 全科医生 Atia Rafiq 的需求设计。
Sinead Tattan 和 Carmen Meinson 是两名计算机科学学生,他们发挥自己的聪明才智,帮助推出了 MotionInput 3.0。当 Dean 教授在课堂上分享他的想法时,他们参与了这一项目,这些课涉及本科和硕士级别的多个授课型学位课程。正是学生们结合英特尔® OpenVino™ 等主流 AI 技术在 UCL MotionInput 方面取得的进展,使 Dean 教授确信他的学生能够找到一种方法,帮助人们在不使用手的情况下使用电脑。
Sinead 回忆说,Dean 教授给学生布置的任务是创造一些能真正改变人们生活的东西,利用一款应用程序来让精细运动技能有问题的人有机会完成对健全人来说轻而易举的一些操作。为此,Sinead 带领学生团队将几种机器学习、计算机视觉、自然语言处理和软件处理技术最终结合,这要感谢 Carmen 带来的经英特尔优化的软件架构设计。
此项任务并不轻松。各团队独立承担具体职能,比如全球首个混合面部导航与同步联合设备内置语音命令,而 Sinead 作为团队架构师发挥了关键作用,确保可以将其作为单独软件功能或单个易用程序套件进行组合和访问。
英特尔英国公司的导师 Costas Stylianou 和 Phillippa Chick 迫切希望看到学生们以全新方式取得进展。诸如在空中捏住手指的“非接触式多点触控”和用鼻子指向屏幕区域进行在线浏览的“鼻子导航”等功能,都作为使用日常电脑和笔记本电脑的截然不同的方式进行了性能优化和搭建。
社会效益
UCL MotionInput 可以带来巨大的社会效益,因为它经济实惠、易于使用,且让非接触式计算得到了广泛普及。只需一台基于英特尔技术的机器和一个网络摄像头,UCL MotionInput 就能带来巨大的人口健康福利。该技术还可用于疗养院,让之前可能很难用手抓取物体的老人可以与朋友或家人一起玩象棋等在线游戏。还可利用此技术进行网上购物、寻求帮助、通信和健身。许多目前无法使用电脑的人突然拥有了一个让自己可以操作电脑的界面。非接触式计算可用于教育领域,还可以提高医院、健身和娱乐等领域的计算安全性,用途十分广泛。
未来
UCL MotionInput 3 是一个完全可定制的解决方案,它结合了机器学习和计算机视觉模型,可根据用户的需求和能力做出调整。它将非接触式计算推向了公共、研究、工业和商业等领域的应用。
同时,UCL MotionInput 团队继续寻求各种方式,让他们的软件为更多人所用。领先的技术公司已经注意到了这一点,Dean 教授、他的学术和临床同事,特别是他课上的学生,都希望能广泛开展合作,通过计算帮助到更多人。
他们邀请大家加入社区,提出请求,测试他们令人惊艳、免费且面向未来的商业产品,当然也欢迎大家提供反馈。全人类都将从中受益。