【辽宁哈博罗内晨报】智能“手环”让聋人手语发声 东北高校学子科创成果获全国总季军

央广网沈阳7月8日消息(记者郭威)东北大学三名学生研发出一种“手语转换发声”手环,通过连接服务器可以让手语发声,并把外界语音转化为文字,实现聋哑人和外界的无障碍沟通。5月18日,该项目获得了2018“未来力大会”大学生社会创新大赛全国总冠军。今年10月,该团队将代表中国前往美国硅谷参加2018创行世界杯总决赛。

威尼斯城vnsc登入平台 1

威尼斯城vnsc登入平台,“你好,我们帮助聋哑人交流,请大家支持我们,谢谢!”随着佩戴着手环的李荣颉所做的手语动作,平板电脑上清晰的发出了完整意思的语音。让聋哑人与完全不动懂手语的健全人进行交流,这一看起来“不可完成”的任务,就这样在东北大学李荣颉、曾振、贺萧三个大三学生的手中成为了现实。李荣颉说:“企业做1到1万的商业转化,而学生实验室可以不计回报地做从0到1的技术研发。经过各种各样的努力,这个算法模拟出各种问题之后,第一次做的手势发出声音时,真的特别开心。”

  本报讯辽沈晚报、聊沈客户端首席记者兰晓玉报道一枚小巧的“手环”,通过连接服务器就可以让聋人的手语发声,并且还能把外界语音转化为文字,实现聋哑人和外界的无障碍沟通。  5月17日至18日,2018“未来力大会”大学生社会创新大赛全国赛在上海举行,东北大学的“妙手回声”项目荣获创行中国科创冠军赛全国总冠军。“我们研发的手语双向交互系统为聋人架起一座与世界沟通的桥梁,用一双妙手化无声为有声。”项目指导教师、东北大学机器人科学与工程学院王斐副教授表示。  针对聋人在日常生活中与健全人交流困难问题,东北大学曾振、贺潇、李荣颉等同学在王斐老师的指导下研发出了一套基于多源信息融合的手语双向交互系统。该系统由可同步采集上肢肌电与惯性信息的佩戴式手环、安装有手语双向交流APP的平板电脑和手语识别云服务器构成。当聋哑人与健全人进行交流时,系统对手环采集得到的聋人上肢多源信息进行实时处理,并基于深度学习完成手语关键词在线识别,然后使用语法模型获得手语词句,并通过语音芯片合成,实现手语到语音的转换。同时,健全人的语音可以通过APP转化为文字和手语动图反馈给聋人,从而实现了二者的自然无障碍双向交流。  王斐老师告诉记者,在研发过程中,团队曾遇到了智能硬件核心技术的瓶颈问题,开发到一定程度就受制于国外的技术封锁,无法再进行深层次开发。“聋人手语发声装置最核心的硬件就是肌电手环。实验室进行了技术攻克,现在能够做到从软件到硬件都是我们的自有技术。”他说,这背后是上千遍枯燥重复的实验尝试和难熬的夜晚,团队经历了数不清的“推倒重来”。  与传统基于机器视觉的手势识别方法相比,使用肌电手环可避免光照、遮挡、干扰和手指细微动作无法捕捉等严重缺陷,在便携实用的同时,更增加了手语识别的实时性和准确性。为聋人在日常生活中与健全人进行无障碍交流提供了极大的便捷,也为他们从身心两方面重返社会创造了有利的条件。  据团队成员介绍,在比赛现场进行成果展示之后,评委给出了这样的评价:“我没有想到作为大学生,你们会注意到聋哑人这个群体,而且还为了改善他们的生活做了这么多事情。”  王斐老师表示,残疾人是弱势群体,团队从来没想过产品研发成功之后可以赚钱,所以在技术上他们尽力做到完全的自主化,从而降低成本,这样一来残疾人可以很容易地得到并能使用它。  团队成员曾振说:“有些高水平的东西,在商业角度上看价值不大,但这也是学生团队和实验室的价值所在,企业做1到1万的商业转化,而学生实验室可以不计回报地做从0到1的技术研发。”  今年10月,该团队将代表中国前往美国硅谷参加2018创行世界杯总决赛。  新闻来源 《辽沈晚报》2018年5月22日

在机器人科学与工程学院教师王斐的指导下,这个由三个大学生组成的团队研发出了一套基于多源信息融合的手语双向识别系统。通过连接服务器把手语动作转化为语句,同时还可以把外界语音转化为文字。与传统基于视觉的手语识别方法相比,可避免光照、遮挡、干扰和手指细微动作无法捕捉等严重缺陷,在便携实用的同时,保证了识别的实时性和准确性。王斐介绍:“视频捕获抓肢体的动作没有问题,就像体感游戏,但是手指的动作是采不到的,还有外界自然光的干扰。而手环的优势是,手指在做动作的时候是由手臂的肌肉来牵引的,表面就有微弱的电信号,通过这个设备也可以清晰地采集到。”

在研发过程中,团队曾遇到了智能硬件核心技术的瓶颈问题,开发到一定程度就受制于国外的技术封锁,无法再进行深层次开发。为了能够做到从软件到硬件都是自有技术,团队经历了千万遍枯燥重复的实验和数不清的“推倒重来”。王斐说:“硬件的困难主要体现在微弱电信号、生理电信号的采集、放大还有处理。软件的难度则是如何能够把手语拆成单体的手语,在这个模型里组合,从语句变到句子,是最难的也是将来能够保住自己东西的壁垒。”

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关文章