第一个能够识别和解释西班牙手语字母表的应用程序

(相关资料图)

阿利坎特大学(UA)机器人和三维视觉小组(RoViT)设计了第一个能够实时识别和解释西班牙手语字母表(缩写为LSE)的应用程序。

该应用程序名为Sign4all，是一项突破，有助于打破聋人和健听人在日常情况下(例如去看医生或在餐厅吃饭)之间的沟通障碍。西班牙国家统计局(INE)最新发布的《残疾、个人自主权和依赖状况调查》显示，西班牙有123万人患有不同类型和程度的听力障碍。其中，有27,300人使用手语进行交流。

由于使用了不同的计算机视觉和深度学习技术，博士。计算机工程师和UA研究员EsterMartínez，以及博士。学生弗朗西斯科·莫里拉斯(FranciscoMorillas)开发了这种低成本工具，以便能够在无法获得口译员协助时为聋人提供帮助。

Sign4all在提取手臂和手部骨骼的细节后，将身体的左侧编码为蓝色，右侧编码为红色，始终保持用户的匿名性。从这一刻起，该应用程序会实时翻译聋人使用的手势，并朝相反的方向。它能够使用虚拟化身来签署由健听人键入的西班牙语单词。这个想法是，整个过程可以通过下载应用程序并使用手机或平板电脑本身的相机来完成，这样就可以在任何地方使用，正如Martínez所解释的那样。

根据UA研究人员的说法，经过多次测试，Sign4all设法以80%的准确度解释和识别LSE字母表。尽管这个结果对应于指纹学字母表，但他们正在研究一个版本，该版本具有属于日常任务领域的特定词汇表，他们可以在其中解释完整的句子。

UA团队已经对这个新系统进行了数月的训练，引入了越来越多的标志。从这个意义上讲，与维戈大学西班牙语和手语研究小组(GRILES)进行了合作，该小组在研究这种语言及其在不同地区的使用方面具有丰富的经验。维戈大学正在与口译员一起收集图像，UA正在处理所有这些数据。这样，LSE识别和解释系统的词汇可以更快地得到改进和扩展。

关键词： 应用程序 西班牙语 提供帮助