查看原文
其他

任天宇,姚登峰,仰国维,康新晨:中国手语信息化的现状、瓶颈与实现路径

任天宇等 语言战略研究
2024-09-10

2023年第4期


专题研究一  语言智能


作者简介

任天宇

北京联合大学在读硕士研究生,主要研究方向为信息无障碍

姚登峰

北京联合大学教授、清华大学研究员,主要研究方向为语言认知与计算

仰国维

河南财经政法大学副研究员、中国聋人协会手语研究与推广委员会副主任,主要研究方向为手语语言学

康新晨

北京联合大学在读硕士研究生,主要研究方向为信息无障碍




中国手语信息化的现状、瓶颈与实现路径

任天宇1,姚登峰1,2,3,仰国维4,5,康新晨1

(1. 北京联合大学 北京市信息服务工程重点实验室 北京 100101;2.清华大学 计算语言学实验室 北京 100084;3.清华大学 心理学与认知科学研究中心 北京 100084;4.河南财经政法大学 艺术学院 河南 郑州 450046;5.中国聋人协会 手语研究与推广委员会 北京 100001)

提 要 信息时代的到来推动了中国语言信息化的高速发展,但中国手语的信息化却明显滞后,表现为理论建构、实践模型和应用软件的欠缺以及手语数据集及语料库的薄弱。造成这一现状的原因不仅在于将手语数字化等同于信息化、手语信息化必须建立书写系统等认识上的误区,还在于中国手语至今仍缺乏完整的书写系统理论和必要的技术标准,多信道输入输出的问题没有得到很好的解决等制约性的瓶颈。这就需要走出认识上的误区,以中国语言为基础完善中国的手语书写系统理论,量身制定手语信息化标准,根据先机读后人读的原则制定手语输入输出方案。

关键词 中国手语;手语信息化;书写系统;多信道输入输出


一、引言

当前,新一轮信息革命浪潮催生全球范围的产业变革,科技创新进入空前密集活跃时期,信息化领域成为国家竞争的战略高地。手语信息化作为中国语言文字信息化的一部分,也是国家信息化的重要组成部分。《第二期国家手语和盲文规范化行动计划(2021—2025年)》指出,中国手语规范化、标准化、信息化程度还不高,要加快手语规范化、标准化、信息化进程。开展手语信息化的理论和实践研究是摆在中国科技工作者面前的一项重要任务,尤其是在国家大力推行信息无障碍工作的社会背景下,这项工作对于服务国内弱势群体、构建和谐社会显得更有意义,对中国的特殊教育、无障碍事业乃至整个人类科学技术的发展都有极好的促进作用。

手语信息化属于自然语言处理的一部分,而国际计算语言学会议(the Association for Computational Linguistics,ACL)作为自然语言处理领域水平最高、最具权威的国际会议,被视为语言信息化的风向标。ACL于2014年吸纳辅助技术语音与语言处理研讨会(Speech and Language Processing for Assistive Technologies,SLPAT)成为其子会议,最近几年录用了多篇美国手语信息处理相关的论文,主题涵盖了美国手语拼写、手语数据集介绍、手部模型训练、手语生成的建模强化算法等,这些都有力推动了美国手语信息化发展。SLPAT官网介绍,该会议的宗旨是帮助更多的人了解信息无障碍领域的前沿进展和研究成果,确保不增加残疾人的准入壁垒。同时,也可以为手语语言处理领域的未来发展提供思路和方向。相比较而言,中国手语信息化建设仍处于起步阶段,目前,中国手语并未完全实现信息化,已成为国家通用手语规范化、信息化最后的瓶颈。为了有效推进其发展,本文就中国手语信息化提出一些思考与展望。


二、中国手语信息化的现状


(一)手语信息化理论和实践缺乏

手语信息化理论包括有助于手语信息处理的语言学理论,如书写符号系统、多信道句法分析、依存语法;引领手语信息处理发展趋势的手语计算模型,如深度神经网络。国外也已提出了多项手语音系学模型,如Stokoe模型(Stokoe et al. 1965)和Liddell模型(Liddell & Johnson 1989)。在手语信息化实践上,中国手语至今仍没有与之配套的国家标准和国际标准,如编码字符集、字型、键盘等;也没有与之配套的系统软件和应用软件,如电子出版平台、办公自动化系统等。国外有50多个国家和地区已采用了手语编码字符集SignTyp(Cruz & Lamprecht 2008)等、手语音标系统HamNoSys(类似于有声语言的国际音标系统)(Prillwitz et al. 1989)、书写系统SignWriting[1]、ASL-phabet(Supalla et al. 2008)等。理论和实践的基础薄弱导致中国难以在手语信息处理的核心技术和标准制定方面获得优势地位,与中文和少数民族语言信息化进度相比,差距较大。

[1] SignWriting官网为https://www.signwriting.org/。


(二)手语数据集及语料库难以满足信息化需要

中国手语信息化研究起步较早,2000年中国科学院计算所推出中国手语识别系统和合成系统,并应用于北京市海淀区电视台、北京2008年奥运会等场景,具备一定规模的手语数据集。同时,《国家通用手语常用词表》(中国残联教就部,等2018)于2018年7月1日起实施,《国家通用手语词典》(中国聋人协会,国家手语和盲文研究中心2019)于2019年10月正式发布,标志着中国手语规范化建设在稳步推进。为支持中国手语语料库的建设,国家于2012年设立了两个重大项目,目前均已结题,分别为国家社科基金重大项目“基于汉语和部分少数民族语言的手语语料库建设研究”和国家语委重大项目“国家手语词汇语料库建设”。这些手语规范化、语言资源库建设,对于手语教学与研究、手语资源的数字化、语言学科的创新、语言文化资源的保护和利用等方面的发展,发挥了推动作用。然而这些手语数据集和语料库因受制于信息化的基础研究相对薄弱,规模普遍较小,类型不全,深度加工不够,难以为手语信息化应用提供切实的支持与服务。

中国手语信息化落后的原因很多,主要有以下两点:第一,用户规模相对较小,听障用户相对于主流有声语言用户群体,仍为小众;第二,受使用人口和使用范围的限制,手语信息技术产品销量有限,利润微薄,甚至无利可图,手语信息化开发成本相对较高,使得科研单位和企业的研发生产积极性受到严重影响。


三、手语信息化的误区

对于大多数人来说,他们并不了解手语的语言特点及其信息化的概念,没有认识到手语信息化的复杂性和艰巨性,对手语信息化存在以下误解。


(一)手语数字化等同于信息化

目前手语研究的主要做法是用手语视频作为研究语料,并使用本国有声语言书写系统来转写和编码手语语料,该方法可充分利用和借鉴本国有声语言信息化(姚登峰,等2019)的成熟技术。这种把手语信息输入到计算机的方法是目前成本最低、见效最快的方法。但是这种方法只是间接实现了手语数字化,离计算机处理手语的目标还有较长一段距离。因为这样的手语视频存在语义鸿沟问题(即构建视觉信号到手语语义间的映射问题),很难实现自动将手语视频转换为文本或语音,因此计算机无法理解这样的手语数据。为了将手语数字化过渡到信息化,让计算机能够分析手语的内部成分,不能再仅仅停留在物理图像信号的数字化层次,应思考和引进手语语言学理论,大力发展手语信息化理论,将手语识别的层次提升到语言学领域的语义理解水平,最终推进人类对手语的理解。为了能够分析手语的内部成分,语言学家发展了一些音系学模型,如Stokoe系统(Stokoe et al. 1965)、Liddel系统(Liddell & Johnson 1986)、Sandier模型(Sandier 1989)和Brentari模型(Brentari 1999),宗旨都是分析手势的最小单元,也称音韵参数(phonological parameter)。音韵参数作为“次词汇”(sub-lexical,Caselli et al. 2017)单位,各自具有不同的特征,可被用来组成一个手势,如同口语中不同音位(phoneme)组成音节(syllable),然后再组成词、短语、句子一样。这些模型对手语信息化的方法和技术影响很大,后续发展的手语信息化应用均基于这些模型理论。要以这些手语语言学理论为基础,开发中国手语的编码字符集、字型、键盘国家标准和国际标准,还要研究与之配套的系统软件和应用软件,以便计算机能够理解和处理手语,真正实现手语信息化。


(二)手语信息化必须要建立书写系统

有声语言能够实现信息化是因为该语言拥有书写符号系统,并实现了机读化。由于种种原因,中国手语至今没有出现一个标准书写系统,所谓的中文“文本”属于将中国手语翻译转写后的文本,只能借用汉字表达中国手语的近似含义。因此,很多人认为手语信息化的第一步是需要研究开发手语的书写符号系统,因为它是语言信息化处理的基础工程。此外,信息化的意义在于可对语言进行技术保留,以供研究、分析和使用,而书写符号系统是保留语言的有力工具。人类历史上浩如烟海的资料,多以语言文字为载体,未来仍然如此,因为在所有载体中,语言文字以最小的负载传达了最大的信息量,而非语言文字载体,如图像或视频等,都做不到这一点。在极端条件下,只有语言文字载体可便携利用生理设备和书写工具,而其他载体则需要特殊设备。信息化时代人机交互均使用语言文字作为载体,其他载体承载的信息最终还需转化为语言文字信息,才能让信息技术产品识别和理解人类指令。因此,为手语开发书写系统是必要的,有利于记录和保存手语信息,有利于聋人语言、文化、思想的传承。

从理论上看,确实有必要开发手语书写系统,但实际落地时受制于很多因素。以国外手语书写系统为例,从现有报道来看,国外已存在3套手语书写系统,分别是Bébian系统、SignWriting系统和ASL-phabet系统。Bébian系统是第一个手语书写系统(Bouzid & Jemni 2014),但这种系统一直没被人采用,直到瓦莱丽·萨顿(Valerie Sutton)在1974年开发了SignWriting系统,才有了广为使用的书写系统。[2]有研究统计,全球至少有10多个机构在使用SignWriting系统(Johnston & Crasborn 2006)。第三个系统ASL-phabet[3]则由塞缪尔·苏帕拉(Samuel Supalla)团队开发,由于使用的图形单元相对有限,这种书写系统相当简单。从文献来看,这3个书写系统的受众都很有限。SignWriting的开发者认为,该系统可能也会因为人口、政治和技术等很多现实因素而很难成功。因为相对于健听人数,聋人的数量更少,而且可能还会持续减少。

中文、英语等有声语言具有两个模态,即口头语音和书写符号。认知心理学表明,当有声语言用户第一眼看到书写系统时,第一反应是直接将书写系统的视觉特征输送到大脑中的语义单元,同有声语言声音的听觉特征直达大脑语义单元一样,而不是先将视觉特征转化为听觉特征,再转化为语义。汉字、英文字母等书写系统承担了有声语言的视觉载体功能,而手语视频承担了手语的视觉载体功能。最好的手语语言理解,应该是手语这种视觉空间语言的视觉特征直达大脑中的语义单元,完成手语语言的理解,这才是大脑最自然的手语理解方式,而不是先转化为书面文字,再转化为语义。如果为手语开发书写系统,相当于手语有两个视觉载体,分别是手语视频和手语书写符号。理论上这两个视觉载体的视觉特征都能直达大脑语义单元,但既然是两个视觉载体,必然在效率、耗时、成本等诸多因素上有高低之分。在保存手的位置、形状、方向,眼睛凝视,头倾斜,肩部倾斜,身体姿势,面部表情等信道信息方面,手语视频这种视觉载体无疑更为完整,最关键的是手语视频可即时呈现并传达多道信息,对于聋人用户来说手语视频最具良好的人机交互性,最受欢迎。而书写符号和有声语言一样都存在先天缺陷,即作为单信道载体,在从多信道载体转换而来的过程中,必然会遗失一部分信道信息,不但学习成本高昂,而且会降低信息接收和传递的效率,从而在聋人用户接受度上已失去先机。

[2] 参见:http://www.omniglot.com/writing/signwriting.htm; https://www.signwriting.com。

[3] 参见:http://clerccenter.gallaudet.edu/KidsworldDeafnet/e-docs/Keys/learning.html。


四、中国手语信息化的瓶颈

手语和有声语言在许多方面存在差别,手语信息化无法简单地套用有声语言信息化理论。手语信息化涉及操作系统、文字的输入输出、文字的编辑等多方面的内容。为了能用计算机来处理或加工手语,有许多特殊的问题需要研究。


(一)手语信息化标准

中国的语言文字信息化标准是中华字符集,涵盖了古文字、少数民族文字等,并成为国际标准,目前已完成的编码汉字为7万字。此外,ISO/IEC 10646(通用多八位编码字符集)(张青,等2009)已经建立了藏文、维吾尔文、朝鲜文、彝文等国际标准。中国手语如果要建立信息化标准,完全可以加入中华字符集,这样可以减少自带字库、多个编码系统来回转换的麻烦,还可以降低开发成本,增加使用便利性,更重要的是可以保证手语编码字符集的每个字符代码都是唯一的。2019年9月出版的《国家通用手语词典》一共收录了8000多个常用词语,且中国手语的手势数量在不断增加。国外的手语编码系统SignTyp(300个符号)、音标系统HamNoSys(200个符号)、书写系统SignWriting(500个符号)等字符集都是针对国外手语设计的,显然无法覆盖到中国手语的全部手势。在设计手语编码时,可借鉴藏文、朝鲜文、彝文等少数民族文字的编码经验,采用大字符集,即七位或八位双字节编码方式,这样便于兼容现有中文信息处理系统,没必要考虑优先兼容现有西文信息处理系统(采用单字节编码小字符集)。因此,我们可以以汉字和少数民族文字编码为基础,根据中国手语音系学结构和中国手语音系符号的特点,设计具有唯一性的中国手语编码方案,增加中国手语音系输入法,建立系统公用字库等。当前的目标是在保留汉字系统功能的同时,增加中国手语处理功能,该功能涵盖中国手语编码、字库、输入输出、打印等一整套信息化标准和程序,同时能实现计算机上中国手语与汉字、拼音文字等共存,实现混合排版打印输出。

虽然中国手语信息化工作取得了一定成绩,但在标准化工作方面,中国与欧美国家相比仍有不小差距,至今仍缺乏必要的技术标准。目前,国外已出现了一些手语编码系统,而中国手语编码至今仍无国家标准。规范化的标准能够保证相关手语信息技术产品和应用的正常运行,手语信息标准化和规范化因而成为手语信息化进程上必须解决的技术问题。只有统一的、规范化的标准,才有利于手语的研究和传播。当然手语输入输出存在着自身的特点,需要量身定制,当前手语信息化标准的主要任务就是急需开展手语编码体系的标准化研究。


(二)手语输入输出方案

手语信息化的必要前提是要把手语信息输入到计算机,解决中国手语转换、传输、存储、分析等计算机加工的问题,需要从计算机的角度考虑中国手语的内部表示。因此,需要定制完整的全新的输入输出方案,这种方案能综合考虑手语的语音、语义等内部结构因素,使之更适合计算机加工。这些输入输出方案除了要考虑设计书写系统,还要考虑包括编码字符集、字型标准、键盘标准制定和输入法设计。目前,国外已针对SignWriting等手语书写系统开发了输入法、字符集等标准,国内有一部分研究人员也开始采用这种手语输入输出方案,因此,制定中国手语的输入输出方案,迫在眉睫。

手语信息化的重点在于让计算机能理解手势视觉信息并且准确地描述手势动作的各个成分特征。比如,使用单个相机采集手语视觉信息时,由于角度不佳,可能会出现遮挡问题,从而无法完全、准确、充分地反映手势的3D形态。为了解决这种手势描述不正确的问题,很多采集方案对实验条件做了相应的限制,如简化实验背景、使用色彩手套(李勇,高文2002)等方法,使计算机能够准确地锚定和分割被试的手部区域。这些手语采集方案取得了很好的实验效果,但都是在理想的实验室条件下完成的,要满足实际生活中手语千变万化的需求,仍有不小的距离。因此,虽然这种采集方案具有自然的人机交互性,但其精确度低、速度慢的特点限制了其实际落地。现有采集方式仍然为直接用摄像头采集视频,然后进行人工转写和标注。

目前的体感设备技术(Zheng & Wang 2014)基于人眼仿生原理,可将传统的二维转换映射到三维空间,这样就能得到手势的深度图像信息,可能是理想的手语输入方案。如图1所示,体感控制器Leap Motion[4]能快速识别出22个手部关键坐标,基于这些坐标的深度和红外图像信息,手部位置、手形、方向和运动等手语内部信息就可以计算出来并被标注,可满足高精度、实时性的手语自动输入和手语语料自动标注的需求。如果需要标注形态、句法、篇章等层面的信息,则需要研究人员针对手势的深度图像信息,基于手语语言学理论,提出手语语法分析理论和算法。更重要的是,体感设备能够采集手部的静态和动态特征,基于这些特征可以构建手势者3D模型,即构建手部内部表示的数学模型及其计算理论,为探讨手部行为与语言特征的统计方法及其两者之间的关系提供了可能。

[4] 参见:http://www.leapmotion.com/。

将英语或中文等有声语言按口语语音转为文本,这种有声语言信息化本质上属于单信道编码。而手语除了包含手部动作,还包含面部表情、身体语言、头部动作、眼睛动作等,因此,手语信息化本质上属于多信道编码。由于手语真人视频或者动画能够较全面地传达手语多信道信息,因此,手语真人视频或动画是手语输出的第一选择。生成真人视频目前存在很多技术限制,比如计算机无法做到实时生成真人视频,需要提前进行现场实地拍摄,如果内容需要修改,则需要重新拍摄,费时费力。此外,还存在后期剪辑和修改时,真人视频的手势之间无法平滑过渡或者与面部表情等非手动特征组合困难等问题。

手语虚拟人体建模和动画技术已相当成熟,优势在于可以随时编辑或修改(Wideman & Sims 1998),因而获得了广泛应用。1998年美国维尔(Veale)等人设计的世界上第一个从英语到美国手语的机器翻译系统——Zardoz系统就带有手语动画生成器(Veale et al. 1998),此后,国内外手语机器翻译系统都普遍带有手语动画生成器。2022年北京冬奥会时,央视新闻AI手语主播亮相,随后市面上手语虚拟人像雨后春笋一样层出不穷,其中不乏一些知名企业。这种手语虚拟人一般需要手语生成器协作完成输出,手语生成器是一个自然语言处理模块,负责接受有声语言文本或抽象的语义输入,经过自然语言处理流程后,可返回手语动画脚本,指示手语虚拟人的下一步动作(假定语言学模块和虚拟人动画模块之间已提供了接口并事先开发了指令集)。这些手语虚拟人目前只支持单向输出,尚无可识别手语的双向交互技术,且大多数手语虚拟人所用的词汇量有限,参考的《国家通用手语词典》词汇量也仅在8000左右。此外,手语虚拟人大部分所用手势均直接从中文词汇翻译过来,并非从手语语料切分而来,凭这种有限的词汇很难满足手语动画生成的需要。将中文翻译成中国手语的机器翻译技术也没有获得突破,中国手语和中文是两种不同的独立语言,在句法、语义、语用等层面上有很大的区别,大部分手语虚拟人都只是将手势和中文词汇序列对译。此外,涉及语气程度、角色转换等语法意义的手语表达会使用很多非手控特征,大部分手语虚拟人没有很好地处理面部表情、身体姿态等非手控特征。选择是否使用非手控特征、用什么程度的句子来表达、要表达到什么程度、如何选择表达非手控特征等,这些决策都是建立在物理空间限制的词法和句法选择的基础之上的。目前的手语虚拟人动画没有充分考虑这样的非手控特征决策的复杂性。因此这种手语虚拟人动画如果没有字幕的辅助,大多数聋人仍然很难看懂。

相对于有声语言信息化,手语信息化较为落后,瓶颈就在于多信道输入输出的问题没有得到很好的解决,因此手语信息化的核心任务是将单信道和多信道信息相互转换。开展手语信息化研究,有助于发展多信道编码理论,带动有声语言与多信道编码理论并轨。这是因为人类交流沟通是多信道的,梅拉比安(Mehrabian)等人(Mehrabian & Ferris 1967)认为语音信道和其他眼神接触、面部表情、手势、身体姿势等信道都为有效沟通做出了贡献。一些研究结果表明这种除语音外的多模式行为占所有交流效果的2/3(Stubbs 2003;Burgoon 2009)。当口头语音信息和非语音信息相反或冲突时,非语音信息就成为人们辨析语义正确与否的主要信息依据,即视觉获得的语言信息(Malandro et al. 1989)。可见,有声语言也需要多信道的方式,才能有效地弥补语音信道表达的不足,防止因单一模式表达而带来的误解。同时在有些场合,如噪声区域、公共场合,也常常需要采用除语音以外的其他表达方式来增强对相互表达意思的准确理解。因此,求出多个信道其信息容量之和的最优解,形成最优的信道编码系统,可以提高多模态语言(包括有声语言和手语)通信的效率,有助于将手语输入输出的工作效率提高到与有声语言同等的水平。为了解决这个手语输入输出方案的关键问题,我们要实现手语的多信道分析方案,获取最优的多信道编码表征,从而为实现手语的多信道输入输出创造条件。同时,通过上文我们也能看出,将这种基于多信道的语言——手语输入到计算机,仅仅依靠计算机视觉等先进的人工智能手段是不够的,只有熟练掌握手语、精通手语语言学,才能深入开展手语信息化的研究。


(三)书写符号系统

虽然书写系统的使用不是必要的,但是如果将其看作中国手语理论一个不可或缺的基础板块,就要考虑如何开发中国的手语书写系统,在这一方面,我们依然面临着许多困难。书写系统理论比较复杂,除了与从形式到意义的关系有关,还涉及象似性、认知动机、表征层次等多种因素。如美国手语学者哈里认为书写系统可分为3种,即象形系统(pictographic)、会意系统(semagraphic)和表音系统(phonographic)(van der Hulst & Channon 2011);美国汉学家约翰·德弗朗西斯(John DeFrancis)等(DeFrancis & Unger 1997)认为可分成图画字、音节系统、辅音系统、字母系统4个系统;语言学家克雷斯邦(Crasborn 2015)则认为只有会意系统和表音系统这两个书写系统体系。按照上述理论的观点,目前所有手语书写系统,包括SignWriting等,都属于表音系统。不过克雷斯邦还认为世界上所有的语言里,只有中文是唯一的会意系统,其他语言都是表音系统。包括韩语、日语也都不是会意系统,而是表音系统。

按照这些书写系统理论的观点,有声语言的最古老书写系统应该是会意系统,即基于词汇或者词素的系统,这种系统的图形是词汇意义指定的参照物的形象性表示(基于感官的表征)。这类形象性书写系统有两个发展方向:第一个方向仍然是基本的会意系统,但图形往往会失去其象似性,因为频繁地使用会破坏能够保证象似性的细节。由这些理论可以判断其发展趋势可能还是以语义相关的词共享同一个图形特征的图形化方向为动机,或者向任意性发展。第二个方向是越来越像表音系统。当图形被用来代表音韵形式而非词汇意义时,该系统就具备了表音系统的特点。这种现象叫“画谜原则”(Rebus Principle)(Huehnergard 2020),可理解为以画为提示的字谜,比如sun或eye的会意符号常常被用于son或I的谐音字。这往往生成音节系统(DeFrancis 1989),还可能生成用图形来表示语音声音或音素(比如辅音)的系统,但是我们最熟悉的字母系统里的元音符号例外。表音系统的元素也会被包含进会意系统,以便作为消歧手段,比如用来区分两种不同发音的符号,否则相同的会意符号将难以区分。例如,如果<o>表示sun和moon,最终的转写可能在开头添加一个小的表意符号来表达一个或两个意义——s<o>与m<o>。

因此,制定统一的书写系统标准,让中国聋人都能接受,这种可能性在理论上是存在的,但落实到实际操作上,手语书写系统还有很多问题需要进一步研究和解决。中文属于汉藏语系,其特点是不使用形态标记,因此语法的重要手段是语序和虚词。从书写系统上看,汉字为平面型方块体,在平面方框中有序地分布着笔画,这是从外形上看最明显的特点,与拼音文字只能左右一维组合有着天壤之别。中国手语和汉字重视觉,而西方拼音文字重听觉,它们将各自的语言以不同的方式记录下来,通过不同的感官渠道输送到人类大脑。这种中国表意文字和西方拼音文字的最大差异可能会影响和决定着中国手语书写系统、字符编码等信息化理论不会完全等同于英国手语、美国手语等手语。汉字对中国手语影响很大,丰富了手语的词汇、语义等很多层面,涉及开发手语书写系统时,汉字可提供一定的借鉴和启示。


五、实现路径

作为中国重要的语言之一,中国手语扮演着重要的角色,其信息化有利于文化交流与沟通,有利于聋人文化传承,根据语言使用状况和以往的工作基础,我们建议可采取以下实现路径。


(一)制定手语信息化标准

标准化是手语信息化获得长足发展的前提,是手语信息处理参与国际竞争的重要手段。在信息社会,标准化对手语知识产权保护的重要性已现端倪,就手语数字化与信息化而言,其发展过程的每一个关键环节,都与标准化紧密联系在一起,标准化贯穿了手语信息处理发展始终。由于学科理论发展的局限性和手语本身的复杂性,目前中国自然语言处理理论和方法的研究还不能为手语信息化提供足够的支撑。应用型研究和实用系统开发的目标比较明确,投入和成果相对丰硕,而基础理论和方法研究比较薄弱,是多年来国内计算语言学学科发展的一个特点。

有关部门应加大手语信息化重大基础理论和应用研究,将处理手语的功能和有关标准作为立项和考核指标,尤其是手语内部结构的形式化问题。另外,手语语言资源缺乏,这要求在社会需求的支持下和国家统一规划的基础上有计划地展开语言资源建设,并使得这些资源成为能够服务于社会应用的大规模的、完整的、有价值的资源体系。建议有关部门提供长期稳定的经费资助,以支持手语信息化研究和开发(包括软硬件开发和标准研制等),促进手语信息化与汉字等其他文字信息处理技术协调发展。


(二)制定手语输入输出方案

根据先机读后人读的原则制定手语输入输出方案,理由有两点:第一,当前的技术条件已比较成熟,可便捷地将手语记录为视频或图像,基本能实现保存和流通完整的手语信息;第二,机读没有学习环节的成本,不需要像书写系统那样有先对人们进行教育推广的过程。当前手语信息化的主要问题在于手语没有文本记录形式,无法机读,无法信息化,从而成为发展人工智能的障碍。因而,当务之急是解决手语文本记录和信息化的问题,从而实现机读。当前保存手语信息的文本形式有3种类型,一是手语编码字符集,二是手语音标系统,三是手语书写系统。第一种和第二种是以机读为目标,也是发展机读的基础条件,第三种主要是为了实现人读,可放在最后一步。因此,具体实施手语信息化可分两步走:首先开发一套手语标音系统,像汉语拼音那样,任何手势都可以通过音标组合发音,做到覆盖国内绝大多数手语词汇;然后再制定一套手语编码字符集,包括所有中国手语的语素成分。只要完成这两个标准体系,就可具备实现手语信息化的基本条件。


(三)解决手语符号系统难题

书写系统的研发是一个漫长的引进和消化过程。值得一提的是,国外对多种手语书写系统理论开展了大量的实验,结果显示其效果并不像理论提出之初那样理想。手语信息化的困境并未得到实质上的改善,暴露出学界当前对手语知识本身的发掘程度很有限。尽管表达方法先进了,所能表达的内容却并不一定能跟着有实质性的提高。这也是这些手语书写系统理论难以从根本上解决手语信息化问题的症结所在。

如果必须要开发书写符号系统,可以在解决信息化标准和输入输出问题之后再进行。以目前中国的技术水平,开发一个符号系统是完全可行的,但是否开发、何时开发还需要有关部门来做决策。


六、结语

《国家手语和盲文规范化行动计划(2015—2020年)》强调要积极开展手语和盲文规范化标准化信息化建设,体现出国家对手语信息化的重视。手语信息化研究基本属于空白,还有很多难题需要学者去深入研究。手语自身的特点导致了手语信息化面临着一系列困难,无论是理论构建还是商业应用,都需要经过长时间的艰苦努力,但这样的现状也在提示我们,手语信息化很可能正处在变革的前夜。

手语信息化要走市场化道路,但是在市场还没有培育成熟或自培能力比较差时完全依赖市场,必然造成手语软件和网络的日渐萎缩,也易造成低水平的重复;加之手语软件开发成本高,不仅企业的积极性会受影响,用户也因价格偏高而难以承受。目前手语信息技术产品和应用的开发完全依靠市场竞争来推动还不现实,因此急需国家的一些政策和经费来支持手语信息化,而且政府要加强引导和合理利用,将有限的人力和物力用到刀刃上,并加强顶层设计,统筹部署,凝聚人才、科研、产业与资本的优势力量,规范发展路径,尽快出台中国手语信息化发展路线图。努力打造手语信息化的创新链条和生态链条,要建立测试标准,规划底层的认知架构、核心算法、操作系统、信息化体系结构与芯片,形成“学研产用”的创新链条。鼓励各大企业关注并投入研发,形成生态链条。一方面,手语信息化研究成果有助于改善与提升特殊人群的生活、学习与工作环境,为他们供更好的服务,体现企业的人文关怀和社会责任;另一方面,在电影制作、动画制作、游戏娱乐等诸多方面,手语信息化研究成果也能起到支撑作用。因此,手语信息化研发不仅能够提升企业的文化品位,在经济上的收益也是不可估量的。

信息化界有句名言——一流出标准,二流出技术,三流出人工。如何把基于中国庞大手语资源的科研成果变成全世界都遵守的标准,把手语信息资源变成巨大无比的知识库,应当成为当前和未来手语信息化基础应用研究的首要课题。


该文发表于《语言战略研究》2023年第4期,参考文献从略,如有需要请参照原文

编排:逯琳琳

审稿:王   飙 余桂林


相关推荐

卷首语 | 李宇明:“人机共生”的时代

主持人语丨饶高琦:大模型时代语言智能应注重科学基础和社会应用

袁毓林:人工智能大飞跃背景下的语言学理论思考

饶高琦,胡星雨,易子琳:语言资源视角下的大规模语言模型治理

周建设,薛嗣媛:论语言智能教育


特稿丨冯志伟,张灯柯,饶高琦:从图灵测试到ChatGPT——人机对话的里程碑及启示


《语言战略研究》2023年第4期目录与提要

《语言战略研究》2023年第3期目录与提要《语言战略研究》2023年第2期目录与提要《语言战略研究》2023年第1期目录与提要
《语言战略研究》2023年重点选题(约稿启事合集)约稿启事丨“国际中文教育”专题(每年一期)约稿启事丨“国际语言冲突”专题
约稿启事丨“数字经济时代的语言生活”专题

《语言战略研究》2022年度盘点喜讯!我刊入选CSSCI(2021—2022)扩展版!我刊入编《中文核心期刊要目总览》2020年版语言、文字类核心期刊!喜讯!我刊入选人大《复印报刊资料重要转载来源期刊(2020年版)》!

本刊从未与任何第三方合作从事征稿、审稿及发稿活动,从不以任何形式收取版面费、审稿费请认准本刊官方网站界面→

编辑部联系方式:    电话:010-65219062   010-65219060    电子邮箱:yyzlyj@cp.com.cn    地址:北京市东城区王府井大街36号    投稿网址:yyzlyj.cp.com.cn订阅方式:    1.全国各地邮局订阅,邮发代号:82-104.    2.网店订阅:(1)商务印书馆官方微店  (微信搜索shangwu1897,关注商务印书馆微信公众号;点击公众号页面底部的“官方微店”;在微店中搜索《语言战略研究》即可下单。)(2)商务印书馆京东旗舰店
 (登录商务印书馆京东旗舰店,搜索《语言战略研究》即可下单。)    3.中国邮政-微商城,搜索“语言战略研究”,即可预订全年。
↓↓↓点击“阅读原文”可访问本刊官网
继续滑动看下一个
语言战略研究
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存