在信息智能化时代,人工智能和人机交互是引发各界广泛关注的两个研究领域。语音作为一种能够高效传递信息的信息载体,在人机交互技术中一直是热门研究对象之一。随着信息工业的不断发展,智能语音技术目前保持快速发展态势,并且已经进入规模化发展,被广泛用于以语音助手为代表的客户端消费产品以及家庭、办公等应用场景当中。开发和推广更人性化的人机交互模式,实现从人机交互到人机协作的转变,是当前技术发展的重要方向。得益于近年来人工智能技术、云计算技术和5G通信等基础技术的飞速发展,自动语音识别、自然语言处理的能力得到显著提升,基于智能语音技术的产品和应用也逐渐在教育、医疗等场景中占有越来越高的比例。在教育领域,现阶段智能语音技术主要被用于引导学生开展听说练习,或根据教学内容生成实时字幕,尚未完全发挥出技术的巨大潜力。智能语音技术能够弥补障碍群体身体机能、所处环境等方面存在的差异,被认为在帮助弱势群体进行日常和生产活动时具有显著优势,有助于全纳教育的推广,帮助障碍群体接受教育。目前,上肢残疾儿童在接受教育过程中面临的无法书写的问题尚未得到有效解决。书写是理解知识和表达观点的重要途径,是教育过程中的一个重要环节,而智能语音技术在教育和残疾人服务领域具有良好的应用前景。因此,基于目前智能语音技术的发展状况,本文认为,利用智能语音技术协助肢体残疾的学生解决书写需求问题,能够为其带来新的学习体验,提高学习效率,帮助他们更好地融入学校和社会生活。本文将语音识别、自然语言处理等智能语音技术和教育机器人理念相结合,分析上肢残疾儿童在教学答题场景中遇到的书写障碍,设计一种能够有效协助残疾学生进行常规书写答题的智能语音产品。上肢残疾儿童所具备的机体能力未能得到完全发挥,无法为自主书写提供足够的支持。因此,考虑使用轻量级、便于操作的外部设备对该群体加以辅助。本文着重研究了在教育场景下,将语音识别和自然语言处理等智能语音技术应用于虚拟书写辅助工具,以协助具体边缘化人群解决实际问题。本文认为,将智能语音技术与教育理念相结合,可以充分利用上肢残疾群体的正常身体机能,促进他们对外部设备的驱使,加强与其他人的沟通交流。基于教育机器人理念,本文提出了一种基于智能语音交互的答题写字系统,能够让有书写障碍的学生通过语音命令控制相关设备执行书写操作。本研究旨在帮助不方便进行自主书写的儿童在课堂内外能更便利、更有效地进行标准化的纸笔测试,克服在学习过程中答题所面临的书写障碍,以更舒适自然的状态接受全纳教育。本文主要完成的工作内容分为以下几点。首先,对当前智能语音技术的发展历程进行了梳理,对语音处理技术在不同领域中的应用研究进行了分类对比;结合实际使用场景,分析了智能语音处理中能够被应用于答题机器人的具体技术和应用模式。其次,根据实际答题场景和答题流程,进行了面向上肢残疾儿童的智能语音答题系统的模块框架设计。本项目的整体框架主要分为两个构成部分,包括语音处理模块和书写执行模块,其中语音处理模块包括语音识别和语义分析子模块。本项目的总体输入是语音需求,输出为前端界面提供的直观视觉展现和书写结果的保存。语音处理模块的输入为语音指令,输出为经过分析得到的书写关键信息,包含书写具体位置信息、书写需求分类和具体书写内容。语音处理模块的两个子模块采用串联式连接,将前置子模块的输出作为后置子模块的输入。在语音处理模块中,输入为语音指令,输出为语音识别结果文本。结合本项目对语音识别精准度的要求,进行了语音识别子模块的选型设计,采用主流智能语音识别平台提供的应用程序编程接口,基于WebSocket协议进行设计调用。语义分析子模块以语音识别结果作为输入,根据词法分析和关键词提取的结果进行二次提取,得到书写关键信息作为本模块的输出。考虑对书写需求的充分理解和对其中关键执行信息的正确提取,采用由哈工大社会计算与信息检索研究中心研发的语言技术平台提供支持的自然语言处理模块,基于HTTP API协议分别调用中文分词、词性标注和关键词提取的功能模块接口,进行语义理解子模块的书写需求处理,从模块的输入中提取出书写关键信息。最后,根据语音处理模块的输出结果,利用HTML5的canvas元素,使用JavaScript结合不同书写需求进行网页绘制图像脚本的编写,主要解决在中文教学场景下,常见的书写数字、符号、基本几何图形、英文字母等具象书写的问题。在对项目的输出结果测试分析中,结合对中国小学数学试卷的作答流程,展示并评估了语音控制答题系统的各模块处理结果,研究待解决和进一步优化的问题,并提出了项目的未来的工作内容和改进方向。实验结果表明,面向上肢残疾儿童的智能语音答题系统能够对基本书写操作进行处理,在帮助边缘化学生群体进行答题书写操作中具有一定的实用价值。未来的工作方向主要有以下几点。其一,考虑远场语音识别的情况,尝试解决距离稍远时语音识别不准确的问题,加入语音唤醒和声纹识别等功能;其二,考虑对书写结果界面增加交互细节的设计并进行书写结果显示优化,使书写执行的完整过程更加清晰直观。随着模块和功能流程的细节处理和不断优化,智能语音答题系统的教育机器人理念将会更加强化,功能将会更加完善。