论文部分内容阅读
摘要：英语在语言中的重要地位日益显著，本文在对比现有的一些商业化英语学习软件的基础上，设计开发一款简单易操作的Android端的英语学习软件。通过拍照获取带有文字的文章图片，通过去除模糊、文字倾斜和文字颜色变化等影响因素，实现对文字精确识别，并匹配词库单词。通过基于音频特征对比技术实现跟读打分功能，同时，本app还提供了单词听写、单词释义、统计用户单词查阅频率、推荐用户常用单词等。本app操作简单使用方便，提高了移动端用户的学习效率及学习的系统性。
关键词：android;图像文字识别;音频特征对比
1 引言
随着大学生们对英语学习的热情不断高涨，如何提高英语阅读的学习效率渐渐成为了他们关心的重点。在外国报纸、阅读试题、英文小说等等多种场合都有优秀的、值得学习的好文章，但本项目组调查研究发现目前市场上还没有一种可以帮助用户在阅读文章的同时翻译读者无法理解的单词的英语阅读学习软件，这导致了读者需要花费大量的时间查找。此外，众多单词学习软件都没有提供自定义单词听写和批改（支持手写）功能，导致用户无法准确复习自身薄弱的单词。
本项目组在此调查研究基础上拟开发一款集“拍照识别”、“跟读训练”、“单词听写”、“单词解释”以及“常用单词相关内容推荐”于一体的综合性Android端英语学习软件以满足众多用户群体的需求。
2 理论基础
2.1 CTPN算法
CTPN算法这是目前效果比较好的一種文字检测算法，CTPN算法结合了CNN与LSTM深度网络，且CTPN算法加入了双向LSTM学习文字的序列特征，有利于文字检测。通过该算法可以有效地检测出复杂场景中横向分布的文字。最后，将分割后的字符图像导入识别模型中进行处理，进而得到原图中的字符信息，并形成具有特定含义的单词和语句结构。
2.2 DTW算法
DTW算法是一种衡量两个长度不同的时间序列的相似度的算法，该算法基于动态规划（DP）的思想，解决了发音长短不一的模板匹配问题，是语音识别中出现较早、较为经典的一种算法，目前主要用于模板匹配。
3 APP功能分析和设计
3.1 拍照识别
本APP拟通过调用手机相机对采集图像信息并识别图像内容的方法对用户所提供的图像内容进行处理，识别得到用户需求的图像内容。由于APP所识别的文本结构具有一定的结构特征，需要对文字信息进行行列分割，检测出其中的各种字符。实现步骤如图1
3.2 跟读训练
本APP主要通过采用音频对比的方法针对用户的英语发音进行系统打分以及评价，帮助英语学习用户提高单词和语句发音的标准度。采用DTW算法作为主要核心技术用于对孤立词语音识别功能（即识别两段语音是否表示同一单词）。实现步骤如图2。
3.3 单词听写
本APP通过用户自定义词库和软件预设的专题词库两类，累积用户在学习时累积的错词、标注的难词、累积的低评分词以及查询时出现的高频词、自主添加的单词等等，通过用户在听写单词前自由地进行相关属性设置，从而实现适合用户个人的听写环境。此外，系统自动识别用户手写的内容，或直接在软件上进行输入文本内容。用户提交结果后系统检测结果并给出用户听写评分。程序将会将用户听写错误的单词记录下来，及时反馈给用户，并提供相应的释义、相关短语以及具体用法。实现步骤如图3
3.4 学习推荐
程序根据用户经常查阅的单词，通过推荐算法，对用户进行相关的单词、适合用户水平的文章等学习资源的推荐，从而达到更显著的学习效果。
用户能够在本应用中进行单词查询、单词听写等操作。进行单词查询、单词听写时，应用会自动统计单词信息，根据单词的出现、错误频次为用户建立一张单词记录统计表，根据统计记录提供某单词以及其异构单词、同音单词、同义单词、相关主题单词甚至相关文章等学习内容。
3.5 单词释义
本APP通过配合拍照识别模块的图像文字检测算法，实现文本内容的识别，帮助用户查询出文本中的英语释义，实现更高效地学习。用户点击查询单词翻译、单词相关短语等内容，也可以对单词实现收藏至单词本的功能。
4 实现效果
本app操作简单使用方便，首页以及侧滑模块如图所示，首页根据用户的搜索习惯提供相关美文推荐，附带图片增强了可阅读性，并实现了对文章每个句跟读练习，对读者的口语水平的提高有很大帮助。提高了移动端用户的学习效率及学习的系统性。
参考文献：
[1] 王凌燕，吴华，王丽燕.基于Android的英语语法移动学习系统设计与实现[J].计算机与现代化，2013（08）.
[2] 王全.基于Android平台的交互式英语语法学习系统的设计与实现[D].天津大学，2014.
[3] 刘鹃梅，刘泽平.基于图像处理的车牌识别系统的研究[J].电脑知识与技术，2010（08）.
作者简介：李思杰（2000—），男，江西吉安人，南昌航空大学 17级计算机科学与技术专业学生。
（作者单位：1. 南昌航空大学;2.南昌航空大学 信息工程学院）
关键词：android;图像文字识别;音频特征对比
1 引言
随着大学生们对英语学习的热情不断高涨，如何提高英语阅读的学习效率渐渐成为了他们关心的重点。在外国报纸、阅读试题、英文小说等等多种场合都有优秀的、值得学习的好文章，但本项目组调查研究发现目前市场上还没有一种可以帮助用户在阅读文章的同时翻译读者无法理解的单词的英语阅读学习软件，这导致了读者需要花费大量的时间查找。此外，众多单词学习软件都没有提供自定义单词听写和批改（支持手写）功能，导致用户无法准确复习自身薄弱的单词。
本项目组在此调查研究基础上拟开发一款集“拍照识别”、“跟读训练”、“单词听写”、“单词解释”以及“常用单词相关内容推荐”于一体的综合性Android端英语学习软件以满足众多用户群体的需求。
2 理论基础
2.1 CTPN算法
CTPN算法这是目前效果比较好的一種文字检测算法，CTPN算法结合了CNN与LSTM深度网络，且CTPN算法加入了双向LSTM学习文字的序列特征，有利于文字检测。通过该算法可以有效地检测出复杂场景中横向分布的文字。最后，将分割后的字符图像导入识别模型中进行处理，进而得到原图中的字符信息，并形成具有特定含义的单词和语句结构。
2.2 DTW算法
DTW算法是一种衡量两个长度不同的时间序列的相似度的算法，该算法基于动态规划（DP）的思想，解决了发音长短不一的模板匹配问题，是语音识别中出现较早、较为经典的一种算法，目前主要用于模板匹配。
3 APP功能分析和设计
3.1 拍照识别
本APP拟通过调用手机相机对采集图像信息并识别图像内容的方法对用户所提供的图像内容进行处理，识别得到用户需求的图像内容。由于APP所识别的文本结构具有一定的结构特征，需要对文字信息进行行列分割，检测出其中的各种字符。实现步骤如图1
3.2 跟读训练
本APP主要通过采用音频对比的方法针对用户的英语发音进行系统打分以及评价，帮助英语学习用户提高单词和语句发音的标准度。采用DTW算法作为主要核心技术用于对孤立词语音识别功能（即识别两段语音是否表示同一单词）。实现步骤如图2。
3.3 单词听写
本APP通过用户自定义词库和软件预设的专题词库两类，累积用户在学习时累积的错词、标注的难词、累积的低评分词以及查询时出现的高频词、自主添加的单词等等，通过用户在听写单词前自由地进行相关属性设置，从而实现适合用户个人的听写环境。此外，系统自动识别用户手写的内容，或直接在软件上进行输入文本内容。用户提交结果后系统检测结果并给出用户听写评分。程序将会将用户听写错误的单词记录下来，及时反馈给用户，并提供相应的释义、相关短语以及具体用法。实现步骤如图3
3.4 学习推荐
程序根据用户经常查阅的单词，通过推荐算法，对用户进行相关的单词、适合用户水平的文章等学习资源的推荐，从而达到更显著的学习效果。
用户能够在本应用中进行单词查询、单词听写等操作。进行单词查询、单词听写时，应用会自动统计单词信息，根据单词的出现、错误频次为用户建立一张单词记录统计表，根据统计记录提供某单词以及其异构单词、同音单词、同义单词、相关主题单词甚至相关文章等学习内容。
3.5 单词释义
本APP通过配合拍照识别模块的图像文字检测算法，实现文本内容的识别，帮助用户查询出文本中的英语释义，实现更高效地学习。用户点击查询单词翻译、单词相关短语等内容，也可以对单词实现收藏至单词本的功能。
4 实现效果
本app操作简单使用方便，首页以及侧滑模块如图所示，首页根据用户的搜索习惯提供相关美文推荐，附带图片增强了可阅读性，并实现了对文章每个句跟读练习，对读者的口语水平的提高有很大帮助。提高了移动端用户的学习效率及学习的系统性。
参考文献：
[1] 王凌燕，吴华，王丽燕.基于Android的英语语法移动学习系统设计与实现[J].计算机与现代化，2013（08）.
[2] 王全.基于Android平台的交互式英语语法学习系统的设计与实现[D].天津大学，2014.
[3] 刘鹃梅，刘泽平.基于图像处理的车牌识别系统的研究[J].电脑知识与技术，2010（08）.
作者简介：李思杰（2000—），男，江西吉安人，南昌航空大学 17级计算机科学与技术专业学生。
（作者单位：1. 南昌航空大学;2.南昌航空大学 信息工程学院）