基于语音和面部特征的抑郁症识别技术研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:kittyangie
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
情感机制是人类最重要也最为复杂的机制之一。要想让机器很好的理解甚至表达人类的情感,一直是人工智能领域的一大难题。一些精神类疾病,其病症会体现在人类的情绪变化上,抑郁症就是其中一种。抑郁症是一种会使人类感到情绪低落、思维迟钝、意志消沉的疾病。它在思想、行为、情绪感知上都会影响一个正常人的健康,严重的时候会造成患者进行自残甚至自杀行为。抑郁症对人类健康造成了非常严重的影响,因而受到国内外越来越广泛的关注。本文想通过情感分析的方式,建立一个预测协同分类模型,运用该模型分析抑郁症患者的表征数据,对被试患者是否具有抑郁症倾向进行预测。在传统的抑郁症诊断方式中,多是采用自查问卷及量表的形式再由专业医师进行判断,患者是否患有抑郁症。而这些问卷和量表,以及医师的临床诊断,其本质是想了解和掌握患者平时的心理状况、生理躯体状况、以及情绪变化情况等,以此来判断病症。这和情感分析有类似的地方,在情感计算中,对情绪变化的识别采用的研究方法,大多是从面部特征、语音特征、脑电信号特征、皮肤电信号等方面,进行分析。本文从被试患者的面部特征、语音特征以及文本特征等角度,对抑郁症患者的表征数据进行分析研究。本研究提出的预测协同分类模型,结合了抑郁症患者访谈过程中的语言文本特征、音频特征、面部特征数据,并采用相应算法分别对三类特征进行处理,最后结合三类特征的分析结果,得到被试患者抑郁症倾向的预测值。模型主要由以下三个部分组成:(1)基于文本特征部分,对抑郁症患者的访谈记录文本进行分析。这些文本特征可以从侧面描述被试在采访中的情绪变化状况。为了能够更好的从文本中提取出这些情绪变化,这一部分主要从局部文本和全局文本两个角度处理:对局部文本,首先提取出每个采访记录中和抑郁情绪等最为相关的问题,将问题进行量化,然后使用支持向量机算法(SVM)进行分类预测;对全局文本,首先采用Doc2vec算法,将所有的文本内容向量化,之后输入卷积神经网络(CNN)中。本实验使用卷积神经网络,是对文本量化后的段落矩阵进行分析,和图片分析有一定的区别,所以稍作改进,使卷积神经网络在对段落矩阵进行处理时,尽可能多的保留一些突出段落语义的重要特征,并且根据特征的重要程度进行排序。最后通过卷积神经网络对全局文本的学习,来预测患者是否具有抑郁症倾向。最后将两种结果相结合,得到一个最终的文本特征预测结果。(2)基于语音特征部分,对访谈中记录的音频数据进行分析。数据集提供的音频特征由COVAREP算法从音频记录文件中提取。每0.3334s为一个时间戳,提取的音频特征记录在每个时间戳下。根据音频特征的时序特性,建立长短期记忆网络(LSTM),同时对数据集按照性别进行分类,将这些特征按照时间戳的顺序,作为长短期记忆网络(LSTM)的输入,得到一个基于音频特征的预测结果。(3)基于面部特征部分,对访谈中记录的多种面部表征数据进行分析。原数据集中.,提供了面部人工编码AUs、眼部gaze、动作pose、面部3D位点(3dfeatures)等特征。这些特征,由专业软件从被试采访视频中提取。其中每0.3334s为一个时间戳,特征数据记录在每个时间戳下。根据数据的时间特性,建立长短期记忆网络(LSTM)。同时对数据集按照性别进行分类,将分类后的面部特征按照时间戳序列输入长短期记忆网络(LSTM)中进行分类预测。最后对三种预测结果进行分析,发现结果之间具有一定相似性。将预测结果线性结合,给出线性方程:f=w1outf+w2outt+W3outc+w4其中W1,w2,w3,w4为函数系数,outf为面部特征的预测结果,outt为文本特征预测结果,outc为音频特征预测结果,f为最终输出。用训练集拟合方程系数,使测试集结果之间满足方程约束。最终测试集预测结果准确率为86.73%,模型具有一定适用价值。
其他文献
利用全球气候模式CAM5.1的20年(1991—2010年)沙尘气溶胶排放量模拟,分析全球沙尘气溶胶排放量的时空变化及其大气环流影响因子。结果表明:20年全球年平均沙尘气溶胶排放总量
<正>临清市人大常委会以习近平新时代中国特色社会主义思想为指导,在中共临清市委的坚强领导下,紧紧围绕全市工作大局,认真落实市委决策部署,依法履行职责,努力开拓创新,充分
<正> 无机元素特别是某些微量元素与人体糖代谢及胰岛有着极为密切的关系。特别是糖尿病患者由于物质代谢紊乱(特别是糖代谢紊乱)及内分泌功能的失调,造成了机体内若干元素的
会议
1942年初召开的华中局第一次扩大会议,是"皖南事变"之后召开的一次极其重要的会议。会议对于新四军和华中各根据地发展过程中存在的问题进行了详细的梳理和总结,根据中共中央
目的探讨虚拟现实(VR)技术物理疗法改善脑卒中患者失眠的效果。方法采用方便抽样方法,通过随机数字表法将2017年4月至2018年12月该院收治的脑卒中后失眠患者50例分为研究组(V
当前,随着信息技术和传播技术的不断革新,微博、微信的普及,使得新闻传播的手段和载体都发生了深刻的变化,传统媒体受到强烈的冲击。但无论时代怎么变,技术怎么革新,在传播中
我国社会主义集体所有制经济是现代化建设和实现劳动者共同致富的条件,回顾了社会主义改造以来集体所有制经济取得的成就,针对集体经济发展缓慢的现象,提出了相应的建议。
铝电解过程是一个复杂的非线性、时变和大时滞的工业过程体系,采用常规的控制方法,很难达到良好的控制效果。本文提出了一种基于铝电解过程的神经网络模型预测控制算法,建立了神
锻炼意向与行为之间存在着鸿沟。以TPB理论为基础,采用理论综述的方法对现有的意向与行为之间的影响因素进行分析。通过对自我调节策略的使用与影响自我调节策略与锻炼行为关
农户子女在我国受教育群体中占着较大比例,农户子女的受教育状况直接关系到全体国民的受教育程度和水平,最终影响我国人力资本存量的高低。在构建和谐社会、实践科学发展观和