随着人工智能技术的发展,越来越多的研究者和开发者使用机器学习和深度学习的算法开发出更加智能化的应用。人工智能领域包括机器人、语音识别、图像识别、自然语言处理和专家系统。在日常生活中,语音识别和自然语言处理应用最为广泛,但是这些算法在使用上比较单一,没有将两种或多种组合算法和技术应用到同一个场景中。技术是自然语言处理中应用最为广泛的技术之一,该技术在不改变大篇幅文档原意的情况下,自动的总结生成主要内容。在这个海量的信息时代,这项用简短的文本表达信息主要内容的技术,有利于缓解信息过载问题。机器情感分析是人们对问题、事件或话题的观点、情绪和态度的计算研究。情感分析技术使得机器通过语音和文字来感知情感,在特定场景下,利用语音和文字的情感,发掘潜在的用户信息和商业信息。本文基于深度学习中语音识别技术、文本摘要抽取技术和情感分析技术实现了智能语音会议纪要系统。首先,系统语音处理模块由说话人分类模块和语音识别模块组成。语音处理模块用于将会议语音转化为会议剧本。说话人分类模块利用说话人多音频流时间轴策略对会议语音中的说话人进行分类和标记,主要研究和实现了语音端点检测技术。语音识别模块主要研究语音识别现有的优秀算法,尤其是带有注意力机制的语音识别算法,并对比常用语音识别模型的精度和响应时间。其次,系统文本处理模块是由文本摘要模块和情感分析模块组成。文本处理模块将语音处理模块输出的会议剧本作为输入,提取总结会议摘要并对会议总结进行情感分析,分析会后参会人员实施的可能性。文本摘要模块介绍了文本词向量化技术,研究了摘要提取和生成的技术,其中包括:抽取式摘要技术和生成式摘要技术,同时实现了基于ELMo词向量技术和注意力机制的摘要抽取模型的文本摘要模型。情感分析模块研究了音频情感特征提取方法,情感分析双向LSTM模型,并利用TensorFlow深度学习框架搭建了语音情感分析模型。最后,系统使用Python中搭建Web服务的引擎技术,将上述模块分别用引擎的方式实现,组合成会议纪要系统。针对不同的功能模块分别做了相应的工程测试,并利用系统测试工具对系统的性能进行测试分析,验证系统,满足需求。