近年来,为了满足人们对智能家居设备便捷化的控制需求,智能语音软件和交互设备逐渐走进了人们的家庭生活。现有软件和设备的语音识别功能都基于云端完成,存在无法离线使用、占用网络带宽、隐私泄露等问题。论文对语音识别理论展开研究,设计和实现了智慧家庭环境下基于语音的自然人机交互系统。系统包含两个部分,关键词识别系统和大词汇量连续中文语音识别系统。关键词识别系统用于设备唤醒和短指令识别,在资源受限的微控制器端运行。论文从参数量、识别率和推理阶段计算量三个方面,研究和比较了深度全连接神经网络、卷积神经网络和深度可分离卷积神经网络在关键词识别任务中的应用。为了实现关键词识别模型在微控制器端的部署,论文使用动态定点量化进一步降低模型存储需求,同时使用SIMD指令加速模型在微控制器端的推理运算。大词汇量连续中文语音识别系统用于长语句识别,运行在搭载Intel Movidius神经网络计算棒的控制中心节点。本文的端到端连续语音识别模型能够直接将音频转为文本,无需中间音素表示。模型结合卷积神经网络、双向长短时记忆神经网络和连接时序分类,在输入梅尔频率倒谱系数特征序列与输出拼音序列之间建立映射关系,并使用N-gram语言模型结合维特比算法将拼音转为汉字。论文实现的关键词识别模型能获得93.5%的识别率,SIMD指令能将模型在微控制器端的运算时间降低约70%。大词汇量连续中文语音识别系统在无语言模型辅助解码时够获得81.7%的识别率,加入N-gram语言模型后,识别率提高为84.4%。