行为识别(Human Activity Recognition)技术是人工智能领域的一个重要的研究方向,旨在感知和识别人的行为模式,在健康监护、安全监控等领域的应用十分广泛。本文主要研究其中处理异构多模态数据的融合技术,分别从层次化和结构化两个角度研究模型和特征在异构信息融合上的方法和效果,最后设计一个支持移动计算的行为识别系统,将两种融合方法分别部署在手机端和服务器端。首先,本文针对非同质的多模态数据采用层次化融合的方法设计出集成随机森林模型来识别日常行为。非同质的多模态数据比如Wi-Fi和加速度,由于其样本分布不一致,数据分析方法不一样,不能进行简单的组合分析,但是综合两者的特征对特定环境下的行为识别的结果又很大改善,因此受到了科研人员较多的关注。本文所设计的层次化的集成算法模型,核心思想是融合位置感知和行为识别的分类结果,用浅层的位置识别结果引导深层的行为分类任务,大大减轻了行为识别算法应对多样化日常行为的识别压力,通过拓展随机森林的算法优势,使得集成的随机森林算法能够识别4种场景和30种日常行为。该集成随机森林算法在30类上的分类精度达到95%以上,并且能够在手机端执行行为识别任务。其次,本文针对同质的多模态数据设计采用结构化融合的方法设计一种卷积神经网络算法模型。卷积神经网络主要用于图像识别和分类,其非线性表达能力和向后传播算法使其能够完成自动提取特征和学习的任务,在泛化性能方面表现更好。本文通过将多模态的信号以通道结合方式组成结构化的数据输入到CNN模型,设计网络内部结构,在UCI smartphone数据集上自动学习出分类模型。该算法对6种基本的运动行为能够达到86%以上的识别精度,可以在服务器端运行。最后,本文基于两种异构数据融合方法所设计的算法模型设计与实现了一个行为识别系统。由于集成随机森林算法相对参数较少,对计算设备的存储要求较低,因此在手机端运行,并且利用手机获取的Wi-Fi数据进行位置识别再进行行为分类。CNN算法模型待学习参数较多,在服务器端运行,因此可以进行离线的学习和计算量较大的计算任务。两者的结合最终设计出一种可以在线学习也可以离线学习的行为识别系统。