复杂活动识别是普适计算的重要研究方向，复杂活动是相对于简单活动而言对用户活动的定义，简单活动指由用户身体动作定义的活动(例如，走路，坐着，跑步等)，而复杂活动是指具有语义的日常生活活动(例如，吃饭，看电影，购物等)，因此识别复杂活动更能反映用户高层次的活动行为。
　　相比于传统的基于视频图像的活动识别方法，基于移动传感器的活动识别方法具有成本低、灵活、可移植性好的特点，因此成为活动识别领域的研究热点。识别复杂活动需要各种形式的传感器联合识别，现有的面向多模态传感数据的复杂活动识别方法主要有两种，一种方法是通过人工设计特征以识别复杂活动，但是该方法过于依赖领域知识，无法很好地识别所有复杂活动，第二种是使用深度学习方法识别复杂活动，但是目前的深度学习模型(例如，CNN、RNN等)无法有效捕捉多模态传感器数据中的各类复杂的关联特征(例如，单模态传感器数据的内部关联，多模态传感器数据间的关联，时序关联)。针对现有方法存在的问题，本文提出了一个端到端的深度神经网络HConvRNN，HConvRNN专门用于处理多模态传感数据，其由输入层，卷积神经网络层(CNN)，循环神经网络层(RNN)和输出层组成。具体来说，该框架通过多层CNN来提取单模态传感器内部的数据关联特征和多模态传感器间的数据关联特征，使用RNN对传感器数据的时序特征进行建模。基于实际数据的实验表明，HConvRNN的效果优于现有的方法。
　　最后，我们基于HConvRNN设计并实现了一个基于移动群智感知的食堂人群拥挤度检测系统，该系统通过分析食堂内多个用户随身携带的智能手机传感器的数据，可以实时监测食堂内的人群拥挤度。