Android恶意应用的广泛出现,严重威胁了用户的财产和信息安全。网络侧的恶意应用检测是通过捕获恶意应用与外部服务器通信时产生的流量交互数据并利用其特征识别出恶意应用的方法。本文针对当前Android恶意应用检测算法存在的细粒度检测精度低以及流量信息缺失导致检测模型精度下降的问题,开展基于深度学习和对抗迁移学习的检测算法研究,取得成果及主要工作如下:（1）针对Android恶意应用检测算法细粒度检测精度低,无法高精度地对恶意家族实现超多分类的问题,本文提出了一种改进残差收缩网络的深度学习分类方法。所提方法首先通过引入残差收缩网络自适应滤除恶意流量样本噪声带来的冗余特征;然后,引入通道和空间注意力机制,捕获恶意家族样本间细粒度依赖项特征。最终,通过提升特征在深度学习模型高层的判别性,来提高检测精度。实验结果表明本文所提方法可有效提高恶意家族超多分类检测精度并具有一定的场景泛化性。（2）针对流量信息缺失导致深度学习检测模型精度下降的问题,本文提出了一种基于改进域对抗神经网络的迁移学习分类算法实现。所提方法首先引入域对抗网络DANN（Domain-Adversarial Training of Neural Networks）,用于学习完整流量样本和流量有缺失样本间域不变特征。然后通过引入SE-RSB特征提取模块改进DANN的特征提取器,以及将MMD（Maximum Mean Discrepancy）度量参数嵌入损失函数以提升DANN模型域适应能力。最后构建流量有缺失的样本,模拟检测环境,实验结果表明,本文所提检测模型精度受流量缺失样本影响较小,具有较强的鲁棒性。