健康医疗是人工智能应用最具潜力的领域之一,随着人工智能与传统医疗行业的融合不断深入,互联网问诊、自我健康管理APP等获得了广泛应用。这些医疗应用场景的落地均离不开对个体健康情况的识别和描述,用户画像则为此提供了思路。分析人体健康情况,描绘完善健康画像,为医生及个人提供就诊支持和辅助,是提供精准医疗服务的关键一环,更是智慧医疗的趋势所向。一方面,物联网和个人智能设备的普及使得自主采集自拍照片、第一视角视频等多媒体数据成为可能,这些自主多媒体数据包含了大量和个体健康状况相关的信息;另一方面,随着以深度学习为代表的机器学习方法的发展,基于多媒体数据进行信息提取和处理的相关技术日趋成熟。在这一背景下,本文旨在基于深度学习方法提取自主多媒体数据中的个体健康信息,具体包括与先天疾病相关的静态内因和与日常生活行为相关的动态外因。这些健康信息将提高现有个人健康画像的便捷性和丰富度。本文的主要内容则依据以上两方面展开,主要包括:(1)利用人脸自拍图像这一自主多媒体数据,识别人脸图像是否患有伴面容遗传综合征,即通过分类算法对人脸图像进行特征提取并进行分类。本文通过实验对多个分类网络的性能进行了对比,最终选取Inception-v3作为人脸分类模型的主干网络,使用对抗生成网络的思想缓解了由于人脸数据不充足而无法使模型达到较好训练效果的问题。并通过实验设计对准确率改善进行了验证,相比于未加入生成数据的原始数据集,本文所采用的模型在融合生成图像和原始图像的数据集上的准确率上有约为8%的小幅度提升。人脸识别结果即可作为个体健康画像中的静态内因,例如是否有患遗传综合征的可能等。(2)利用第一视角视频这一自主多媒体数据,通过对视频理解相关算法的深入研究,结合第一视角与第三视角视频的区别来设计适用于第一视角的行为识别方法。首先对第一视角的独有特点、传统的行为识别方法不适合第一视角行为识别的原因进行了阐述,提出了适配第一视角数据集的融合场景信息的行为识别方法;然后详细介绍该方法中包含的网络结构,分别是一个2D结构等卷积网络和一个3D结构等卷积网络;最后对提出的方法在第一视角数据集上进行实验,根据实验结果中的准确率变化,对融合场景信息的行为识别模型进行了可行性验证,对第一视角视频的识别所获取的信息作为个体健康画像中的动态外因,例如跑步、骑车等。本文定位于对健康状况的自主监督和面向医生的诊前辅助,利用个体自主采集多媒体数据,对健康相关信息进行实时记录和预判,描绘“健康画像”,结合个体生活习惯,预测“健康走势”,为医生提供诊断参考,更好的开出“健康处方”。