一些心理学工作表明,人格特质能从侧面反映出面试者的适应性、社交表达、领导才能等能力。因此,基于人格特质评估的面试评价方法成为不少企业的人才初筛方式。在招聘过程中使用人格特质测试,能帮助人力资源部门更快找到合适的人选,提高员工工作满意度。随着异步视频面试逐渐成为面试的一种流行形式,一些研究者利用求职者在视频中表现出的社交信号进行自动面试评价分析。然而,现有的算法还存在着一些挑战,一方面,现有的算法不能有效地将人力资源顾问的专业知识结合到算法中,算法的可解释性不强,并且由于视频信息的复杂性,模型往往需要大量数据进行训练,导致人力资源顾问所花费的标注时间成本较大。另一方面,现有的多模态面试评价算法很少挖掘多模态信息间的一致性问题,导致一些重要的模态对齐信息被模型所忽略。为了解决上述挑战,本文提出了以下方法:1)提出了一种基于关键词注意力机制的人格特质预测网络,将人力资源顾问提供的关键词先验知识融入到算法中,模型通过注意力机制建模关键词信息与答案之间的匹配关系,增强了泛化性能。2)提出了一种基于窗口一致性的多模态融合网络,以捕获短时间窗口下不同模态的表达一致性,重点挖掘多模态中的语言信息。本文通过真实场景下的异步面试数据集进行实验,验证了上述所提出方法的有效性,并通过可视化的方式进行了案例分析。最后,本文开发了一个基于多模态人格特质分析的面试系统,涵盖视频面试流程中从面试邀请到面试评价的一体化全流程。通过建立数据平台,给企业招聘团队提供海量数据存储的支持,并将本文提出的多模态算法集成到系统中,最终提高用人企业人才招聘的效率,有效实现信息的统一管理。