近些年,随着太赫兹成像系统和技术的快速发展,太赫兹已经被认为是最有竞争力的下一代人体安检技术手段。太赫兹能够穿透衣物,发现人体携带的隐匿物品,相较于金属探测器只能检测金属,太赫兹安检系统可探测的物品包括金属、陶瓷、塑料、粉末等多种分类,相较于X射线,其光子能量较低,对人体没有电离辐射,因此人们越来越关注基于太赫兹成像安检系统的研究。本文针对太赫兹图像偏暗、肉眼识别率低等特点,结合深度学习中的目标检测,设计一种以VGG16为基础网络,在Faster RCNN基础上进行改进的太赫兹危险物品检测的网络结构。首先,针对实际中太赫兹数据集样本量少的问题,通过旋转、平移和亮度调节等操作,在不新增样本的前提下,增加了数据集样本数量,提高模型的鲁棒性,使模型的分类准确率提升了2.37%。另外,利用公开数据集pascal voc训练得到一个预训练模型,然后固定预训练模型的卷积层,分别改变softmax层和全连接层的学习率,使用预训练模型的参数代替随机初始化的参数,通过不同的迁移学习策略来帮助新模型的训练,经过多次实验对比发现,模型的最高分类准确率提升大约2.3%。经过数据增强和使用预训练模型,模型的分类准确率提升大约3.2%。最后,针对模型中存在的正负样本不平衡的问题,借鉴传统机器学习中自举法的思想,通过改进Loss层来选取训练中的困难样本,将其余候选框的梯度置为0这种方法来解决样本不平衡的问题,相较于设置正负比例随机采样,修改Loss层的方案不仅减少超参数的设置,还提高模型大约1.8%mAP(mean average precision)。