近年来,目标检测算法发展日新月异,目前广泛应用在人脸检测、视频监控、医疗诊断和智能交通等方面,这些应用彻底地改变了人们的生活。现阶段基于深度学习的目标检测技术在一般检测任务中的检测效果表现优异,但在小目标检测问题上检测效果不理想,本文针对小目标检测技术开展了基于多卷积核的深度可分离分组卷积Res Net和基于改进RPN的小目标检测算法研究,提出了改进的Faster RCNN算法,主要研究工作包括:针对小目标特征提取能力不足问题,设计了基于多卷积核的深度可分离分组卷积Res Net。首先,对小目标特征提取网络分析,设计基于深度可分离卷积的Res Net作为特征提取网络。然后,使用多卷积核的拓扑结构增强网络的适应性;使用分组卷积的方法改进卷积形式,实现对网络中参数量和计算量的压缩;在分组卷积之后提出改进的通道混洗,增强不同分组之间的特征信息交流;使用Mish激活函数避免出现低维数据坍塌现象;结合残差连接形式,构成多卷积核的深度可分离分组卷积Res Net（MDWSR）。最后,在DOTA数据集上进行实验,改进的特征提取网络MDWSR的Top1错误率和Top5错误率相比于传统Res Net降低了3.34%和1.56%,模型复杂度降低了23%,相比于其他网络模型也有显著优势。针对RPN网络中anchors对应尺寸和比例与小目标不匹配问题和候选框预测不准、出现漏检问题,提出了基于改进RPN的小目标检测算法。首先,在RPN网络中用聚类算法对anchors分析,提出了基于kl＿DCP的anchors设计,将kl散度的差异性衡量标准引入到DCP聚类算法中,对anchors重新设计,设计更适合小目标尺寸和比例的候选框。然后,在RPN网络候选框后处理中,提出自适应阈值的Softer-NMS算法,将损失函数设计成kl loss,回归增加一个分支预测标准差,并且将标准差引入到损失函数中,通过预测候选框周围的疏密程度,采用不同的阈值抑制策略,对候选框加权平均处理和坐标更新。最后,改进的RPN在DOTA＿6数据集上进行对比实验,改进的RPN相比于传统RPN网络m AP提高了6.76%,FPS也达到了每42.87帧。本文提出的针对小目标检测改进策略,以MDWSR为特征提取网络,使用改进后的RPN为区域建议网络,得到最终改进的Faster RCNN算法。相比于传统Faster RCNN,改进的算法m AP提高13.98%,FPS达到每秒43.25帧;相比R-FCN和YOLO V3等其他网络,本文算法也有较好的检测效果,证明了本文改进策略在小目标检测任务上的有效性和可行性。