三维物体识别是物体识别领域重要的研究方向之一,尤其是近年来,三维物体识别在机器人抓取、探测、自动驾驶,装配任务及医学图像分析等等领域发挥者重大的作用。而基于多视角的三维物体检测算法是三维物检测的流行趋势,其与基于形状的检测方法对比,优点是不依赖复杂的3D特征、数据量大、有成熟的高级网络框架,简单而高效。与单视角图像的识别相比,多视角图像可以互相补充物体细节特征,这样即使在有遮挡、明暗变化的情况下,三维物体仍能被准确识别。本文从基于多视角的卷积神经网络出发,研究对比了在该模型下使用不同视角选择方案对检测结果的影响,同时对该模型下多视角特征融合方式进行反思,创新性的提出了一种基于视角加权式的池化方式,为后续分类网络提供更丰富的视角特征。更进一步,鉴于多视角数据采集过程有一定的规律性和时序性,本文在卷积神经网络的基础上引入了循环神经网络单元,利用循环神经网络对历史信息的记忆特性对历史视角特征进行融合,同时在该网络中设计了三种不同的注意力模块,让每个视角在空间维度和通道维度上提取更多有用的细节信息。最后,为了能让模型具有主动选择下一最佳视角的能力,本文引入了强化学习模块,采用带有基准线的REINFORCE策略梯度方法,结合随机梯度下降算法进行联合训练。且为了解决视角选择的“边界效应”以及子网络训练不平衡问题,本文提出了一种分类置信度引导式的策略梯度流增强方法。同时在损失函数中加入具有视角位置限制的正则化项,避免选择视角之间相互重叠,保证选择的视角更分散地环绕在三维物体周围,从而学习到更为全局的物体特征。