人们对移动通讯业务与日俱增的需求,迫使学者们不断的对相应的技术进行改进。在整个通信过程的各个模块中,接收端检测算法一直是学者们研究的重点。而在诸多检测算法中,多符号差分检测算法作为一种性能优异并且不需要进行信道估计的检测算法得到了更多的关注。目前,大多数的多符号差分检测(MSDD)算法是基于树形检测的,而在诸多的树形检测算法中,最大似然(ML)检测算法是一种误码率(BER)性能最优的检测算法,但是此类算法使用的是穷搜索策略,搜索树形图中的所有分支节点,使得算法的计算复杂度与调制方式,多符号分组长度,系统天线数成指数关系,从而导致其在实际运用中计算复杂度过高,无法运用。因此,一些优化复杂度的检测算法相继被提出来解决这个关键难题,来降低树形检测算法的计算复杂度,从而提升在实际运用中的可实现性。这类算法大体有3种树形搜索策略的优化思路:深度优先,宽度优先和度量值优先。但是这些搜索策略的硬件需求依然较大,宽度优先的检测性能不及深度优先和度量值优先,但是深度优先和度量值优先算法由于返溯搜索策略的原因复杂度依然较高,而硬件条件限制的固定存储空间也会限制度量值优先算法得性能,因此还需要对这些问题进行针对性的优化。本文借助协作和MIMO两种通信系统,分别从信源端和接收端对宽度优先和度量值优先两种策略进行优化,针对此类算法的复杂度问题,检测译码性能问题和硬件实现问题提出优化解决方案。首先,在放大转发协作系统模型下,本文从信源端和接收端两部分优化了多符号差分宽度优先球形译码树形检测算法,用于提升宽度优先树形检测策略的译码性能的同时,降低协作系统的复杂度。在信源端,采用一种新的查表差分算法,运用此算法能够在调制部分避免的传统差分复杂的数学运算,从而降低硬件实现难度。在检测端,针对多符号差分检测复杂度高和宽度优先检测性能不佳的问题,提出结合自动更新半径的宽度优先球形译码(Auto-Updating Radius Sphere Detection,AUR-SD)算法的树形搜索策略,利用更新半径来更新裁减搜索的树形分支节点的数目,从而降低宽度优先误删除节点的概率,提升译码检测性能。随后,在MIMO系统模型下,针对度量值优先树形搜索策略计算复杂度高和硬件实现需求大的问题,本文提出了一种基于概率排序的存储约束树搜索(Probabilistic Sorting Memory Constrained Tree Search,PSMCTS)算法,利用概率排序的性能优势提升最佳度量值节点选择的准确度,从而降低存储器对于预存度量值节点存储数目,并且加快整个树形搜索过程,以此来解决度量值优先策略的大存储空间需求和高复杂度的问题。经过理论推导和仿真对比分析得出,在AF协作系统模型下,结合了查表差分编码方案的AUR-SD树形搜索策略不仅使得算法复杂度得到了明显的改善,也使得在算法性能上相比传统宽度优先球形译码检测算法更加逼近ML算法。因此,可以作为一种较好的树形搜索策略应用在协作系统中。而在MIMO系统模型中提出的PSMCTS算法能够有效的继承度量值优先策略的优势,并且能够动态地适应预设的存储空间,有利于硬件实现。而且排序算法提高了检测性能,加快了整个树形搜索的过程。在固定的存储需求下,这种经过排序优化的度量值优先搜索策略在性能表现上更加逼近ML算法,同时能够解决MCTS算法在小存储容量条件下在低信噪比区域,计算复杂度仍比较高的问题。因此,PSMCTS同样可以作为一种有效的树形搜索策略应用在MIMO通信系统中。