深度卷积神经网络结构的设计是非常具有挑战性的工作,需要根据任务本身的特点以及专家的经验进行大量的尝试。提高网络性能往往需要更加复杂的网络结构;而随着网络模型复杂度的增加,网络结构的设计也愈加困难。因此,一些工作开始研究网络结构搜索算法使得计算机能够自动搜索出性能优秀的神经网络结构。但是,当前的网络结构搜索方法还存在搜索过程不稳定等一系列挑战。本文首先从解决图像分类任务的网络结构入手,手工地进行了深度神经网络结构的修改和设计,并进一步针对网络结构搜索算法展开了深入的研究。本文分别从手工设计和自动搜索网络结构两方面开展了以下研究:1)在手工设计网络结构方面,针对复杂网络结构计算资源消耗大的问题,本文从解决图像分类任务的网络结构入手,提出了一种高效的轻量化卷积神经网络结构。首先针对分组卷积中各个组间的特征无法交互所导致的特征表达能力弱的问题,本文提出了层级分组卷积来逐级的融合各个组的特征,从而更加充分的利用组间信息来提高自身的特征表达能力。在此基础上,本文构建了一个高效的轻量化网络模型。实验表明,该网络在分类准确率和效率方面的性能表现均优于现有的轻量化网络模型。2)在自动搜索网络结构方面,针对当前的网络结构搜索方法搜索过程不稳定的问题,本文提出了一种高鲁棒性的可微分网络结构搜索算法。首先,现有可微分网络结构搜索算法直接通过网络结构参数来判断候选操作的重要性,但是已有工作证明网络结构参数值高的候选操作并不一定是最优的。为了更好的判断候选操作重要性,本文提出了一个更加准确的候选操作重要性判断指标来指导模型的搜索。其次,为了提高搜索效率,已有可微分网络结构搜索算法会采用候选操作剪枝策略;然而,由于在搜索的过程中整个网络并未完全收敛,候选操作重要性判断指标往往会产生浮动,仅根据当前时刻的信息来进行剪枝操作鲁棒性较低。本文在提出的候选操作重要性判断指标的基础上进一步提出了基于高阶马尔可夫链的候选操作剪枝策略,通过综合前几轮迭代过程的历史信息来更准确的决策当前时刻需要去掉的候选操作,提高候选操作剪枝过程的鲁棒性。最后,在图像分类与图像分割两个任务上,应用了本文提出的搜索算法。实验结果表明本文提出的网络结构搜索算法在搜索效率和性能方面均优于现有的网络结构搜索算法。