论文部分内容阅读
由于生物信息学、心理学诊断、计算语言与语音学、计算机视觉、门户网站、电子商务、移动互联网、物联网中处理高维和超高维数据的需求不断涌现,迫切需要研究具有变量选择和特征降维功能的回归和分类模型,所以以Lasso、自适应Lasso和elastic net等为代表的稀疏模型近年来在机器学习领域中非常流行.然而,这些稀疏模型没有考虑变量中存在的组结构、重叠组结构、双层稀疏结构、多层稀疏结构、树结构和图结构等结构化信息.结构稀疏模型考虑了这些结构先验信息,改善了模型对特征选择的结果和稀疏模型在相应结构稀疏化数据背景下的统计特性.结构稀疏化模型是当前稀疏学习领域的研究方向,近几年来涌现出很多研究成果,文中对主流的结构稀疏模型,如组结构稀疏模型、结构稀疏字典学习、双层结构稀疏模型、树结构稀疏模型和图结构稀疏模型进行了总结,对结构稀疏模型目标函数中包含非可微、非凸和不可分离变量的结构稀疏模型目标函数近似转换为可微、凸和可分离变量的近似目标函数的技术如控制-受控不等式(Majority-Minority,MM),Nesterov双目标函数近似方法,一阶泰勒展开和二阶泰勒展开技术,对求解结构稀疏化模型近似目标函数的优化算法如最小角回归算法、组最小角回归算法(Group Least Angle Regression,Group LARS)、块坐标下降算法(block coordinate descent algorithm)、分块坐标梯度下降算法(block coordinate gradient descent algorithm)、局部坐标下降算法(local coordinate descent algorithm)、谱投影梯度法(Spectral Projected Gradient algorithm)、主动集算法(active set algrithm)和交替方向乘子算法(Alternating Direction Method of Multipliers,ADMM)进行了比较分析,并且对结构稀疏模型未来的研究方向进行了探讨.