因子分解机(Factorization Machine)是近几年被提出的,主要用于解决大规模稀疏数据中特征组合问题的算法,它是一种结合矩阵分解和支持向量机的机器学习算法。因子分解机对交叉项系数采用一种因子分解的方式,其在稀疏数据中也能很好的学到隐含数据中变量间的相互关系。组合特征是通过将单特征进行组合而形成的高阶特征,有助于表示数据中的非线性关系,可以表达比单特征更多的数据底层语义。本文立足于自定义特征组合,对面向分类和序数回归任务的因子分解机进行研究,具体成果如下:(1)基于频繁模式,提出一种面向分类的组合特征提取方法。首先,挖掘数据中有关类别的频繁模式,作为组合特征依据;其次,为了使提取的组合特征对类别区分有帮助,本文使用K-L散度度量频繁模式的类别区分能力;最后,给出了特征组合方式,利用最有区分能力的前m项频繁模式进行特征组合。实验结果表明,使用该方法提取的组合特征,对多数分类模型的效果都有提升。(2)针对序数回归问题,提出一种面向序数回归的组合特征提取方法。为了使提取的组合特征包含标签的序数信息,提出一种有序二元分解的方法,把序数回归有序分解为多个二元子问题。在每个二元子问题上,挖掘有关类别的频繁模式,并计算相关K-L散度。考虑到在不同子问题中,频繁模式K-L散度的不平衡性,提出一种循环选择频繁模式的方法,平衡选择区分不同等级的频繁模式,利用最后选择出的频繁模式进行特征组合。在公开数据集和自有数据集上,使用多种序数回归模型进行了实验论证。实验结果表明,使用最有区分能力的频繁模式组合特征,能够有效提升大多数序数回归模型的训练效果。(3)提出一种基于自定义高阶特征的因子分解机(CHOFM)。因子分解机只能学习特征之间的二阶关系,属于二阶多项式模型。高阶因子分解机通过穷举的方式,列举了全部特征组合项,这导致模型过于复杂,不易求解。本文提出一种基于自定义高阶特征的因子分解机,使用一组自定义的高阶特征组合规则集代替原始的高阶组合。这种方式既减少了无效的特征组合,同时保留高阶组合特征的表达能力。本文给出了基于SGD的CHOFM模型训练方法。实验结果表明,CHOFM模型效果相对FM模型更优。此外,CHOFM模型具有更好的收敛性。