基于广义正则化理论框架,本文提出了四种机器学习算法原型,其中分类算法三个,聚类算法一个。通过大量实验,验证算法的有效性。　　现有支持向量机的正则化阶次都是事先给定,预设p=2或者p=1或者p=0。而本文的实验研究显示,不同的数据,使用不同的正则化阶次,可以改进分类算法的预测准确率。本文提出了Lp范数正则化SVM分类器算法设计新模式,正则化范数的阶次P由算法根据数据自主选取,可取范围为0＜p≤2。　　自从J.Kivinen和M.Warmuth提出权衡正确性与保守性的在线学习框架后,在线学习框架已被广泛引用。但是在J.Kivinen和M.Warmuth提出的梯度下降和指数梯度下降算法中,对目标函数中的损失函数求导过程中使用近似步骤会引起的不好的在线学习结果,本文中,运用对偶最优化理论,提出了非近似的基于平方距离相关熵损失函数分类算法和基于相关熵距离相关熵损失函数分类算法。　　针对处理高维海量数据时,聚类算法用时太长,提出了基于抽样的多模态分布聚类优化算法,该算法随机地抽取少量样本进行循环校正,减少了聚类时间,通过大量实验找出算法的最优配置参数,结果证明该优化算法以11.8%的聚类时间得到了88%的聚类准确性,为高时间成本的应用环境提供了最优的聚类方案。