基于改进的共轭梯度算法实现的最小二乘隐空间支持向量机

基于改进的共轭梯度算法实现的最小二乘隐空间支持向量

机

摘要：本文研究了最小二乘隐空间支持向量机的优化问题。文中采用基于对称超松弛预处理技术改进共轭梯度算法，改进的共轭梯度算法只需求解一个阶数为 的线性代数方程组即可，大大节省了计算时间。最后将其应用于最小二乘隐空间支持向量机中建立数学模型，并通过实例验证了该算法的优越性。

关键词：最小二乘隐空间支持向量机；改进的共轭梯度算法；预测

中图分类号：tp 文献标识码：a 文章编号：1007-9599 （2012） 18-0000-02 1 引言

支持向量机（svm，support vector machine）是近些年发展很快的一种基于统计学习理论的机器学习技术系统[1]，在小样本、非线性及高维模式识别等领域具有更好的处理性能。svm的数学模型可以归纳为一种对二次凸规划问题的探究，这类问题是一种求解具有线性约束条件的二次凸规划问题，并且通过引入核方法，将样本空间中的内积运算替换成核函数，从而克服了机器学习理论中的维数灾难以及局部极小等问题．svm具有很强的适应能力，近些年来支持向量机在模式识别、回归估计、信号检测等方面都有非常广泛的应用[2～5]。

无论对于二分类问题还是回归问题，原始支持向量机都需要解

一个带不等式约束的二次规划问题。为了简化svm的运算过程，节省运算时间，提高机器学习效率以及稳定性，文[6]中基于等式约束和最小二乘损失函数提出了解二分类问题的最小二乘支持向量机，至于解回归问题的最小二乘支持向量机，它实际上是一种岭回归。文[7]在此基础上针对带噪声的回归问题提出了加权最小二乘支持向量机。文[8]和[9]分别提出了一种基于隐空间的最小二乘支持向量机以及针对分类问题的基于矩阵模式的最小二乘支持向量机。目前，最小二乘支持向量机在分类和回归中得到了广泛的应用，取得了很好的效果[10～11]。由于共扼梯度算法迭代次数较多，收敛将很慢。为减少迭代次数，加快收敛速度，可以设法先降低系数矩阵的条件数，本文采用基于对称超松弛预处理技术改进共轭梯度算法，并将其应用于最小二乘隐空间支持向量机中建立数学模型，最后，将建立的数学模型应用于股票价格的短期预测，并得到了理想的预测效果。