快速排序时间复杂度递归 快速排序递归调用栈的更大深度

2022年5月1日发

(作者：空白格 蔡健雅)

一种改进序贯最小优化算法的方法

作者：项堃喻莹

来源：《现代电子技术》2013年第08期

摘要：序贯最小优化算法（SMO）是支持向量机（SVM）训练算法中一种十分有效的改

进方法优化论坛，但针对大规模样本数据时负面处理，SMO训练速度仍比较慢马鞍山网站建设。为了提高训练速度昆明网站推广，在基本保

持训练精度的前提下alexa排名，提出了一种改进优化策略：即跳过部分与精度无关的向量集、提前结束

循环、松弛KKT条件以便收缩工作集。经过几个的数据集的试验结果表明安国网，此策略可以

大幅缩短SMO的训练时间闻道华东seo，并且精度没有明显变化惠州seo。

关键词：支持向量机；序贯最小优化算法；去除无关向量；收缩工作集

中图分类号：T911⁃34；TP312文献标识码：A文章编号：1004⁃373X（2013）

08⁃0017⁃03

0引言

支持向量机（SupportVectorMachine天津网站优化公司，SVM）[1]是1995年由Cortes和Vapnik首先提出的

一种新的分类回归方法google博客。它是建立在统计机器学习的VC维理论和结构风险最小化的理论基础

之上。在模式识别、数据挖掘、分类、回归等问题领域都表现出许多特有的优势，因而获得了

良好的应用写软文。

给定输入空间的l个训练样本[（xi百家和购物网，yi）百度收录批量查询，i=1百度是，2网站权重快速提升，…伪原创在线，][l，xi∈Rd，yi∈{-1落伍者，1}]学习网络营销，SVM

的实质是寻更优分类超平面网站推广报价。将寻的过程转化为求解一个二次规划问题[2]，式子最终变

为：

[min：f（α）=12αTQα-eTααi=0石家庄seo，0≤αi≤C刷百度分享，i=1，2google网站优化，…，l]

式中：[e]为全1向量；C为一个重要的参数用户画像，从本质上说是平衡经验风险和置信风险的网络危机，

C越大置信风险越大上海优化seo，经验风险越小武汉seo招聘，并且所有的[α]都限制在边长为C的正方形范围内；[Q]

为l×l的Hessian半正定矩阵上海互联网推广公司，[Qij=][yiyjK（xi长尾关键字，xj）]，而[K（xi，xj）]为核函数。经典的二次

规划算法无法处理数据集过大的问题。因此，[Q]阵的存储和计算成为训练SVM急需解决的问

题。

早期研究中，Vapnik提出了Cing算法；Osuna等人提出了工作集固定的分解算法；

Joachim将Zoutendijk的可行方向法、Shrinking法、KernelCache技术相结合实现了SVMLight

软件；Platt的SMO算法[3]将工作集固定为最小规模，从而可以获得解析解；Keerthi提出了

SMO的改进算法GSMO；孙剑等人运用缓存机制网站 排名，减少对BSV核函数的计算来缩减训练时间

[4]；李建民等人提出了考虑目标函数下降量和计算代价，提高缓存效率的收益代价平衡的工

作集选择算法[5]；张浩然等人提出的策略使得所选取的优化变量能够使目标函数的下降最

多，优化步长更大[6]。近些年来博客网站排名，改进和优化主要涉及到让更多的样本同时得到优化[7]、增

加步长加速收敛速度[8]、综合考虑迭代次数和缓存效率[9]、考虑非正定核的运用[10]、运用聚

类的方法等的方面seo2，并且都取得了一些成效。

本文在分析SMO算法的基础上，针对分类向量集过于庞大、算法后期工作集的选取策

略、停机条件的设置等方面的问题进行了适当的改进。通过对数据集的对比实验打开网页很慢怎么办，发现此

项改进在缩短测试时间的基础上，算法的精度没有很大的变化，仍能达到满意的效果网络营销策划案。

1标准SMO算法

SMO是将大的QP问题分解成最小规模的QP问题嘉兴seo优化，算法在固定其他参数的条件下，每次

仅选择两个Lagrange乘子[α1，α2]进行更新推广计划，由于Lagrange乘子的线性约束条件运城搜搜团，所以可以

解析出这两个乘子所满足条件的更优值沧州seo，不断的优化所有的乘子长沙网站推广公司，最终能够解决这个二次规划

问题网络营销服务外包。

具体做法是首先遍历非边界样本选择一个违反KKT条件的样本[α1]，寻非边界样本

[α2]网站收录查询，如果没有非边界样本可以调整，就遍历所有样本；其次是寻违反KKT条件的边界样

本[α1]看seo，寻非边界样本[α2]，如果没有可以优化的样本就遍历所有样本剑雨seo。寻的依据是使

[E1-E2η]（[Ei]为第i个样本的输出错误）取得更大值百度seo优化。

SMO算法在选择两个乘子配对优化时seo软件，耗时主要是花费在优化选择和迭代次数上。SMO

除了在处理线性SVM和具有稀疏二进制的数据时训练速度较快之外濮阳网站推广，对一般数据是非常慢

的。

2改进SMO的策略

一方面，对于凸优化问题，在实现时需要适当的停止条件来结束优化过程，停止条件可以

是：

（1）目标函数[W（α）]的增长率，即[W（αt+1）-W（α）W（α）]小于某个容忍值就可

以停止沧州网站推广，这个条件是最简单的；

（2）原问题的KKT条件危机处理的公关技巧，对于凸优化来说它是收敛的充要条件徐州网站优化，由于KKT条件本身是

比较苛刻的岳阳seo，所以也可以设定一个容忍值19lou com，即所有样本在容忍值范围内满足KKT条件则认为

训练可以停止；

（3）可行间隙昆明做网站，即原目标函数值[O（w，b）]和对偶目标函数值[W（α）]的间隙黑网站，凸二

次优化问题的间隙是零搜狗和360。当[O（w，b）-W（α）O（w，b）]小于某个容忍值就可以停止。

恰当的停止条件可以使得算法提早结束训练百度baidu，从而节省训练的时间网络推广电话。其实，从本质上来说

可以推广到寻经验风险和置信风险之间的平衡北镇网。