多源性数据SVM集成算法研究(1)(2)

事实上，集成学习最吸引人的地方就是它可以将一个比随机猜测好一点的弱分类器推进为一个具有很高预测精度的强分类器．成员分类器通常也被称为弱分类器，是用决策树、神经网络或者其他的机器学习方法得到的．大部分的集成方法是采用相同的学习方法得到不同的成员分类器，但是也有人采用不同学习方法得到不同的学习器．值得注意的是，虽然理论上集成学习是基于弱分类器的，但是在实际应用当中分类器不一定是弱的．从实验中发现集成好的成员分类器可以得到更好的性能．笔者将采用强分类器ＳＶＭ进行集成学习研究．

２多源性数据集成算法

２．１多源性数据分组特征定义

在医学图像中，通常是从不同的源来挖掘特征．例如几何特征、纹理特征以及灰度特征等．不同的特征具有不同的概率密度函数．可以在图１中看到数据经过归一化后的不同分布，这些特征从不同的侧面充分描述了一幅医学图像．

图１特征图

论文

１３８西安电子科技大学学报（自然科学版）第３７卷

对于不同源的特征采用相同的核映射是不合适的，笔者将不同源特征分情况向高维空间投影．由不同的特征的分组定义分组特征集成算法，如图２所示．

几何特征ｓｖＭＩ纹理特征ＳＶＭｌ灰度特征ＳＶＭｌ全部特征ＳＶＭ

集成学习投票打分

决策输出结果

图２分组特征集成定义图示

２．２基于分组特征的ＳＶＭ集成算法思想

在传统的集成学习中，用ｂｏｏｔｓｔｒａｐ算法将数据重新采样为若干子集，然后使用成员分类器来做决策，最后采用投票策略得到最终的标记．但对于不同源数据来说，采用相同的决策方法显然就不合适了，而ＳＶＭ分组特征集成学习方法可以处理多源数据问题．首先，将样本随机分成训练样本和测试样本，然后将特征根据不同的特性分为不同的组．对于不同的特征组，采用不同核的ＳＶＭ来训练模型，最后采用投票法得出最终的决策标记．基于分组特征的ＳＶＭ集成算法（ＳＶＭ

ＧＦＥ－ＳＶＭ）流程见图３．ＥｎｓｅｍｂｌｅＬｅａｒｎｎｉｎｇｗｉｔｈＧｒｏｕｐｅｄＦｅａｔｕｒｅｓ，缩写

．——一ｌｌ—～＼训练样本全体

Ｂ。。协‘‘ａｐ子表１Ｂｏｏｔｓｔｒａｐ子表２Ｂｏｏｔｓｔｒａｐ子表３Ｂｏｏｔｓｔｒａｐ子表４

Ｉ

几何特征纹理特征１灰度特征全体特征

线性ＳＶＭ多项式ＳＶＭ高斯ＳＶＭ

ｌ

测试样本

工

投票打分

ｌ

决策输出

图３ＧＦＥ－ＳＶＭ算法ｔｔ示

２．３支持向量机常用核函数

实验中选取了３种核函数：

线性核函数

多项式核函数

高斯核函数

２．４分组特征ＳＶＭ集成算法流程

步骤０

步骤１已知竹个样本集合Ｄ＝｛ｚ。，ｚ。，…，毛）以及对应标记Ｙ一｛Ｙ。，Ｙ２’．一，Ｙ。）；将全体样本集合Ｄ分为训练样本Ｄ。ｒ血和测试样本Ｄ。，用ｂｏｏｔｓｔｒａｐ对训练样本重新采样得ｋ（ｘ，Ｘ７）＝ｚ ｚ７，ｋ（ｚ，Ｘ７）＝（ｚ ｚ７＋１）’ ，ｋ（ｘ，ｚ７）一ｅｘｐ（一（ｚ—ｚ７） （ｚ—ｚ７）７／（２ Ｐｉ）），其中的Ｃ为惩罚因子，Ｐ，，Ｐ。为核参数．到ｄ个ｂｏｏｔｓｔｒａｐ子集合｛Ｄ。商Ｉｌ＇，…，Ｄ。。．ｎ，｝；

步骤２将每个Ｄ。。ｈ．根据先验知识将其特征分成若干组得到Ｄ。嘶；

步骤３对每组Ｄ“。ｉ；采用不同的核函数投影到高维空间进行分类；步骤４由Ｉ？Ａ＿ｋ步骤得出若干个成员分类器，对各个成员分类器进行集成，选出最好的若干个分类器；

论文

第１期常甜甜等：多源性数据ＳＶＭ集成算法研究１３９

步骤５用选出的成员分类器对测试样本Ｄ。。进行投票，得出最终的决策标记．

３实验分析

３．１实验数据描述

笔者选用美国ＤＤＳＭ乳腺钼靶Ｘ光片图像数据库‘７３以及美国ＥＬＣＡＰ和ＶＩＡ研究组合作开发的ＥＬＣＡＰ公开肺图像数据库‘８３数据，具有很高的实际应用价值．对原始图像数据进行预处理ｎｍｌ２３得到测试数据，试验当中采用约当指数来评价分类器的性能．

３．２实验结果及分析

采用５折交叉检验取平均值得到测试结果，见表１～表５．表１中，对于ＥＬＣＡＰ数据，与成员分类器相比，传统的集成分类器的精度不是最好的分类器．笔者采用线性、多项式、高斯核函数ＳＶＭ来分别训练几何特征、灰度特征、纹理特征以及全体特征。从表１可以看出来，多项式核函数ＳＶＭ针对几何特征的集成学习器是性能最好的．

表１

特征组核函数肺结节薄层数据分组测试结果精度ＴＰＲ

０．７６４０

０．７９８７

０．７９４７

０．６０８０

０．６３２０

０．６４９３

０．６０００

０．６５６０

０．６７０７

０．７６２７

０．７９４７

０．７９２００．８６９００．８６１３０．８８５３０．７２８００．７８４００．７２０００．６９３３０．７７８７０．６７４７０．８０５３０．８７４７０．８４８０ＦＰＲ０．３４１３０．２６４００．２９６００．５１２００．５２０００．４２１３０．４９３３０．４６６７０．３３３３０．２８０００．２８５３０．２６４０ＹｏｕｄｅｎＩｎｄｅｘ０．５２８００．５９７３０．５８９３０．２１６００．２６４００．２９８７０．２００００．３１２００．３４１３０．５２５３０．５８９３０．５８４０几何特征ＬｉｎｅａｒＰｏｌｙＲＢＦ纹理特征ＬｉｎｅａｒＰｏｌｙＲＢＦ灰度特征ＬｉｎｅａｒＰｏｌｙＲＢＦ全部特征ＬｉｎｅａｒＰｏｌｙＲＢＦ

在表２中，将表１当中的分类器进行组合选出最好的集成分类器并整合起来，与传统的ＳＶＭ分类器相比，基于分组特征的集成ＳＶＭ是性能最好的分类器．其中Ｊ表示几何特征，Ｈ表示灰度特征，ｗ表示纹理特征，Ａ表示全体特征，Ｌ表示线性ＳＶＭ，Ｐ表示多项式ＳＶＭ，Ｇ表示高斯ＳＶＭ．ＡＬ表示用线性ＳＶＭ对全体特征的训练模型，以此类推可得．

表２肺结节薄层数据集成结果表

集成分类器集成精度ＴＰＲ

Ｏ．７５７３Ｏ．８７４７

０．８３２０

０．８６９３

０．７４９３

０．７４６７

０．８６１３

０．８９６０

０．８９８７

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说高考高中多源性数据SVM集成算法研究(1)(2)在线全文阅读。