第30卷，第11期 2010年11月
光谱学与光谱分析 Spectroscopy and Spectral Analysis
Vol.30,No.11,pp3041-3046 November，2010
一种改进的随机检验法用于主成分选择以避免
光谱分析校正模型的过拟合或欠拟合
李丽娜，李庆波，阎侯赖，张广军·
北京航空航天大学仅器科学与光电工程学院，精密光机电一体化技术教育部重点实验室，北京100191
摘要为了避免主成分个数选择不当引起的校正模型过拟合或欠拟合，提出了一种改进的随机检验法，应用该方法对样品复杂程度递增的三组近红外光谱数据进行了实验研究，并与交互验证法进行了比较，分
示，该方法可避免交互验证法别除样本的过程，考虑了全部训练样本的信息，可客观地选择主成分，有助于避免过拟合或欠拟合，提高校正模型的预测精度；该方法不同于一般随机检验法的统计检验过程，简化了判据，易实现，选择过程可视化、可交互；在三组实验中，分别选择4，5和8个主成分建模，其外部独立预测集的预测结果最优；该方法适用于小样本复杂样品建模。
关键词光谱分析；定量校正；随机检验；偏最小二乘；主成分
中图分类号：0657.3
引言
文献标识码：A
DOI: 10.3964/j. issn.1000-0593(2010)11-3041-06
时，加人了随机化过程，对随机化模型与原始模型的统计参数进行显著性检验，通过分布统计来判定PLS主成分个数，由于该法无需别除样本，考虑了全部训练样本信息，因此具
光谱分析技术结合化学计量学方法是快速、无损检测化学组分含量的新手段，通过对已知物质成分含量或性质的光谱数据建立定量校正模型，可预测未知样品的成分含基或性质。在化学计量学中，偏最小二乘法（partialleastsquares， PLS)是目前常用的光谱分析定校正模型[-]。PLS主成分（或称潜变量、因子）的选择是建立预测性能优秀的校正模型的重要环节。选择合适个数的主成分建模，可避免光谱分析校正模型的过拟合或欠拟合间题，有助于提高校正模型的预测能力(3.4)]。
验证是一种常用的选择主成分个数，避免模型过拟合或欠拟合的有效方式。目前，常用的验证方法大体可分为两类：一类是交互验证的方法[>)，如留一法（leaveoneout， L(XO)、k折(k-fold)交互验证法（crossvalidation，CV)、蒙特卡罗交互验证法（Monte-Carlocrossvalidation，MCCV）等；另一类是统计检验的方法[*10]，通常，交互验证法是根据残差平方和判定主成分个数，只是不同方法别除样本的方式（如逐个或随机等）及别除样本的个数有所不同；而类如 Wiklund等提出的随机检验方法(]，则是在计算每个主成分
有一定的客观性，但其统计判定过程比较复杂。为了简化主成分选择过程、提高建模效率，并选择客观的主成分建模，以避免模型的过拟合或欠拟合间题，提高模型的预测性能，本研究提出了一种改进的随机检验法用于PLS主成分个数的选择。该方法在随机检验过程中，仅根据各主成分对PLS 模型的相对负献率大小及其曲线，来判定含有用信息的主成分用于建模，面无需传统随机检验中的显著性检验和分布统计过程，在简化了判定过程的同时，使得主成分个数的选择过程可视化，可方便快速、交互式地、客观地选择含信息主成分用于建模。
本文给出了用于选择最佳主成分改进的随机检验判别方法，用该方法对样品复杂程度依次递增的一组近红外光谱数据（二成分水落藏离体实验、四成分水落液离体实验、人体近红外无创检测在体实验)进行了谢萄榭浓度测定模型主成分选择的实验研究，并与基于残差平方和的交互验证方法进行了比较分析，讨论了模型复杂程度不同（即主成分个数选择的不同)对光谱定量校正模型预测能力的影响，同时还讨论了该方法对样品复杂性不同的光谱数据的适用性问题。
收稿日期：2009-12-02，修订日期：2010-03-06
基金项目：国家白然科学基金项目(60708026)和长江学者和创新团队发展计划项目（IRT0205)资助
作者简介：李丽娜，女，1978年生，北京航空航天大学仪器科学与光电工程学院博士生
*通讯联系人
e-mail:Rjzhang@buaa..educn
万方数据
e-mail;lln604@163.com