机器学习第5步：模型评估的集成学习套袋法

原标题：机器学习第5步：模型评估的集成学习套袋法

本文属于李福东《人工智能100讲》原创内容，了解更多请**下载知识星球APP，找“84404036”，**点我获取**数智萤火虫原创精品列表。

内容摘要

套袋法的英文是Bagging，它采用随机替换样本的方式，不会出现在再次采样的数据集之中，每个分类器从训练数据集接收随机样本子集，这样的随机样本子集按照轮次（round）提供，是一种有效的降低模型方差的方法。

文章编号：AI-0024-V1.1

所属类别：人工智能

文章正文

多数投票分类器采用训练数据集拟合单个分类器，而套袋法（Bagging）则采用随机样本替换的方式，从初始训练数据集中抽取样本，因此，套袋法也被称作自举汇聚法（Bootstrap Aggregating）。

套袋法抽取数据的方法如下图所示：

从上图可以看出，每个分类器从训练数据集接收随机样本子集，这样的随机样本子集按照轮次（round）提供，每个子集包含重复样本以及原始样本，这些原始样本因为采用抽样更换的方式，因此根本不会出现在再次采样的数据集之中。一旦单个分类器拟合到自举样本，预测结果就会被多数投放法合并起来。

套袋法是一种有效的降低模型方差的方法，然而，套袋法在减少模型偏差方面是无效的，也就是说，如果模型过于简单，套袋法是无法很好地捕捉数据中的趋势，这就是在低偏差的分类器集合上执行套袋法的原因。

从上图可以看出，套袋集成对于三角形深度决策树的分段线性决策边界来说更加平滑一些。

内容小结

现实中，分类任务通常是比较复杂的，数据集也具有高维性，采用单一决策树很容易引起过拟合，这就是套袋算法的价值所在。套袋算法对于减少模型方差非常有效，对于减少模型偏差却无能为力的。

以上是《人工智能100讲》中关于机器学习第5步：模型评估的集成学习多数投票法和套袋法，下一节将学习模型评估的集成学习的自适应法。

如需获取实现代码，请进入本文作者知识星球下载（下载知识星球APP，找“84404036”）。

了解更多关于大数据、人工智能、数字化转型的相关内容，请**微信公号：李福东频道。

人工智能 100讲 系列文章

以蒸汽机、电力、计算机、机器人等代表的四次工业革命，以及人工智能时代的到来

人工智能应用在中国遍地开花，助力千行百业转型升级

美国在人工智能技术与应用方面不断创新突破

为什么机器能够产生智能？揭开机器智能的神秘面纱

机器学习在人工智能体系架构中的定位及其学习方式

机器是怎样学习的？机器学习的方法与步骤

鸢尾花分类，一个经典的机器学习教科书案例

机器学习第2步：数据预处理的归一化、标准化等方法

机器学习第3步：特征工程的PCA降维法

机器学习第3步：特征工程的线性判别分析LDA降维法

机器学习第3步：特征工程的主成分分析KPCA降维法

机器学习第4步：模型选择的机器学习过程管道化

机器学习第4步：模型选择的Holdout交叉验证法

机器学习第4步：模型选择的K折交叉验证法

机器学习第4步：模型选择的学习曲线调测法

机器学习第4步：模型选择的验证曲线调测法

机器学习第4步：模型选择的网格搜索法

机器学习第5步：模型评估的嵌套交叉验证法

机器学习第5步：模型评估的性能度量指标

机器学习第5步：模型评估的ROC曲线法

机器学习第5步：模型评估的多级分类与类失衡问题

机器学习第5步：模型评估的集成学习多数投票法

数智萤火虫

愿景目标：致力于为学员提供以大数据、人工智能、数字化转型为核心，从技术到产品，从战略到运营的系统化、高品质知识服务，培养专家型、应用型、实战型人才。

服务内容：会按需延伸至企业架构、产品经理、区块链、5G、AR、VR等领域，帮助您掌握最新的理念、思维、方法、技术与工具，与时俱进，创新发展。

交付理念：起步于技术、聚焦于产品、深耕于运营、决胜于战略，帮助学员实现从点到线，再从面到体的蜕变式修炼与进阶。

交付形式：文章、PPT、音频、视频、微信群、直播、沙龙、答疑、考评等多种形式，多媒体、多触点、线上线下相融合，切实解决工作与学习中遇到困难和问题，提升实战能力。

加入知识星球，您将至少获得：

1、高薪职位推荐。星球帮助学员存放简历，免费对接优选岗位。

2、职业规划指导。帮助学员少走弯路，快速平滑晋级、晋升。

3、精品内容尝鲜。每周至少分享1篇原创精编长文。

4、PPT干货下载。定期推送最新培训、项目、公开课资料。

5、精美礼物赠送。小礼品、红包、作者签名书等。

6、在线问题答疑。72小时内答复个性化问题。

本星球属于你我共同成长的家园，希望我们有缘相聚，共同拥抱数字化时代的新浪潮、新机遇，不负韶华、共创共赢！

选择精品，高效进阶

责任编辑：

相关知识

机器学习第5步：模型评估的集成学习套袋法
【重工的课】机器学习
硬核对话机器学习教父、走进斯坦福大学，全球AI峰会今日开幕｜钛媒体“全球科技月”
京郊陆地桃开始套袋 桃农盼无袋栽培技术
杭州楼市新政后首套法拍房成交 较评估价低129万元
人工智能、机器学习、数据挖掘的区别
顾景舟 时大彬 紫砂壶学习鉴定评估资料（市场）
万息集训精品打造【IT咱谈】讲座，行业大咖畅谈UOKO大数据机器学习
图灵奖得主辛顿谈无监督学习问题根源：忽略数据间关联捕捉
机器学习实现了脑机语言翻译，那距离“意念交流”还有多远？

网址: 机器学习第5步：模型评估的集成学习套袋法 https://www.alq5.com/newsview271286.html