首页 > 电脑 > 高性能计算GBDT的原理是什么?

高性能计算GBDT的原理是什么?

电脑 2024-01-29

从原理上来说,GBDT 和 SVM 哪个更强?为什么

GBDT 全称为 Gradient Boosting Decision Tree。是一种基于决策树(decision tree)实现的分类回归算法。GBDT 有两部分组成: gradient boosting, decision tree。 支持向量机(support vector machine)是一种分类算法,通过寻求结构化风险最小来提高学习机泛化能力,实现经验风险和置信范围的最小化,从而达到在统计样本量较少的情况下,亦能获得良好统计规律的目的。 这两个算法关键看应用场景,主要是特征数量、训练过程和可解释性有区别。SVM 能够训练大量特征,不用考虑特征离散化或者分段,非线性映射可以很好的分

gbdt算法是什么?

如下图:


在建立GBDT对象并作fit之后,可以使用如下代码获得要的规则代码:

dot_data = tree。export_graphviz(model_tree, out_file=None,

max_depth=5, feature_names=names_list, filled=True, rounded=True) # 将决策树规则生成dot对象。

模型最终可以描述为:

Fm(x)=∑m=1MT(x;θm)Fm(x)=∑m=1MT(x;θm)

模型一共训练M轮,每轮产生一个弱分类器T(x;θm)T(x;θm)。弱分类器的损失函数

θ^m=argminθm∑i=1NL(yi,Fm−1(xi)+T(xi;θm))θ^m=arg⁡minθm⁡∑i=1NL(yi,Fm−1(xi)+T(xi;θm))

Fm−1(x)Fm−1(x)为当前的模型,gbdt通过经验风险极小化来确定下一个弱分类器的参数。具体到损失函数本身的选择也就是L的选择,有平方损失函数,0-1损失函数,对数损失函数等等。如果我们选择平方损失函数,那么这个差值其实就是我们平常所说的残差。


标签:理工学科 机器学习 数据 数据挖掘 信息技术

大明白知识网 Copyright © 2020-2022 www.wangpan131.com. Some Rights Reserved. 京ICP备11019930号-18