【機器學習】：決策樹之CART迴歸樹
阿新 • • 發佈：2021-12-07
在決策樹演算法當中，cart迴歸樹是決策樹的一種，它用來做迴歸的策略十分常見。可能還會在後續的GBDT模型當中所運用到，用來作為我們分裂節點的一個標準，我們來了解了解。
備註：
在進行計算迴歸樹的c1和c2的值的時候，我們使用的方法，是對c1所在的區域做一個平均值，然後對c2的所在的區域算出一個平均值。c1和c2的交界處就是我們進行split的一個特徵。比如x>2.5. 而分裂策略是通過平均誤差來進行計算的，得到最小的均方誤差，就可以使用具備最小loss的這個點來作為我們cart迴歸樹的分裂點。在gbdt當中，每一輪都適用cart迴歸樹來對分裂點進行計算。同時通過最小化殘差來作為我們的判別標準。最後把所有樹的結果加起來（不帶權重，adaboost有帶權重），就得到了最後我們的整合模型。