最近在看李航的統計學習方法P11時發現一個多項式函式擬合問題覺得公式的推導有問題，於是看了一些資料發現這裡的推倒是有錯誤的，用python程式設計驗證後發現按書上的求導結果擬合後的函式影象完全不對，下面給出正確的推導結果和對應的python實現與擬合效果。

（第一次寫了一版這篇部落格，公式自己敲的，但是從別人那裡貼的程式碼，後面感覺那個程式碼思路沒問題，但就是進行了很多次重複計算，資料量大的時候效率低，而且很多地方對python的語言特性利用不足，寫的有點類似C語言風格，比較晦澀。於是乎，把程式碼重寫了一次，準備把文章撤下來重新貼自己的程式碼，這時候發現沒有儲存，前面用Tex敲的一堆公式就沒了，心中頓時萬馬奔騰。。。。好在今天考試考完，強行克服拖延症把這篇文章重寫一遍並附上重寫的程式碼。）

下面開始正文

問題描述

假定給定一個訓練資料集：

T={(x1,y1),(x2,y2),⋯,(xN,yN)}

其中，xi∈R是輸入x的觀測值，yi∈R是相應的輸出y的觀測值，i=1,2,⋯,N，多項式函式擬合的任務是假設給定資料由M次多項式函式生成，選擇最有可能產生這些資料的M次多項式函式，即在M次多項式函式中選擇一個對已知資料以及未知資料都有很好預測能力的函式。

設M次多項式為

fM(x,w)=w0+w1x+w2x2+⋯+wMxM=∑j=0Mwjxj

式中x式單變數輸入，w0,w1,⋯,wm是M+1個引數。

用平方損失作為損失函式，係數12是為了方便計算，將模型與訓練資料代入，有

L(w)=12∑i=1N(∑j=0Mwjxji−yi)2

對wj求偏導並令其為0

書裡這裡的求導是錯誤的，就不寫錯誤的推導了，下面給出正確的推導

set∂L(w)∂wk=0⇒12∑i=1N2(∑j=0Mwjxji−yi)×xki=0⇒∑i=1N∑j=0Mwjxji＝∑i=1Nxkiyi(k=0,1,2,⋯,M)

所以要求擬合多項式係數w∗0,w∗1,⋯,w∗M需要解下面這個線性方程組，下面的求和符號上下限都是i=1到N,為了方便略去不寫。

⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢N∑xi∑x2i⋮∑xM

相關推薦

李航—統計學習方法筆記（一）

什麼是獨立同分布？ 百度： 在概率統計理論中，指隨機過程中，任何時刻的取值都為隨機變數，如果這些隨機變數服從同一分佈，並且互相獨立，那麼這些隨機變數是獨立同分布。如果隨機變數X1和X2獨立，是指X1的取值不影響X2的取值，X2的取值也不影響X1的取值且隨機變數X1和X2服從同一分佈，這意味著X1和X2具有

李航 統計學習方法 查缺補漏

矩陣的微積分 https://zhuanlan.zhihu.com/p/28956839 獨立同分布 歐式空間 標註問題 聯合概率分佈 貝葉斯統計 https://www.zhihu.com/question/21134457 似然函式和概率密度函式 https://www.zhihu.co

李航統計學習方法之樸素貝葉斯法（含python及tensorflow實現）

樸素貝葉斯法 樸素貝葉斯法數學表示式 後驗概率最大化的含義        樸素貝葉斯是一個生成模型。有一個強假設：條件獨立性。我們先看下樸素貝葉斯法的思想，然後看下條件獨立性具體數學表示式是什麼樣的。

李航-統計學習方法-習題-第九章

9.2 證明引理 9.2. 引理 9.2 若P~θ(Z)=P(Z∣Y,θ)\widetilde P_\theta(Z)=P(Z|Y,\theta)Pθ​(Z)=P(Z∣Y,θ)，則 F(P~,θ)=lo

演算法工程師修仙之路：李航統計學習方法（一）

第1章 統計學習方法概論 統計學習 統計學習的特點 統計學習（statistical learning）是關於計算機基於資料構建概率統計模型並運用模型對資料進行預測與分析的一門學科，統計學習也稱為統計機器學習（statistical machine learnin

李航·統計學習方法筆記·第6章 logistic regression與最大熵模型（1）·邏輯斯蒂迴歸模型

第6章 logistic regression與最大熵模型（1）·邏輯斯蒂迴歸模型 標籤（空格分隔）： 機器學習教程·李航統計學習方法 邏輯斯蒂：logistic 李航書中稱之為：邏輯斯蒂迴歸模型 周志華書中稱之為：對數機率迴歸模

李航統計學習方法習題5.1

定義5.3（資訊增益比）特徵A對訓練資料集D的資訊增益比定義為其資訊增益與訓練資料集D關於特徵A的值的熵之比，即                                                                                

李航 統計學習方法 第五章 決策樹 課後 習題 答案

決策樹是一種基本的分類和迴歸方法。決策樹呈樹形結構，在分類問題中，表示基於特徵對例項進行分類的過程。它可以認為是if-then規則的集合，也可以認為是定義在特徵空間和類空間上的條件概率分佈。學習時，利用訓練資料，根據損失函式最小化的原則建立決策樹模型。預測時，對

李航-統計學習方法筆記（一）：統計學習方法概論

對象 統計學 技術分享 精確 結束 人的 發生 abs 速度 本系列筆記，主要是整理統計學習方法的知識點和代碼實現各個方法，來加強筆者對各個模型的理解，為今年找到好工作來打下基礎。 計劃在一個月內更新完這本書的筆記，在此立一個flag: 從2019/2/17開始 到 20

李航《統計學習方法》多項式函式擬合問題V2

最近在看李航的統計學習方法P11時發現一個多項式函式擬合問題覺得公式的推導有問題，於是看了一些資料發現這裡的推倒是有錯誤的，用python程式設計驗證後發現按書上的求導結果擬合後的函式影象完全不對，下面給出正確的推導結果和對應的python實現與擬合效果。

李航 統計學習 採用C4.5演算法構建決策樹

from numpy import * from math import log import operator def calcShannonEnt(dataset): numdataset=len(dataset) labelCount={}

一元非線性迴歸-多項式函式擬合

# coding=utf-8 ''' 作者:Xiaole Wen 程式:多項式曲線擬合演算法 ''' import matplotlib.pyplot as plt import math import numpy import random fig = plt.figure() ax = fig.add

《統計學習方法（李航）》講義 第04章 樸素貝葉斯

ima .cn 效率 常用 1-1 估計 實現 技術 com 樸素貝葉斯(naive Bayes) 法是基於貝葉斯定理與特征條件獨立假設的分類方法。對於給定的訓練數據集，首先基於特征條件獨立假設學習輸入/輸出的聯合概率分布；然後基於此模型，對給定的輸入x，利用貝

《統計學習方法（李航）》講義 第05章 決策樹

lan 定義 if-then 利用 建立 then 統計 來源 根據 決策樹(decision tree) 是一種基本的分類與回歸方法。本章主要討論用於分類的決策樹。決策樹模型呈樹形結構，在分類問題中，表示基於特征對實例進行分類的過程。它可以認為是if-then

李航老師的《統計學習方法》第二章算法的matlab程序

com b+ -1 print nbsp 一個 while alpha 學習 參考了http://blog.sina.com.cn/s/blog_bceeae150102v11v.html#post % 感知機學習算法的原始形式，算法2.1參考李航《統計學習方法》書中第

李航《統計學習方法》CH02

三元 由於 nis mir 集合 體會 .com 測試 git CH02 感知機 前言 章節目錄 感知機模型 感知機學習策略 數據集的線性可分性 感知機學習策略 感知機學習算法 感知機學習算法 感知機學習算法的原始形式 算法的收斂性 感知機學習

李航《統計學習方法》CH03

CH03 k近鄰法 前言 章節目錄 k近鄰演算法 k近鄰模型 模型 距離度量 k值選擇 分類決策規則 k近鄰法的實現: KDTree 構造KDTree 搜尋KDTree 導讀 kNN是一種基本分類與迴歸方法

統計學習方法 李航 讀書筆記

************************************************************ 李航教授《統計學習方法》 統計學教材總結 主要介紹監督學習方法 ***************************************************

《統計學習方法》(李航)讀書筆記(完結)超級火爆的總結

  閱讀目錄 知識點 感知機 k近鄰法 樸素貝葉斯 決策樹 logistic迴歸和最大熵模型 支援向量機 提升方法 EM演算法 隱馬爾可夫模型(HMM) 統計學習方法總結 神經網路 K-Means

深度學習，周志華，機器學習，西瓜書，TensorFlow，Google，吳軍，數學之美，李航，統計學習方法，吳恩達，深度學習筆記，pdf下載

1. 機器學習入門經典，李航《統計學習方法》 2. 周志華的《機器學習》pdf 3.《數學之美》吳軍博士著pdf 4. Tensorflow 實戰Google深度學習框架.pdf 5.《TensorFlow實戰》黃文堅 高清完整PDF  6. 復旦大