迴歸分析方法總結

阿新 • • 發佈：2020-12-14

這裡寫自定義目錄標題

歡迎使用Markdown編輯器

幾種迴歸分析方法總結

歡迎使用Markdown編輯器

你好！這是你第一次使用 Markdown編輯器 所展示的歡迎頁。如果你想學習如何使用Markdown編輯器, 可以仔細閱讀這篇文章，瞭解一下Markdown的基本語法知識。

六種常見的迴歸分析方法
迴歸分析是預測模型技術中的一種形式，它探討的是因變數(target)和獨立變數(predictor)之間的關係。這個技術常用於進行預測、時間序列模型和在兩變數之間尋找因果效應的關係。使用迴歸分析的好處是它表明了因變數和獨立變數之間的重要關係和多個獨立變數對因變數影響的強度。
1、線性迴歸方法
通常因變數和一個（或者多個）自變數之間擬合出來是一條直線（迴歸線），通常可以用一個普遍的公式來表示：Y（因變數）=a*X（自變數）+b+c，其中b表示截距，a表示直線的斜率，c是誤差項。如下圖所示。因變數是連續的，自變數可以是連續或離散的，迴歸線的性質是線性的。

（1）如何獲得最佳擬合線？a，b的值

這個目標可以由最小二乘法完成，最小二乘法是擬合迴歸線最常用的方法，它通過最小化每個資料點到線的垂直偏差的平方和來計算觀察資料的最佳擬合線。因為偏差是一個平方，當相加時，在正值和負值之間沒有抵消。
（2）要點
獨立變數和因變數之間必須存線上性關係;多元迴歸具有多重共線性，自相關，異方差性；線性迴歸對異常值非常敏感。它可以嚴重影響迴歸線和最終的預測值；多重共線性可以增加係數估計值(係數)的方差，並使該估計值對模型中的微小變化非常敏感，結果是係數估計值不穩定；在多個獨立變數的情況下，我們可以採用前向選擇，反向消除和逐步方法來選擇最重要的自變數。
2、邏輯迴歸方法
通常是用來計算“一個事件成功或者失敗”的概率，此時的因變數一般是屬於二元型的（1 或0，真或假，有或無等）變數。以樣本極大似然估計值來選取引數，而不採用最小化平方和誤差來選擇引數，所以通常要用log等對數函式去擬合。如下圖。

要點：
它被廣泛的用於分類問題；邏輯迴歸不需要依賴變數和自變數之間的線性關係。它可以處理各種型別的關係，因為它對預測的勝率使用非線性對數(log)變換；為了避免過擬合和欠擬合，我們應該使用所有的有意義的變數。確保這種做法的一個好方法是使用逐步法來估計邏輯迴歸；它需要大量的樣本，因為最大似然估計在小樣本上比普通最小二乘方更弱；自變數之間不應該彼此相關，即沒有多共性。然而，我們在分析和模型時包含分類變數的互動效應（相互之間有影響）；如果因變數的值是有序的，那麼它被稱為有序邏輯迴歸；如果因變數是多類，則稱為多分類Logistic迴歸。
3、多項式迴歸方法
通常指自變數的指數存在超過1的項，這時候最佳擬合的結果不再是一條直線而是一條曲線。比如：拋物線擬合函式Y=a+b*X^2，如下圖所示。

4、嶺迴歸方法
通常用於自變數資料具有高度相關性的擬閤中，這種迴歸方法可以在原來的偏差基礎上再增加一個偏差度來減小總體的標準偏差。如下圖是其收縮引數的最小誤差公式。

在這個方程中，我們有兩個組成部分。第一個是最小二乘項，另一個是β2（β平方）的總和乘以lambda，其中β是係數。這被新增到最小二乘項以便收縮具有非常低的方差引數。
要點：該回歸的假設與最小二乘迴歸相同，除非不假設資料集正態性；它收縮係數的值，但不會達到零，這表明沒有特徵選擇特徵；這是一個正則化方法，並使用l2正則化。
5、套索迴歸方法
通常也是用來二次修正迴歸係數的大小，能夠減小參量變化程度以提高線性迴歸模型的精度。如下圖是其懲罰函式，注意這裡的懲罰函式用的是絕對值，而不是絕對值的平方。

要點：該回歸的假設與最小二乘迴歸相同，除非不假設正態性；它將係數收縮為零（正好為零），這有助於特徵選擇；這是一個正則化方法，使用l1正則化；如果一批預測變數是高度相關，則Lasso只挑選其中一個，並將其他縮減為零。
6、ElasticNet迴歸方法（彈性網路迴歸）
Lasso和Ridge迴歸方法的融合體，使用L1來訓練，使用L2優先作為正則化矩陣。當相關的特徵有很多個時，ElasticNet不同於Lasso，會選擇兩個。如下圖是其常用的理論公式。

在Lasso和Ridge之間折衷的實際優點是它允許Elastic-Net繼承一些Ridge的穩定性。
要點：它鼓勵在高度相關變數之間的群效應；對所選變數的數量沒有限制；它可能遭受雙倍收縮率。

新的改變

我們對Markdown編輯器進行了一些功能拓展與語法支援，除了標準的Markdown編輯器功能，我們增加了如下幾點新功能，幫助你用它寫部落格：

全新的介面設計 ，將會帶來全新的寫作體驗；
在創作中心設定你喜愛的程式碼高亮樣式，Markdown 將程式碼片顯示選擇的高亮樣式 進行展示；
增加了 圖片拖拽 功能，你可以將本地的圖片直接拖拽到編輯區域直接展示；
全新的 KaTeX數學公式 語法；
增加了支援甘特圖的mermaid語法¹ 功能；
增加了 多螢幕編輯 Markdown文章功能；
增加了 焦點寫作模式、預覽模式、簡潔寫作模式、左右區域同步滾輪設定 等功能，功能按鈕位於編輯區域與預覽區域中間；
增加了 檢查列表 功能。

功能快捷鍵

撤銷：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜體：Ctrl/Command + I
標題：Ctrl/Command + Shift + H
無序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
檢查列表：Ctrl/Command + Shift + C
插入程式碼：Ctrl/Command + Shift + K
插入連結：Ctrl/Command + Shift + L
插入圖片：Ctrl/Command + Shift + G
查詢：Ctrl/Command + F
替換：Ctrl/Command + G

合理的建立標題，有助於目錄的生成

直接輸入1次#，並按下space後，將生成1級標題。
輸入2次#，並按下space後，將生成2級標題。
以此類推，我們支援6級標題。有助於使用TOC語法後生成一個完美的目錄。

如何改變文字的樣式

強調文字 強調文字

加粗文字 加粗文字

標記文字

~~刪除文字~~

引用文字

H₂O is是液體。

2¹⁰ 運算結果是 1024.

插入連結與圖片

連結: link.

圖片: Alt

帶尺寸的圖片: Alt

居中的圖片: Alt

居中並且帶尺寸的圖片: Alt

當然，我們為了讓使用者更加便捷，我們增加了圖片拖拽功能。

如何插入一段漂亮的程式碼片

去部落格設定頁面，選擇一款你喜歡的程式碼片高亮樣式，下面展示同樣高亮的 程式碼片.

// An highlighted block
var foo = 'bar';

生成一個適合你的列表

專案
- 專案
  - 專案

專案1
專案2
專案3

計劃任務
完成任務

建立一個表格

一個簡單的表格是這麼建立的：

專案	Value
電腦	$1600
手機	$12
導管	$1

設定內容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文字居中	第二列文字居右	第三列文字居左

SmartyPants

SmartyPants將ASCII標點字元轉換為“智慧”印刷標點HTML實體。例如：

TYPE	ASCII	HTML
Single backticks	`'Isn't this fun?'`	‘Isn’t this fun?’
Quotes	`"Isn't this fun?"`	“Isn’t this fun?”
Dashes	`-- is en-dash, --- is em-dash`	– is en-dash, — is em-dash

建立一個自定義列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何建立一個註腳

一個具有註腳的文字。²

註釋也是必不可少的

Markdown將文字轉換為 HTML。

KaTeX數學公式

您可以使用渲染LaTeX數學表示式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通過尤拉積分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞tz−1e−tdt.

你可以找到更多關於的資訊 LaTeX 數學表示式here.

新的甘特圖功能，豐富你的文章

關於 甘特圖 語法，參考這兒,

UML 圖表

可以使用UML圖表進行渲染。 Mermaid. 例如下面產生的一個序列圖：

這將產生一個流程圖。:

關於 Mermaid 語法，參考這兒,

FLowchart流程圖

我們依舊會支援flowchart的流程圖：

關於 Flowchart流程圖 語法，參考這兒.

匯出與匯入

匯出

如果你想嘗試使用此編輯器, 你可以在此篇文章任意編輯。當你完成了一篇文章的寫作, 在上方工具欄找到 文章匯出 ，生成一個.md檔案或者.html檔案進行本地儲存。

匯入

如果你想載入一篇你寫過的.md檔案，在上方工具欄可以選擇匯入功能進行對應副檔名的檔案匯入，
繼續你的創作。

mermaid語法說明 ↩︎
註腳的解釋 ↩︎