線性模型

一、內容

1.基本形式

2.線性迴歸：均方誤差是迴歸任務中最常用的效能度量

3.對數機率迴歸：對數機率函式（logistic function）對率函式是任意階可導的凸函式，這是非常重要的性質。

4.線性判別分析（LDA 是一種降維的方法）

5.多分類學習：

5.1基於一些基本策略，利用二分類學習器來解決多分類問題，拆分策略：一對一（OvO）一對其餘（OvR）多對多(MvM):MvM的一種常用技術，糾錯輸出碼（Error Correcting Output Codes,ECOC）

6.類別不平衡問題：1.欠取樣2.過取樣3.閾值移動

二、習題

1.試分析在什麼情況下，在以下式子中不比考慮偏置項b。

線上性迴歸中，所有引數的確定都是為了讓殘差項的均值為0且殘差項的平方和最小。在所有其他引數項確定後，偏置項b（或者說是常數項）的變化體現出來的就是擬合曲線的上下整體浮動，可以看做是其他各個解釋變數留下的bias的線性修正。因此線上性擬合過程中是需要考慮偏置項的。

但是參考其他人答案，可以對訓練集每個yangben都減去第一個yangben，然後對新的yangben做線性迴歸，這樣就消除了b,只需要用模型y=wt。

2.試證明，對於引數w，對率迴歸（logistics迴歸）的目標函式（式1）是非凸的，但其對數似然函式（式2）是凸的。

3.https://github.com/makang101/MachineLearning/tree/master/chapter3linearmodel

4.未完成

5.https://github.com/makang101/MachineLearning/tree/master/chapter3linearmodel

6.在當前的維度如果不可分，選擇選擇適當的對映方法，使其在更高維度上線性可分。

參考https://blog.csdn.net/icefire_tyh/article/details/52069025

http://www.cnblogs.com/zhusleep/p/5621932.html