學概率論的時候不是多麼用心，這部分也是隨便看看，在此補上。

對似然函式（likelihood function）的理解，極大似然估計

1. 大家都知道，概率是對要發生事件的結果的預測，而似然就是知道事件的結果對概率進行反推。在某個概率上，某事件最有可能發生。最大似然估計，就是某事件最有可能的那個概率（就是好多文章裡面提到的引數）”。
2. 來個好多文章裡面的例子：拋硬幣，首先條件，質量分佈不均勻，拋的結果是2正1反，（拋正概率為p），p為多少最有可能出現這種情況。
   $y$
   = p 2 ( 1 − p ) ，
   對 y 求 導 ， 就 可 得 到 相
   應 的 p = 2 3 y=p^2(1-p)，對y求導，就可得到相應的p=\frac23

ps：大家都知道最有可能又不是一定是它，p=0.5 也可以出現這種情況。可是在樣本足夠多的時候，這就是答案了。

3. 對數似然（方便求最大值）
   好多文章都說，取對數不會影響y（likelihood function）的單調性， 所以在這裡稍稍證明一下 $令y=f（x），取對數得到g（x）=log(f(x))$ $g'(x)=\frac 1{f(x)}f'(x)在(0<f(x)<=1)對應的x區間單調性和$ $f'(x)是一樣的，所以放心的取對數吧$

ps:log 的底可能是2，e，10，具體看上下文，此處為e

4. 最大似然估計
   可以發現，邏輯迴歸核心還是最大似然估計，找到使函式最大的引數。
   最大似然估計的一般求解過程：
   （1） 寫出似然函式；
   （2） 對似然函式取對數，並整理；
   （3） 求導數 ；
   （4） 解似然方程
   和邏輯迴歸的步驟是不是很像。
   在Andrew ng的課程裡取對數後取了負，是為了使用梯度下降才這樣的。
5. one vs all
   這是對多個feature進行LR處理的方法，feature數目n大於2時，把一個feature和其它所有feature組成二元。所以一共進行n次。