Leetcode NO.20 Valid Parentheses 有效的括號
阿新 • • 發佈：2021-12-09
一.線性迴歸模型
\(y_i=a_ix+b_i,b_i是噪聲\)
\(通常可以寫成 y=Ax+b,y\in R^m, A\in R^{m\times n},x\in R^n,b\in R^m,m是樣本量,n是維度\)
二.從概率角度看待邏輯迴歸
\(則從概率的角度看,需要將最大似然函式求最大值\)
\(即max\{P(y_i=1|x_i)P(y_i=0|x_i)\},因為邏輯迴歸y只有0，1\)
\(考慮f(x)=P(y=1|x),y的值域是[0,1]定義域是(-\infty,+\infty),顯然要有一個函式將(-\infty,+\infty) 對映到 [0,1]\)
\(引入sigmod函式,P(y=1|x)=\frac{1}{1+e^{-{wx+b}}}=\frac{e^{wx+b}}{1+e^{wx+b}},兩種表示式都可以\)
\(為了書寫方便令 w = (w_1,w_2,...,b)^T,x=(x_1,x_2,...,1)^T,所以wx+b表示為wx,w是權重\)
\(所以P(y=1|x)=\frac{e^{wx}}{1+e^{wx}}\)
\(則P(y=0|x)=1-\frac{e^{wx}}{1+e^{wx}}=\frac{1}{1+e^{wx}}\)
\(最大似然函式MLE = \prod_{i=1}^{n} P(y=1|x_i)P(y=0|x_i) = \prod_{i=1}^{n} (\frac{e^{wx_i}}{1+e^{wx_i}})^{y_i} (\frac{1}{1+e^{wx_i}})^{1-y_i}\)
\(L(w)= \prod_{i=1}^{n} (\frac{e^{wx_i}}{1+e^{wx_i}})^{y_i} (\frac{1}{1+e^{wx_i}})^{1-y_i}\)
\(ln L(w)= \sum_{i=1}^{n} {y_i}ln (\frac{e^{wx_i}}{1+e^{wx_i}}) + \sum_{i=1}^{n} ({1-y_i} )ln(\frac{1}{1+e^{wx_i}})\)
\(lnL(w)=\sum_{i=1}^{n}[y_i(wx_i)-ln(1+e^{wx_i})]\)
三.凸性
\(對於任意x_i,令g(x)= y(wx)-ln(1+e^{wx})\)
\(當y=1,g(x)=wx-ln(1+e^{wx})=-ln(1+e^{-ax})\)
\(\frac{\partial g(x)}{\partial x}=\frac{a}{1+e^{ax}}\)
\(\frac{\partial^2 g(x)}{\partial x^2}=\frac{ae^{ax}}{(1+e^{ax})^2} \le 0,是凹函式\)
\(當y=0,g(x)=-\ln(1+e^{wx})\)
\(同樣也是凹函式\)