1，1（b）：b為真時返回1，否則返回0.

2，一次判別式：gi(x|wi,wi0)=wi^Tx +w_i0，其中w 為d維向量

3，範數：

3.1

向量範數

,令x=( x1,x2,…,xn)T

1-範數:║x║1=│x1│+│x2│+…+│xn│

2-範數:║x║2=(│x1│^2+│x2│^2+…+│xn│^2)^1/2

∞-範數:║x║∞=max(│x1│,│x2│,…,│xn│)

易得 ║x║∞≤║x║2≤║x║1≤n1/2║x║2≤n║x║∞

定理1.Cn中任意兩種向量範數║x║α,║x║β是等價的,即有m,M>0使

m║x║α≤║x║β≤M║x║

可根據範數的連續性來證明它.由定理1可得

定理2.設{x(k)}是Cn中向量序列,x是Cn中向量,則

║x(k)-x║→0(k→∞) iff xj(k)-xj→0,j=1,2,…,n(k→

∞)

其中xj(k)是x(k)的第j個分量,xj是x的第j個分量.此時稱{x(k)}收斂於x,記作x(k)

→x(k→∞),或 .

4，E(W|x)表示參數W在訓練集x上的誤差。

5，logit(y)=log((y/(1-y)):邏輯斯諦判別式

6，s形函數：y=?p(C1|X) = {1+exp[-(W^TX+w_o)]} =sigmoid [p(C1|X)] 作為p(C1|X)估計

7，互熵（cross-entropy）:E=-logL

8，邏輯斯諦判別式算法是否能夠改進？

第十章 線性判別式