簡介

Sfotmax迴歸分析是logistic迴歸分析在多個分類問題上面的發展。

Logistic迴歸中，訓練集由m個標籤樣本組合構成： 

對於給定的測試輸入 ，我們想用假設函式針對每一個類別j估算出概率值 p（y=j|x）。也就是說，我們想估計 x 的每一種分類結果出現的概率。，我們的假設函式將要輸出一個  k維的向量（向量元素的和為1）來表示這 個估計的概率值。具體地說，我們的假設函式h（x）形式如下：

為了方便起見，我們同樣使用符號theta來表示全部的模型引數。在實現Softmax迴歸時，將 theta用一個 k*（n+1）的矩陣來表示會很方便，該矩陣是將按行羅列起來得到的，如下所示：

程式碼詳解部分

損失函式和導數程式碼詳解

M = bsxfun(@minus,theta*data,max(theta*data, [], 1));

M = exp(M);

p = bsxfun(@rdivide, M, sum(M));

cost = -1/numCases * groundTruth(:)' * log(p(:)) +lambda/2 * sum(theta(:) .^ 2);

 %10個類，每行代表每一類的引數，因為輸入資料為28*28=784個特徵，所以每行有784個引數。

2.2 簡化冗餘引數

M =bsxfun(@minus,theta*data,max(theta*data, [], 1));%

2.3計算每個樣本的類概率

M = exp(M);

p = bsxfun(@rdivide, M, sum(M));

sum（M），對矩陣的每列進行求和；做除法後，M的每列的每個結果，除以該列的總和；這一項對概率分佈進行歸一化，使得所有概率之和為 1。

%每列為每個樣本對10個分類的概率，共計6000個樣本。

2.4計算損失函式

cost = -1/numCases * groundTruth(:)' * log(p(:)) +lambda/2 * sum(theta(:) .^ 2);

2.4.1構造示性函式（示性函式的矩陣表示）

groundTruth = full(sparse(labels, 1:numCases, 1));

label1=labels(1:10,1)%提取labels集合的前十個標籤

我的疑問：按照矩陣乘法，最後的結果應該是一個6000*6000的大矩陣；但是運算結果是一個數值。

對於每個樣本，內層先遍歷每個分類j從1到10；若符合標籤分類，則示性函式值為1，然後取其對應的概率Pij；讓後遍歷第二個樣本，並計算其正確分類的概率值，最後求和，作為最後損失函式值。

按照我的理解：

groundTruth(:)轉制後groundTruth(:)' 為6000*10的矩陣；每行大部分元素值為0，只有對應正確分類為1的示性矩陣；應該是轉制後每一行與 log(p(:))的第一列對應相乘；求得樣本1的損失函式值，然後示性矩陣的第二行與log(p(:))的第二例對應相乘；依照此方法計算每個樣本的損失函式值，最後求和。

但是按照matlab矩陣運算的法則，應該是6000*6000的矩陣；為啥會得到一個數值呢？難道是係數矩陣乘法的原因麼，百度了一下，但是沒有找到答案。求大神解答

2.5計算導數

thetagrad = -1/numCases * (groundTruth - p) * data' +lambda * theta;

這個就不解釋了，看上面的程式碼估計就很好理解了。