4   本文工作

• 解釋了原作者程式碼註釋中提到的關於sigmoid選型的困惑問題並應用到程式碼中
• 將原作者的程式碼進行模組工程化，成為整體專案，方便研究的同學直接進行模式套用

原作者程式碼中：

def train_crack_captcha_cnn():
    output = crack_captcha_cnn()
    # loss
    #loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(output, Y))
    loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=output, labels=Y))
        
 
# 最後一層用來分類的softmax和sigmoid有什麼不同？
    # optimizer 為了加快訓練 learning_rate應該開始大，然後慢慢衰
    optimizer = tf.train.AdamOptimizer(learning_rate=0.001).minimize(loss)
    ……

作者在程式碼的註釋中出提出了這樣的疑問:

對 softmax 和 sigmoid 的使用方式有疑問。

然後在文章下面讀者評論區也都提到了此問題，在此進行整體解釋一下。

原文中CNN的輸出的維度是 MAX_CAPTCHA*CHAR_SET_LEN ，其實這些維度並不都是完全獨立分佈的， 但是使用sigmoid loss也是仍然可以的，相當於先用sigmoid進行了一次歸一化，然後再將各個維度的值向目標值進行 迴歸

當然，關於分類的問題，看所有的機器學習框架裡面，都是建議使用softmax進行最後的歸一化操作，這其實相當於是一種 馬太效應 : 讓可能性大的分類的值變得更大，讓可能性小的分量值變得更小。但是這有個前提，就是參與到softmax運算的一組資料，必須是 相關聯 的， 所以如果要使用 softmax_cross_entropy_with_logits ，只需要將網路進行簡單修改即可。把輸出的維度做成二維[MAX_CAPTCHA, CHAR_SET_LEN], 然後使用softmax loss。

output = crack_captcha_cnn()#36×4
predict = tf.reshape(output, [-1, MAX_CAPTCHA, CHAR_SET_LEN])  # 36行，4列
label = tf.reshape(Y, [-1, MAX_CAPTCHA, CHAR_SET_LEN])

最後使用GPU訓練的實驗結果對比：

• sigmoid方式。訓練6000個step就能達到95%的準確率。
• softmax方式。訓練8千個step，達到90%的準確率;訓練8萬個step，達到94.7%（跑了大半天）

使用tensorboard對accuracy進行監控：

sigmoid-6千個step:

softmax-8千個step:

softmax-8萬個step:

整體來說，在這個例子裡面，好像 sigmoid的收斂速度快些，當然這個可能是本專案裡面的外界因素有利於sigmoid吧，至於具體原因，等後續再進行研究和解釋吧，當然有可能根本解釋不了，因為對於CNN，目前主流的意見都是：，反正效果就是好，但是不知道為啥， 科幻得近於玄幻 的一種技術。

github原始碼地址：