tf.nn.softman_cross_entropy_with_logits及幾種交叉熵計算
阿新 • • 發佈:2018-11-13
就看例子就完事了
tf.nn.softmax
import tensorflow as tf import numpy as np sess=tf.Session() #logits代表wx+b的輸出,並沒有進行softmax(因為softmax後是一個和為1的概率) logits = np.array([[1, 2, 7], [3, 5, 2], [6, 1, 3], [8, 2, 0], [3, 6, 1]], dtype=np.float32) #labels是[2,1,0,0,1]的ont-hot編碼形式 labels = np.array([[0, 0, 1], [0, 1, 0], [1, 0, 0], [1, 0, 0], [0, 1, 0]], dtype=np.float32) # 公式計算,-np.log(y*softmax_out) # y=n*c,softmax_out是n*c,相當於將每個樣本softmax的c個特徵中最大的取出來,再取負就是求最小 softmax_out=tf.nn.softmax(logits) cross_entropy1 = -tf.reduce_sum(labels * tf.log(softmax_out), axis=1) #對應元素相乘,非矩陣乘法 print sess.run(cross_entropy1) #使用一維label計算,對每個樣本取第k個元素出來,k代表實際類別 out_v = sess.run(out) class_v = sess.run(classes) cross_entropy1_label = -tf.log(out_v[range(len(logits)),class_v]) print sess.run(cross_entropy1_label) #---輸出 array([ 0.00917445, 0.16984604, 0.05498521, 0.00281022, 0.05498521], dtype=float32)
tf.nn.softmax_cross_entropy_with_logits與tf.nn.sparse_softmax_cross_entropy_with_logits
import tensorflow as tf sess=tf.Session() #logits代表wx+b的輸出,並沒有進行softmax(因為softmax後是一個和為1的概率) logits = np.array([[1, 2, 7], [3, 5, 2], [6, 1, 3], [8, 2, 0], [3, 6, 1]], dtype=np.float32) #labels是[2,1,0,0,1]的ont-hot編碼形式 labels = np.array([[0, 0, 1], [0, 1, 0], [1, 0, 0], [1, 0, 0], [0, 1, 0]], dtype=np.float32) cross_entropy2 = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=labels) sess.run(cross_entropy2) classes = tf.argmax(labels, axis=1) #array([2, 1, 0, 0, 1]) cross_entropy3 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=classes) sess.run(cross_entropy2) #---cross_entropy2 輸出 array([ 0.00917445, 0.16984604, 0.05498521, 0.00281022, 0.05498521], dtype=float32) A 1-D `Tensor` of length `batch_size` of the same type as `logits` with the softmax cross entropy loss. #---cross_entropy3 輸出 array([ 0.00917445, 0.16984604, 0.05498521, 0.00281022, 0.05498521], dtype=float32)
1.tf.nn.softmax_cross_entropy_with_logits與tf.nn.sparse_softmax_cross_entropy_with_logits
輸出結果相同,,後者的輸入label shape=[batch_size],dtype=int32/int64,range=[0, number_classes-1];前者的label shape=[batch_size, number_classes], dtype=[float32/64]
2.tf.losses.softmax_cross_entropy和tf.losses.sparse_softmax_cross_entropy
都是用於計算不同樣本的loss,
tf.losses.softmax_cross_entropy預設weight=1,等價於tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits)
weight為標量數字時,等價於w * tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits)
weights為向量時,計算出的每個Loss需乘上對應的樣本權重再平均。
3.tf.losses.sparse_softmax_cross_entropy
等價於tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits).