Tensorflow四種交叉熵函式計算公式:tf.nn.cross_entropy
Tensorflow交叉熵函式:cross_entropy
注意:tensorflow交叉熵計算函式輸入中的logits都不是softmax或sigmoid的輸出,而是softmax或sigmoid函式的輸入,因為它在函式內部進行sigmoid或softmax操作
tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, name=None)
argument:
_sentinel:本質上是不用的引數,不用填
logits:一個數據型別(type)是float32或float64;
shape:[batch_size,num_classes],單樣本是[num_classes]
labels:和logits具有相同的type(float)和shape的張量(tensor),
name:操作的名字,可填可不填
output:
loss,shape:[batch_size,num_classes]
Note:
它對於輸入的logits先通過sigmoid函式計算,再計算它們的交叉熵,但是它對交叉熵的計算方式進行了優化,使得結果不至於溢位
它適用於每個類別相互獨立但互不排斥的情況:例如一幅圖可以同時包含一條狗和一隻大象
output不是一個數,而是一個batch中每個樣本的loss,所以一般配合tf.reduce_mea(loss)使用
計算公式:
Python 程式:
importtensorflowas
tf
import numpy asnp
def sigmoid(x):
return 1.0/(1+np.exp(-x))
# 5個樣本三分類問題,且一個樣本可以同時擁有多類
y = np.array([[1,0,0],[0,1,0],[0,0,1],[1,1,0],[0,1,0]]
logits = np.array([[12,3,2],[3,10,1],[1,2,5],[4,6.5,1.2],[3,6,1]])
y_pred = sigmoid(logits)
E1 = -y*np.log(y_pred)-(1-y)*np.log(1
print(E1) # 按計算公式計算的結果
sess =tf.Session()
y = np.array(y).astype(np.float64) # labels是float64的資料型別
E2 = sess.run(tf.nn.sigmoid_cross_entropy_with_logits(labels=y,logits=logits))
print(E2) 輸出的E1,E2結果相同
tf.nn.softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, dim=-1, name=None)
argument:
_sentinel:本質上是不用的引數,不用填
logits:一個數據型別(type)是float32或float64;
shape:[batch_size,num_classes]
labels:和logits具有相同type和shape的張量(tensor),,是一個有效的概率,sum(labels)=1, one_hot=True(向量中只有一個值為1.0,其他值為0.0)
name:操作的名字,可填可不填
output:
loss,shape:[batch_size]
Note:
它對於輸入的logits先通過softmax函式計算,再計算它們的交叉熵,但是它對交叉熵的計算方式進行了優化,使得結果不至於溢位
它適用於每個類別相互獨立且排斥的情況,一幅圖只能屬於一類,而不能同時包含一條狗和一隻大象
output不是一個數,而是一個batch中每個樣本的loss,所以一般配合tf.reduce_mean(loss)使用
計算公式:
Python程式:
importtensorflowas
tf
import numpy asnp
def softmax(x):
sum_raw = np.sum(np.exp(x),axis=-1)
x1 = np.ones(np.shape(x))
for i inrange(np.shape(x)[0]):
x1[i] = np.exp(x[i])/sum_raw[i]
return x1
y = np.array([[1,0,0],[0,1,0],[0,0,1],[1,0,0],[0,1,0]])# 每一行只有一個1
logits =np.array([[12,3,2],[3,10,1],[1,2,5],[4,6.5,1.2],[3,6,1]])
y_pred =softmax(logits)
E1 = -np.sum(y*np.log(y_pred),-1)
print(E1)
sess = tf.Session()
y = np.array(y).astype(np.float64)
E2 = sess.run(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=logits))
print(E2)
輸出的E1,E2結果相同
tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None,labels=None,logits=None, name=None)
argument:
_sentinel:本質上是不用的引數,不用填
logits:一個數據型別(type)是float32或float64;
shape:[batch_size,num_classes]
labels: shape為[batch_size],labels[i]是{0,1,2,……,num_classes-1}的一個索引, type為int32或int64
name:操作的名字,可填可不填
output:loss,shape:[batch_size]
Note:它對於輸入的logits先通過softmax函式計算,再計算它們的交叉熵,但是它對交叉熵的計算方式進行了優化,使得結果不至於溢位
它適用於每個類別相互獨立且排斥的情況,一幅圖只能屬於一類,而不能同時包含一條狗和一隻大象
output不是一個數,而是一個batch中每個樣本的loss,所以一般配合tf.reduce_mean(loss)使用
計算公式:
和tf.nn.softmax_cross_entropy_with_logits()一樣,只是要將labels轉換成tf.nn.softmax_cross_entropy_with_logits()中labels的形式
tf.nn.weighted_cross_entropy_with_logits(labels,logits, pos_weight, name=None)
計算具有權重的sigmoid交叉熵sigmoid_cross_entropy_with_logits()
argument:
_sentinel:本質上是不用的引數,不用填
logits:一個數據型別(type)是float32或float64;
shape:[batch_size,num_classes],單樣本是[num_classes]
labels:和logits具有相同的type(float)和shape的張量(tensor),
pos_weight:正樣本的一個係數
name:操作的名字,可填可不填
output:
loss,shape:[batch_size,num_classes]
計算公式: