1. 程式人生 > >谷歌內部機器學習術語表

谷歌內部機器學習術語表

本術語表中列出了一般的機器學習術語和 TensorFlow 專用術語的定義。

A

A/B 測試 (A/B testing)

一種統計方法,用於將兩種或多種技術進行比較,通常是將當前採用的技術與新技術進行比較。A/B 測試不僅旨在確定哪種技術的效果更好,而且還有助於瞭解相應差異是否具有顯著的統計意義。A/B 測試通常是採用一種衡量方式對兩種技術進行比較,但也適用於任意有限數量的技術和衡量方式。

準確率 (accuracy)

分類模型的正確預測所佔的比例。在多類別分類中,準確率的定義如下:

準確率=正確的預測數樣本總數準確率=正確的預測數樣本總數

二元分類中,準確率的定義如下:

準確率=正例數+負例數樣本總數準確率=正例數+負例數樣本總數

請參閱正例負例

啟用函式 (activation function)

一種函式(例如 ReLU 或 S 型函式),用於對上一層的所有輸入求加權和,然後生成一個輸出值(通常為非線性值),並將其傳遞給下一層。

AdaGrad

一種先進的梯度下降法,用於重新調整每個引數的梯度,以便有效地為每個引數指定獨立的學習速率。如需檢視完整的解釋,請參閱這篇論文

ROC 曲線下面積 (AUC, Area under the ROC Curve)

一種會考慮所有可能分類閾值的評估指標。

ROC 曲線下面積是,對於隨機選擇的正類別樣本確實為正類別,以及隨機選擇的負類別樣本為正類別,分類器更確信前者的概率。

B

反向傳播演算法 (backpropagation)

神經網路上執行梯度下降法的主要演算法。該演算法會先按前向傳播方式計算(並快取)每個節點的輸出值,然後再按反向傳播遍歷圖的方式計算損失函式值相對於每個引數的偏導數

基準 (baseline)

一種簡單的模型或啟發法,用作比較模型效果時的參考點。基準有助於模型開發者針對特定問題量化最低預期效果。

批次 (batch)

模型訓練的一次迭代(即一次梯度更新)中使用的樣本集。

另請參閱批次大小

批次大小 (batch size)

一個批次中的樣本數。例如,SGD 的批次大小為 1,而小批次

的大小通常介於 10 到 1000 之間。批次大小在訓練和推斷期間通常是固定的;不過,TensorFlow 允許使用動態批次大小。

偏差 (bias)

距離原點的截距或偏移。偏差(也稱為偏差項)在機器學習模型中用 bb 或 w0w0 表示。例如,在下面的公式中,偏差為 bb:

y′=b+w1x1+w2x2+…wnxny′=b+w1x1+w2x2+…wnxn

請勿與預測偏差混淆。

二元分類 (binary classification)

一種分類任務,可輸出兩種互斥類別之一。例如,對電子郵件進行評估並輸出“垃圾郵件”或“非垃圾郵件”的機器學習模型就是一個二元分類器。

分箱 (binning)

請參閱分桶

分桶 (bucketing)

將一個特徵(通常是連續特徵)轉換成多個二元特徵(稱為桶或箱),通常根據值區間進行轉換。例如,您可以將溫度區間分割為離散分箱,而不是將溫度表示成單個連續的浮點特徵。假設溫度資料可精確到小數點後一位,則可以將介於 0.0 到 15.0 度之間的所有溫度都歸入一個分箱,將介於 15.1 到 30.0 度之間的所有溫度歸入第二個分箱,並將介於 30.1 到 50.0 度之間的所有溫度歸入第三個分箱。

C

校準層 (calibration layer)

一種預測後調整,通常是為了降低預測偏差的影響。調整後的預測和概率應與觀察到的標籤集的分佈一致。

候選取樣 (candidate sampling)

一種訓練時進行的優化,會使用某種函式(例如 softmax)針對所有正類別標籤計算概率,但對於負類別標籤,則僅針對其隨機樣本計算概率。例如,如果某個樣本的標籤為“小獵犬”和“狗”,則候選取樣將針對“小獵犬”和“狗”類別輸出以及其他類別(貓、棒棒糖、柵欄)的隨機子集計算預測概率和相應的損失項。這種取樣基於的想法是,只要正類別始終得到適當的正增強,負類別就可以從頻率較低的負增強中進行學習,這確實是在實際中觀察到的情況。候選取樣的目的是,通過不針對所有負類別計算預測結果來提高計算效率。

分類資料 (categorical data)

一種特徵,擁有一組離散的可能值。以某個名為 house style 的分類特徵為例,該特徵擁有一組離散的可能值(共三個),即 Tudor, ranch, colonial。通過將 house style 表示成分類資料,相應模型可以學習 Tudorranch 和 colonial 分別對房價的影響。

有時,離散集中的值是互斥的,只能將其中一個值應用於指定樣本。例如,car maker 分類特徵可能只允許一個樣本有一個值 (Toyota)。在其他情況下,則可以應用多個值。一輛車可能會被噴塗多種不同的顏色,因此,car color 分類特徵可能會允許單個樣本具有多個值(例如 red 和 white)。

分類特徵有時稱為離散特徵

數值資料相對。

形心 (centroid)

聚類的中心,由 k-means 或 k-median 演算法決定。例如,如果 k 為 3,則 k-means 或 k-median 演算法會找出 3 個形心。