2. 程式人生 > >SLS機器學習介紹（02）：時序聚類建模

SLS機器學習介紹（02）：時序聚類建模

阿新 • • 發佈：2018-11-01

文章系列連結

前言

第一篇文章SLS機器學習介紹（01）：時序統計建模上週更新完，一下子炸出了很多潛伏的業內高手，忽的發現集團內部各個業務線都針對時序分析存在一定的需求。大傢俬信問我業務線上的具體方法，在此針對遇到的通用問題予以陳述（權且拋磚引玉，希望各位大牛提供更好的建議和方法）：

  • 資料的高頻抖動如何處理？

    • 在業務需求能滿足的條件下，進可能的對資料做聚合操作，用視窗策略消除抖動
    • 若不能粗粒度的聚合，我一般會選擇視窗濾波操作，在針對濾波後的資料進行一次去異常點操作
    • 改變檢測策略，將問題變成一個迴歸問題，引入多維度特徵，對目標進行預測

  • 歷史訓練資料如何選擇？

    • 針對自己的時序資料，需要先進行簡單的摸底操作，選擇合適的模型，是不是有明顯的週期？是不是有明顯的趨勢？

  • 這麼多方法該如何選擇？

    • 針對單指標預測的方法，需要採用多種演算法模型進行預測，將得到的結果也要整合起來，降低誤報操作
    • 可以針對歷史上的全量報警樣本，設計一套報警聚合規則，在一定容忍度的條件下得到較好的結果

摘要

在大型網際網路企業中，對海量KPI（關鍵效能指標）進行監控和異常檢測是確保服務質量和可靠性的重要手段。基於網際網路的服務型企業（如線上購物、社交網路、搜尋引擎等）通過監控各種系統及應用的數以萬計的KPI（如CPU利用率、每秒請求量等）來確保服務可靠性。KPI上的異常通常反映了其相關應用上可能出現故障，如伺服器故障、網路負載過高、外部攻擊等。因而，異常檢測技術被廣泛用於及時檢測異常事件以達到快速止損的目的。

問題背景

大多數異常檢測演算法（如雅虎的EDAGS，Twitter的BreakoutDetection，FaceBook的prophet）都需要為每條KPI單獨建立異常檢測模型，在面對海量KPI時，會產生極大的模型選擇、引數調優、模型訓練及異常標註開銷。幸運的是，由於許多KPI之間存在隱含的關聯性，它們是較為相似的。如果我們能夠找到這些相似的KPI（例如在一個負載均衡的伺服器叢集中每個伺服器上的每秒請求量KPI是相似的），將它們劃分為若干聚類簇，則可以在每個聚類簇中應用相同的異常檢測模型，從而大大降低各項開銷。

序列聚類建模

時序自動聚類流程.png

問題定義

在同一個業務指標的前提下：

  1. 查找出當前時序序列中有哪些相似的曲線形態？（單條曲線的多形態分解）
  2. 多條KPI指標曲線有哪些曲線的形態類似？（N條曲線形態聚類）

相似性度量

本文主要從時間對齊的多條時序KPI中進行相似性度量，時間點上的指標的相似性和時序曲線形態的相似性

  1. 時間點聚類（時間上的相似性）
    1.1 閔可夫斯基距離：衡量數值點之間距離的一種常見的方法，假設$P=(x_1,x_2,...,x_n)$和$Q=(y_1,y_2,...,y_n)$，則具體的公式如下：

$$ dist = (\sum_{i=1}^{n}|x_i-y_i|^p)^{\frac{1}{p}} $$

    當$p=1$時，表示曼哈頓距離；$p=2$時，表示歐幾里得距離；當p趨近於無窮大時，該距離轉換為切比雪夫距離，具體如下式所式：

$$ \lim_{p->\infty}(\sum_{i=1}^{n}|x_i-y_i|^p)^{\frac{1}{p}} = max_{i=1}^{n}|x_i-y_i| $$

    閔可夫斯基距離比較直觀，但是它與資料的分佈無關，具有一定的侷限性，如果x方向的幅值遠遠大於y方向的幅值，這個距離公式就會過度方法x維度的作用。因此在加算前，需要對資料進行變換（去均值，除以標準差）。這種方法在假設資料各個維度不相關的情況下，利用資料分佈的特性計算出不同的距離。如果資料維度之間資料相關，這時該類距離就不合適了！

    1.2 馬氏距離：若不同維度之間存在相關性和尺度變換等關係，需要使用一種變化規則，將當前空間中的向量變換到另一個可以簡單度量的空間中去測量。假設樣本之間的協方差矩陣是$\Sigma$，利用矩陣分解（LU分解）可以轉換為下三角矩陣和上三角矩陣的乘積：$\Sigma=LL^T$。消除不同維度之間的相關性和尺度變換，需要對樣本x做如下處理：$z=L^{-1}(x-\mu)$，經過處理的向量就可以利用歐式距離進行度量。

$$ dist = z^Tz = (x-\mu)^T\Sigma^{-1}(x-\mu) $$

  1. 形狀之間的相似性（空間上的結構相似性）
    2.1 編輯距離

如何去比較兩個不同長度的字串的相似性？給定兩個字串，由一個轉成另一個所需要的最小編輯操作，其中需要有三個操作，相同位置字元的替換、對字串中某個位置進行插入與刪除。具體的遞迴表示式如下：

$$ dp[i][j] = \begin{cases} 0 & i=0,j = 0 \\ j & i=0,j>0 \\ i & i>0,j=0 \\ min(dp[i][j-1] + 1, dp[i-1][j] + 1, dp[i-1][j-1]) & S_1(i) = S_2(j) \\ min(dp[i][j-1] + 1, dp[i-1][j] + 1, dp[i-1][j-1] + 1) & S_1(i) \neq S_2(j) \end{cases} $$

    2.2 DTW（Dynamic Time Warpping）距離
    動態時間規整（Dynamic Time Warping；DTW）是一種將時間規整和距離測度相結合的一種非線性規整技術。主要思想是把未知量均勻地伸長或者縮短，直到與參考模式的長度一致，在這一過程中，未知量的時間軸要不均勻地扭曲或彎折，以使其特徵與參考模式特徵對正。
    DTW（Dynamic Time Warping）距離的計算過程如下：
    假設，兩個時間序列Q和C，Q={$q_1$,$q_2$,…,$q_n$}，C={$c_1$,$c_2$,…,$c_m$}。構造一個(n, m)的矩陣，第(i, j)單元記錄兩個點$(q_i,c_j)$之間的歐氏距離，$d(q_i,c_j )=|q_i-c_j |$。一條彎折的路徑W，由若干個彼此相連的矩陣單元構成，這條路徑描述了Q和C之間的一種對映。設第k個單元定義為$w_k=(i,j)_k$，則$w=\{w_1, w_2, w_3, ..., w_K\}, max(n,m) <= K <= n+m-1$。

這條彎折的路徑滿足如下的條件：

1. 邊界條件：$w_1=(1,1)$，且$w_k=(n,m)$
2. 連續性：設$w_k=(a, b)$，$w_{k-1}=(a^{'}, b^{'})$，那麼$a-a^{'}<= 1$，$b-b^{'}<=1$
3. 單調性：設$w_k=(a,b)$，$w_{k-1}=(a^{'}, b^{'})$，那麼$a-a^{'}>=0, b-b^{'} >=0$

在滿足上述條件的多條路徑中，最短的，花費最少的一條路徑是:

$$ DTW(Q,C) = min\{1/K \sqrt(\sum_{k=1}^{K}w_k)\} $$

DTW距離的計算過程是一個DP過程，先用歐式距離初始化矩陣，然後使用如下遞推公式進行求解：

$$ r(i,j) = d(i,j) + min\{r(i-1, j-1), r(i-1, j), r(i, j-1)\} $$

演算法步驟

1. 資料預處理

  • 資料來源：叢集中所有叢集的多指標度量值（秒級資料）

    • SYS：系統執行情況記錄（啟動時間，負載情況、程序資訊等）
    • NET：網路裝置狀態傳輸情況（TCP、UDP等上行和下行流量等）
    • MEMORY：記憶體使用情況（使用率、交換分割槽使用情況等）
    • CPU/GPU：使用情況
    • DISK：磁碟IO情況

  • 基本的預處理

    • 確定下單條資料的資訊（檢視某機器某指標的情況）
    * and metric_name : machine_022_cpu | select stamp, metric_val order by stamp limit 2000

    image.png

    • 若時序資料含有缺失值，需要將將序列進行補點操作（如果序列缺失小於10%，則模型內部會將缺失資料自動按照鄰近值補齊）
    • 該資料是按照15秒一個點進行取樣的，如果需要進行更粗粒度的操作，需要額外處理

2. 時序資料的降維取樣

叢集中有相同屬性的機器大約為5K臺，那麼我們就會有經過處理的5K條NET:Tcp的曲線，現在需要對該集合進行聚類，找到其中相似形態的曲線，並發現形態不一致的曲線形態。

  • 分段線性表示方法
    分段線性表示是一種使用線性模型來對時間序列進行分割的方法，根據不同的分割方法可以使用不同的分割策略來實現，如滑動視窗、自底向上和自頂向下。利用滑動視窗和自底向上方法的時間複雜度為序列長度的平方階， 而自頂向下的時間複雜度為線性階。滑動視窗在一些情況下對時間序列的擬合效果較差，不能很好地反映原時間序列的變化資訊。
  • 分段聚合近似（Piecewise Aggregation Approximation，PAA）表示方法
    通過對時間序列進行平均分割並利用分段序列的均值來表示原時間序列的方法。
  • 符號化表示方法
    符號化表示方法是一種將時間序列轉換為字串序列的過程。在時間序列資料探勘過程中，傳統方法主要依賴於定量資料，遠遠不能滿足資料探勘領域中分析和解決問題的要求。在資料結構和演算法設計中，字串具有特定的資料儲存結構以及較為成熟且高效的操作演算法。

![image.png]()


分段聚合近似表示示意圖

本實驗中將時序序列將高維度資料降低到長度為300的PAA策略。

3. DBSCAN聚類演算法

DBSCAN（Density-BasedSpatial Clustering of Applications with Noise），一種基於密度的聚類方法，即找到被低密度區域分離的稠密區域，要求聚類空間中的一定區域內所包含物件（點或其他空間物件）的數目不小於某一給定閾值。

  • 其中幾個關鍵術語：

    • 密度：空間中任意一點的密度是以該點為圓心，以Eps為半徑的圓區域內包含的點數目
    • 邊界點：空間中某一點的密度，如果小於某一點給定的閾值minPts，則稱為邊界點
    • 噪聲點：不屬於核心點，也不屬於邊界點的點，也就是密度為1的點

image.png

上圖是一般DBSCAN的聚類過程，其中有兩個地方可以進行較好的優化：

  • 兩個引數

    • 最近兩個聚類中心的距離引數（Eps）
    • 最小聚類中心的例項的個數（MinPts）
  • 查詢一個向量在給定引數情況下的近鄰集合
3.1 KD Tree構造

KD(K-Dimensional) Tree，是一種分割K維度資料空間的資料結構。主要應用與多維空間關鍵資料的搜尋（如：範圍搜尋和近鄰搜尋）。

function kdtree(list of points pointList, int depth) {
    // select axis based on depth so that axis cycles through all valid values
    var int axis := depth % k;
    
    // sort point list and choose median as pivot element
    select median by axis from pointList;
    
    // create node and construct subtree
    node.location := median;
    node.leftChild := kdtree(points in pointList before median, depth + 1);
    node.rightChild := kdtree(points in pointList before median, depth + 1);

    return node;
}

上述演算法模型中，最大的問題在於軸點的選擇，選擇好軸點之後，就可以遞迴去建立這顆樹了。

  • 建樹必須遵循的兩個準則：

    • 建立的樹應當儘量平衡，樹越平衡代表著分割得越平均，搜尋的時間也就是越少；
    • 最大化鄰域搜尋的剪枝操作；

  • 選擇軸點的策略

    • 對於所有描述子資料（特徵向量），統計在每個維度上的資料方差，挑選出方差中最大值，對應的維度就是分割域的值。資料方差大說明沿著該座標軸方向上資料點分散的比較開。這個方向上，進行資料分割可以獲得最好的平衡。資料點集按照當前選擇的維度的值排序，位於正中間的那個資料點，就被選為軸點。
    • 實際中會出現問題：理論上空間均勻分佈的點，在一個方向上分割，通過計算方差，下一次分割就不會出現在這個方向上，但實際資料往往會不均勻，這樣就會出現很多長條的分割，會導致效率降低。
    • 為了避免這種情況，候選維度的選擇依據是資料範圍最大的那一個維度作為分割維度，之後就選擇這個維度的中間節點作為軸點，進行分割，分割出來的結果會稍微好一些。
    • 實際中也可以通過限制樹的高度的時候。

image.png

  • 鄰近搜尋策略

    • 給定一個KD Tree和一個節點，求KD Tree中離這個節點最近的節點，可以選定一個距離度量的方式。
    • 搜尋的基本思路：首先通過二叉樹搜尋（比較待查詢節點和分裂節點的分裂維度的值，小於等於就進入左側分支，大於就進入右側分支），順著搜尋路徑很快能找到最近鄰的近似點，也就是與待查詢點處於同一個子空間的葉子節點；然後在回溯搜尋路徑，並判斷搜素路徑上的其它近鄰節點是否有可能距離查詢點更近的資料點，直到搜尋路徑上的候選節點為空時停止。
3.2 引數自動化估計

image.png

具體的成分如下圖所示：

$$ P(\mu-\sigma \leq X \leq \mu + \sigma) \sim 0.6827 $$

$$ P(\mu-2\sigma \leq X \leq \mu + 2\sigma) \sim 0.9545 $$

$$ P(\mu-3\sigma \leq X \leq \mu + 3\sigma) \sim 0.9973 $$

這裡我們假設$(\mu + 2\sigma, \mu + 3\sigma)$的坐在成分為$2.1%$左右，因此我們假設最小的近鄰集合中所含有的樣本數量為$k=Total Size * 2.1% * 0.5$。

  • 具體的引數估計流程如下：

    • 計算任意兩個樣本之間的距離
    • 計算每個樣本的k-距離值，選擇每個樣本最近鄰的k個樣本，將該所有樣本的k距離集合進行升序排序，同時記錄每個候選距離中對應的點對座標（去重複之後，用來記錄該距離有多少個點）
    • 去查詢k距離排序之後的若干波動點（見參考文獻）
    • 使用KMeans聚類，對於找到的候選資訊$(eps, minPts)$進行聚類，得到相應的聚類中心
    • 然後將該引數送入到DBSCAN中進行聚類，對得到的聚類中心的資訊進行判定，得到較好的聚類結果
3.3 DBSCAN具體流程

直觀的理解下本節開頭關於聚類指標的說明:

  • core point：聚類中心向量
  • Border Point：某個聚類中心的邊界樣本點
  • MinPts：最少聚類中心的樣本點的數量
  • $\epsilon$：聚類中心內的最遠邊緣樣本到聚類中心的距離
  • Noise Point：噪聲樣本點

image.png

  • DBSCAN演算法描述中常用的概念

    • 密度可達：樣本點p，關於樣本點q對於引數${Eps, MinPts}$密度直達，若它滿足$p \in Neighbor(q, Eps)$ 且 $|Neighbor(q, Eps)| >= MinPts$
    • 密度可達：樣本點p，關於樣本點q對於引數${Eps, MinPts}$密度可達，若存在一系列的樣本點$p_1,...,p_n$（其中$p_1=q$, $p_n=p$）使得對於$i=1,2...,n-1$，樣本點$p_i$密度可達
    • 密度相連：樣本點p，關於樣本點q對於引數${Eps, MinPts}$密度相連，若存在一個樣本點o，使得p和q均由樣本點o密度可達。

image.png

  • 具體的演算法流程
首先，將資料集D中的所有物件標記為為處理狀態
for 樣本p in 資料集D do
    if p 屬於某個簇 或者 被標記為噪聲 then
        continue;
     else
         檢查p的Eps鄰域 Neighbor(Eps, p)
        if |Neighbor(Eps, p)| < MinPts then
            標記物件p為邊界點或噪聲點
        else
            標記樣本p為核心點，並建立新的簇C，並將p鄰域的所有點加入C
            for 樣本q in Neighbor(Eps, p)中所有未被處理的物件 do
                按照鄰域樣本數量進行判斷
             end for
         end if
     end if
end for

4. 層次聚類演算法

image.png

層次聚類是一種很直觀的演算法，就是一層一層的對資料進行聚類操作，可以自低向上進行合併聚類、也可以自頂向下進行分裂聚類。

  • 凝聚式：從點作為個體簇開始，每一個步合併兩個最接近的簇
  • 分裂式：從包含所有個體的簇開始，每一步分裂一個簇，直到僅剩下單點簇為止

4.1 凝聚層次聚類演算法步驟

  • 計算鄰近度量矩陣

  • repeat

    • 合併最接近的兩個簇
    • 更新鄰近度矩陣，以反映新簇與原來簇之間的鄰近度量值
  • Until 僅剩下一個簇或者達到某個終止條件

平臺實驗結果

自動引數選擇的密度聚類演算法

  • 呼叫命令
* | select ts_dencity_cluster(stamp, metric_val, metric_name)
  • 聚類結果
    image.png

image.png
image.png
image.png
image.png

  • 上述輸出結果說明

    • 聚類的中心的數量有演算法自動生成
    • 輸出的結果按照所含有的例項數量降序排列

層次聚類演算法

  • 呼叫命令
* | select ts_hierarchical_cluster(stamp, metric_val, metric_name, 2)
  • 聚類結果
    image.png
  • 呼叫命令
* | select ts_hierarchical_cluster(stamp, metric_val, metric_name, 8)
  • 聚類結果
    image.png

image.png

  • 上述輸出結果說明

    • 聚類的中心的數量的上限使用者可自定義
    • 輸出的結果按照所含有的例項數量降序排列

查詢相似曲線

  • 呼叫命令
* | select ts_similar_instance(stamp, metric_val, metric_name, 'machine_008_cpu')

  • 返回結果

    • machine_008_cpu
      image.png
    • machine_021_cpu
      image.png
    • machine_023_cpu
      image.png

硬廣時間

日誌進階

阿里雲日誌服務針對日誌提供了完整的解決方案，以下相關功能是日誌進階的必備良藥：

  1. 機器學習語法與函式：https://help.aliyun.com/document_detail/93024.html
  2. 日誌上下文查詢：https://help.aliyun.com/document_detail/48148.html
  3. 快速查詢：https://help.aliyun.com/document_detail/88985.html
  4. 實時分析：https://help.aliyun.com/document_detail/53608.html
  5. 快速分析：https://help.aliyun.com/document_detail/66275.html
  6. 基於日誌設定告警：https://help.aliyun.com/document_detail/48162.html
  7. 配置大盤：https://help.aliyun.com/document_detail/69313.html

更多日誌進階內容可以參考：日誌服務學習路徑。

聯絡我們

糾錯或者幫助文件以及最佳實踐貢獻，請聯絡：悟冥
問題諮詢請加釘釘群：11775223

Reference

  1. 微軟亞研院的AIOps底層演算法： KPI快速聚類
  2. Yading: Fast Clustering of Large-Scale Time Series Data
  3. 漫談：機器學習中距離和相似性度量方法
  4. 如何理解K-L散度（相對熵）
  5. 最小編輯距離演算法
  6. DTW Algorithm
  7. A Piecewise Aggregate Approximation Lower-Bound Estimate for Posteriorgram-based Dynamic Time Warping
  8. 各類降維方法總結
  9. 68–95–99.7 rule
  10. Comment on "Clustering by fast search and find of density peaks"
  11. Clustering by fast search-and-find of density peaks

相關推薦

SLS機器學習介紹（02）：時序聚類建模

文章系列連結 SLS機器學習介紹（01）：時序統計建模 SLS機器學習介紹（02）：時序聚類建模 SLS機器學習介紹（03）：時序異常檢測建模 SLS機器學習介紹（04）：規則模式挖掘 前言 第一篇文章SLS機器學習介紹（01）：時序統計建模上週更新完，一下子炸出了很多潛伏的業

SLS機器學習介紹（03）：時序異常檢測建模

文章系列連結 SLS機器學習介紹（01）：時序統計建模 SLS機器學習介紹（02）：時序聚類建模 SLS機器學習介紹（03）：時序異常檢測建模 SLS機器學習介紹（04）：規則模式挖掘 SLS機器學習最佳實戰：時序異常檢測和報警 摘要與背景 雖然計算機軟硬體的快速發展已

SLS機器學習介紹（01）：時序統計建模

文章系列連結 SLS機器學習介紹（01）：時序統計建模 SLS機器學習介紹（02）：時序聚類建模 SLS機器學習介紹（03）：時序異常檢測建模 SLS機器學習介紹（04）：規則模式挖掘 SLS機器學習最佳實戰：時序異常檢測和報警 背景 時序資料是業務監控中最多方法，雙十

SLS機器學習介紹（05）：時間序列預測

00系列文章目錄 0.1 演算法原理目錄 SLS機器學習介紹（01）：時序統計建模 SLS機器學習介紹（02）：時序聚類建模 SLS機器學習介紹（03）：時序異常檢測建模 SLS機器學習介紹（04）：規則模式挖掘 SLS機器學習介紹（05）：時間序列預測 0.2 演算法最佳實踐

機器學習總結（十）：常用聚類演算法（Kmeans、密度聚類、層次聚類）及常見問題

任務：將資料集中的樣本劃分成若干個通常不相交的子集。 效能度量：類內相似度高，類間相似度低。兩大類：1.有參考標籤，外部指標；2.無參照，內部指標。 距離計算：非負性，同一性（與自身距離為0），對稱性

機器學習練習（七）—— K-均值聚類與主成分分析

這篇文章是一系列 Andrew Ng 在 Coursera 上的機器學習課程的練習的一部分。這篇文章的原始程式碼，練習文字，資料檔案可從這裡獲得。 現在我們到了本系列最後兩篇文章了！在本部分，我們將會討論

機器學習介紹（introduction）-讀書筆記-

就是 .net 一條直線 但我 $2 標簽 沒標簽 處理 概率 一，什麽是機器學習 第一個機器學習的定義來自於 Arthur Samuel。他定義機器學習為，在進行特定編程的情況下，給予計算機學習能力的領域。Samuel 的定義可以回溯到 50 年代，他編寫了

機器學習筆記（一）：最小二乘法和梯度下降

一、最小二乘法 1.一元線性擬合的最小二乘法 先選取最為簡單的一元線性函式擬合助於我們理解最小二乘法的原理。 要讓一條直接最好的擬合紅色的資料點，那麼我們希望每個點到直線的殘差都最小。 設擬合直線為

機器學習筆記（十）：TensorFlow實戰二（深層神經網路）

1 - 深度學習與深層神經網路 深度學習的精確定義為：“一類通過多層非線性變換對高複雜性資料建模演算法的集合” 因此，多層神經網路有著2個非常重要的特性 多層 非線性 1.1 - 線性模型的侷限性 線上性模型中，模型的輸出為輸入的加權和，假設一

機器學習筆記（九）：Tensorflow 實戰一 （Tensorflow入門）

1 - TsensorFlow計算模型 ——計算圖 1.1- 計算圖的概念 計算圖是TensorFlow中最基本的一個概念，TensorFlow中的所有計算都會被轉化為計算圖上的節點。 在TensorFlow中，張量可以簡單地理解為多為陣列。如果說TensorFlow的第一個詞T

機器學習筆記（八）：PCA降維演算法

1 - PCA概述 主成份分析，簡稱為PCA，是一種非監督學習演算法，經常被用來進行 資料降維 有損資料壓縮 特徵抽取 資料視覺化 2 - PCA原理詳解 通過計算資料矩陣的協方差矩陣，然後得到協方差矩陣的特徵值特徵向量，選擇特

機器學習筆記（七）：K-Means

1 - 前言 之前我們學習的演算法均為監督學習演算法，而K-means是我們所學習的第一個無監督學習演算法。所以首先讓我們瞭解一下監督學習和無監督學習的區別 1.1 - 監督學習（supervised learning） 從給定的訓練資料集中學習出一個函式（模型引數），當新的資料

機器學習筆記（六）：KNN分類器

1 KNN演算法 1.1 KNN演算法簡介 KNN（K-Nearest Neighbor）工作原理：存在一個樣本資料集合，也稱為訓練樣本集，並且樣本集中每個資料都存在標籤，即我們知道樣本集中每一資料與所屬分類對應的關係。輸入沒有標籤的資料後，將新資料中的每個特徵與樣本集中資料對應的特

機器學習筆記（五）：樸素貝葉斯分類器

一、概述 1.1 簡介 樸素貝葉斯（Naive Bayesian）是基於貝葉斯定理和特徵條件獨立假設的分類方法，它通過特徵計算分類的概率，選取概率大的情況進行分類，因此它是基於概率論的一種機器學習分類方法。因為分類的目標是確定的，所以也是屬於監督學習。 Q1：什麼是基於概率論的方

機器學習筆記（3）：線性代數回顧

目錄 1）Matrices and vectors 2）Addition and scalar multiplication 3）Matrix-vector multiplication 4）Matrix-matrix multiplication 5）Matrix multip

機器學習筆記（十三）：TensorFlow實戰五（經典卷積神經網路： LeNet -5 ）

1 - 引言 之前我們介紹了一下卷積神經網路的基本結構——卷積層和池化層。通過這兩個結構我們可以任意的構建各種各樣的卷積神經網路模型，不同結構的網路模型也有不同的效果。但是怎樣的神經網路模型具有比較好的效果呢？ 下圖展示了CNN的發展歷程。 經過人們不斷的嘗試，誕生了許多有

機器學習儲備（3）：似然函式例子解析

似然函式是個什麼函式，它的意義是什麼？它與概率相比，有什麼不同嗎？ 1、似然函式 似然函式是一種關於統計模型中的引數的函式，表示模型引數中的似然性。 給定輸出 x 時，關於引數 θ 的似然函式 L(θ|x)，在數值上它等於給定引數 θ 後變數 X 的概率： 這個是非常

機器學習儲備（1）：協方差和相關係數

為了深刻理解機器學習演算法的原理，首先得掌握其中涉及到的一些基本概念和理論，比如概率，期望，標準差，方差。在這些基本概念上，又衍生出了很多重要概念，比如協方差，相關係數等。今天我們就來聊聊這些組成機器學習的基本概念。 1、概率 概率 P 是對隨機事件發生的可能性的度量。 例如，小明在期末

機器學習儲備（2）：高斯分佈

今天講解獨立同分布的概念，高斯分佈，一維高斯分佈。 1、獨立同分布 指隨機過程中，任何時刻的取值都為隨機變數，如果這些隨機變數服從同一分佈，並且互相獨立，那麼這些隨機變數是獨立同分布。 先說說獨立這個概念。在預測德克薩斯州區域的房屋價值時，房屋樣本x1和樣本x2之間的預測是相互獨立的，它

機器學習儲備（4）：最常用的求導公式

求導公式在機器學習的梯度下降中經常使用，因為梯度就意味著要求導，所以將使用頻率最高的幾個公式羅列在下面，方便查閱。 其中第三個是第二個的特列 求導比較重要的一條性質便是鏈式求導法則，它其實並不難理解，因為求導數意味著由外及內的，一層一層地將變化傳遞到最裡頭。 例如，要求解