1. 程式人生 > >cmu秋季的ml課程 deep learning 的生物學基礎 --1

cmu秋季的ml課程 deep learning 的生物學基礎 --1

  1. 神經元結構
    在這裡插入圖片描述
  • 訊號通過樹突(dendrites)傳入神經元胞體(soma)
  • 訊號通過軸突(axon)傳遞給其他的神經元 每個神經元只有一個軸突,成熟的神經元不經過細胞分裂

在這裡插入圖片描述

  • 如果神經元A重複激勵神經元B,那麼他激勵神經元B的能力會變得更強,在生物學上表現的就是A和B的突觸旋鈕會變得更大
  • 用數學模型表示:
    w i
    = w i + η x i
    y w_i = w_i + \eta x_i y

    w i w_i
    是第 i i 個輸入神經元 x i x_i 對輸出 y y 的權重
  • 這個簡單的公式是許多機器學習演算法得基礎
  1. Rosenblatt’s perceptron
    在這裡插入圖片描述
  • 輸入的線性組合

  • 閾值邏輯: 如果輸入線性組合之和超過閾值,輸出為1
    f ( n ) = { 1 , if  i w i x i T > 0   0 , else f(n)= \begin{cases} 1, & \text {if $\sum_{i}{w_i x_i} - T > 0$ } \\ 0, & \text{else} \end{cases}

  • 提供了學習演算法
    W = W + η ( d ( x ) y ( x ) ) x \overrightarrow W = \overrightarrow W + \eta(d(\overrightarrow x)- y(\overrightarrow x))\overrightarrow x

    • d ( x ) d(x) 是神經元對於輸入 x x 的期望輸出
    • y ( x ) y(x) 是實際輸出

優勢:

  • 可執行布林任務(非, 或, 與)
  • 能夠自動更新權值
  • 演算法可收斂

不能執行異或演算法
說明僅有1個神經元完全不夠,因而出現了多層感知機(MLP)
在這裡插入圖片描述

summary:

1.多層感知機是連線計算圖(Multi-layer perceptrons are connectionist computational models)
2 .多層感知機可以用來分類(MLPs are classification engines)
3. 多層感知機也可以模擬輸出為任意連續值的函式(MLP can also model continuous valued functions)
4. 人工智慧就是通過網路構建可以模擬從輸入到輸出的函式(Interesting AI tasks are functions that can be modelled by the network)