多層感知器

多層感知器（Multilayer Perceptron,縮寫MLP）是一種前向結構的人工神經網路，對映一組輸入向量到一組輸出向量。MLP可以被看作是一個有向圖，由多個的節點層所組成，每一層都全連線到下一層。除了輸入節點，每個節點都是一個帶有非線性啟用函式的神經元（或稱處理單元）。一種被稱為反向傳播演算法的監督學習方法常被用來訓練MLP。 MLP是感知器的推廣，克服了感知器不能對線性不可分資料進行識別的弱點。
摘自：維基百科
https://zh.wikipedia.org/wiki/%E5%A4%9A%E5%B1%82%E6%84%9F%E7%9F%A5%E5%99%A8

前言

本博文主要介紹一下多層感知器的結構，並且用程式碼實現網路結構的初始化。隨筆而已，寫的比較粗躁。

模型結構

在之前的博文中說過一個感知器。其可以看作是一個單個的神經元。這次的多層感知器其實是對其的一個衍生和發展。
首先一個最簡單的MPL

其中輸入向量為x。產生的刺激為z=wx+b
w為權重向量
b就是偏置（網上把偏置說的很懸其實就是這玩意）
啟用函式使用最簡單的sigmod函式（其實可以為很多）
這是函式影象

很簡單吧，模型圖上的每一根線就是一個z=wx+b 所以圖上需要兩個w向量,兩個b向量。（數數問題）

稍微複雜一點

注意：一般神經網路中的輸入層是不算的。再就是一個神經元輸出只有一個實數。所以我們可以把輸入層看成是一個 X 向量。（不是一個神經元能產生一個X向量，一個神經元只能產生一個x1)
如圖：輸入層為三個我們可以看作x1,x2,x3 組成X向量。
產生的“刺激”：w1X+b1。經過刺激函式轉換成y1 （輸入層—>隱藏層）.
同樣產生“刺激” w2X+b1。經過刺激函式轉換為y2
所以我們可以得到下面結論：
w1、w2是一個3*1的矩陣。
b1是一個2*1的矩陣。

同理：
“刺激“ w3Y+b2 得到最後結果Z（隱藏層->輸出層）
w3是一個2*1的矩陣
b2是一個1*1的矩陣

綜上所述
初始化我們需要3個W向量，兩個b向量。

初始化程式碼

# -*- coding: utf-8 -*-
# @Time    : 2017/11/22 下午9:17
# @Author  : SkullFang
# @Email   : [email protected]
# @File    : OneDemo.py
# @Software: PyCharm
import numpy as np
class Network(object):
    def
 
 __init__(self,sizes):
        """
        sizes表示 網路的結構
        sizes=[3,2,1]
        輸入層為3，隱藏層為2，輸出層為1
        :param sizes: 
        """
        #網路層數
        self.num_layers=len(sizes) #層數
        #神經元的個數
        self.sizes=sizes
        #初始化每一層的偏置 z=wx+b 就是b的值
        self.baises=[np.random.randn(y,1) for y in sizes[1:]]
        #等同與
        """
        baises=[]
        #意思就是生成一個符合正態分佈的 y*1的陣列
        for y in sizes[1:]:
            biases.append(np.random.randn(y, 1))
        結果
        [array([[ 1.05154644],
       [-0.02986238]]), array([[-0.88098138]])]

        """

        #初始化權重W
        self.weights=[np.random.randn(y,x) for x,y in zip(sizes[:-1],sizes[1:])]
        #等同與
        """
        產生一個y*x 符合正態的
        weights=[]
        for x,y in zip(sizes[:-1],sizes[1:]):
            weights.appenf(np.random.randn(y,x))
        pass
        >>> weights
        [array([[-0.22826557, -0.54427902,  0.19502928],
       [ 0.21433594,  0.72849057,  0.12851307]]), array([[ 0.27181857, -0.55032853]])]

        """



#sigmoid
def sigmoid(z):
    """
    啟用函式
    :param z: 
    :return:
    sigmoid(z)=1／（1+e^-z）
    """
    return 1.0/(1.0+np.exp(-z))

#建立網路
net=Network([3,2,1])
print net.num_layers
print net.sizes
print net.baises
print net.weights