2. 程式人生 > >初識神經網路---My way of AI18

初識神經網路---My way of AI18

阿新 • • 發佈：2018-12-18

感知機

說到神經網路之前我們先說一下感知機，它其實是一種偽神經元。 有n個數據，通過權重與各種資料之間的計算和比較啟用函式結果，得出輸出，它的主要目的是解決分類問題。

但是如何現在是有一個感知機解決不了的我們就引入了多個感知機，這其實也就是我們常說的svm演算法。

我們登陸playground.tensorflow.org網站去模擬一下單個以及多個感知機的分類效果。

1.一個神經元進行二分類 在這裡插入圖片描述

可以明顯的看出分類結果毫不準確，就是因為一條線不可能分開。

2.兩個神經元 在這裡插入圖片描述

3.三個神經元 在這裡插入圖片描述

可以看出來三個神經元得出的結果已經是非常準確了。所以可以看得出來，所謂的感知機其實就是神經網路（神經元）。

神經網路

神經網路的一些過程無法解釋（其實今天10.28才在csdn上看到新聞，國外有一些科學家把深度學習比作是鍊金術，hhhh），我討厭將深度學習稱為AI。

多個神經元（感知機）組成神經網路。不同的結構解決不同的問題，不只是分類，迴歸及其他問題。

特點

  1. 輸入向量維度與輸入神經元個數相同
  2. 每個連線都有權值
  3. 同一層神經元之間沒有連線
  4. 由輸入層，隱層和輸出層組成
  5. 第N層和第N-1層的所有神經元連線，叫做全連線

組成

  1. 結構：神經網路中的權重，神經元等
  2. 啟用函式
  3. 學習規則：學習規則規定了網路中的權重如何隨著時間推進而調整（反向傳播演算法）

神經網路。解決多分類，得出某一個樣本屬於全部樣本的概率，所有有多少個類別就有多少個類別概率的輸出。

神經網路的模組選擇： tf.nn：提供神經網路的基本操作 tf.layers:主要是對tf.nn的進一步封裝 tf.contrib：將tf.layers進一步封裝，目前處於試驗階段還不穩定

學習中採用tf.nn模組體會神經網路的流程

淺層的人工神經網路模型

SoftMax迴歸

Si=ei/(e1+e2+…+ej)求出的是一個概率值，其中i代表的是第i個類別求出的值，j代表一共j個列別。這樣就可以求出各個類別的概率。且從公式可以看出來所有類別的概率值相加等於1。 在這裡插入圖片描述

神經網路用交叉熵函式衡量損失 其實就是資訊熵，一個樣本就有一個交叉熵損失，y\i代表是真實值，yi代表預測概率 在這裡插入圖片描述

優化：反向傳播演算法（就是梯度下降）

因為神經網路有反響傳播的概念，我們把資料的輸入叫做正向傳播，我們把更新權重叫做反向傳播。可以參考李金洪的《深度學習之tensorflow入門與實戰》。

API

softmax

在這裡插入圖片描述

損失值列表平均值計算

在這裡插入圖片描述

反向傳播演算法API

在這裡插入圖片描述

相關推薦

初識神經網路---My way of AI18

感知機 說到神經網路之前我們先說一下感知機，它其實是一種偽神經元。 有n個數據，通過權重與各種資料之間的計算和比較啟用函式結果，得出輸出，它的主要目的是解決分類問題。 但是如何現在是有一個感知機解決不了的我們就引入了多個感知機，這其實也就是我們常說的svm演算法

卷積神經網路---My way of AI 21

卷積神經網路 上一篇文章實現了用全連線層神經網路手寫數字識別，但是全連線層神經網路有一個缺點就是：假設我是32323的RGB圖片，如果我的第一層全連線層是500個節點，那麼我需要的引數就是32323*500+500一共需要150多萬個引數，這樣會導致計算過慢以及

DeepLearning.ai作業:(4-1)-- 卷積神經網路（Foundations of CNN）

title: ‘DeepLearning.ai作業:(4-1)-- 卷積神經網路（Foundations of CNN）’ id: dl-ai-4-1h tags: dl.ai homework categories: AI Deep Learning d

DeepLearning.ai筆記:(4-1)-- 卷積神經網路（Foundations of CNN）

title: ‘DeepLearning.ai筆記:(4-1)-- 卷積神經網路（Foundations of CNN）’ id: dl-ai-4-1 tags: dl.ai categories: AI Deep Learning date: 2018-09-

驗證碼識別1---My way of AI 23

寫一個練手的驗證碼識別專案 資料集和完整程式碼我會傳到我的下載資源 這篇文章是專案第一步，建立tfrecords檔案 # 程式碼邏輯 1.讀取圖片檔案 2.讀取csv檔案 3.處理一下讀取好的csv檔案到數字張量 4.寫入tfrecords檔案 1.讀取圖片檔案 1.建立

資料集-My way of ML5

資料集劃分 一般是0.75劃分成訓練集，0.25劃分成測試集 資料集劃分API：sklearn.model_selection.train_test_split(test_size=0.25) sklearn流行資料集 sklearn.databases.l

樸素貝葉斯演算法-My way of ML7

預備知識 聯合概率：包含多個條件，所有條件同時成立概率P（A，B）=P（A）P（B） 條件概率：事件A發生在事件B發生的條件之下的概率。所有的特徵值無關的時候才能適用條件概率 樸素貝葉斯的前提是： 特徵條件獨立，哈哈，這也是她被叫做樸素的原因，因為特徵之間很難獨

拉普拉斯平滑-My way of ML7.1

樸素貝葉斯演算法有一個問題： 某篇文章是娛樂的概率是0這是不合理的，如果詞頻列表中出現很多次數都是0的話，很可能計算結果都是 0. 解決辦法：拉普拉斯平滑 p（Fi|C）=(Ni+alpha)/(N+alpha*m) alpha是指定的係數一般是1，m是訓練文件

tensorflow文字讀取---My way of AI17

流程 tendorflow可以讀取文字檔案，二進位制檔案，圖片檔案和tfrecords檔案。除了閱讀器不一樣，讀檔案的流程是差不多的。 1.構造檔案佇列 2.讀取檔案內容 3.解碼 4.批處理 import tensorflow as tf import os

MNIST手寫數字識別---My way of AI 19

手寫數字的識別相當於是深度學習的helloworld 首先這是一個流行資料集可以從網路下載，也可以直接import from tensorflow.examples.tutorials.mnist import input_data 學這個簡單的神經網路之前我

深度學習理論基礎7-初識神經網路

為了有種儀式感。我給出了神經網路的抽象表示。各層的名字圖上已經給的很清楚了。圖上沒有體現到的知識是，中間層也叫隱藏層。因為這個模型只有2層有權重，所以通常被叫做'2層網路'。 讓我們回到感知機。下面是感知機的數學公式表示： 還是原來的配方，還是原來的味道。接著給你感知機的影象表示

神經網路和深度學習（一）——初識神經網路

神經網路和深度學習 神經網路：一種可以通過觀測資料使計算機學習的仿生語言範例 深度學習：一組強大的神經網路學習技術 神經網路和深度學習目前提供了針對影象識別，語音識別和自然語言處理領域諸多問題的最佳解決方案。傳統的程式設計方法中，我們告訴計算機如何去做，將

python機器學習算法系列之初識神經網路分類

下面的例子是區分數字如下圖：在程式中通過下面語句就可以自動下載資料集mnist=input_data.read_data_sets('MNIST_data',one_hot=True) 但是有時候會出錯，那就需要大家手動下載，它包括四個壓縮檔案，下載統一後放在python工作

論文學習-系統評估卷積神經網路各項超引數設計的影響-Systematic evaluation of CNN advances on the ImageNet

寫在前面 論文狀態：Published in CVIU Volume 161 Issue C, August 2017 論文地址：https://arxiv.org/abs/1606.02228 github地址：https://github.com/ducha-aiki/caffenet-benchmar

深度神經網路的多工學習概覽(An Overview of Multi-task Learning in Deep Neural Networks)

譯自：http://sebastianruder.com/multi-task/ 1. 前言 在機器學習中，我們通常關心優化某一特定指標，不管這個指標是一個標準值，還是企業KPI。為了達到這個目標，我們訓練單一模型或多個模型集合來完成指定得任務。然後，我們通過精細調參，來改進模型直至效能不再

神經網路視覺化（Visualization of Neural Network ）

神經網路視覺化和可解釋性（Visualization and Explanation of Neural Network ） 相對於傳統的ML模型，Deep NN由於其自身所特有的多層非線性的結構而導致難以對其工作原理進行透徹的理解。比如，我們很難理解網路將一個

一個藝術風格化的神經網路演算法(A Neural Algorithm of Artistic Style)（譯）

文章地址：《A Neural Algorithm of Artistic Style》. arXiv:1508.06576   對於好的藝術作品，尤其是畫作，人們已經掌握了通過在一幅影象的內容和風格中構成複雜的相互影響來創作獨特的視覺體驗的技能。因此這個過

深度學習進階（五）--卷積神經網路與深度置信網路以及自動編碼初識（補昨天部落格更新）

總結一下昨天的學習過程 （注：這幾天老不在狀態，貌似進入了學習激情的瓶頸期，動力以及平靜心嚴重失控，Python3.X與Python2.X之間的程式碼除錯，尤其是環境配置搞得頭昏腦脹） 昨天瞭解接觸的內容 CNN卷積神經網路的基本原理以及在CPU中測試以及程式碼除錯（又是失

卷積神經網路（一）- Foundations of Convolutional Neuron Networks

歡迎使用Markdown編輯器寫部落格 本Markdown編輯器使用StackEdit修改而來，用它寫部落格，將會帶來全新的體驗哦： Markdown和擴充套件Markdown簡潔的語法 程式碼塊高亮 圖片連結和圖片上傳 LaTex數學公式 UML序列

AlphaGo論文的譯文，用深度神經網路和樹搜尋征服圍棋：Mastering the game of Go with deep neural networks and tree search

前言： 圍棋的英文是 the game of Go，標題翻譯為：《用深度神經網路和樹搜尋征服圍棋》。譯者簡介：大三，211，電腦科學與技術專業，平均分92分，專業第一。為了更好地翻譯此文，譯者查看了很多資料。譯者翻譯此論文已盡全力，不足之處希望讀者指出