從零開始學TensorFlow
前言
只有光頭才能變強。
文字已收錄至我的GitHub倉庫,歡迎Star:https://github.com/ZhongFuCheng3y/3y
最近在學習TensorFlow的相關知識,瞭解了TensorFlow一些基礎的知識,現在週末有空了,就寫寫一些筆記,記錄一下自己的成長~
總的來說,TensorFlow還是一個比較新的技術,有興趣的同學不妨跟著我的筆記,一起學學唄(反正沒壞處)~
前面回顧:
知識背景:沒有Python基礎,沒有機器學習基礎,可以說是真正從零學TensorFlow的了。
一、安裝Tensorflow所需要的環境
1.1安裝Python環境
使用環境:Mac
Python有好多個版本,在Mac中自帶的Python版本是2.7
,但相對而言比較老了。現在一般用Python3.x
了,本次下載的版本是3.5.6
我安裝Python所使用方法的大致步驟:
- 安裝Homebrew
- 安裝pyenv
- 在
.bash_profile
新增環境變數 - 讓環境變數生效
- 安裝
3.X版本python
詳情可參考如下的連結(總的來說,我根據下面的教程一下子就安裝了我想要的Python版本,還是非常不錯的。):
- Mac下安裝多版本python:
- pyenv相關的命令(常用的pyenv命令):
在安裝Python的時候也發現了一個小知識點:
- Mac一般使用bash作為預設的shell,會有好幾個環境變數,其中
etc/profile
是系統級的,還有幾個使用者級別的環境變數,比如說:~/.bash_profile
- 如果修改的是系統級別的環境變數,也就是
etc/profile
,在儲存的時候只能是:wq
!覆蓋,不然會出現readonly錯誤
(至於TensorFlow和numpy依賴的下載,這裡我就不說了,就兩條命令就搞掂啦)
1.2PyCharm編輯器
Java有IDEA
神器,同樣的,Python也有PyCharm
,同樣是JetBrains出產的。
我在之前從來沒使用過PyCharm,也沒寫過一句的Python程式碼。
把Pycharm安裝好了之後,我想當然就new project
去用了,然後就next,next,next
,當成IDEA來用。但發現了一個問題:我在之前明明裝好了TensorFlow和numpy的依賴,在PyCharm環境下卻識別不出來!在命令列視窗下,依賴是存在的!
後來才發現:如果用PyCharm去new一個project,會預設建一個解析器在當前的專案目錄下。而PyCharm會遵守“就近原則”使用當前專案路徑下的解析器。而我們新增的依賴(TensorFlow、numpy)是在我們安裝Python的路徑下的,這就導致了在命令列下找到依賴,而在PyCharm中找不到依賴。
解決也很簡單:在PyCharm指定一下我們安裝Python的路徑,切換一下就好了。
參考資料:
- 關於pip安裝第三方庫,但pycharm中卻無法識別的問題;以及pycharm安裝第三方庫的方法解析
二、體驗TensorFlow
好的,我們現在已經安裝好TensorFlow所需要的環境了!(看起來好簡單,但還是花了我不少時間....)
官網的Demo連結(需要科學上網):
首先我們來看一下這個例子可以幹些什麼:我們有非常多張的圖片(資料集),這些圖片有不同的型別(比如衣服、鞋子、褲子,一共有10種類型),把這些資料集扔進我們的神經網路裡頭,生成出模型。有了模型以後,當我們再將類似的圖片扔進去,這個模型可以幫我們預測這張圖片是衣服還是鞋子還是褲子。
隨後,我跟著官網的程式碼跑了一(程式碼我都只是一步一步複製貼上),最後跑起來:
# TensorFlow and tf.keras
import tensorflow as tf
from tensorflow import keras
# Helper libraries
import numpy as np
print(tf.__version__)
# 載入資料、區分出測試資料和訓練資料
# 注意:如果已經下過,重複下載的話,可能會出現EOFError: Compressed file ended before the end-of-stream marker was reached錯誤
fashion_mnist = keras.datasets.fashion_mnist
(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()
# 分類的列表
class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat',
'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']
# 檢視資料的值
print(train_images.shape) # 樣本的shape(可以看出有多少條樣本、維度)
print(len(train_labels)) # label的個數,有多少個樣本,就應該有多少個label
print(train_labels) # label的值,對應上面分類列表(從0到9)
# 對測試資料和訓練資料進行預處理(實際上就是歸一化)
train_images = train_images / 255.0
test_images = test_images / 255.0
# 設定層 (初始處理)--- 建立神經層
model = keras.Sequential([
keras.layers.Flatten(input_shape=(28, 28)),
keras.layers.Dense(128, activation=tf.nn.relu),
keras.layers.Dense(10, activation=tf.nn.softmax)
])
# 損失函式、優化器、指標
model.compile(optimizer=tf.train.AdamOptimizer(),
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
# 將訓練集丟進去,訓練出模型(Model)
model.fit(train_images, train_labels, epochs=5)
# 將測試資料丟到模型中,評估一下得分(準確率)
test_loss, test_acc = model.evaluate(test_images, test_labels)
print('Test accuracy:', test_acc)
# 評估完準確率以後,我們可以對測試資料進行預測
predictions = model.predict(test_images)
# 選第一個樣本預測後的得出最有可能結果
print(np.argmax(predictions[0]))
# 對比結果
print(test_labels[0])
跑出來的結果:
(後期註釋:這是TensorFlow的版本)
1.12.0
(後期註釋:這是TensorFlow下載資料集的日誌)
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-labels-idx1-ubyte.gz
32768/29515 [=================================] - 0s 3us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/train-images-idx3-ubyte.gz
26427392/26421880 [==============================] - 12s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-labels-idx1-ubyte.gz
8192/5148 [===============================================] - 0s 0us/step
Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/t10k-images-idx3-ubyte.gz
4423680/4422102 [==============================] - 2s 0us/step
(後期註釋:樣本的shape)
(60000, 28, 28)
(後期註釋:樣本有多少條,對應的label就有多少條)
60000
(後期註釋:label的值是從0-9,表示有九種類別)
[9 0 0 ... 3 0 5]
(後期註釋:開始訓練)
Epoch 1/5
2019-02-19 14:00:46.842852: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
60000/60000 [==============================] - 4s 65us/step - loss: 0.4995 - acc: 0.8246
Epoch 2/5
60000/60000 [==============================] - 4s 62us/step - loss: 0.3734 - acc: 0.8655
Epoch 3/5
60000/60000 [==============================] - 4s 63us/step - loss: 0.3346 - acc: 0.8788
Epoch 4/5
60000/60000 [==============================] - 4s 63us/step - loss: 0.3102 - acc: 0.8861
Epoch 5/5
60000/60000 [==============================] - 4s 63us/step - loss: 0.2918 - acc: 0.8916
10000/10000 [==============================] - 0s 36us/step
(後期註釋:預測出來的精確度)
Test accuracy: 0.8514
(後期註釋:選第一個樣本進行預測,並對比實際的結果)
9
9
參考資料:
- TensorFlow官網的例子(需要科學上網才能進..)
- Tensorflow學習筆記之一:訓練你的第一個神經網路——基礎分類
2.1總結一下使用TensorFlow的步驟
- 載入資料:使用dataset的api載入資料,並將資料集分成訓練資料和測試資料
- 檢查資料:檢查dataSet的資料有沒有問題(例如,樣本的記錄數、label的記錄數等)
- 對資料預處理:對測試資料和訓練資料進行歸一化處理,目的:減少因為數值的大小所帶來的影響(一般我們會將值都縮小在一個小的範圍內)
- 建立神經網路:(輸入層、隱藏層、輸出層)
- 為模型定義損失函式、優化器、指標
- 將訓練資料丟進我們的神經網路中,生成出Model
- 將測試資料丟進我們生成好的Model進行評估,預測出我們的準確率
三、TensorFlow介紹
3.1什麼是TensorFlow
如果去Google搜關鍵字“TensorFlow”,那可能你會看到這麼一句話:
An open source machine learning framework for everyone.
沒錯,TensorFlow就是一個機器學習的框架。至於框架,相信大家也比較好理解了;類比到Java,比如說我們的Spring框架給我們封裝了好多好用的API,簡化我們的開發(想想當年寫Servlet的時候!)
TensorFlow作為機器學習的框架,同樣也給我們封裝了好多好用的API,能夠降低學習機器學習的門檻。
- 就拿上面的例子來說,沒想到那麼少的程式碼就可以跑機器學習的“HelloWorld”了!
至於機器學習和神經網路的相關基礎,我強烈建議讀讀這兩篇文章!通俗易懂的科普文章:
3.2TensorFlow的架構
我們可以發現上面的Demo所用的基礎語言是Python,但不要認為TensorFlow就是Python的一個框架。我看到過一個比喻,覺得寫得挺好的,貼上一下:
Python 和 Tensorflow 之間的聯絡,可以類比 Javascript 和 HTML 之間的關係。Javascript 是一種全功能的程式語言,可以實現各種出色的效果。HTML 是用於表示某種型別的實用計算抽象(這裡指的是可由 Web 瀏覽器呈現的內容)的框架。Javascript 在互動式網頁中的作用是組裝瀏覽器看到的 HTML 物件,然後在需要時通過將其更新為新的 HTML 來與其互動。
下面再來看看TensorFlow的架構圖(Python只是對TensorFlow進行了封裝)
TensorFlow的引擎也是分了很多模組的(這裡我們簡單瞭解一下):
最後
總結一下這篇文章:
- 安裝TensorFlow必要的環境
- 跟著官方文件,體驗一下TensorFlow(機器學習)的“HelloWorld”
- 根據給出的例子,猜出使用TensorFlow(機器學習)時需要做哪些步驟
- TensorFlow就是一個機器學習(深度學習)的框架,提供了很多實用的API方便我們去玩機器學習(深度學習)。
相信看到這裡,很多人都跟我之前一樣,一臉懵逼。對官方給出的例子中的API不熟悉,去查閱相關資料的時候又發現有好多機器學習相關的術語,對這些術語又不瞭解。然後就迴圈懵逼..
while(true){
// 迴圈懵逼..
}
其實回想剛學Java的時候,也是這麼一個過程,當你從螢幕看到“HelloWorld”了以後,大概率來說也是不瞭解相關的API具體做了什麼事(甚至連API都不知道是啥意思)。但花一段時間去學習了以後,就會發現,原來HelloWorld是真的簡單!
public static void main(String[] args) {
System.out.println("Hello World");
}
後續我會繼續更新我學習TensorFlow時的一些筆記,有興趣的小夥伴不妨跟著我一起學習~
另外,從文章的開頭我也已經說了,我對Python、機器學習都是沒有相關基礎的,如果有寫錯的地方不妨在評論區留言指正。
下一篇預告:TensorFlow是什麼意思?Tensor?Flow?介紹TensorFlow一些最基礎的知識以及常見的機器學習術語。
樂於輸出乾貨的Java技術公眾號:Java3y。公眾號內有200多篇原創技術文章、海量視訊資源、精美腦圖,不妨來關注一下!
覺得我的文章寫得不錯,不妨點一下