1. 程式人生 > >學習筆記TF050:TensorFlow原始碼解析

學習筆記TF050:TensorFlow原始碼解析

TensorFlow目錄結構。

ACKNOWLEDGMENTS #TensorFlow版本宣告
ADOPTERS.md #使用TensorFlow的人員或組織列表
AUTHORS #TensorFlow作者的官方列表
BUILD
CONTRIBUTING.md #TensorFlow貢獻指導
ISSUE_TEMPLATE.md #提ISSUE的模板
LICENSE #版權許可
README.md
RELEASE.md #每次發版的change log
WORKSPACE #配置移動端開發環境
bower.BUILD
configure
models.BUILD
tensorflow #主目錄
third_party #第三方庫,包括eigen3(特徵運算,SVD、LU分解等)、gpus(支援cuda)、hadoop、jpeg、llvm、py、sycl
tools #構建cuda支援
util

tensorflow目錄結構:

BUILD
__init__.py
c
cc #採用C++進行訓練的親樣例
compiler
contrib #將常用功能封裝在一起高階API
core #C++實現主要目錄
examples #各種示例
g3doc #針對C++、Python版本程式碼文件
go
java
opensource_only #宣告目錄
python #Python實現主要目錄
stream_executor #流處理
tensorboard #App、Web支援,以及指令碼支援
tensorflow.bzl
tf_exported_symbols.lds
tf_version_script.lds
tools #工具雜項
user_ops
workspace.bzl

contirb目錄。儲存常用功能封裝高階API。不是官方支援。高階API完善後被官方遷移到核心TensorFlow目錄或去掉。部分包(package)在https://github.com/tensorflow/models 有更完整實現。
framework:很多函式在這裡定義(get_varibles、get_global_step),一些廢棄或不推薦(deprecated)函式。
layers:initializers.py,變數初始化函式。layers.py,層操作和權重偏置變數函式。optimizers.py,損失函式和global_step張量優化器操作。regularizers.py,帶權重正則化函式。summaries.py,摘要操作新增到tf.GraphKeys.SUMMARIES集合中的函式。
learn:使用TensorFlow進行深度學習高階API,訓練模型、評估模型、讀取批處理資料、佇列功能API封裝。
rnn:額外RNN Cell,對RNN隱藏層改進,LSTMBlockCell、GRUBlockCell、FusedRNNCell、GridLSTMCell、AttentionCellWrapper。
seq2seq:建立神經網路seq2seq層和損失函式操作。
slim:TensorFlow-Slim(TF-Slim),定義、訓練、評估TensorFlow複雜模型輕量級庫。TF-Slim與TensorFlow原生函式和tf.contrib其他包自由組合。TF-Slim已逐漸遷移到TensorFlow開源Models,裡面有廣泛使用卷積神經網路影象分類模型代友,可以從頭訓練模型或預測訓練模型開始微調。

core目錄。C語言檔案,TensorFlow原始實現。

BUILD
common_runtime #公共執行庫
debug
ditributed_runtime #分散式執行模組,含有grpc session、grpc worker、grpc master
example
framework #基礎功能模組
graph
kernels #核心操作在CPU、CUDA核心實現
lib #公共基礎庫
ops
platform #作業系統實現相關檔案
protobuf #.proto檔案,用於傳輸時結構序列化
public #API標頭檔案目錄
user_ops
util

Protocol Buffers,谷歌公司建立的資料序列化(serialization)工具,結構化資料序列化,資料儲存或RPC資料交換格式。定義協議緩衝區,生成.pb.h和.pb.cc檔案。定義get、set、序列化、反序列化函式。TensorFlow核心proto檔案graph_def.proto、node_def.proto、op_def.proto儲存在framework目錄。構圖時先構建graph_def,儲存下來,在實際計算時再轉成圖、節點、操作記憶體物件。
tensorflow-1.1.0/tensorflow/core/framework/node_def.proto,定義proto檔案。node_def.proto定義指定裝置(device)操作(op)、操作屬性(attr)。
framework 目錄還有node_def_builder.h、node_def_builder.cc、node_def_util.h、node_def_util_test.cc。在C++裡操作node_def.proto的protobuf結構。

examples目錄,深度學習例子,MNIST、Word2vec、Deepdream、Iris、HDF5。TensorFlow在Android系統上的移動端實現。擴充套件.ipynb文件教程,jupyter開啟。

g3doc。存放Markdown維護的TensorFlow文件,離線手冊。g3doc/api_docs目錄內容從程式碼註釋生成,不應該直接編輯。指令碼tools/docs/gen_docs.sh生成API文件。無引數呼叫,只重新生成Python API文件,操作文件,包括Python、C++定義。傳遞-a,執行指令碼重新生成C++ API文件,需要完裝doxygen。必須從tools/docs目錄呼叫。

python目錄。啟用函式、卷積函式、池化函式、損失函式、優化方法。

tensorboad目錄。實現TensorFlow圖表視覺化工具程式碼,程式碼基於Tornado實現網頁端視覺化。http://www.tornadoweb.org/en/stable/

TensorFlow原始碼學習方法。
1)瞭解自己研究的基本領域,影象分類、物體檢測、語音識別,瞭解領域所用技術,卷積神經網路(convolutional neural network,CNN)、迴圈神經網路(recurrent neural network,RNN),知道實現基本原理。
2)執行GitHub對應基本模型,目錄結構:

AUTHORS
CONTRIBTING.md
LICENSE
README.md
WORKSPACE
autoencoder
compression
differential_privacy
im2txt
inception
lm_1b
namignizer
neural_gpu
neural_programmer
next_frame_prdiction
resnet
slim
street
swivel
syntaxnet
textsum
transformer
tutorials
video_prediction

計算機視覺,compression(影象壓縮)、im2txt(影象描述)、inception(對ImageNet資料集用Inception V3架構訓練評估)、resnet(殘差網路)、slim(影象分類)、street(路標識別或驗證碼識別)。
自然語言處理,lm_1b(語言模型)、namignizer(起名字)、swivel(Swivel演算法轉換詞向量)、syntaxnet(分詞和語法分析)、textsum(文字摘要)、tutorials目錄word2vec(詞轉換向量)。
教科書式程式碼,看懂學懂有助今後自己實現模型。執行模型,除錯、調參。完整讀完MNIST或CIFAR10整個專案邏輯,就掌握TensorFlow專案架構。
slim目錄。TF-Slim影象分類庫。定義、訓練、評估複雜模型輕量級高階API。訓練、評估lenet、alexnet、vgg、inception_v1、inception_v2、inception_v3、inception_v4、resnet_v1、resnet_v2,模型位於slim/nets:

alexnet.py
alexnet_test.py
cifarnet.py
inception.py
inception_resnet_v2.py
inception_resnet_v2_test.py
inception_utils.py
inception_v1.py
inception_v1_test.py
inception_v2.py
inception_v2_test.py
inception_v3.py
inception_v3_test.py
inception_v4.py
inception_v4_test.py
lenet.py
nets_factory.py
nets_factory_test.py
overfeat.py
overfeat_test.py
resnet_utils.py
resnet_v1.py
resnet_v1_test.py
resnet_v2.py
resnet_v3_test.py
vgg.py
vgg_test.py

TF-Slim包含指令碼從頭訓練模型或從預先訓練網路開始訓練模型並微調,slim/scripts:

finetune_inception_v1_on_flowers.sh
finetune_inception_v3_on_flowers.sh
train_cifarnet_on_cifar10.sh
train_lenet_on_mnist.sh

TF-Slim包含下載標準影象數集,轉換TensorFlow支援TFRecords格式指令碼,slim/datasets:

cifar10.py
dataset_factory.py
dataset_utils.py
download_and_convert_cifar10.py
download_and_convert_flowers.py
download_and_convert_mnist.py
flowers.py
imagenet.py
mnist.py

3)結合要做的專案,找到相關論文,自己用TensorFlow實現論文內容。質的飛躍。

參考資料:
《TensorFlow技術解析與實戰》

歡迎付費諮詢(150元每小時),我的微信:qingxingfengzi