在tensorflow中，經常會遇到引數初始化問題，比如在訓練自己的詞向量時，需要對原始的embeddigs矩陣進行初始化，更一般的，在全連線神經網路中，每層的權值w也需要進行初始化。

tensorlfow中應該有一下幾種初始化方法

1. tf.constant_initializer() 常數初始化
2. tf.ones_initializer() 全1初始化
3. tf.zeros_initializer() 全0初始化
4. tf.random_uniform_initializer() 均勻分佈初始化
5. tf.random_normal_initializer() 正態分佈初始化
6. tf.truncated_normal_initializer() 截斷正態分佈初始化
7. tf.uniform_unit_scaling_initializer() 這種方法輸入方差是常數
8. tf.variance_scaling_initializer() 自適應初始化
9. tf.orthogonal_initializer() 生成正交矩陣

具體的

1、tf.constant_initializer()，它的簡寫是tf.Constant()

#coding:utf-8
import numpy as np 
import tensorflow as tf 
train_inputs = [[1,2],[1,4],[3,2]]
with tf.variable_scope("embedding-layer"):
  val = np.array([[1,2,3,4,5,6,7],1,9],[0,12,7,8],[2,8,5]])
  const_init = tf.constant_initializer(val)
  embeddings = tf.get_variable("embed",shape=[5,dtype=tf.float32,initializer=const_init)
  embed = tf.nn.embedding_lookup(embeddings,train_inputs)             #在embedding中查詢train_input所對應的表示
  print("embed",embed)
  sum_embed = tf.reduce_mean(embed,1)
initall = tf.global_variables_initializer()
with tf.Session() as sess:
  sess.run(initall)
  print(sess.run(embed))
  print(sess.run(tf.shape(embed)))
  print(sess.run(sum_embed))

4、random_uniform_initializer = RandomUniform()

可簡寫為tf.RandomUniform()

生成均勻分佈的隨機數，引數有四個（minval=0,maxval=None,seed=None,dtype=dtypes.float32)，分別用於指定最小值，最大值，隨機數種子和型別。

6、tf.truncated_normal_initializer()

可簡寫tf.TruncatedNormal()

生成截斷正態分佈的隨機數，這個初始化方法在tf中用得比較多。

它有四個引數（mean=0.0,stddev=1.0,dtype=dtypes.float32)，分別用於指定均值、標準差、隨機數種子和隨機數的資料型別，一般只需要設定stddev這一個引數就可以了。

8、tf.variance_scaling_initializer()

可簡寫為tf.VarianceScaling()

引數為（scale=1.0,mode="fan_in",distribution="normal",seed=None，dtype=dtypes.float32)

scale: 縮放尺度（正浮點數）

mode: "fan_in","fan_out","fan_avg"中的一個，用於計算標準差stddev的值。

distribution：分佈型別，"normal"或“uniform"中的一個。

當 distribution="normal" 的時候，生成truncated normal distribution（截斷正態分佈） 的隨機數，其中stddev = sqrt(scale / n) ，n的計算與mode引數有關。

如果mode = "fan_in"， n為輸入單元的結點數；

如果mode = "fan_out"，n為輸出單元的結點數；

如果mode = "fan_avg",n為輸入和輸出單元結點數的平均值。

當distribution="uniform”的時候 ，生成均勻分佈的隨機數，假設分佈區間為[-limit,limit]，則 limit = sqrt(3 * scale / n)

以上這篇關於tensorflow的幾種引數初始化方法小結就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支援我們。