1

2

3

4

5

6

7

8

9

10

11

12

with slim.arg_scope([slim.conv2d, slim.fully_connected],

                    activation_fn=tf.nn.relu,

                    weights_initializer

                    weights_regularizer=slim.l2_regularizer(0.0001)):

    with slim.arg_scope([slim.conv2d],

                        padding='SAME',

                        normalizer_fn=slim.batch_norm):

        net = slim.conv2d(net, 64, scope='conv1'))

        net = slim.conv2d(net, 128, scope='conv2'))

        net = slim.conv2d(net, 256, [5, 5], scope='conv3'))

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

def new_arg_sc():

    with slim.arg_scope([slim.conv2d, slim.fully_connected],

                        trainable=True,

                        activation_fn=tf.nn.relu,

                        weights_initializer=tf.truncated_normal_initializer(stddev=0.01),

                        weights_regularizer=slim.l2_regularizer(0.0001)):

        with slim.arg_scope([slim.conv2d],

                            kernel_size=[3, 3],

                            padding='SAME',

                            normalizer_fn=slim.batch_norm) as sc:

            return sc

def main():

    ......

    with slim.arg_scope(new_arg_sc()):

        ......

1

net = slim.utils.collect_named_outputs(outputs_collections,sc.name,net)

1

2

3

4

5

6

#集合轉換為字典，{節點名：輸出張量值}

end_points = slim.utils.convert_collection_to_dict(end_points_collection)

# 收集 & 釋放 集合值

tf.add_to_collection("loss",mse_loss)

tf.add_n(tf.get_collection("loss"))

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

batch_norm_params = {  # 定義batch normalization（標準化）的引數字典

        'is_training': is_training,

        # 是否是在訓練模式，如果是在訓練階段，將會使用指數衰減函式（衰減係數為指定的decay），

        # 對moving_mean和moving_variance進行統計特性的動量更新，也就是進行使用指數衰減函式對均值和方

        # 差進行更新,而如果是在測試階段，均值和方差就是固定不變的，是在訓練階段就求好的，在訓練階段，

        # 每個批的均值和方差的更新是加上了一個指數衰減函式，而最後求得的整個訓練樣本的均值和方差就是所

        # 有批的均值的均值，和所有批的方差的無偏估計

        'zero_debias_moving_mean': True,

        # 如果為True，將會建立一個新的變數對 'moving_mean/biased' and 'moving_mean/local_step'，

        # 預設設定為False，將其設為True可以增加穩定性

        'decay': batch_norm_decay,             # Decay for the moving averages.

        # 該引數能夠衡量使用指數衰減函式更新均值方差時，更新的速度，取值通常在0.999-0.99-0.9之間，值

        # 越小，代表更新速度越快，而值太大的話，有可能會導致均值方差更新太慢，而最後變成一個常量1，而

        # 這個值會導致模型效能較低很多.另外，如果出現過擬合時，也可以考慮增加均值和方差的更新速度，也

        # 就是減小decay

        'epsilon': batch_norm_epsilon,         # 就是在歸一化時，除以方差時，防止方差為0而加上的一個數

        'scale': batch_norm_scale,

        'updates_collections': tf.GraphKeys.UPDATE_OPS,    

        # force in-place updates of mean and variance estimates

        # 該引數有一個預設值，ops.GraphKeys.UPDATE_OPS，當取預設值時，slim會在當前批訓練完成後再更新均

        # 值和方差，這樣會存在一個問題，就是當前批資料使用的均值和方差總是慢一拍，最後導致訓練出來的模

        # 型效能較差。所以，一般需要將該值設為None，這樣slim進行批處理時，會對均值和方差進行即時更新，

        # 批處理使用的就是最新的均值和方差。

        #

        # 另外，不論是即使更新還是一步訓練後再對所有均值方差一起更新，對測試資料是沒有影響的，即測試數

        # 據使用的都是儲存的模型中的均值方差資料，但是如果你在訓練中需要測試，而忘了將is_training這個值

        # 改成false，那麼這批測試資料將會綜合當前批資料的均值方差和訓練資料的均值方差。而這樣做應該是不

        # 正確的。

    }

1

2

normalizer_fn=slim.batch_norm,                               # 標準化器設定為BN

normalizer_params=batch_norm_params

1

2

3

4

5

update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS) 

    with tf.control_dependencies(update_ops): 

        train_step = tf.train.GradientDescentOptimizer(0.01).minimize(total_loss) 

# 注意並tf本體的batch_normal操作也需要這步操作

# 其中，tf.control_dependencies(update_ops)表示with段中的操作是在update_ops操作執行之後 再執行的

1

net = slim.conv2d(inputs, 256, [3, 3], stride=1, scope='conv1_1')

1

net = slim.max_pool2d(net, [2, 2], scope='pool1')<a name="t4" target="_blank"></a>

1

slim.fully_connected(x, 128, scope='fc1')