這幾天一直在看Tensorflow：實戰google深度學習框架。感覺這本書真的寫的很好，尤其是對於Tensorflow之前毫無所知的我，通過這本書也能學懂並且瞭解很多。今天我主要是學習了損失函式。新增損失函式的主要目的是解決在訓練過程中的過擬合問題。正則化的思想就是在損失函式中加入刻畫模型複雜程度的指標。假設用於刻畫模型訓練資料上表現的損失函式是J(a)，那麼在優化時不是直接進行優化J(a)，而是優化J(a)+bR(w)。R(w)表示刻畫模型的複雜程度，而b表示模型複雜損失在總損失中的比例。a表示一個神經網路中所有的引數，包括權重和偏置值。

L1正則化計算公式：

L2正則化計算公式：

無論是哪個正則化表示方式，其主要目的都是希望通過限制權重的大小，使得模型不能任意的你和訓練資料中的隨機噪音。Tensorflow中集成了正則化損失函式方法。

w = tf.Variable(tf.random_normal([2, 1], stddev = 1, seed = 1), dtype=tf.float32) #其中stddev是方差，seed是種子。
y = tf.matmul(x, w)
loss = tf.reduce_mean(tf.square(y_ - y) + tf.contrib.layers.l2_regularizer(lamada)(w))
 

#-*- coding:utf-8 -*-
import tensorflow as tf
import input_data
def get_weight(shape, lamada,session):
    var = tf.Variable(tf.random_normal(shape,stddev=1.0), dtype=tf.float32)
    sess.run(tf.global_variables_initializer())
    #print sess.run(var)
    tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(lamada)(var))
    return var
#input_data:用於訓練和測試的MNIST資料集的原始碼
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) #download the data of train and testm
trainimage = mnist.train.images
trainLabel = mnist.train.labels
trainimageSize = mnist.train.images.size
trainLabelSize = mnist.train.labels.size
print trainimageSize,trainLabelSize
testimage = mnist.test.images
testlabel = mnist.test.labels
testimageSize = mnist.test.images.size
testlabelSize = mnist.test.labels.size
print testimageSize,testlabelSize
x = tf.placeholder("float", [None, 784])
layer_dimension = [784, 10, 10, 10, 1]
n_layers = len(layer_dimension)
y_ = tf.placeholder("float", [None, 1])
# 在機器學習的模型中，我們需要定義一個衡量模型好壞的方式，稱為代價函式（Cost Loss），這裡使用了交叉熵去衡量 reduce_sum 累加
init = tf.initialize_all_variables()
with tf.Session() as sess:
    import numpy as nf
    sess.run(init)
    for i in range(1):
        batch = mnist.train.next_batch(5)
       # sess.run(train_step, feed_dict={x: batch[0],y_: batch[1]})
        for i1 in range(5):
            print "i1:", i1
            #cur_layer = tf.constant([batch[0][i1]],dtype=tf.float32)
            cur_layer = nf.array([batch[0][i1]], nf.float32)
           # print cur_layer.tolist()
            in_dimension = layer_dimension[0]
            for i2 in range(1, n_layers):
                print "i2:",i2
                out_dimension = layer_dimension[i2]
                weight = get_weight([in_dimension, out_dimension], 0.001,sess)
                print "weight:",sess.run(weight)
                bias = tf.Variable(tf.constant(0.1, shape=[out_dimension]))
                a = tf.global_variables_initializer()
                sess.run(a)
                print "bias",sess.run(bias)
                print "zhi:",tf.matmul(cur_layer, weight)
                cur_layer = tf.nn.sigmoid(tf.matmul(cur_layer, weight) + bias)
                print sess.run(cur_layer)
                in_dimension = layer_dimension[i2]
            mse_loss = tf.reduce_mean(tf.square(batch[1][i1] - cur_layer))
            tf.add_to_collection('losses', mse_loss)
        loss = tf.add_n(tf.get_collection('losses'))
        print sess.run(mse_loss)
        print sess.run(loss)
        tf.get_default_graph().clear_collection('losses')