L1和L2正則：

舉例說明，假設有一個數組 nums=[1,2,3,4]

L1 = a*(|1|+|2|+|3|+|4|)

L2 = a*(1^2+2^2+3^2+4^2)/2

其中a是係數，用於平衡正則項與經驗損失函式的權重關係，即：C = loss+a*Normalization。

這裡說明一下，利用L1經過訓練後，會讓權重得到稀疏結，即權重中的一部分項為0，這種作用相當於對原始資料進行了特徵選擇；利用L2進行訓練後，會讓權重更趨於0，但不會得到稀疏解，這樣做可以避免某些權重過大；兩種正則做法都可以減輕過擬合，使訓練結果更加具有魯棒性。

下面給出使用TensorFlow計算L1,L2的方法。

import tensorflow as tf
alpha = 0.5 #係數設定為0.5，alpha相當於上述a
val = tf.constant([[1,2],[3,4]],dtype=tf.float32)
l1 = tf.contrib.layers.l1_regularizer(alpha)(val)
l2 = tf.contrib.layers.l2_regularizer(alpha)(val)
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print ("l1:",sess.run(l1))
    print ("l2:",sess.run(l2))
 

# -*- coding: utf-8 -*-
"""
Created on Sun Jun  4 21:51:33 2017

@author: Yangyang Deng
@Email: [email protected]
"""


import tensorflow as tf
from numpy.random import RandomState


w1 = tf.Variable(tf.truncated_normal([2,3],seed=1))
w2 = tf.Variable(tf.truncated_normal([3,1],seed=1))

x = tf.placeholder(dtype=tf.float32,shape=[None,2])
y_real = tf.placeholder(dtype=tf.float32,shape=[None,1])

a = tf.nn.relu(tf.matmul(x,w1))  #神經元的啟用函式為 relu
y_pre = tf.nn.relu(tf.matmul(a,w2))

sample_size = 20000 #訓練樣本總數
batch = 500 # 使用mini-batch（批梯度下降），每個batch的大小。

rds = RandomState(0)
X = rds.rand(sample_size,2)
Y = [[int(20*x1+30*x2)]+rds.rand(1) for (x1,x2) in X] #Y = 20*x1+30*x2+noise

global_step = tf.Variable(0)
#--------------學習速率的設定（學習速率呈指數下降）---------------------
learning_rate = tf.train.exponential_decay(1e-2,global_step,decay_steps=sample_size/batch,decay_rate=0.98,staircase=True)    
#-------------使用均方誤差（MSE）作為損失函式，在損失函式中加入L1正則項
MSE = tf.reduce_mean(tf.square(y_real-y_pre)+tf.contrib.layers.l1_regularizer(0.1)(w1)) 
train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(MSE,global_step=global_step)

step = 20000 #訓練的總次數
start = 0
end = batch

sess = tf.Session()
sess.run(tf.global_variables_initializer())
for i in range(step):
    sess.run(train_step,feed_dict={x:X[start:end],y_real:Y[start:end]})
    if not i%20:
        H = sess.run(MSE,feed_dict={x:X[start:end],y_real:Y[start:end]})
        lr = sess.run(learning_rate)
        l1 = sess.run(tf.contrib.layers.l1_regularizer(0.1)(w1))
        print ("MSE: ",H,"  learning_rate: ",lr," l1:",l1)
        if H<1e-1:  #採用stop early 的方法防止過擬合，節省訓練時間。
            break
    strat = end if end<sample_size else 0
    end = start+batch
y1 = sess.run(y_pre,feed_dict={x:X[start:end]})
y2 = Y[start:end]
sess.close()   

#訓練結果的部分展示
for i in range(100):
    print(y1[i],y2[i])