1. 程式人生 > >tf37:tensorflow中將模型的權重值限定範圍

tf37:tensorflow中將模型的權重值限定範圍

我們在搭建模型的時候,受到一些收斂條件的限制,像wgan_loss需要講權重設定在[-0.01, 0.01],這個操作在TF中是這樣完成中。

首先, 需要獲得你搭建net的左右變數:

D_vars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, 'Discriminator_dcgan')

    其中,'Discriminator_dcgan' 是net的名字,其下一層包含很多變數的名字。

然後,遍歷每一個變數,將其限定在一定的範圍:即小於-1的值設定在-1,大於1的值設定在1。

最後,在每個batch更新完引數後,需要run一下: _ = sess.run(clip_disc_weights)

程式碼如下:

    D_vars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, 'Discriminator_dcgan')
    clip_ops = []
    for var in D_vars:
        clip_bounds = [-.01, .01]
        clip_ops.append(
            tf.assign(
                var, 
                tf.clip_by_value(var, clip_bounds[0], clip_bounds[1])
            )
        )
    clip_disc_weights = tf.group(*clip_ops)
    ......
    _ = session.run(clip_disc_weights)

總結,wgan_loss不加入權重限制不會收斂,同時wgan時候經過嚴格的理論推導,當理論不充分時,在使用的時候需要多實驗室,實驗出好的結果,可以再找理論支撐嘛,哈哈丷

相關推薦

tf37tensorflow中將模型權重限定範圍

我們在搭建模型的時候,受到一些收斂條件的限制,像wgan_loss需要講權重設定在[-0.01, 0.01],這個操作在TF中是這樣完成中。首先, 需要獲得你搭建net的左右變數:D_vars = tf.get_collection(tf.GraphKeys.GLOBAL_V

[深度學習]更好地理解正則化視覺化模型權重分佈

在機器學習中,經常需要對模型進行正則化,以降低模型對資料的過擬合程度,那麼究竟如何理解正則化的影響?本文嘗試從視覺化的角度來解釋其影響。 首先,正則化通常分為三種,都是在loss函式的基礎上外加一項: L0:  ,即不等於0的元素個數 L1:  ,即所有元素的絕對值之和

tensorflow利用預訓練模型進行目標檢測(一)預訓練模型的使用

err sync numpy sna sta porting trac git int32 一、運行樣例 官網鏈接:https://github.com/tensorflow/models/blob/master/research/object_detection/obje

tensorflow學習筆記十六tensorflow官方文件學習 Image Recognition(Inception v3模型

我們大腦的成像過程似乎很容易。人們毫不費力地就能區分出獅子和美洲虎,閱讀符號,或是識別面孔。但是這些任務對於計算機而言卻是一個大難題:它們之所以看上去簡單,是因為我們的大腦有著超乎想象的能力來理解影象。 在過去幾年裡,機器學習在解決這些難題方面取得了巨大的進步。其中,

tensorflow 儲存模型和取出中間權重

下面程式碼的功能是先訓練一個簡單的模型,然後儲存模型,同時儲存到一個pb檔案當中,後續可以從pd檔案裡讀取權重值。 import tensorflow as tf import numpy as np import os import h5py impor

tensorflow模型儲存tf.train.Saver.save,tf.train.train.Saver.restore

在模型的儲存中我遇到過一次坑:先留一下懸念,我們先說一下怎樣 儲存模型和怎樣匯入模型:模型的儲存;程式碼如下:首先需要申明一個Saver物件:saver = tf.train.Saverwith tf.Session as sess:    saver.save(sess,'

備註tensorflow模型訓練時同時進行測試,將結果視覺化。

1、首先建立兩個placeholder,用來存放測試資料集,和標籤。 x = tf.placeholder(tf.float32, shape = [BATCH_SIZE,256,256,3]) y_ = tf.placeholder(tf.int16,shape = [

SiameseFC-TensorFlow 程式碼詳細註解(一)預訓練模型下載轉換測試以及結果視覺化(轉載)

這篇部落格主要的目的就是簡單地跑一下實驗,讓下載的程式碼能用預訓練的模型去測試單個視訊,並對結果視覺化,從視覺上感受一下這個跟蹤演算法的效果,至於如果要自己訓練自己的模型該如何準備訓練資料,如何設計自己的模型,如何訓練自己的模型,以及如何評估自己的模型等,這些問題都將在後面的

tensorflow網路模型(圖+權)儲存為.pb檔案,並從.pb檔案中還原網路模型

工程結構如下: 將網路模型(圖+權值)儲存為.pb檔案  write.py # -*- coding: utf-8 -*- from __future__ import absolute_import, unicode_literals from tensorflow.

tensorflow 模型權重匯出至h5檔案

tensorflow在儲存權重模型時多使用tf.train.Saver().save 函式進行權重儲存,儲存的ckpt檔案無法直接開啟,不利於將模型權重匯入到其他框架使用(如Caffe、Keras等)。好在tensorflow提供了相關函式 tf.train.NewCheck

selenium+java獲取列表中的

href word arc 試用 res boolean sent api 斷言 selenium+java:獲取列表中的值 (2011-08-23 17:14:48) 標簽: 雜談 分類: selenium 初步研究利

【轉載】史上最全TensorFlow 好玩的技術、應用和你不知道的黑科技

tube map 高性能 知識 seq 出現 執行時間 mes lex 【導讀】TensorFlow 在 2015 年年底一出現就受到了極大的關註,經過一年多的發展,已經成為了在機器學習、深度學習項目中最受歡迎的框架之一。自發布以來,TensorFlow 不斷在完善並增加新

Odoo(OpenERP)開發實踐數據模型學習

content 外部 -m 數據庫 頁面 ext 哪些 dsm crud 作者:蘇州-微塵 Odoo中,在Python類裏定義的模型及字段信息,可在系統中直接查看。為用戶開啟技術特性權限後,就可以通過菜單 [設置->技術->數據結構->模型] 進入列表

【Java並發編程】之十三生產者—消費者模型(含代碼)

tool boolean 通知 阻塞 上一個 [] ble 否則 線程 轉載請註明出處:http://blog.csdn.net/ns_code/article/details/17249321 生產者消費者問題是線程模型中的經典問題:生產者和消費者在同一時間段

討論C#Calendar賦初始

sel 默認 datetime 意思 select ear 我想 new etime Q: 我在Page_Load的時候給Calendar賦初始值,但是Page顯示之後,Calendar顯示是當天(比如今天顯示7月12號)。我想讓它默認顯示出我給賦的時間(8/30/2006

Spark機器學習(8)LDA主題模型算法

算法 ets 思想 dir 骰子 cati em算法 第一個 不同 1. LDA基礎知識 LDA(Latent Dirichlet Allocation)是一種主題模型。LDA一個三層貝葉斯概率模型,包含詞、主題和文檔三層結構。 LDA是一個生成模型,可以用來生成一篇文

如何調整ceph weight權重

感覺 1.2 weight 不一定 cep 查看 eal 通過 之前 1.通過命令ceph -s 或者ceph health檢查ceph 狀態,有osd near full cluster bef6d01c-631b-4355-94fe-77d4eb1a6322 h

Java虛擬機內存模型詳解

調用 數據類型 可擴展 空間 共享 sof 虛擬機 進程 部分 版權聲明:本文為博主原創文章,轉載請註明出處,歡迎交流學習! 我們都知道,當虛擬機執行Java代碼的時候,首先要把字節碼文件加載到內存,那麽這些類的信息都存放在內存中的哪個區域呢?當我們創建一個

python—networkx依據圖的權重繪圖

大小 san ons 繪圖 add usr mil auth sni 首先輸入邊和邊的權重,隨後畫出節點位置。依據權重大小劃分實邊和虛邊 #coding:utf-8 #!/usr/bin/env python """ An exa

R語言as.Date出現NA

日期格式 -1 技術分享 log 解決辦法 .com 大寫 出現 data > head(as.Date(data$日期,‘%y%M%D‘))[1] NA NA NA NA NA NA data日期格式如下: 解決辦法: > head(as.Date(da