創新點

       這篇論文實現了影象的任意風格轉換，不在侷限於單個風格的訓練。同時支援優化和前向網路的方法。這個方面只在一層進行相關處理。

style swap

         表示content在某一層的feature maps、表示style在某一層的feature maps。

         ，就是表示用對應的代替後的值。具體怎麼替換，採用的是基於塊的方式，先確定塊的大小為3（可以是5、7等），對的每個塊都在中查詢最接近的塊來替換它。論文中一般是在relu3_1進行計算style swap，具體的計算公式如下。

         以上可以採用並行的計算方式，具體可以表示成兩個卷積層來計算。一個卷積層是採用歸一化後的風格塊作為卷積核。卷積核的深度是風格塊的個數。另一個卷積層就是使用風格塊作為卷積核，核的深度仍然是風格塊的個數。前一個卷積層最終是為了計算得到content的每個patch對應替換style patch的位置。

優化方法

       優化的方法和gatys的方法類似，不過其優化方法很快就可以收斂，且在迭代100次的時候效果就比較好，不需要迭代很多次。其每次迭代速度比gatys的每次迭代速度都比較快。

       實驗中試驗使用的是預訓練好的VGG網路，且style layer是使用Relu3_1層。

        主要分為如下4步，不斷迴圈：
1.首先計算表示content在某一層的feature maps、表示style在某一層的feature maps。

2.計算，即style swap之後的結果。

3.計算損耗函式。

4.梯度下降進行更新風格化影象I。

優化方法損耗函式

        優化方法時使用的損耗函式是如下的函式，初始時風格化圖片I是隨機初始化的，使得I的特徵空間和內容圖與風格圖交換後的featuremap在feature空間上距離最近。可以直接採用梯度下降的不斷更新輸入I以得到最終的風格圖片I。這裡注意梯度下降是對I進行作梯度下降。

前向網路

主要分為3步：
1.首先計算表示content在某一層的feature maps、表示style在某一層的feature maps。

2.計算，即style swap之後的結果。

3.輸入到前向網路，計算得到風格化影象結果。

前向網路的損耗函式

         和優化方法的損耗函式類似，只是前向網路時是經過前向網路得到的風格圖去計算，不斷的梯度下降更新前向網路的引數。

網路結構

        優化和前向網路這兩種方式的swap layer都是採用relu3_1。經過實驗驗證在這一層進行swap然後重構出來的stylized圖片的效果相對比較好。
      
        優化和前向網路這兩種方式前面編碼部分（將顏色空間轉換到feature空間）使用的網路都是Table A1的結構。優化方式的網路結構就使用這部分的網路之後進行style swap。前向網路除了編碼部分以及style swap之後，還需要從feature空間轉換到顏色空間，即解碼部分，解碼部分的網路和編碼部分的網路是對稱的，在卷積層之後都緊接著instance normalization，max pooling對應的是最近鄰上採用方式。

實驗效率

          速度相比一般的風格遷移網路有些慢，主要的時間是花在style swap的計算上，style swap佔總計算比達到95%。相比一般的風格遷移主要的優點就是支援任意風格的style 圖片。

          隨著風格影象尺寸的變大，syle swap部分的計算時間呈線性增長。內容影象增大，syle swap部分的計算時間開始呈線性增長，當增長到很大時，基本不變了。

論文實驗結果

       此方法直接計算視訊的風格轉換時，效果還不錯，偶爾會出現幀的風格有跳動。相比一般演算法視訊發生跳到小的原因主要是其演算法採用的是用最相近的style 的feature 塊替換content的塊，相應比較穩定，背景區域變化不大時，計算出來的對應替換換結果基本一致的。

在不同層進行Swap（relu3_1、relu4_1、relu5_1）

在越高的層數上進行Swap風格化越明顯，層數越低效果也越不明顯。在越高的層數上進行Swap內容資訊越不明顯，層數越低內容資訊越明顯。

      要風格化強些，層數稍高些；內容資訊強些，層數稍低點。

      可以考慮綜合稍高層和稍低層的結果，弄個權重進行權衡。

      不同patchSize大小進行測試（pathSize = 3、pathSize = 7）

pathSize越大，風格化越明顯。

https://github.com/rtqichen/style-swap