2. 程式人生 > >Learning Attribute Representations with Localization for Flexible Fashion Search

Learning Attribute Representations with Localization for Flexible Fashion Search

阿新 • • 發佈：2018-12-17

整體結構

在這裡插入圖片描述FSN的整體結構：前面是AlexNet的結構，將AlexNetd的兩個全連線層換為卷積層conv6,conv7，並進行GAP操作，最後接入A個全連線層進行attribute的分類。使用attribute cls的loss進行訓練，使得網路能夠利用AAM產生不需要監督資訊的ROI，使用ROI提取對應的conv5輸出的特徵圖，並送入相應的全連線層組成的分支，共有A個，對應A個可能的attribute。最後A個分支生成的A*1024維度的輸出通過最後一個全連線層進行組合。

AAM：Attribute activation map:

對於特徵圖做GAP的公式為：x(k)=∑i,jconv7k(

i,j)x(k)=\sum_{i,j}conv7_k(i,j)即對第k個特徵圖在所有元素上求和，如果共有K個特徵圖則生成了K維的向量，將K個向量送入A個全連線層用於attribute的分類預測，有Lc=−∑I=1N∑a=1Alog(p(gIa∣xIwa))L_c=-\sum^N_{I=1}\sum^A_{a=1}log(p(g_{I_a}|x_Iw_a))其中gIag_{I_a}是第a個attribute的Ground truth，xIwax_Iw_a是全連線層輸出的結果，由此可以定義屬性對應的特徵啟用圖：M
ac(i,j)=∑kwaconv7k(i,j)Ma_c(i,j)=\sum_kw_aconv7_k(i,j)其中waw_a是與屬性a對應的全連線層的權重，維度為k，即對每個屬性a中的類別cic_i都可以生成對應的特徵啟用圖。在特徵啟用圖中畫素值高於最大值20%的被分割出來並用於bbox。 在這裡插入圖片描述

Ranking with triplet of regions

作者用上面的圖展示了ROI的好處：在領子的屬性上Anchor更接近於pos，但如果直接將整張圖片送入網路，由於顏色的相似，很有可能會認為neg更接近於anchor，加入ROI後，去掉了不相關的袖子等，會使得網路能夠更好的分辨不同的領口特徵。 作者採用了改進後的Triplet loss，使用的是與softmax相似的思路：d

+(h(I)^,h(I+),h(I−))=exp(d(h(I^)−h(I+))exp(d(h(I^)−h(I+))+exp(d(h(I^)−h(I−))d^+(h(I\hat),h(I^+),h(I^-))=\frac{exp(d(h(\hat I)-h(I^+))}{exp(d(h(\hat I)-h(I^+))+exp(d(h(\hat I)-h(I^-))}LT=∑I=IN∑a=1Ad+(fc10(I)^,fc10(I+),fc10(I−)L_T = \sum_{I=I}^{N}\sum_{a=1}^{A}d^+(fc_{10}(I\hat),fc_{10}(I^+),fc_{10}(I^-)

Attribute manipulation

有了如上的結構，進行attribute manipulation就非常直接了：在訓練過程中將有相同attribute value的圖片提取特徵並取平均，在進行am的時候直接將不需要的特徵進行替換（與AMNet的思路相同）

Learning Global representation

經過fc10fc_{10}後可以得到對應每個屬性的1024D特徵，為了減少最終輸出的尺度，使用F進行壓縮F(I,a∗)=[fc101(I)λ1,a∗,.....fc10A(I)λa,a∗]wa∗F(I,a^*)=[fc_{10_1}(I)\lambda_{1,a^*},.....fc_{10_A}(I)\lambda_{a,a^*}]w_{a^*}由此得到全域性的ranking loss：LG=∑I=1n∑a∗=1A+1d+(F(I^,a∗),F(I+,a∗),F(I−,a∗)L_G=\sum_{I=1}^n\sum_{a^*=1}^{A+1}d^+(F(\hat I,a^*),F(I^+,a^*),F(I^-,a^*)其中I^\hat I與I+I^+的關係是在經過a∗a^*的操作後有相同的attribute。

FashionSearchNet with region awareness

作者提出了局部屬性的變更，即對於某個特定的屬性，可以定義其所屬的特定區域，然後對區域的顏色等屬性進行變更。在這裡插入圖片描述

result

在這裡插入圖片描述 在這裡插入圖片描述 在這裡插入圖片描述

相關推薦

Learning Attribute Representations with Localization for Flexible Fashion Search

整體結構 FSN的整體結構：前面是AlexNet的結構，將AlexNetd的兩個全連線層換為卷積層conv6,conv7，並進行GAP操作，最後接入A個全連線層進行attribute的分類。使用attribute cls的loss進行訓練，使得網路能夠利用AAM

[CVPR2015] Is object localization for free? – Weakly-supervised learning with convolutional neural networks論文筆記

sed pooling was 技術分享 sco 評測 5.0 ict highest p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 15.0px "Helvetica Neue"; color: #323333 } p.p2

論文筆記-Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation

mach default rap lin -s rnn alias for wrap 針對機器翻譯，提出 RNN encoder-decoder. encoder與decoder是兩個RNN，它們放在一起進行參數學習，最大化條件似然函數。 網絡結構： 註意輸入語句與

Roomblock: a Platform for Learning ROS Navigation With Roomba, Raspberry Pi and RPLIDAR（轉）

include lan ini sea more ike res base package What is this? "Roomblock" is a robot platform consists of a Roo

Learning hierarchical spatio-temporal features for action recognition with ISA

 Reading papers_16(Learning hierarchical invariant spatio-temporal features for action recognition with independent subspace analysis)

論文筆記（2）--（Re-ID） Learning Discriminative Features with Multiple Granularities for Person Re-Id

https://github.com/lwplw/re-id_mgn 本文的主要思想就是通過區域分割，來獲得不同粒度的特徵，比如全域性和區域性特徵以及更細粒度的區域性特徵，通過一個網路的不同分支得到這些特徵，每個分支都對不同的分割塊進行特徵提取。 論文提出通過融合行人的全域性資

【論文閱讀】Learning Spatial Regularization with Image-level Supervisions for Multi-label Image Classification

分享圖片 xiv onf class 編碼 isp conf caf 策略 轉載請註明出處：https://www.cnblogs.com/White-xzx/ 原文地址：https://arxiv.org/abs/1702.05891 Caffe-code：https:/

Get Your Data Ready For Machine Learning in R with Pre

Tweet Share Share Google Plus Preparing data is required to get the best results from machine le

Rescaling Data for Machine Learning in Python with Scikit

Tweet Share Share Google Plus Your data must be prepared before you can build models. The data p

Prepare Data for Machine Learning in Python with Pandas

Tweet Share Share Google Plus If you are using the Python stack for studying and applying machin

Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation

摘要：在本文中，我們提出了一種新的神經網路模型，稱為RNN編碼器 - 解碼器，由兩個遞迴神經網路（RNN）組成。一個RNN編碼器將特徵編碼為一個固定長度的向量，另一個解碼器解碼這個向量為另一個符號序列。聯合訓練所提出的模型的編碼器和解碼器以最大化給定源序列的目標序列的條件概率

Local Authentication Using Challenge Response with Yubikey for CentOS 7

fail ins path api -m ica all use debug Connect Yubikey ,then initialize YubiKey slot 2: ykpersonalize -2 -ochal-resp -ochal-hmac -ohmac

vue v-if with v-for

images data sage class img rip mage clas .cn 遍歷和條件判斷混合使用示例。 <!DOCTYPE html> <html> <head lang="en"> <meta chars

論文筆記之：Collaborative Deep Reinforcement Learning for Joint Object Search

region format es2017 join sid col str bottom respond Collaborative Deep Reinforcement Learning for Joint Object Search CVPR 2017 Motiva

component lists rendered with v-for should have explicit keys

end sts 原因 錯誤 簡單 img 出現 span 渲染 出現這個報錯的主要原因是 component lists rendered with v-for should have explicit keys 去官網看了下v-for，簡單說就是有相同父元素的子元素要

The attribute required is undefined for the annotation type XmlElementRef

生成 bool target sta div val 方式 java 需要 異常描述： 幾天沒用的項目導進Eclipse中發現有異常 public class BooleanFeatureType extends FeatureBaseType{ @Xm

《Learning both Weights and Connections for Efficient Neural Networks》論文筆記

1. 論文思想 深度神經網路在計算與儲存上都是密集的，這就妨礙了其在嵌入式裝置上的運用。為了解決該問題，便需要對模型進行剪枝。在本文中按照網路量級的排序，使得通過只學習重要的網路連線在不影響精度的情況下減少儲存與計算量。論文中的方法分為三步：首先，使用常規方法訓練模型；使用剪枝策略進

《Learning to Compare: Relation Network for Few-Shot Learning》論文閱讀

通過對比實現少樣本或零樣本學習Learning to Compare: Relation Network for Few-Shot Learning 動機 我們就發現了，我們人之所以能夠識別一個新的東西，在於我們人的視覺系統天生的能夠對任意物體提取特徵，並進行比

《Active Convolution- Learning the Shape of Convolution for Image Classification》論文閱讀

paper 動機 以前的網路都是關注cnn的網路結構，比如ResNet，Inception等 這裡關注卷積這個操作本身， 貢獻 提出了Active Convolution Unit， 方法 ACU概念

19.FlowNet: Learning Optical Flow with Convolutional Networks

論文地址:https://arxiv.org/abs/1504.06852 FlowNet: Learning Optical Flow with Convolutional Networks 使用卷積網路學習光流 摘要 卷積神經網路（CNN）最近在各種計算機視覺任務中非常成功，特別