阿里AI設計師一秒出圖,小撒連連驚呼,真相是...
近期,央視《機智過人》的舞臺上來了位“三超設計師”——設計能力超強;出圖能力超快;抗壓能力超強,成功迷惑嘉賓和現場觀眾,更讓撒貝南出錯三連。
節目一開場,這位“設計師”就為現場嘉賓:主持人撒貝南、演員韓雪、神經科學家魯白生成了三張獨具特色的海報。幾乎是說話的瞬間,海報立即生成,出圖速度之快讓撒貝南驚呼“秒完”。
鹿班為現場嘉賓設計的海報
這位設計師正是阿里巴巴研製的AI設計師——鹿班。鹿班是為解放人類平面設計師而生,它學習了五百萬張人類設計作品,現在它每秒能做八千次設計。自從2016年上線至今,鹿班已經完成了十億次海報製作,是全球首位大規模投入使用的人工智慧平面設計師。
節目中,鹿班將接受設計領域的兩輪檢驗,如果鹿班的作品被現場觀眾成功找出,則認為鹿班通過檢驗。究竟AI能否在設計領域達到人類水平?接下來,我們一起走進檢驗場。
第一輪挑戰中,鹿班與一次成稿率在80%以上的設計師、從業十二年的資深設計師等三位同臺競技,各自設計一張以“汽車卓越加速效能”為主題的商業海報。下圖即四位設計師的設計成圖,大家不妨來猜一猜哪幅是鹿班的作品。
根據現場觀眾投票,多數觀眾認為4號作品出自鹿班之手。讓觀眾出乎意料的是2號才是鹿班的創作,這個結果讓神經學家魯白大呼“不服氣”。
不信?眼見為實!
接下來,戰況升級。中央美術學院院長範迪安教授帶來畫家與服裝設計師來和鹿班同臺創作,為《孫子兵法》這本書設計封面。
面對設計難度升級,鹿班能否成功應對?我們馬上揭曉鹿班和兩位人類設計師為《孫子兵法》設計的封面的作品:
以上圖片中有三幅作品,其中哪一張是鹿班的設計?到底觀眾們有沒有猜對?不急,我們先請阿里巴巴資深技術專家星瞳為我們揭祕鹿班背後的技術。
使用場景
視覺生成引擎的使用場景大致可抽象成下圖。以顯式輸入而言,使用者可以輸入標籤需要的風格、色彩、構圖等,或者輸入一個例子,或者進行一些互動的輸入。除顯式輸入之外還可以有隱式輸入,比如人群資訊、場景資訊、上下文資訊等。總的來說,輸入可以是千變萬化的,但通過規範化之後就會減少變化,使得生成過程可控,輸出質量可控。
對視覺生成引擎來說,它要求輸入是規範化的。但在輸入前,可以加入各種互動方式,如自然語言處理,語音識別等,將其轉化成規範化輸入。最後輸出結構化資訊或可視成圖。
技術框架和生產流程
其技術框架如下圖左側。首先對視覺內容進行結構化理解,如分類、量化、特徵化。其次通過一系列學習、決策變成滿足使用者需求的結構化資訊即資料,最後將資料轉化成可視的影象或視訊。這一框架依賴於大量的現有資料。其核心是一個設計核心。同時,引入效用迴圈,利用使用後的反饋來不斷迭代和改進系統。
其生產流程分成六個步驟,如下圖右側所示。首先使用者提出需求,將需求特徵化轉變成系統可以理解的結構化資訊。其次將資訊進行規劃得到草圖。有了粗略的草圖後再將其轉變成相對更精確的圖,然後調整細節,最後通過資料視覺化形成最終的圖。當然其中還有很多的trick,以及各部分的優化。
關鍵演算法
下面介紹一些關鍵演算法。我們希望基於下圖最左的耐克鞋生成最右的圖。先通過規劃器得到草圖,再通過強化學習獲得相對細緻的結果,再通過對抗學習及渲染演算法得到圖片,再通過評估器進行評估,最後形成業務閉環,其中還會有一些基礎的能力,包含更強的聯合特徵(非普通 CNN特徵)及多維度檢索演算法等。
基本上,處理的第一步是將圖片中的資訊結構化,這也是與現有的識別理解技術結合最緊密的地方。其中的難點和重點包括,對影象中多目標的識別、遮擋和互包含情況如何得到分割的資訊等,下圖只是個簡單的示例。
有了結構化資訊之後,需要對資訊進行量化。可以量化成特徵或量化圖。量化過程中會包含很多資訊,比如主題風格、佈局配色、元素種類、量化空間等。有了這些資訊後可以在主題、種類、風格、視覺特徵大小位置上,量化成各種碼,用相對有限的特徵來表達無限的圖。
下一步是通過使用者的輸入,得到一個相對粗略的結果即草圖。目前主要使用的是深度序列學習。從影象角度,首先選定一個點的畫素顏色再選擇位置,再迭代進行操作,最後形成一張圖。規劃器模擬的就是這個過程。本質上預測過程是一棵樹,當然也可以拆成一條條路徑。為了簡化,可以分成幾步進行,比如空間序列,視覺序列。最後形成量化特徵模型,主要應用的是LSTM模型。它把設計的過程轉化成基於遞迴、迴圈的過程。
得到草圖後,利用行動器將草圖細化。如果將圖中的每個元素看作一個Agent,那麼它將有若干個可選的行動空間。
假設一張圖中有20個元素,每個元素在視覺上有多種可選的行動空間,由其組合成的可選行動空間非常龐大。我們有很多trick可以解決這一問題,比如在空間上,只允許在有限範圍內進行變動,且行動方向有序,即狀態有序,行動有限。
下一步是如何衡量結果的好壞。影象的評估相對比較主觀,主要可以從美學和效果兩方面來評估。美學角度可以包括是否對齊、色系搭配是否合理、有無遮擋這些較低級別的判斷標準,以及較高階的,比如風格是否一致,是否切合主題。從效果上,產品投放後是否會在點選率等方面實現提升。最後將多個指標形成對應權重並形成多個DeepLR聯合模型。
但在衡量結果之前,需要形成畫素級別可見的圖。這裡有以下幾種構造器分類,包括臨摹、遷移、創造、搭配與生成。
前面介紹了,如何通過使用者的需求形成可見的圖。後續還需要進行投放和反饋並進行優化,形成效用外迴圈。這樣才能使得系統效用不斷得到提升,形成一個線上閉環,這也是智慧設計相對設計師的一大優勢。
從技術角度來說,鹿班可以滿足海量無選擇客戶的需求。相信在未來,可以做到“所想,即所見”。節目的最後,撒貝南、韓雪、魯白紛紛為鹿班站臺,鹿班也因此成功入選 “2018智慧先鋒”。
原文連結
本文為雲棲社群原創內容,未經允許不得轉載。
相關推薦
阿里AI設計師一秒出圖,小撒連連驚呼,真相是...
近期,央視《機智過人》的舞臺上來了位“三超設計師”——設計能力超強;出圖能力超快;抗壓能力超強,成功迷惑嘉賓和現場觀眾,更讓撒貝南出錯三連。 節目一開場,這位“設計師”就為現場嘉賓:主持人撒貝南、演員韓雪、神經科學家魯白生成了三張獨具特色的海報。幾乎是說話的瞬間,海報立即生成,出圖速度之快讓撒貝南驚呼“秒完”
阿裏AI設計師一秒出圖,小撒連連驚呼,真相是...
成了 c51 adc 結構化 數據 轉載 cdn 其中 循環 近期,央視《機智過人》的舞臺上來了位“三超設計師”——設計能力超強;出圖能力超快;抗壓能力超強,成功迷惑嘉賓和現場觀眾,更讓撒貝寧出錯三連。 節目一開場,這位“設計師”就為現場嘉賓:主持人撒貝寧、演員韓雪、神經科
#程式設計師式幽默趣圖!從高的職業,現實的殘酷!
崇高的職業,現實的殘酷 如果有想學習java的程式設計師,可來我們的java學習扣qun:72340,3928免費送java的視訊教程噢!小編是一名5年java開發經驗的全棧工程師,整理了一份適合18年學習的java乾貨,送給每一位想學的小夥伴,歡迎大家一起學習哦。 對付程式設計師腦回路要
阿里程式設計師吐槽:晚上9點下班還要偷偷摸摸,想離職了!
對於程式設計師來說的話BAT無疑是最為理想的大廠,大公司相比小公司來說更加穩定,薪酬也高很多,不必擔心公司會垮掉,反之大公司的壓力也比小公司高很多,對於年輕人來說,去大廠有助於提升自己,哪怕以後跳槽去其它廠,也是炙手可熱的人才,畢竟有大廠的光環。 在程式設計師匯聚的論壇,一名阿里的員工怨聲
阿里程式設計師70多萬年終獎表示略感失望,網友:不要的話請給我!
阿里開始發年終獎了,不少阿里員工開始在網路論壇上相互打探訊息,看看自己拿的是多還是少。因為阿里的年終獎是跟績效掛鉤的,所以績效不一樣,同樣級別拿到的年終獎可能就會有差別,而且差距還不小。 有一名阿里的程式設計師在網路上稱自己的級別是P7,已經談定了績效,年終獎已定,差不多在70多萬左右,但
【hihocoder 1388】【區間DP】A Game【給出一個數列,兩人每次從數列的頭尾取數,小ho 先取,小hi每次都採取最優策略,問小ho最終能取得的數的總和最大是多少】
描述 Little Hi and Little Ho are playing a game. There is an integer array in front of them. They take turns (Little Ho goes first) to select a number from
小程式又放大招,小程式支援直播,快來看看你能夠開發自己的直播小程式嗎?
小程式又放大招,小程式支援直播,快來看看你能夠開發自己的直播小程式嗎? https://blog.csdn.net/towtotow/article/details/78923839 https://blog.csdn.net/u012536034/article/details/80524748 &n
快要考試了,小編找到了,python改分神器。送給現在在風中體罰的你,不怕死的趕緊上,小編斷後
快要考試了,小編找到了,改分神器。送給現在在風中體罰的你。不怕死的趕緊上,小編斷後。 開玩笑的,小編的不敢,只是自己在寢室玩玩,解決一下手癢的問題。 祝學python的小夥伴,年年有高分,出門開豪車,有北京的四合院。 登陸流程分析 小編的Q學習群,需要python相關資料視訊的加群聯
微量小程式聯盟平臺,小程式換量,小程式變現功能介紹
微量小程式聯盟平臺,主要功能是做微信小程式換量,免費換量,小程式廣告變現,小程式買量,小程式賣量,下面對小程式換量,變現,買量,賣量做一一介紹。 【微量小程式聯盟——小程式換量功能】 【1】小程式換量是免費的,不收取任務費用 【2】智慧換量,平臺分配換
E420加裝SSD,小黑升級啦,筆記本升級固態硬碟參考
對SSD心裡癢癢很久了,無奈一直囊中羞澀,面對如此昂貴的SSD只能可望不可即,好在最近價格掉的厲害,觀望了那麼長時間,終於決定入手了。 現在熱門的有三款,浦科特M3、鎂光M4、三星830,論效能M3最好,論熱門程度M4最熱,三星830之前價格一直比M4貴個一
Redis 釋出訂閱,小功能大用處,真沒那麼廢材!
![jae-park-7GX5aICb5i4-unsplash](https://img2020.cnblogs.com/other/1419561/202009/1419561-20200923071551245-480949487.jpg) 今天小黑哥來跟大家介紹一下 Redis 釋出/訂閱功能。 也
越來越多動物正在滅絕,“AI+動物”能否改變這一局面?[圖]
我們 www href targe 時間 出了 中國 欄目 但是 越來越多動物正在滅絕,“AI+動物”能否改變這一局面?[圖]先來看一組數據。1890年,我國野生東北虎的種群數量為1200—2400只,1930年約為450只,40年間減少了75%。到20世紀80年代,我國野
首個AI公園探祕:身高體重一秒被曝,大爺大媽坐無人車玩瘋了
郭一璞 發自 凹非寺 量子位 報道 | 公眾號 QbitAI 在北京四環的西北角之外,有一片綠地,大約是因為離圓明園比較近,這裡曾經是皇家稻田。後來,皇家不復,稻田也成了海淀公園。 海淀公園在北京一直算不上什麼有存在感的公園,旁邊的圓明園、頤和園還有北大校園個個都
#阿里程式設計師又在炫耀了,說道:雙十一我司營收能突破兩千億嗎?
我想經常用淘寶的朋友肯定知道,每年的雙十一是個買買買的節奏,很多人都會在網上瘋狂買買買,其實對於我來說是沒有什麼影響的,但是對於阿里程式設計師來說這天絕對是個不眠夜,但同時也是一個阿里交易額的峰值。 在這裡我推薦下自己整理的資料,我自己是一名從事了5年java開發的全棧工程師,如果有想要
#阿里被程式設計師吐槽很多人做爛產品,看著高大上,其實一大堆坑
說起阿里,大家首先想到的就是淘寶、支付寶等。作為國內的“大哥”級企業,阿里的業務系統已經很成熟了,但是因為太過穩定的話也會產生一些問題,就是公司業務方面可能就是一灘死水,就有一程式設計師在晚上吐槽阿里看上去高大上,其實有很多坑。 如果有想學習java的程式設計師,可來我們的java學習扣qu
阿里巴巴首席架構師被採訪:這幾類人,不適合當一名程式設計師!
很多人都覺得程式設計入門特別難,特別在剛開始的時候,敢問切入一個新的行業不付出點努力,不堅持下不深刻的挖掘下自己的潛力,都會覺得難得不行。程式設計學習的成本相對比較低廉,基本上一本書,一臺電腦就可以開始自己的自學之路,每天都有很多信心滿滿的上路學程式設計的,每天都有垂頭喪氣放棄繼續學習的,程式設計基
2 張圖,讓你一秒理解 CountDownLatch、CyclicBarrier
CountDownLatch (倒數閂,Latch:門閂) 經常用於 監聽某些初始化操作,等 初始化執行緒 全部執行完畢後,才通知 主執行緒 繼續工作 a) 即 一個執行緒處於阻塞的狀態下,他要收到 多少次通知,才能被 甦醒,並繼續往下執行 b) 注意:只能阻塞 一個執行
因為一雙鞋,阿里程式設計師相親被拒
點選上方“程式設計師小灰”,選擇“置頂公眾號”有趣有內涵的文章第一時間送達!本文轉載自公眾號
抖音最火的五款手機修圖軟體,一秒變大片
每次刷抖音都會看到各種男神、女神的圖片,細直長的腿,黃金比例的身材,魔鬼般精緻的面容,其實只要掌握以下幾個軟體,你也可以擁有! Facetune 2 這款軟體濾鏡種類很多,有幾款濾鏡兼職大愛,圖片一配上秒變大片有木有,功能也很強大,適合圖片簡修。
阿里程式設計師的一場自嗨,坑了全世界的程式設計師
12月25號,一覺醒來,開啟公司開發的系統,發現系統的樣式大變樣 原來長這樣的按鈕 突然全部變成了這樣 還沒搞清楚怎麼回事,客戶那邊打電話過來,質問我們是不是系統中毒了? 如果有想要學習web前端的小夥伴,可來我們的web前端學