1. 程式人生 > 資訊 >位元組跳動公開深度學習新技術:隨意變臉/照片會動,算量大幅減少

位元組跳動公開深度學習新技術:隨意變臉/照片會動,算量大幅減少

9 月 19 日訊息今日位元組跳動技術團隊在其官方公眾號發表文章,介紹了位元組跳動的一項深度學習新技術。深度學習模型中的生成式對抗網路(GAN),可以用於圖片風格遷移、影象編輯、圖片生成等場景,為畫面以及視訊改變風格。

舉例來看,該技術可以將一匹棕色的馬變成斑馬,或者將莫奈的風景畫變成真實的照片。依據一個 鞋子的輪廓,可以自動生成真實的鞋子圖形。

2020 年,麻省理工學院、Adobe 和上海交通大學技術人員提出一種 GAN 壓縮演算法,將算力消耗成功減少到 1/21。

最近,位元組跳動技術團隊推出了一項自研 GAN 壓縮演算法,名為“線上多粒度蒸餾技術”,簡稱 OMGD。這項演算法能夠極大降低 CycleGAN 和 Pix2Pix 模型的算力消耗,分別降至原來的 1/40 和 1/46。不僅引數和計算量更少,影象生成效果也更好

上圖的結果顯示,OMGD 消耗的計算量僅為 1.219G,相比於原始狀態的 56.8G,計算量大幅減少,生成效果也更優。

瞭解到,目前 OMGD 技術已經應用在多款抖音智慧特效中。比如“三屏人生”,可以將過去、現在、未來的自己實時展現在螢幕上。

使用動態照片功能,可以讓靜態畫面動起來,表情豐富逼真。