8 月 27 日訊息，位元組跳動近期開源了一項代號為 OMGD 的壓縮技術。這是位元組自研的 GAN（生成對抗網路）壓縮演算法，在保證生成效果不變的前提下，算力消耗最低可以減少到原來的 1/46，相比之前業界的最佳壓縮效果提升一倍多。據悉，這項技術的論文已入選國際計算機視覺會議 ICCV 2021。

據悉，GAN 是人工智慧領域重要的深度學習模型，在影象生成、音樂生成和視訊生成等方面應用廣泛，還可以提高影象質量，實現影象風格化、影象著色等任務。漫畫特效等人們常用的短視訊道具，就是通過 GAN 實現的。

由於 GAN 對計算資源和儲存空間的需求巨大，模型難以直接部署到手機、Pad 等移動裝置上，業界一直在努力改進 GAN 的壓縮方法。2020 年，麻省理工學院、Adobe 和上海交通大學的研究者們提出一種 GAN 壓縮演算法

OMGD（Online Multi-Granularity Distillation）意為“線上多粒度蒸餾”。據位元組跳動技術團隊的論文顯示，該演算法能靈活地在訓練過程中優化並壓縮 GAN 模型，從而實現更好的影象效果和更少的計算成本。

測試資料表明，OMGD 壓縮演算法對 Pix2Pix 和 CycleGAN 這兩種常用的 GAN 解決方案效果顯著。Pix2Pix 和 CycleGAN 主要應用於影象到影象的“翻譯”，比如將照片轉換為繪畫，對黑白圖片著色等。OMGD 壓縮演算法可使其算力消耗分別減少到原來的 1/40 和 1/46。

目前，OMGD 壓縮演算法已在抖音等產品中落地，為使用者提供更豐富的視訊創作能力。相關技術程式碼也已釋出在開源社群，以幫助從業者提升 GAN 的創新和應用效率。迄今，位元組跳動已開源了機器學習平臺 Klever、聯邦學習平臺 Fedlearner、高效能分散式訓練框架 BytePS 、LightSeq 推理和訓練引擎等重磅專案。

節能環保是位元組跳動一個重要的技術研究方向。在不久前的自然語言處理領域國際頂會 ACL 2021 上，位元組跳動的詞表學習方案獲得年度唯一的“最佳論文”大獎，該論文同樣極具節能價值，相比主流詞表可以節約 92% 的算力。