1. 程式人生 > 資訊 >Facebook 開源資料增強庫:可令 AI 精準識別盜版圖文音視訊

Facebook 開源資料增強庫:可令 AI 精準識別盜版圖文音視訊

7 月 18 日訊息,只要稍微動點手腳,就會給 AI 模型的魯棒性帶來挑戰。在 AI 眼裡,下面這兩張圖片可能毫無關聯。

不過,Facebook AI 在近日開源了用於資料增強的新 Python 庫 ——AugLy

使用 AugLy 資料增強訓練 AI 模型,訓練後 AI 可以對使用者上傳的內容,進行更精確的識別,有助於識別盜版圖文音視訊

它支援音訊、影象、視訊和文字 4 種模態,提供了超過 100 種資料增強功能,可以對輸入內容進行多種處理。

比如,改變文字的大小寫、字型、編碼方式,給文字新增標點、調整字母位置、模擬錯別字,以及裁剪、旋轉圖片,給圖片加文字、增加飽和度、增加亮度、改變清晰度等。

這一專案已經獲得 1.8k 顆星,並且登上了 GitHub 熱榜。

讓 AI 識別「截圖轉發」

AugLy 的目的是涵蓋現實網路中具體的資料增強,用來建立樣本,從而訓練和測試模型。

根據 Facebook 和 Instagram 等平臺上的生活影象和視訊,AugLy 在統一的庫和 API 下轉換專案的所有資料,提供了超過 100 種資料增強方式。

其中包括 4 個子庫,分別對應音訊、影象、視訊和文字 4 種模態。

這些子庫包括基於函式和類的變換、組合,並且可以選擇所應用的元資料及其強度。

以圖片處理為例,AugLy 可以對圖片進行裁剪、旋轉、新增噪聲、模糊處理、灰度處理等。

就像這樣:

或者圖片或視訊上疊加文字和 emojis:

除了包含許多通用的增強功能,AugLy 更大的特點在於 —— 提供“網際網路使用者”型別的資料增強方式

比如,把圖片轉換成螢幕截圖的樣式,更加符合生活中常見的樣子。

使用 AugLy 資料增強訓練 AI 模型,這些內容相同而形式不同的資訊,能幫助模型提高魯棒性。

在複製檢測、言論檢測或版權侵權等工作中,訓練後 AI 可以對使用者上傳的內容,進行更精確的識別

此外,AugLy 已經被用於 Deepfake 檢測挑戰賽,用來評估模型的魯棒性。

網友熱議

這個新的 Python 庫也受到了網友們的關注,在 Reddit 上獲得了 350 + 贊。

有網友提出疑問:文字模組只支援英語嗎?

一位熱心網友表示:

看起來文字模組在很大程度上是對 nlpaug 的一種包裝,因此 AugLy 支援其他語言,只需修改幾個引數。

也有網友提出,為什麼不直接把它加到 pytorch 裡?

對此,有人回覆道:

這樣在安裝的時候會很慢,有需要的的人單獨安裝就可以了,沒必要讓 pytorch 那麼臃腫。

AugLy 要求 Python 3.6 以上版本,通過 pip 安裝,但是在虛擬環境和系統環境中,還需要用 conda 和 sudo apt-get 命令單獨安裝 python-magic。

比較遺憾的是,AugLy 目前不支援輸入批量影象,不過開發人員表示,以後將會完善這一功能。