近日，微軟開源了 AI 安全風險評估工具 Counterfit，該工具旨在幫助開發人員測試 AI 和機器學習系統的安全性。該公司表示，Counterfit 可以使組織進行評估，以確保其業務中使用的演算法是可靠和可信賴的。

當前，人工智慧技術正越來越多地應用在醫療，金融和國防等受監管的行業中。但是，組織在採用風險緩解策略方面處於落後狀態。一個微軟的調查發現，部分企業使用者表示，他們沒有合適的資源，以確保他們的 AI 系統的穩定性和安全性。

微軟表示，Counterfit 誕生於該公司評估 AI 系統是否存在漏洞的需求，目的是主動保護 AI 服務。該工具起初是專門為目標 AI 模型編寫的攻擊指令碼集，然後演變為自動化產品以對多個系統進行大規模基準測試。

在底層，Counterfit 是一個命令列實用程式，為對抗性框架提供了一層，並預先載入了可用於逃避和竊取模型的演算法。Counterfit 尋求使安全社群可以訪問已釋出的攻擊，同時提供一個介面，通過該介面可以構建，管理和發起模型攻擊。

當使用 Counterfit 在 AI 系統上進行滲透測試時，安全團隊可以選擇預設設定，設定隨機引數或自定義每個引數以覆蓋廣泛的漏洞。具有多個模型的組織可以使用 Counterfit 的內建自動化功能進行掃描，並可以選擇多次掃描，以建立操作基準。

Counterfit 還提供日誌記錄以記錄針對目標模型的攻擊。正如微軟指出的那樣，遙測技術可能會促使工程團隊提高對系統故障模式的瞭解。

在內部，微軟將 Counterfit 用作其 AI 紅色團隊運營的一部分，並在 AI 開發階段中使用，以在漏洞投入生產之前發現漏洞。該公司還表示，它已經與多家客戶進行了 Counterfit 的測試，其中包括航空航天巨頭空客公司（Airbus），該公司正在開發基於 Azure AI 服務的 AI 平臺。

“人工智慧在工業中的使用越來越多”。空客公司高階網路安全研究員 Matilda Rhode 在一份宣告中說：“確保這種技術的安全至關重要，特別是要了解在問題空間中可以在何處實現特徵空間攻擊。”

基本上，企業希望人們相信 AI 是不受操縱，是安全的。1 月釋出的 Gartner 的“管理 AI 風險的 5 大優先事項”框架中的一項建議是，組織“ 針對攻擊性攻擊採取特定的 AI 安全措施，以確保抵抗和復原力。”這家研究公司估計，到 2024 年，實施專門的 AI 風險管理控制的組織將避免負面的 AI 結果的發生頻率是未消除負面結果的兩倍。”

根據 Gartner 的一份報告，到 2022 年，所有 AI 網路攻擊中有 30％將利用訓練資料中毒，模型盜竊或對抗性樣本攻擊以機器學習為動力的系統