當前許多AI系統模型和算法難以確保訓練過程中數據質量和清潔度，模型設計的安全性、訓練的穩定性都存在大的問題。因此對于遍地開花、泛在化AI應用系統，各種內生安全問題和危險必然是層出不窮。

(相關資料圖)

AI應用系統硬件環境也存在漏洞、后門等內生安全的共性問題，這是網絡空間一大麻煩事。漏洞難以完全避免，后門無法杜絕，現有技術能力無法徹查漏洞，這是它的共性問題。

近日在北京召開的第十一屆互聯網安全大會（ISC 2023）上，中國工程院院士鄔江興發表了題為《動態異構冗余（DHR）構造賦能AI應用系統內生安全實驗》的演講。鄔江興提出，AI時代是一把“雙刃劍”，在給人類社會帶來極大推動的同時，也形成了潛在的巨大安全威脅，甚至可能會帶來巨大的災難。要高度重視AI時代的安全性，用內生安全的方法補齊短板。

當前，以深度學習為核心的AI應用迎來新一輪快速發展期，人工智能技術取得突破，人工智能或生成式AI正在為各領域提供信息化、數字化、智能化的解決方案，正在引發經濟結構的重大變革，帶動社會生產力的整體躍升。

人工智能安全問題包含內生安全問題和非內生安全問題，內生安全問題又分為個性問題和共性問題。人工智能的應用系統由基礎軟硬件、環境或者數據系統和人工智能的算法、模型組成的。但是深度學習AI模型存在3種可能的問題。

神經網絡的黑盒特點，導致人工智能存在不可解釋性。深度學習對訓練樣本的過度依賴，導致學習結果不可判定，神經網絡的前項推進不可逆，結果的不可推論性。這就是人工智能“三不可”。

關于個性問題的表現，從數據采集、模型設計、訓練、尋找規律到基于優化執行任務的推理階段，存在4種個性，即算法的黑箱性、數據的依賴性、模型的安全性以及輸入的敏感性。

當前許多AI系統模型和算法難以確保訓練過程中數據質量和清潔度，模型設計的安全性、訓練的穩定性都存在大的問題。因此對于遍地開花、泛在化AI應用系統，各種內生安全問題和危險必然是層出不窮。

除了個性問題，AI應用系統硬件環境也存在漏洞、后門等內生安全的共性問題，這是網絡空間一大麻煩事。漏洞難以完全避免，后門無法杜絕，現有技術能力無法徹查漏洞，這是它的共性問題。

AI應用系統中內生安全個性和共性問題往往是交織疊加存在的，既有漏洞、后門引起的問題，又有黑盒效應引起的問題，所以它是更復雜的一個安全系統。交織疊加在一起使得AI應用系統的安全問題變得極其復雜，給安全使用和維護帶來了前所未有的挑戰。

鄔江興提出用內生安全理論里的DHR構造賦能AI應用系統內生安全。它可以有效阻斷和控制內生安全共性問題，使內生安全問題難以發展成為內生安全事件。近年來的理論研究與工程實踐表明，內生安全在機理上能有效解決AI應用系統軟硬件環境中存在的內生安全共性問題，能為AI應用系統的數據采集、模型訓練、算法應用等全流程提供“三高”（高可靠、高可信、高可用）的不依賴又不排斥任何附加防御措施的內生安全底座。

在此基礎上，鄔江興對個性化問題進行理論分析，得出7條結論：第一，訓練數據集的高質量構建，特別是采用分布概率密度高的數據，對模型抗攻擊能力的提升更重要；第二，異構可解釋性或者差異化的訓練模型方法能夠得到多樣化的AI模型，因為內生安全需要多樣化的環境做相對性判定；第三，基于彩票假設證明了不同結構及相同結構不同稀疏程度的深度學習網絡之間很難產生共模；第四，使用網絡結構自動搜索技術可以快速構建多個具有特異性深度學習AI模型；第五，對抗樣本遷移性對深度神經網絡的結構存在強關聯，異構化模型的冗余部署是必不可少的安全機制；第六，理論上可以證明多個異構化模型的隨機動態部署方法，能顯著增強AI應用系統安全性；第七，AI模型不確定度估計方法能夠為DHR架構執行動態調度算法提供最優化理論支撐。

鄔江興認為，這些理論研究證明了即便是AI個性化問題，我們仍然可以用內生安全的方法來處理。不論是共性還是個性問題，基于AI模型構造提供工程化的解決途徑，并提供理論層面的支撐。

編輯：王韻

標簽：