:::
資安新聞
2025/07/09
AI 與資安漏洞新對抗
加州大學柏克萊分校最新研究指出，前沿 AI 模型（如 Claude + OpenHands、OpenAI、Meta 等）正在偵測並利用軟體漏洞的能力迅速提升，在開放原始碼專案中發現 17 項 bug，其中 15 項為零日漏洞。然而，目前自動工具僅能偵測出約 2% 的漏洞，專家警示不應過度依賴 AI，應結合人力與負責任的漏洞揭露制度。
該研究指出前沿 AI 模型能在開源專案中自動挖掘漏洞，甚至發現多個 zero-day，這說明：
- AI 模型已具備初步駭客能力
- 攻擊者可利用開源 AI 工具發動自動化攻擊
- 現有工具對此類威脅的偵測率極低
這為全球開發者與企業帶來新的威脅態勢，特別是：
- 開源專案成為「訓練樣本」與攻擊目標
- AI使初學者也能發動高效攻擊（Script Kiddies → Prompt Kiddies）
網安智慧科技協助企業應對這一變化，我們建議：
1. 導入 AI-Resilient SDLC 流程
- 規劃：對 threat modeling 納入 AI 模型可能被濫用的情境（prompt injection、AI-driven fuzzing）
- 開發：導入 SAST/DAST 工具外，整合 AI-based bug scanner（例如 GitHub Copilot Security）
- 測試：加入「AI 模型自動掃描 + 人工複核」流程，提升零日防護層次
- 部署：建立安全原則（如最小權限、模組隔離）降低 AI 發現漏洞後的可利用範圍
- 維運：導入 Software Bill of Materials（SBOM）及 AI-based Anomaly Detection 機制
2. 強化 Bug Bounty 與負責任揭露制度
建議企業與開源維護者：
- 定期舉辦 AI-Assisted CTF 或 Bug Bounty
- 鼓勵社群利用 LLM 進行「自我滲透測試」
- 設置自動化報告管道與人員審查程序
- 參考 HackerOne、BugCrowd 等平台做為漏洞回報與獎勵中介
3. 善用 AI 協防而非僅防 AI
部署以 AI 強化的防禦技術：
- AI-enhanced SIEM（如 Microsoft Sentinel）
- AI-based behavioral analytics（可偵測 AI 攻擊引發的異常使用行為）
建立「AI 防禦 AI」的紅隊藍隊演練機制，例如：
- 紅隊用 LLM 自動生成攻擊腳本
- 藍隊用 LLM 分析 log、調整防火牆規則
4. 教育訓練與 AI 安全政策制定
對開發團隊與安全團隊進行下列訓練：
- LLM Prompt Injection
- AI-enhanced Vulnerability Hunting
- 安全開發中的 AI 使用準則（類似 OWASP Top 10 for LLM）
制定組織層級的 AI Security Policy，包括：
- 模型輸出審查機制
- AI 工具使用準則與權限管理
- 供應鏈 AI 元件安全稽核
5. 推動業界標準與法規因應
參與或關注以下國際標準的發展與制定：
- NIST AI Risk Management Framework (RMF)
- ISO/IEC 42001:2023（人工智慧管理系統）
- OWASP Top 10 for LLM Applications
- 推動企業配合資安法規或客戶要求導入 AI 安全治理