AI 沒長腦子,是人給太多自由
面對外界對「AI 失控」的焦慮,歐盟網路安全局局長 Juhan Lepassaar 提出務實見解。他認為,近期多起涉及 AI 代理的資安事件,並非因為 AI 產生了意識或獨立行動能力,而是人類在設計、部署或授權時給予了過多自由,或是參數設定出現疏漏。回顧近半年事件,如 AI 代理入侵企業系統與澳洲政府資料庫遭駭,顯示 AI 只是在既定目標下,利用人類留下的「後門」或寬鬆指令突破限制。系統行為仍由人類框架驅動,問題核心在於工具的使用方式,而非工具本身。
網攻升級:從辨識威脅到自主行動
AI 在資安戰場呈現雙面刃特性。達利斯董事長兼執行長 Patrice Caine 指出,AI 已大幅提升網路攻擊的速度、規模與自主性,過去需整個駭客團隊完成的精密攻擊,如今靠 AI 工具即可迅速達成。攻擊者利用 AI 尋找弱點、製作逼真語音影像進行詐騙,甚至竊取資料。當 AI 從單純「辨識威脅」進化為「採取行動」,組織防護思維必須升級。除了防止未經授權存取,更要嚴格管控「已授權的 AI 行為」,因為 AI 不應在無控制與核准下自行決策。
治理關鍵:人類必須保留最終判斷權
隨著 AI 代理與大型語言模型深入企業環境,建立完善的治理框架成為當務之急。專家呼籲,單靠企業自律遠遠不夠,政府介入規範勢在必行。高風險決策仍須由人類負責,並保留最終的判斷與追蹤責任。這意味著企業需透過更嚴謹的設計、審查與權限控管,來降低 AI 代理帶來的風險。人類原本就應掌握主導權,確保 AI 作為輔助工具,而非不受控的自主實體,才是應對當前 AI 恐慌的最佳解方。