徐方繹(Fngi)
AIDEFEND Labs AI 資安資深研究員 · GDG Taipei Organizer

GDG Taipei Organizer,DevFest Taipei 2024、2026 總召,開源 AI 資安組織 AIDEFEND Labs 兼任資深研究員。
十五年以上全端工程與資安經驗,主要在受監理的金融體系,近年專注 LLM 紅隊、Agentic AI 安全架構與 AI 治理框架(NIST AI RMF、ISO 42001、OWASP LLM/Agentic Top 10、MITRE ATLAS)。
曾於 RSAC 2026、InfoSec Taiwan 2026、COSCUP x UbuCon Asia 2026 分享 AI 安全實戰。平常用 DGX Spark 和 Mac 跑各種模型攻防,相信「先量出來,再談安全」。
議程:它拒絕了,但思考鏈出賣了它:Gemma 4 紅隊實測、一個我撤回的結論,與上線前的三道護欄
把 Gemma 4 接進客服 app、寫好「絕不透露內部資料」的系統提示,就安全了嗎?
我用 25 條對應 OWASP LLM Top 10 的固定攻擊集實測 Gemma 4,得到一個令人警惕的意外:模型的正式回答守住了,機密卻從它的思考鏈(Chain-of-Thought)整段漏出來——不需要越獄,一句無害的訂單查詢就會觸發。此外,現場也會坦誠分享「紅隊數字什麼時候不能信」,剖析跨平台測試的驗證陷阱與評估邊界。
這場會用一台普通筆電現場示範攻擊與修復,帶你裝上上線第一天就該有的三道護欄:output rail(別把思考鏈當回應吐出去)、retrieval rail(RAG 讀到的內容不是指令)、execution rail(Agent 的權限就是爆炸半徑),並對照 Google Cloud 上的託管選項。攻擊腳本與判定邏輯全部開源、確定性可重現。
適合正在把 Gemini/Gemma 接進產品的工程師,不需要資安背景。
回到首頁