A Dynamic Stackelberg Game Framework for Agentic AI Defense Against LLM Jailbreaking
文章主要内容和创新点主要内容本文聚焦于大型语言模型(LLMs)面临的“越狱”问题(即攻击者通过操纵模型绕过安全机制生成有害内容),提出了一套基于动态斯塔克尔伯格博弈(Stackelberg Game)的防御框架,并设计了名为“Purple Agent”的代理式AI防御方案。具体内容包括:博弈论建模:将LLM的提示-响应动态建模为序贯扩展型博弈,其中防御者(领导者)需制定策略并预判攻击者(追随者)的最优反应,通过动态规划推导子博弈完美斯塔克尔伯格均衡(SPSE),以形式化分析攻防互动。Purple Agent设计:结合快速探索随机树(RRT)算法,模拟攻击者的潜在攻击轨迹,通过“模拟攻击-主动防御”的循环,提前识别脆弱路径并部署防御措施(如拦截、重定向),实现对越狱风险的前瞻性防控。验证与应用:通过案例研究展示了Purple Agent如何在实际交互中预判并阻断越狱尝试,并讨论了框架在对抗性训练、政策优化等场景的扩展性。创新点理论框架创新:首次将动态斯塔克尔伯格博弈应用于LLM越狱防御,通过序贯博弈模型捕捉攻防互动的时序性和策略性,为防御策略提供了严谨的理论基础。防御机制创新:提出“Purple Agent”融合攻击者视角(模拟攻击路径)与防御者策略(主动干预),通过RRT算法实现对高维提示空间的高效探索,解