原文：2410.17401
源码：https://ai-secure.github.io/AdvWeb/
摘要：
本文设计了一种专门针对web agent的黑盒攻击框架，通过训练一个对抗性提示生成模型，在网页中自动生成并注入“隐形”对抗性字符串，引导网页代理执行精心设计的恶意操作。
现有方法的缺陷：
- 现在的对抗性攻击主要聚焦于简单目标（如产生有害回复），难以处理更复杂的攻击目标；
- 现有的对web agent攻击要么就是通过手工设计注入恶意提示，缺乏扩展性和灵活性，要么就是依赖白盒梯度信息，即使迁移到黑盒场景下，也难以保持多VLM模型间的转移；
威胁模型：
攻击目标：保持操作类型不变的前提下，将正常操作的参数改为攻击者指定的恶意参数，a_adv = (o, r_adv, e)
攻击者能力：仅能获取网页的 HTML 内容 h，并将其修改为攻击后的 h_adv；
攻击限制：
- 隐蔽性：保证修改后的 HTML 内容 h_adv 在渲染后与原始内容无异，即 I(h) = I(h_adv)，以避免用户察觉任何变化;
- 可控性：攻击者应能在无需再次与代理交互或重新优化的情况下，仅通过修改对抗字符串中的特定子串即刻切换攻击目标。（比如现在已经有一个恶意的HTML内容h_adv能使agent买NVIDIA的股票，你只要把它的参数r_adv从NVIDIA改成r′_adv APPLE就能更改目标）;
方法：
通过训练一个对抗性提示生成模型，通过把模型生成的恶意prompt注入到特定的攻击目标（比如HTML中的Input输入框），将良性的HTML内容h转为恶意的HTML内容h_adv，并且通过特定的HTML字段、特性（如aria-label="q"）将恶意prompt隐藏，使其不在页面上显示，保证其隐蔽性。同时为了保证可控性，我们通过训练模型生成带占位符的提示模板（占位符来表示攻击目标），在注入HTML后在填入具体的目标。
模型训练
1.数据集准备
收集（算法2中）LLMs生成的n条攻击prompt作为训练数据集，并将训练数据集根据黑盒web agent的反馈分为positive和negative两个子集；
2.πpre→πSFT
使用positive子集对预训练模型ΠPre进行监督微调，根据公式2，引导模型Π生成更有可能引导web agent执行目标操作的提示，得到监督微调后的模型得到ΠSFT；
3.πSFT→πref：
复制SFT模型，作为DPO的参考策略；
4.πSFT→πθfinal:
在positive和negative子集上进行DPO强化学习训练πSFT，通过公式3。
Q:
为什么要加入监督微调？
因为纯RL在此场景下不稳定，加入监督微调来稳定训练。