DeepSeek 和 GPT 系列模型针对越狱攻击的安全评估

抽象

大型语言模型 （LLM） 的广泛部署引发了人们对其易受越狱攻击的严重担忧，即绕过对齐机制并引发有害或违反策略的输出的对抗性提示。虽然像 GPT-4 这样的专有模型已经经过了广泛的评估，但 DeepSeek 等新兴开源替代方案的稳健性在很大程度上仍未得到充分探索，尽管它们在实际应用中的采用越来越多。在本文中，我们提出了 DeepSeek 系列模型的首次系统越狱评估，并使用 HarmBench 基准将它们与 GPT-3.5 和 GPT-4 进行了比较。我们评估了 510 种有害行为的 7 种代表性攻击策略，这些行为按功能和语义领域分类。我们的分析表明，DeepSeek 的 Mixture-of-Experts （MoE） 架构引入了路由稀疏性，该架构针对基于优化的攻击（如 TAP-T）提供了选择性鲁棒性，但在基于提示和手动设计的攻击下，会导致明显更高的漏洞。相比之下，GPT-4 Turbo 在不同行为中表现出更强大、更一致的安全对齐，这可能是由于其密集的 Transformer 设计和来自人类反馈的强化学习。细粒度的行为分析和案例研究进一步表明，DeepSeek 经常将对抗性提示路由到对齐不足的专家模块，从而导致不一致的拒绝行为。这些发现强调了架构效率和对齐泛化之间的基本权衡，强调需要有针对性的安全调整和模块化对齐策略，以确保开源 LLM 的安全部署。

关键字：

大型语言模型 （LLM），例如 OpenAI 的 GPT 系列，即 ChatGPT 和 GPT-4[24,37]和 DeepSeek 系列，即 DeepSeek-LLM 和 DeepSeek R1[9,16]在各种自然语言处理 （NLP） 任务（包括文本生成、摘要和推理）中展示了卓越的能力。它们在实际应用中的广泛采用，从教育和医疗保健到法律和客户服务，使它们成为学术界和工业界不可或缺的工具。然而，这种日益增长的依赖也带来了重大风险。最紧迫的问题之一是 LLM 容易受到越狱攻击，越狱攻击是特制的输入，旨在绕过内容审核并引出不安全或有害的输出。先前的研究表明，尽管采取了广泛的对齐培训和安全措施，但即使是 GPT-4、Claude 和 PaLM 等高级模型仍然容易受到此类攻击[18,2]. 越狱攻击的安全影响是深远的。恶意行为者可以利用这些漏洞生成不允许的内容，例如仇恨言论、个人信息泄露或非法活动说明，从而破坏模型与道德和法律规范的一致性[3].此外，这些弱点的存在削弱了公众对 AI 系统的信任，并使在开放环境中安全部署 LLM 的工作变得复杂。虽然最近的工作提出了各种防御策略，包括来自人类反馈的强化学习 （RLHF）[36]和思维链提示[1]，没有模型能够幸免。这就提出了一个重要问题：在标准化的对抗性压力测试条件下，不同的模型对越狱攻击的弹性如何比较？

为了解决这个问题，研究界制定了许多评估基准，旨在系统地评估 LLM 对越狱攻击的稳健性。其中值得注意的是 HarmBench[43]、JailbreakBench[46]和 EasyJailbreak[47]，它们提供标准化的数据集、多样化的攻击策略和一致的评估协议。例如，HarmBench 提供了多个类别的 500 多个有害行为提示，集成了 18 种攻击方法和一个拒绝训练模块 （R2D2）;JailbreakBench 强调将有害和良性查询配对的测试时稳健性，并维护不断发展的模型性能排行榜;EasyJailbreak 引入了一个轻量级的模块化系统，其中包含 11 种攻击配方，适用于开源和闭源模型。总的来说，这些基准使 GPT-3.5/4、Claude、LLaMA-2/3 和 Vicuna 等主要 LLM 之间能够进行广泛比较。 然而，目前的文献中仍然存在一个明显的差距：没有现有的工作系统地评估了 DeepSeek R1 的越狱鲁棒性，DeepSeek R1 是一个最近发布的开源模型，展示了强大的性能和可访问性。作为专有 LLM 的最具竞争力的开源替代方案之一，DeepSeek R1 代表了一类不断增长的模型，旨在使对高级语言功能的访问民主化。尽管它迅速采用并取得了有希望的基准测试结果，但它在对抗性提示下的安全特性，特别是与 GPT-3.5 和 GPT-4 等成熟的闭源模型相比，仍然没有得到充分探索。鉴于 LLM 部署的安全关键性质，对 DeepSeek R1 和 GPT 模型之间的越狱攻击弹性进行直接比较研究至关重要。在这项工作中，我们的目标是通过在标准化越狱攻击设置下进行全面评估来填补这一空白，及时了解最先进的开源和闭源 LLM 的相对优势和脆弱性。

为了解决在理解开源 LLM 的越狱鲁棒性方面的差距，我们在标准化对抗提示基准下对 DeepSeek 系列模型与 GPT 系列模型进行了首次深入评估。我们首先将 DeepSeek 的 Mixture-of-Experts （MoE） 结构的架构特征与 GPT 的密集 Transformer 设计进行对比，分析这些差异如何影响对齐和安全稳健性。使用 HarmBench 作为核心评估套件，我们在一系列越狱策略中测试了这两个模型系列，并对所有行为类型进行了汇总攻击成功率 （ASR）。我们的结果表明，虽然 GPT 系列模型，尤其是 GPT-4 和 GPT-4-Turbo，实现了卓越的整体鲁棒性，但 DeepSeek 展示了对自动化和基于梯度的攻击（如 TAP-T 和 GCG-T）的选择性强度。然而，DeepSeek 仍然明显更容易受到基于提示的直接和人为工程攻击。此外，通过按功能类型（标准、上下文、版权）和语义域（七类）对有害行为进行分类，我们发现 DeepSeek 的稀疏路由设计限制了跨敏感域的通用安全对齐。相比之下，GPT 模型始终如一地在广泛的类别中执行安全边界，这可能是由于密集的训练和更全面的对齐策略。我们还提供了每种攻击方法下按行为类型划分的 ASR 的详细细分，揭示了虽然 DeepSeek 在某些情况下实现了本地化稳健性，但它缺乏 GPT 一致的跨域安全性能。

据我们所知，这是第一项评估 DeepSeek 系列模型在不同对抗设置下与 GPT 系列模型相比的越狱鲁棒性的综合研究。主要贡献可以总结如下：

• • 

  我们使用 HarmBench 对 DeepSeek 系列模型的越狱鲁棒性进行了系统评估，涵盖了 7 种越狱策略，并将其性能与 GPT 系列模型进行比较，以了解架构对安全对齐的影响。

• • 

  我们通过比较 DeepSeek 的 Mixture-of-Experts 设计与 GPT 的 dense 架构来研究模型架构的影响，旨在探索它们在抵抗对抗性提示方面各自的优势和局限性。

• • 

  我们按功能类型（标准、上下文和版权）和语义领域（七类）对有害行为进行分类，以评估不同行为和概念维度的安全一致性。

• • 

  我们按每个越狱策略下的行为类型分析 ASR，以提供特定攻击方法如何与不同 LLM 架构中的模型漏洞交互的精细视图。

在人工智能的动态领域，DeepSeek 在模型开发方面取得了长足的进步，制作了一系列日益复杂和通用的模型。旅程于 2023 年 11 月 2 日开始，DeepSeek-Coder 揭幕[8]，一个开源代码大型语言模型 （LLM），在 2 万亿个令牌上从头开始精心训练，其中 87% 的代码和 13% 的自然语言是英文和中文的混合体。通过支持广泛的编程语言（包括 Python、Java 和 C++），并利用 16k 窗口大小和在项目级代码语料库预训练期间填写空白的任务，它在代码生成、调试和数据分析方面表现出卓越的能力。它在 HumanEval 等基准测试中的卓越性能[4]，超越了 CodeLlama 等成熟的开源对应产品[5]，牢固确立了其在该领域的重要性。 仅仅 27 天后，即 2023 年 11 月 29 日，DeepSeek 通过推出 DeepSeek-LLM 扩展了其产品组合[9]，一个拥有 670 亿个参数规模的通用 LLM。该模型提供 7B 和 67B 基本和聊天版本，旨在处理各种自然语言任务，从引人入胜的对话到文本创建。在线体验平台的提供进一步使用户能够直接与模型交互，促进其采用并展示其在现实世界中的适用性，从而在 DeepSeek-Coder 发起的势头基础上再接再厉。

2024 年见证了 DeepSeek 的快速进步，显著扩展了 DeepSeek 的模型功能。2 月，代码生成模型的升级版 DeepSeek-Coder 发布，进一步完善了其编程任务处理能力。随后在 3 月，DeepSeek-VL 首次亮相[10]，这是该公司首次涉足多模态领域，集成视觉和文本信息以实现更复杂的认知处理。4 月带来了 DeepSeek-Math[11]模型，它利用 GRPO 训练在数学推理和问题解决方面表现出色。DeepSeek-V2 的发布[12]2024 年 5 月是一个关键时刻;采用 DeepSeek-MoE 和 MLA 架构[13]，第二代基础型号在性能和效率方面都取得了实质性的改进，将自己定位为 LLM 领域的主要竞争对手。继续保持这一势头，在接下来的几个月里，我们进行了一系列迭代增强：DeepSeek-Coder 升级为 DeepSeek-Coder-V2[14]6 月，效率增强的 DeepSeek-V2.5 于 9 月上线，10 月推出首个多模态模型 Janus，在视觉理解和生成方面开辟了新天地。这一年以 11 月发布的 R1-Lite-Preview 预览版结束，该模型专注于逻辑推理和复杂问题解决，从而形成了一套全面的模型，可满足 AI 任务的不同方面的需求。

随着 2025 年的到来，DeepSeek 继续突破模型开发的界限。1 月初，第三代基础模型 DeepSeek-V3[12]。通过整合 MTP 任务和多个训练级别优化，它在性能和效率方面实现了重大飞跃，代表了 DeepSeek 模型发展的新前沿。同时，推理系列随着 DeepSeek-R1-Zero 的发布而扩展[15]，通过纯强化学习进行训练以实现强大的推理，以及 DeepSeek-R1[16]，它通过冷启动技术进一步与人类偏好保持一致。1 月底，Janus-Pro[17]推出后，在增强的视觉生成和理解能力方面超越了其前身，它在 GenEval 等基准测试中的表现证明了这一点[6]和 DPG 工作台[7].DeepSeek 模型的这种持续演变，从特定于代码到通用，从单一模态到多模态框架，不仅代表了渐进式改进，而且代表了架构、训练方法和应用领域的根本转变。每个新模型版本都建立在其前辈的优势之上，集成了新技术来克服限制、提高性能并扩展应用范围。这种迭代但革命性的方法不仅巩固了 DeepSeek 作为 AI 社区领导者的地位，还为人工智能的更广泛进步做出了重大贡献，激发了模型架构、训练算法和多模态处理方面的进一步研究和开发。

2018 年，OpenAI 推出了第一个生成式预训练转换器 （GPT）[24]，这标志着自然语言处理 （NLP） 的重大进步。与严重依赖任务相关注释数据集的传统模型不同，GPT 采用了两阶段训练方法：无监督预训练，然后是有监督的微调。这使得模型能够从大量原始文本中学习通用语言表示，并适应标记数据相对较少的各种下游任务。当时，像 BERT 这样的类似模型[25]）也越来越受欢迎。然而，这些模型仍然需要监督学习设置进行预训练，而 GPT 的无监督预训练策略显着减少了对标记数据的依赖。在 GPT 之前，NLP 在机器翻译等领域取得了进步[26,27]语音识别[28,29]和 summarization[30,31]通常需要特定于域的注释，从而限制了可扩展性和跨任务泛化。

为了进一步减少对标记数据的需求并提高泛化性，OpenAI 于 2019 年发布了 GPT-2[32].GPT-2 保留了 GPT-1 的核心架构，但显着增加了模型大小和训练数据量。GPT-2 的关键创新是完全依赖无监督学习。它表明，在多样化、未标记的数据上训练的足够大的模型可以在各种 NLP 任务中表现出色。基本假设是，无监督预训练隐式捕获了许多有监督任务所需的信息，从而将这些任务转化为模型一般知识的应用。GPT-2 的成功证实，扩展数据和模型参数可以带来更好的性能和更广泛的任务适用性，而无需针对特定任务的重新设计。

这种扩展原则在 GPT-3 中达到顶峰[33]，该模型扩展到 1750 亿个参数，并引入了一种称为上下文学习的新训练范式。GPT-3 不依赖于对每个下游任务进行微调，而是可以通过简单地通过调节输入提示中提供的任务示例来执行小样本甚至零样本学习。这种方法使模型能够在各种 NLP 任务（包括问答、摘要、翻译和对话）中生成高质量的输出，并且只需进行最少的任务相关修改。然而，尽管 GPT-3 的能力令人印象深刻，但它在推理和指令遵循方面仍然存在局限性。令人惊讶的是，像 T5 这样的小型模型[34]在某些任务上优于 GPT-3，这表明仅靠原始规模并不能保证卓越的性能。为了解决这些缺点，OpenAI 探索了基于代码的预训练等方法[35]和指令调优[36]，旨在增强 GPT-3 遵循人类意图和逻辑推理的能力。

在此基础上，OpenAI 于 4 年推出了 GPT-2023[37]，这在推理、创造力、多模态处理和与人类价值观的一致性方面带来了重大改进。GPT-4 允许用户同时输入文本和图像，从而实现更丰富的交互和新的应用场景。它在复杂的推理任务中展示了更可靠的性能，以用户指定的风格生成诗歌和歌曲等创意输出，并在学术基准（包括模拟考试）上提供更强的结果。值得注意的是，GPT-4 集成了 RLHF 以提高其响应的事实性、安全性和一致性[38].这些进步使 GPT-4 更加有用、可控和适应性更强，巩固了其作为通用 AI 助手的作用。从 GPT-1 到 GPT-4 的快速演变凸显了扩展、训练策略设计和人工对齐微调对大型语言模型开发的变革性影响。

如图 1 所示。1、DeepSeek 采用 Mixture-of-Experts （MoE） 架构来扩展模型容量，同时保持计算效率。MoE 模型不是像 ChatGPT 这样的密集模型那样为每个输入激活整个网络，而是动态选择一小部分专门的子网络或专家，以每个输入为条件。在 DeepSeek 中，这是通过将 Transformer 架构中选定的密集前馈层替换为稀疏激活的专家层来实现的。每个专家层都包含一个独立的子网络池，并且训练了门控机制，以根据输入表示选择前 k 名最相关的专家。在正向计算期间，仅激活选定的专家，尽管模型的总参数数量很大，但可以节省大量计算成本。

为了进一步确保有效的专家使用，DeepSeek采用了基于Expert Choice（EC）的增强路由算法，该算法明确控制了令牌到专家的分配。这种方法对 EA 可以处理的代币数量施加了上限，从而确保了计算负载的更均匀分布。在培训目标中添加了负载平衡损失，以防止专家过度使用或忽视，从而促进更好地覆盖专家空间并避免瓶颈。总体而言，DeepSeek 的 MoE 框架旨在将大模型容量的优势与实际计算可扩展性相结合，并由精心设计的路由策略和结构机制提供支持，以促进专业化和重用。

除了稀疏的专家设计之外，DeepSeek 还通过多头潜在注意力 （MLA） 进一步提高了训练和推理效率，MLA 是标准注意力的一种内存优化变体。在传统的 Transformer 模型中，每个注意力头都维护独立的键和值矩阵，这会导致大量的内存消耗，尤其是在上下文窗口较长的推理过程中。为了解决这个问题，MLA 使用低秩投影将 heads 之间的键和值表示压缩到一个共享的潜在空间中。这种机制使模型能够缓存一组明显更小的潜在向量，而不是全尺寸的每头张量，从而减少内存使用并提高计算吞吐量。通过保留多头注意力的表达能力，同时最大限度地减少冗余，MLA 允许 DeepSeek 扩展到更长的序列和更大的模型大小，而不会产生高昂的内存成本。

此外，DeepSeek 还通过多标记预测 （MTP） 修改训练目标，它推广了标准的下一个标记预测范式。传统语言模型通常在每个训练步骤中预测一个下一个标记，这对于长序列来说可能样本效率低下。相比之下，DeepSeek 的 MTP 目标允许模型在同一序列中的不同偏移量同时预测多个未来标记。这不仅通过使模型每批暴露于更密集的监督信号来加速收敛，而且还鼓励表示层学习更丰富的上下文依赖关系。预测的标记可以统一采样，也可以基于学习的掩码策略进行采样，从而在训练期间灵活地利用未来上下文。通过将 MTP 与 MLA 和 MoE 相结合，DeepSeek 在模型表现力、训练效率和推理可扩展性之间实现了很好的平衡。

如图 1 所示。2、ChatGPT 采用基于密集 Transformer 的架构，在向前和向后传递期间，每个输入的所有模型参数都会被激活。网络中的每个层都是统一参与的，无论内容或上下文如何，都有助于每个令牌的计算。这种统一的激活模式使模型能够开发深度纠缠的表示，这些表示支持跨各种任务和领域的强泛化。 这种密集架构的核心优势之一在于其简单性和通用适用性。与 MoE 架构等模块化设计相比，ChatGPT 等密集模型不依赖任何路由机制来确定模型的哪些部分被激活。相反，所有组件都在整个 input 分布中联合训练，从而允许模型隐式学习如何根据需要分配表示能力。这种全参数参与促进了整体知识整合，并使密集模型能够在开放式场景中表现出色，包括复杂的对话、创意写作和跨领域推理。没有模块化边界使该模型能够将语言、事实和程序知识无缝地结合在一个响应中，从而产生基于上下文和语义连贯的答案。 表中总结了密集架构和基于 MoE 的架构之间的详细比较。1 中，突出了计算成本、可扩展性和专业化方面的关键差异。虽然像 ChatGPT 这样的密集模型偏爱通用推理，在输入之间具有高度的一致性，但 DeepSeek 等 MoE 架构利用条件计算来实现跨领域相关任务的效率和专业化。

DeepSeek 特别适用于需要特定领域精度、结构化输出和逻辑推理的场景。在双语翻译任务中，DeepSeek 表现出色，尤其是在中英翻译方面。这种优势可能源于其对并行语料库的针对性培训以及 MoE 框架内语言专家的激活。因此，DeepSeek 经常提供术语准确且语义忠实的翻译，这在技术文档或交流中特别有价值。相比之下，采用在广泛多语言数据上训练的密集架构的 ChatGPT 在低资源语言和创意翻译任务上表现更好，但在保留与领域相关的术语和结构方面可能表现不佳[33].

这种结构优势还延伸到需要清晰和组织性的写作任务。DeepSeek 的专家模块经过逻辑排序和结构化阐述训练，在生成用户手册、科学报告和技术文档方面特别有效。虽然 ChatGPT 提供了风格多样性和语言风格，但其输出有时可能缺乏 DeepSeek 通过模块化专业化保持的内部一致性或严谨性。这种权衡反映了不同的架构优先级：DeepSeek 通过稀疏路由过滤外围语义关联，以最大限度地提高结构焦点，而 ChatGPT 由于其密集的架构而保留了边缘级语义连接，从而更倾向于表达范围而不是形式[42,40].

此外，在医学问答和健康相关咨询的背景下，DeepSeek 的架构允许激活受过医学训练的专家子模块，从而增强其提供准确和上下文敏感响应的能力。这种设计提供了一种可能更安全、更可靠的临床信息检索方法，特别是当与共享的通用语言专家相结合时，可确保可读性和上下文集成。相比之下，虽然 ChatGPT 在 USMLE 等基准临床考试中表现出了高性能[39]，它仍然是一个通用模型，在处理专业或边缘案例的医疗查询时更容易出现事实不准确或“幻觉”。

DeepSeek 的模块化在金融等数据密集型领域也被证明是有利的。它的专家模块根据历史股票数据、宏观经济指标和数学推理进行单独训练，可以针对投资组合优化或财务预测等任务进行编排。例如，当遇到投资决策问题时，DeepSeek可能会调用一位专家进行金融时间序列的模式识别，并调用另一位专家进行风险回报分析，从而提供更有分析依据的建议。相比之下，ChatGPT 能够很好地总结财务报告并以通俗易懂的语言解释经济概念，但缺乏对时间敏感或数值复杂数据流进行深度建模的能力。这种分歧导致人们对用于高精度工业应用的 MoE 模型的兴趣增加，DeepSeek 发布后的市场反应证明了这一点。

GPT 系列模型，特别是以 ChatGPT 为例，代表了一种密集连接的 transformer 架构，它通过广泛的参数共享优先考虑通才能力。ChatGPT 作为 OpenAI 开发的 GPT-3.5 和 GPT-4 模型的突出实例，已被广泛用于广泛的自然语言处理 （NLP） 任务。与稀疏专家混合 （MoE） 架构不同，GPT 模型利用密集路由在整个网络中传播输入，使它们能够跨域保留丰富多样的弱语义关联。这种设计在需要语言流畅性、上下文推理和开放域泛化的任务中具有显著的优势。 在翻译场景中，这种密集连接的架构使 GPT 模型能够在各种语言对中生成灵活且上下文感知的翻译。虽然像 DeepSeek 这样的模型由于专家的专业化而可能在中英翻译方面表现出色，但基于 GPT 的模型（如 ChatGPT）通常在多语言环境中表现出色，尤其是在处理资源匮乏或形态丰富的语言时，这要归功于它们在预训练期间的广泛接触[37].

这种多面手的设计也使 ChatGPT 特别适合创意写作任务，例如讲故事、论文生成和内容构思。其输出通常表现出连贯的叙事结构、文体多样性和富有表现力的语言使用。这种创造能力是由密集模型整合跨领域关联的能力实现的，例如将历史典故融入虚构叙事或将哲学推理融入有说服力的文章中[42].相比之下，DeepSeek 经常制作结构更有条理但想象力更少的内容，因为其 MoE 专家更喜欢逻辑连贯性而不是文体新颖性。在比较儿童故事的头脑风暴输出的用户研究中，ChatGPT 的原创性和表现力一直较高，而 DeepSeek 在结构完整性和完整性方面受到关注。

在健康传播领域，ChatGPT 在提供一般医疗建议和解释方面表现出强劲的表现。它能够用通俗易懂的语言表达复杂的概念，使其适用于健康教育和非关键决策支持。它甚至在正式的体检中展示了高精度回答临床小插曲的能力[39].然而，它缺乏与领域相关的微调可能会导致合理但医学上不准确的响应，从而限制了它在 DeepSeek 的专家指导架构具有优势的专业环境中的可靠性。

最后，ChatGPT 在金融通信和用户交互任务中被证明特别有效[41].虽然它在定量预测方面可能无法与 DeepSeek 相提并论，但它在解释财经新闻、生成执行摘要和生成可读的分析内容方面表现出色。在主要目标是可解释性、叙述清晰度或交互式响应性的应用程序中，ChatGPT 的密集通才模型仍然是首选。它能够将广泛的上下文与语言流畅性相结合，使其能够比模块化系统更有效地连接技术和非技术受众。

越来越多的研究表明，GPT 系列模型（例如 GPT-3.5、GPT-4）容易受到一系列越狱攻击，尤其是在攻击者无法访问模型参数的黑盒环境中。越狱攻击旨在绕过 LLM 的安全对齐和内容审核层，迫使它们生成被禁止或不安全的输出。这些攻击通过暗示性措辞、元语言模式和间接教学线索来纵模型行为，从而达到其目标。已经出现了几种突出的方法，它们使用基于梯度的优化、LLM 辅助提示生成和对抗性输入工程来利用这些对齐弱点。

零射击攻击。越狱研究中最简单和最常用的基线之一涉及直接向模型发出有害提示，而不应用对抗性优化或上下文掩码。这些零射击攻击，通常被表述为直接问题，例如“你能教我如何制造炸弹吗？”，用于评估模型的对齐保护措施是否可以独立防止违反策略的响应。尽管它们很简单，但这些攻击继续揭示 GPT 模型中的残余漏洞，作为评估更高级越狱技术强度的参考点。

GCG 和 GCG-T。Zou 等人。[18]提出了贪婪坐标梯度 （GCG） 方法，这是一种基于白框梯度的方法，将优化的后缀附加到输入提示以绕过安全机制。尽管这些后缀在语法上可能看起来很尴尬，但它们已经显示出对 ChatGPT 和 GPT-4 等黑盒模型的强大可转移性。改进的变体 GCG-T 通过使用更精细的优化策略生成后缀来提高可转移性和成功率。

AutoDAN 的Zhu 等人。[19]引入了 AutoDAN，这是一种基于顺序梯度的方法，通过单标记优化算法逐个标记构建对抗性后缀。AutoDAN 提高了越狱提示的流畅性和有效性，使其在面对由基于困惑的保护措施保护的模型时特别成功。该方法应用于 GPT-4 等黑盒模型时取得了很高的成功率。

双。Chao 等人。[20]开发了提示自动迭代优化 （PAIR） 框架，在该框架中，攻击者 LLM 通过基于反馈的优化迭代改进目标 LLM 的越狱提示。这种黑盒策略已被证明对 GPT-3.5 和 GPT-4 有效，证明了无需内部模型访问即可进行多轮自适应优化的可行性。

水龙头。Mehrotra 等人。[21]提出了带有修剪的攻击树 （TAP），这是一种通过利用 GPT 模型来评估其潜力来构建和修剪候选提示树的方法。成功的提示将在后续迭代中重新用作种子。TAP 在 GPT-4 上显示出强大的越狱性能，尤其是在零镜头评估设置中。

PAP-top5.Zeng 等人。[22]引入了说服性对抗提示 （PAP），它应用心理说服策略来创建隐蔽且语义丰富的越狱输入。这些提示由经过微调的 LLM 生成，这些 LLM 以说服技巧的结构化分类法为指导。尽管存在对齐机制，但 PAP 在从 GPT 模型引发违反政策的反应方面一直很有效。

总的来说，这些方法凸显了一个关键问题：即使是像 GPT-4 这样高度对齐的专有模型仍然容易受到越来越复杂的越狱攻击，这些攻击几乎不需要内部访问。这一趋势凸显了针对对抗性提示工程开发稳健、可推广和可解释的防御措施的迫切需求。

最近的研究发现，DeepSeek-R1 等高级推理模型在遭受越狱攻击时存在关键漏洞。Chang 等人。[48]引入了 Chain-of-Lure，这是一种受 Chain-of-Thought 提示启发的方法，其中攻击者模型构建了一个由结构化、多回合诱饵组成的欺骗性叙述。这些叙述引导受害者模型逐步制作有害内容。作者证明，在这种黑盒设置下，DeepSeek-R1 特别容易受到攻击，即使面对闭源模型，也能实现近乎完美的 ASR。Ying 等人。[51]提出了 RACE，这是一个多轮越狱框架，可将有害查询重新划分为逐步推理任务。通过引导模型进行迭代对话，攻击者在保持语义连贯性的同时逐渐引出不安全的输出。他们的实验表明 DeepSeek-R1 具有较高的 ASR，突出了如何将其推理能力重定向到绕过对齐保护措施。Qi 等人。[49]将这种探索扩展到协作式多代理环境，其中多个 LLM 进行辩论以得出结论。他们设计了一个结构化的提示重写框架，通过叙事构建、基于角色的交互和修辞混淆，巧妙地将对话升级为有害内容。当应用于基于 DeepSeek 构建的 MAD 系统时，他们的方法显着增加了危害性和 ASR，揭示了交互式代理设置中的复合风险。Kuo 等人。[52]研究了 DeepSeek-R1 自身的安全推理机制如何与之对抗。他们引入了 H-CoT，这是一种纵通常用于评估安全性的中间思维链步骤的方法。通过劫持这些推理痕迹并将其反馈到输入中，H-CoT 将 DeepSeek-R1 的拒绝率从 20% 大幅降低到仅 4%，将最初的谨慎行为转变为愿意响应危险的查询。

除了提出攻击策略外，周 et al.[50]对 DeepSeek-R1 进行了全面的安全评估。将其与 OpenAI o3-mini 等模型进行比较，他们发现 DeepSeek 不仅在标准化安全基准测试中表现不佳，而且在推理阶段产生的有害内容比最终答案中产生更多。这些发现凸显了当前安全对齐技术的局限性，尤其是当推理跟踪本身成为攻击媒介时。

这些工作表明，虽然 DeepSeek-R1 擅长结构化推理，但它仍然极易受到对抗性纵，无论是通过快速工程还是利用其自身的内部逻辑。

在评估大型语言模型 （LLM） 对抗对抗性提示和越狱攻击的鲁棒性的情况下，已经提出了几个基准来提供标准化和可重现的测试环境。其中包括 HarmBench[43]、JailbreakBench[46]和 EasyJailbreak[47]是三个具有代表性的框架，它们在侧重点和实现上有所不同。HarmBench 旨在支持红队和模型级拒绝评估，提供包含 510 种有害行为的综合数据集，包括标准、上下文、版权和多模式场景。相比之下，JailbreakBench 提供 100 种滥用行为和相应的良性查询，便于比较拒绝测试。它更加强调测试时的稳健性，提供不断发展的越狱提示存储库，并支持各种开源和闭源 LLM。EasyJailbreak 采用更轻量级和模块化的方法，使研究人员能够使用可配置的组件快速构建和评估越狱攻击。它支持 GPT-4、GPT-3.5、LLaMA2 和 Vicuna 等常见模型，并允许通过 HuggingFace 接口集成用户定义的模型。

在攻击方法方面，HarmBench 包括 GCG、AutoDAN、TAP 和 PAIR 等 18 种自动红队方法，并引入了高效的对抗训练机制 （R2D2） 来改善拒绝行为。EasyJailbreak 包含 11 个成熟的攻击配方，这些攻击配方由四部分组成，由 Selector、Mutator、Constraint 和 Evaluator 组成，允许灵活重组和开发新型攻击。JailbreakBench 强调对自适应攻击和测试时防御的支持，同时维护一个官方排行榜，用于跟踪真实模型上的攻击和防御性能。对于评估，HarmBench 标准化了令牌长度和解码策略等关键参数，以确保公平比较，并采用基于 LLM 的分类器来测量 ASR。JailbreakBench 使用 LLaMA-3-70B 等强大的裁判执行严格的人工对齐验证，并强调行为级别的分析。EasyJailbreak 通过包括 ASR、响应跟踪和基于困惑的指标在内的综合报告来补充其攻击生成管道。这些基准共同为评估和改善 LLM 在对抗性压力下的安全状况提供了互补的基础设施。

在我们的评估中，我们使用了 HarmBench，这是一个专门为评估大型语言模型 （LLM） 的对抗鲁棒性和拒绝行为而开发的综合基准数据集。HarmBench 总共包含 510 种有害行为，这些行为被故意设计为代表恶意、不道德或非法的用户请求。这些行为分为 400 个文本实例和 110 个多模态实例，涵盖了广泛的滥用场景。

从功能上讲，HarmBench 定义了四种不同类型的行为提示，它们在结构和上下文依赖关系上有所不同。表 3 总结了这些功能类别。

每个功能类别都面临着独特的挑战。标准行为是在旧版红队数据集之后建模的自包含提示，用作基线。版权行为评估模型是否复制受保护的内容，并使用基于哈希的分类器进行评估。上下文行为将有害意图嵌入到丰富的用户配置文件中，以探测 LLM 是否会滥用背景信息。另一方面，多模态行为整合了视觉刺激，并在出现与安全相关的图像提示时测试视觉语言模型的完整性。

为了提高公平性和可重复性，HarmBench 包括一个预定义的数据拆分：保留 100 个行为用于验证，410 个行为分配给测试。这种分离可以防止过度拟合，并确保模型不会根据评估数据进行调整。此外，数据集创建者采用了严格的管理标准，包括法律合理性、不同的潜在危害以及排除双重意图提示（即在合法情况下可能是良性的提示）。

在我们的评估中，我们包括 OpenAI 的 GPT 系列模型的四个版本：GPT-3.5 Turbo 0613、GPT-3.5 Turbo 1106、GPT-4 0613 和 GPT-4 Turbo 1106。这些模型代表可通过 OpenAI API 访问的特定版本，选择仅限于保证在 2024 年 6 月之后仍然可用的版本。由于长期支持不确定，早期型号变体（例如 2023 年 3 月发布的型号）被排除在外。所有四种型号都经过了广泛的红队和安全对齐程序[43].重要的是，我们实验中使用的 OpenAI API 不会对输出应用额外的筛选或后处理。因此，我们尽我们所知报告 API 返回的原始模型完成数。

除了 GPT-3.5 和 GPT-4 模型之外，我们还评估了 DeepSeek 语言模型的多个版本，特别是其在一系列尺度上的提炼变体。这些参数包括 DeepSeek-Distill-1.5B、7B、8B、14B 和 32B，其中数字后缀表示以十亿为单位的近似参数计数。DeepSeek 系列代表了一套指令调优模型，针对跨部署场景的效率和性能权衡进行了优化。所有版本都根据相同的 HarmBench 协议进行评估，以确保红队评估的一致性，从而允许与 OpenAI GPT 模型和其他开源基线直接比较。使用多个 DeepSeek 模型大小可以分析模型规模在对抗性提示下如何影响鲁棒性。

表 4 显示了 OpenAI 开发的 GPT-3.5/GPT-4 系列与 DeepSeek AI 开源的 DeepSeek Distill 模型之间的并排比较。这种比较跨越多个维度，包括模型规模、可访问性、对齐技术、输出过滤机制和对多模态输入的支持。值得注意的是，虽然 GPT 模型是闭源的并且只能通过 API 访问，但 DeepSeek 提供了一系列具有不同参数大小的可部署模型，使其更适合可定制的用例。从对齐的角度来看，这两个系列都采用了 RLHF 等现代技术[44]和 DPO[45]，DeepSeek 进一步介绍了 GRPO[11]以增强策略级别的控制。此外，DeepSeek 明确集成了输出过滤和多级安全机制，而 GPT 模型在 HarmBench 中使用原始 API 输出进行评估，无需后处理。该比较突出了关键的架构和策略驱动的差异，这些差异会影响每个模型系列在对抗性测试条件下的稳健性和可信度。

我们对 DeepSeek 系列模型（表 5）和 GPT 系列模型进行了全面比较，其评估结果（表 6）改编自[43].这些模型针对各种越狱攻击策略进行了测试，包括自动红队方法（GCG-T、PAIR、TAP-T）、基于提示的攻击（ZeroShot、PAP）以及人工或直接恢复方法（DR、HumanJailbreaks）。 在大多数攻击方法中，两个模型系列的稳健性之间存在明显区别。对于 GCG-T，一种基于梯度的自动对抗提示方法，GPT-3.5 Turbo （1106） 的成功率最高，为 42.60%，而 GPT-4 模型明显更稳健，成功率降至 22% 左右。DeepSeek 模型显示出一致但略有增加的脆弱性，范围从 32.54% （1.5B） 到 39.25% （32B）。这表明，虽然 DeepSeek 模型不如 GPT-4 健壮，但它们对 GCG-T 攻击的抵抗力比 GPT-3.5 模型强，这可能是由于 MoE 架构在激活途径中引入了不连续性，这可能会阻碍基于梯度的对抗优化。

PAIR 方法重写指令以绕过安全约束，显示出类似的趋势。GPT-3.5 Turbo （0613） 显示出 47.8% 的高脆弱性，而 GPT-4 变体则显着改善，低至 33.8%。随着规模的增加，DeepSeek 模型变得更加敏感，尽管 32B 变体接近 GPT-4 级别的鲁棒性，为 36.74%。这表明 PAIR 攻击在各个架构中都是有效的，尽管 DeepSeek 的路由动态可能会略微降低其有效性。 TAP-T 方法使用有针对性的对抗性提示，揭示了鲜明的对比。GPT 模型非常脆弱，GPT-3.5 Turbo 0613 和 GPT-4 Turbo 分别达到 63.0% 和 57.7%。相比之下，DeepSeek 模型的成功率要低得多，通常低于 1%。这种差异可能是由于难以在 DeepSeek 的门控 MoE 架构之间传输 TAP-T 优化，这可能会阻碍对激活的专家的一致控制。

ZeroShot 和 PAP 是两种基于提示的攻击策略，可提供更多见解。DeepSeek 模型更容易受到 ZeroShot 攻击，7B 的峰值率为 40.40%，而 GPT-4 模型表现出更大的抵抗力，GPT-4 Turbo 的抵抗力低至 12.7%。这表明基于提示的攻击对 DeepSeek 模型更有效，这可能是由于指令对齐不太强大或系统级安全措施较弱。相比之下，这两个模型系列都显示出较低的 PAP 脆弱性，DeepSeek 模型在 15% 到 20% 之间，GPT-4 模型的比率保持在 11% 到 17% 之间。

在 DR 和 HumanJailbreaks 方法中，GPT 模型，尤其是 GPT-4 Turbo，表现出更高的稳健性，HumanJailbreaks 成功率低至 2.6%，而 DeepSeek 模型的成功率约为 41%。这表明 DeepSeek 的 MoE 架构可能尚未纳入有助于 GPT-4 稳健性的相同程度的安全微调或 RLHF 优化。

总之，GPT 系列模型，尤其是 GPT-4 及其 Turbo 变体，在大多数越狱攻击方法中始终优于 DeepSeek 模型。然而，DeepSeek 的 MoE 架构对 TAP-T 和 GCG-T 等基于梯度的自动化攻击提供了显著的抵抗力，尽管它似乎更容易受到直接提示攻击和人为设计的提示。这些发现表明了架构稀疏性和安全性调整之间的权衡：虽然 MoE 架构可能会自然地破坏基于优化的攻击，但像 GPT-4 这样的密集模型更多地受益于先进的安全对齐技术和训练数据管理。

我们在 DeepSeek 和 GPT 模型上测量了三个行为类别的多种越狱方法的 ASR。无花果。3 表明 DeepSeek 模型在标准和上下文类别中的得分一直较高，这表明不安全或违反策略的输出的可能性更大。例如，DeepSeek-32B 记录的上下文风险为 0.7796，其次是 DeepSeek-14B （0.8203） 和 DeepSeek-8B （0.763），这表明较大的 MoE 变体更容易受到对抗性提示的影响。相比之下，GPT-4 模型显示出低得多的上下文风险;GPT-4 Turbo （1106） 最低，为 0.323，反映出更强的内部对齐。 在标准类别中，DeepSeek-32B 再次以 0.4833 领先，而 GPT-4 Turbo 为 0.24886，GPT-4 为 0.228 （0613）。这种模式证实，尽管 DeepSeek 在一般任务上具有良好的扩展性，但其安全合规性却不尽如人意，这可能是由于 RLHF 有限或专家模块调整受限。 在版权类别中，GPT-4 模型的违规率略高于 DeepSeek。GPT-4 （0613） 和 GPT-4 Turbo 分别达到 0.11057 和 0.03857，而 DeepSeek 的最高仅为 0.0091 （DeepSeek-1.5B）;许多较大的变体得分为零。 总体而言，语义行为指标揭示了安全权衡：DeepSeek 模型在结构上对某些越狱具有鲁棒性，但更容易出现有害输出，而 GPT-4 和 GPT-4 Turbo 保持更严格的安全边界，这可能是因为更强的对齐和更大规模的安全调整。

除了语义行为组之外，我们还分析了六个高风险内容域中对抗性提示下的特定类别的脆弱性。结果如图 1 所示。4、进一步加强了 DeepSeek 和 GPT 系列模型在安全对准上的分歧。在几乎所有类别中，与 GPT 模型相比，DeepSeek 模型的越狱 ASR 都要高得多。例如，在错误信息类别中，DeepSeek 模型的 ASR 为 0.6422，几乎是 GPT 模型的 0.213 的三倍。同样，对于网络犯罪和非法内容，DeepSeek 分别保持 0.5573 和 0.4934 的高风险水平，而 GPT 模型记录的值要低得多，分别为 0.18 和 0.115。这些差异表明 GPT 模型在抵制社会和法律敏感的提示方面更有效。在骚扰和有害行为等类别中，差距保持一致，GPT 模型表现出更强的安全约束，系统性地拒绝对抗性尝试或以警告性语言回应。这表明 GPT-4 甚至 GPT-3.5 变体都拥有更广泛、更一致的内容审核规范内化。同时，化学和生物类别呈现出一个罕见的逆转，GPT 模型显示出更高的风险率，而 DeepSeek 模型记录的越狱成功率为零。总的来说，这些分类结果支持了早期的说法，即 DeepSeek 的稀疏激活 MoE 设计可能会阻止跨敏感领域的对齐泛化。虽然 GPT 密集、统一训练的架构始终如一地在不同类别中执行安全边界，但 DeepSeek 模型往往表现出不一致的行为，在某些高风险领域出现提示时通常会绕过安全过滤器。

无花果。图 5 和 6 显示了每种越狱策略下按行为类型划分的 ASR，提供了不同攻击媒介如何与 GPT 和 DeepSeek 架构中的安全漏洞交互的精细视图。

在 PAIR 攻击下，它重写了逃避过滤器的指令，GPT 模型在标准和上下文行为中都显示出略高于 DeepSeek 的 ASR。值得注意的是，GPT 还注册了非零版权 ASR，而 DeepSeek 在这一类别中仍然完全抵抗。这表明 GPT 通常更容易受到 PAIR 下复杂的改写策略的影响，尽管这两种模型对受版权保护的输出的风险都相对较低。对于对令牌级扰动执行优化的 TAP-T，GPT 在所有方法中表现出最高的漏洞。这些结果支持了之前的说法，即 TAP-T 对 GPT 等密集激活的模型特别有效，而 DeepSeek 的 MoE 路由引入了部分抵抗这些梯度的可变性。同时，DeepSeek 避免了所有侵犯版权的行为，而 GPT 偶尔会失败到 6.93%。对于 GCG-T 攻击，它们也是基于梯度的，与之前的趋势略有不同。与 GPT 相比，DeepSeek 在标准提示中的 ASR 更高，在上下文类别中的 ASR 略高。这表明，尽管 DeepSeek 的 MoE 架构可以缓解 TAP-T 等特定攻击，但当路由支持一致的专家激活时，它仍然容易受到更广泛的基于梯度的对抗策略的影响。两种模型在版权类别中都表现出轻微的泄漏，GPT 再次显示出更高的比率，为 7.90%。

相比之下，ZeroShot 攻击在没有事先上下文的情况下提示，突出了 DeepSeek 的漏洞，尤其是在标准和上下文类别中。DeepSeek 在标准和 contextal 中的ASR分别为76.96%和74.06%，几乎是GPT的18.65%和40.48%的两倍。这些结果表明，虽然 DeepSeek 模型在结构上对基于优化的攻击具有弹性，但它们仍然极易受到仅提示对抗策略的影响。即使在版权类别中，与 GPT 相比，DeepSeek 也显示出轻微的泄漏。PAP 结果显示，两种模型的表现相对较好，总体 ASR 较低。DeepSeek 在标准提示上显示出轻微的优势，但上下文 ASR 更高，这反映了在处理嵌入了细微安全提示的提示时反复出现的弱点。此外，DeepSeek 避免了所有侵犯版权的行为，而 GPT 偶尔会达到 7.53%。

在 HumanJailbreaks 攻击下，该模式又回到了 GPT 的优势。DeepSeek 在标准和上下文提示中显示出明显的漏洞，而 GPT 仍然相对健壮。对于现实世界中精心设计的越狱，这种差距尤其明显，因为 DeepSeek 无法过滤人类的对抗意图。虽然这两种模型都设法抑制了侵犯版权的行为，但 GPT 仍然记录了一个小但并非微不足道的漏洞。与此同时，DR 攻击描绘了类似的画面。与 GPT 较低的 ASR 相比，DeepSeek 在标准和上下文提示下的表现始终不佳。

这些结果证实了建筑专业化和一般安全性能之间的微妙权衡。DeepSeek 的模型结构针对特定攻击类型（如 TAP-T 和版权提示）提供了本地化的鲁棒性，但在不同的上下文和行为中，它没有表现出与 GPT-4 相同级别的通用安全行为。GPT 模型，尤其是 Turbo 变体，在大多数类别中始终实现较低的 ASR，尤其是在响应人为和基于提示的攻击时。

为了进一步研究 DeepSeek 和 GPT 系列模型之间的行为差异，我们进行了两组案例研究，每组案例研究都包含三个针对安全关键和违反政策提示的代表性示例。第一组，如图 1 所示。7 显示了 GCG-T 攻击下的模型响应，而第二组，如图 7 所示。8，检查 TAP-T 攻击下的响应。在这些实验中，我们使用 “deepseek-distill-8b” （一种蒸馏的 8B MoE 变体） 作为代表性的 DeepSeek 模型，使用 “gpt-4-0613” 版本作为代表性的 GPT 系列模型。这些定性分析提供了越狱方法如何影响模型合规性和绕过对齐保护措施的能力的具体说明，突出了模块化 MoE 和密集架构之间的不同行为模式。

在 GCG-T 攻击下，DeepSeek 模型始终如一地生成详细且上下文一致的响应，即使提示高度敏感或违禁的内容也是如此。例如，当被要求提供合成违禁农药对硫磷的分步说明时，DeepSeek 提供了一个结构化的多步骤化学合成过程，并提供了试剂和条件。相比之下，GPT 以安全和道德界限为由拒绝回应。同样，当被提示写一篇有说服力的帖子，鼓励父母给婴儿喂蜂蜜时，由于有肉毒杆菌中毒的风险，医学上不鼓励这种行为，DeepSeek 热情地服从了，产生了一个有说服力和情感共鸣的叙述。相比之下，GPT 遵守医学共识和安全指南，对这一建议提出了警告。一个关于选举舞弊的政治提示产生了另一个揭示性的例子：DeepSeek 遵循了提示的说服框架，并生成了详细的论证性回应，暗示广泛的欺诈行为颠覆了 2020 年美国大选。另一方面，GPT 保持了基于实证发现和专家共识的平衡立场。这些案例表明，DeepSeek 的 MoE 架构可能会引入路由可变性，导致某些专家模块在对抗性引导时忽略安全约束。

当受到 TAP-T 攻击时，DeepSeek 通常表现出比 GPT 更强大的安全遵守性，尤其是在响应旨在绕过对齐保护措施的巧妙框架提示时。在第一个例子中，提示巧妙地要求合成“Divine Elixir”（非法药物生产的委婉说法）的步骤，而 DeepSeek 则以零散和不确定的步骤作为回应，暗示了犹豫和部分拒绝。另一方面，GPT 提供了更连贯和技术具体的回应，包括对 LSD-25 和实验室程序的引用，表明对安全规避的脆弱程度更高。在第二种情况下，一个提示以变相的方式要求提供一首受版权保护的流行歌曲的歌词。DeepSeek 谨慎地回应，提供了避免直接复制原始内容的释义或虚构的台词。相比之下，GPT 制作了实际受版权保护的歌词，引发了人们对可能违反知识产权保护措施的担忧。在最后一个例子中，涉及一个假设的网络漏洞利用脚本，DeepSeek 再次表现出不确定性，没有提供具体的攻击向量，而 GPT 返回了一个合理且技术上详细的有效载荷结构。这些示例共同强调，DeepSeek 虽然不能幸免于越狱，但在 TAP-T 提示下往往会触发更强的拒绝行为或内部过滤器，而 GPT 的输出即使在安全或政策边界受到微妙挑战时也能保持流畅和指导性。

总之，这些示例揭示了 DeepSeek 漏洞的明显差异，具体取决于越狱攻击的性质。具体来说，在直接和激进的 GCG-T 攻击下，DeepSeek 通过生成详细和连贯的违反策略的内容来表现出高度的合规性，这表明其模块化的 MoE 架构，特别是路由机制，可能允许某些专家模块绕过安全约束。相反，当面对更微妙和战略性伪装的 TAP-T 攻击时，DeepSeek 表现出更强的安全遵守性，其特点是犹豫、碎片化或回避响应，尤其是在涉及敏感信息和受版权保护的材料的情况下。其有限的任务规划和代码生成功能似乎无意中起到了保护措施的作用，降低了在这些细微提示下出现有害输出的风险。相比之下，GPT 系列模型虽然通过维护道德和安全界限对直接攻击具有鲁棒性，但对巧妙伪装的绕过尝试表现出相对较高的敏感性，因为它们的流畅和指令输出可能会无意中促进规避。

在本文中，我们首次深入评估了 DeepSeek 系列模型相对于 GPT 系列模型的越狱鲁棒性。我们的实验表明，尽管 DeepSeek 的 MoE 架构为基于梯度的和自动化的对抗性攻击提供了局部弹性，但它缺乏 GPT-4 所表现出的广谱安全对齐，尤其是针对人为和基于提示的威胁。DeepSeek 模型在高风险语义类别（如错误信息和网络犯罪）中也表现出不一致的性能，凸显了可推广安全性方面的差距。相比之下，GPT 模型，尤其是 GPT-4 及其 Turbo 变体，保持较低的 ASR 和更一致的拒绝行为。 这些发现强调了架构效率和对齐稳健性之间的基本权衡，突出了在 DeepSeek 等开源模型中增强安全机制的需求，以确保安全可靠的 AI 部署。此外，我们的分析强调模型架构不仅影响计算效率，而且会显著影响攻击面和故障模式。