Zheng, Baolin, et al. “Black-Box Adversarial Attacks on Commercial Speech Platforms with Minimal Information.” Proceedings of the 2021 ACM SIGSAC Conference on Computer and Communications Security, 2021, pp. 86–107. arXiv.org, Black-box Adversarial Attacks on Commercial Speech Platforms with Minimal Information | Proceedings of the 2021 ACM SIGSAC Conference on Computer and Communications Security

2.1 威胁模型

2.2 方法

2.2.1、初始化

2.2.2、CMA-ES

2.2.3、Cooperative co-evolution

2.2.4、Adaptive Decomposition

摘要

直到最近几年，针对商业黑盒语音平台（包括云语音 API 和语音控制设备）的对抗性攻击才受到关注。构建此类攻击很困难，主要是由于时域语音信号的独特特性和声学系统结构复杂得多。当前的“黑盒”攻击都严重依赖于预测/置信度分数或其他概率信息的知识来制作有效的对抗性示例（AE），服务提供商可以直观地进行防御而无需返回这些消息。在本文中，我们更进一步，在更实际和更严格的场景中提出了两种新颖的对抗性攻击。对于商业云语音 API，我们提出了 Occam，这是一种仅决策的黑盒对抗性攻击，对手只有最终决策可用。在 Occam 中，我们将仅决策 AE 生成制定为不连续的大规模全局优化问题，并通过将这个复杂问题自适应地分解为一组子问题并协同优化每个子问题来解决它。我们的 Occam 是一种万能的方法，在各种流行的语音和说话人识别 API 上实现了 100% 的攻击成功率 (SRoA)，平均 SNR 为 14.23dB，包括谷歌、阿里巴巴、微软、腾讯、科大讯飞和京东，优于最先进的黑盒攻击。对于商业语音控制设备，我们提出了 NI-Occam，这是第一个非交互式物理对抗攻击，对手不需要查询预言机，也无法访问其内部信息和训练数据。我们首次将对抗性攻击与模型逆转攻击相结合，在不与目标模型交互的情况下得到了具有高迁移性的物理世界对抗样本，我们的实验结果表明，NI-Occam 可以成功欺骗 Apple Siri、Microsoft Cortana、Google Assistant、iFlytek 和 Amazon Echo，平均 SRoA 为 52%，SNR 为 9.65dB，揭示了针对语音控制设备的非交互式物理攻击。

一、主要工作

Occam：我们奥卡姆的核心思想是将针对智能声学系统的基于决策的黑盒攻击制定为一个不连续的大规模全局优化问题，基于最终的离散决策（攻击者只能获得）和大量的优化变量这个演讲。受此观察的启发，我们开发了一种称为 CC-CMA-ES 的新技术，该技术将协作协同进化 (CC) 框架应用于强大的协方差矩阵自适应进化策略 (CMA-ES)，以解决大规模复杂问题严格的黑盒设置。更具体地说，CC-CMA-ES 首先将复杂的问题分解为一组更小更简单的子问题，然后使用 CMA-ES 通过对它们的局部几何进行建模来协同优化每个子问题。为了提高攻击效率，我们进一步提出了一个自适应对应物，它允许子问题大小和分解策略自适应环境多变的进化过程。

NI-Occam：我们的 NI-Occam 的关键思想是将对抗性攻击与模型反转攻击结合起来。更具体地说，我们尝试通过梯度信息恢复对原始示例的语音识别至关重要的自然命令音频的关键部分。由于这两种音频在模型反演过程中很好地融合在一起，很难被人耳分开，这极大地阻碍了人们识别恶意音频。最后，我们提出的 NI-Occam 可以成功欺骗 Apple Siri、Microsoft Cortana、Google Assistant、iFlytek 和 Amazon Echo，平均 SRoA 为 52%。人类感知实验进一步表明，在听到一次后，只有 6.4% 的音频 AE 可以被志愿者识别为目标命令。

主要贡献：

1、最少要求信息实现通用黑盒攻击

2、拥有完美成功率的有效攻击

3、无交互的实用物理攻击

如下为常见的ASR、SR服务总结：

二、OCCAM

2.1 威胁模型

在本节中，我们的目标是向公众开放其 API 的商业云语音服务，并且我们假设攻击者打算在不了解目标模型的任何内部知识的情况下针对 ASR 和 SR 服务生成 AE。更具体地说，对手只能查询目标模型并获得其最终决策，这是现实应用中严格但更实际的假设。考虑到对手对原始音频的了解，我们分别对 ASR 和 SR 任务做出两种不同的假设。对于 ASR 系统，我们假设对手对数据集一无所知，因此我们利用 Text-to-Speech Service API 来生成目标文本的音频。对于 SR 系统，攻击者只需要收集受害者的一个语音样本，由于个人信息的严重泄露，例如社交媒体中的公共视频，该样本很容易获得。

2.2 方法

2.2.1、初始化

损失函数如下：

优化程序应该从一个对抗点开始，因为当输入不是对抗时，目标函数的值等于+∞。我们首先使用远离原始音频的自然对抗样本初始化𝑥∗。更具体地说，我们利用 text-to-speech API 服务将所需的语音合成为针对 ASR 系统的初始对抗性音频样本。对于 SR 系统，我们使用目标说话者的音频初始化𝑥∗，这可以从说话人的社交媒体中得到。由于初始输入的音频是对抗性的，而原始的不是对抗性的，我们可以首先利用二分搜索算法来有效地逼近决策边界。

2.2.2、CMA-ES

CMA-ES是协方差矩阵适应进化策略，

CMA-ES

我们的框架使用了一个简单而有效的 CMA-ES 变体，即 (1+1)-CMA-ES [48]。该版本通过对随机噪声进行采样，从当前解中生成一个候选解，并根据其目标函数选择更好的解。由于我们攻击的优化方向是根据目标函数 L (·) 寻找更接近原始音频的新对抗性音频，因此我们采用改进的 (1+1)-CMA-ES [34] 来提高其效率通过将偏置项 𝜇 (𝑥 − 𝑥∗) 添加到当前解 𝑥∗ 为

2.2.3、Cooperative co-evolution

已经证明，随着问题的维数增加，进化算法的性能可能会显着下降，因为问题的复杂性呈指数增长，问题的性质也可能发生变化。为了将 CMA-ES 扩展到高维优化问题，我们使用协作协同进化 (CC) 以分而治之的方式进行大规模黑盒优化，将大规模问题分解为几个较小的子-问题并交替迭代地优化每个子问题。考虑到每个子问题只是原始问题的一部分，需要来自其他子问题的协作信息来评估当前子问题中的个人。一般来说，将当前周期内每个子问题的最佳解作为协同信息。然而，考虑到我们攻击中的查询限制，我们提出了一种贪婪策略来生成和更新我们的攻击设计中的协作信息。更具体地说，我们不会同时优化这些子问题。相反，我们交替和迭代地优化它们。因此，在对子问题进行优化时，可以对其变量的取值进行演化，用于在最优解中替换与当前子问题相关的变量，生成完整的解。该解决方案由目标函数 L(·) 进一步评估，以找到更好的解决方案。每个子空间优化后，协同信息会相应更新。由于CC是基于分治策略解决大规模黑盒优化问题的通用框架，因此可以推广到其他同样陷入这些问题的黑盒方法，CC也可以提高其有效性.

2.2.4、Adaptive Decomposition

决定如何将变量分配给不同组的分组策略在 CC 中起着至关重要的作用。然而，对变量之间的相关性了解不足，使得在应用 CC 时手动设计或选择最合适的分组策略非常困难。因此，我们提出了一种自适应方法，将几种流行的分组策略放入候选池中，并从中自适应地选择合适的分解策略。候选池包括四种分组策略：静态分组（SG）、随机分组（RG）、最小方差分组（MiVG）和最大方差分组（MaVG）。我们采用 SG 来保存时域中的信息，而 RG 可以帮助将变量随机分配到子空间中，以提高将两个交互变量放置在同一子空间中的概率。考虑到协方差矩阵用于对搜索方向的局部几何进行建模，因此我们采用了为 CC-CMA-ES 设计的 MiVG 和 MaVG。实际上，它们可以最小化或最大化同一子空间中变量对角线值的多样性。在每个优化周期开始时，我们随机选择一个分解策略。根据其性能，我们计算每个分组策略在下一个周期的选择概率。

我们观察到，在优化过程中，音频向量中变量之间的相互依赖程度将从自然音频到音频 AE 发生显着变化。因此，我们建议自适应地调整组大小以捕捉动态进化过程中不同的相互依赖程度。然后，我们可以在优化的有效性和效率之间做出很好的权衡。自适应分解算法的详细信息见附录 A。

2.2.5、参数调整

我们的算法包含许多超参数，例如𝛿、𝜇、𝜆、𝑐𝑐、𝑐𝑐𝑜𝑣和𝑏。我们设置𝛿=0.001·𝐷（𝑥∗，𝑥），𝑐𝑐=0.01，𝑐𝑐𝑜𝑣=0.001和𝑏=15。我们进一步设置𝜆=30和𝜇=0.08，因为𝜇对搜索过程影响很大，我们需要仔细调整𝜇。最后，我们采用 1/5 成功规则 [15] 将𝜇更新为:

三、NI-OCCAM

3.1 威胁模型

在本节中，我们的目标是商用语音控制设备。我们考虑最严格和实用的假设，称为非交互式物理环境，其中对手不向预言机提出任何查询。与之前的物理攻击相比，非交互式物理攻击的关键优势在于我们不需要查询目标设备来生成有效的音频 AE，从而节省了潜在的大量查询成本。从这个意义上说，这种攻击是现实世界中最实用的攻击。与我们的仅决策对抗攻击相比，非交互式黑盒设置更具挑战性，因为它进一步打破了仅决策黑盒场景中对最终决策的依赖。也就是说，攻击者完全不知道目标模型。此外，语音控制设备还提出了额外的挑战，即构建的音频 AE 即使在物理世界中播放也应该保持稳健。通过对语音控制设备的物理攻击，我们的意思是音频 AE 由扬声器播放并由设备记录。由于音频 AE 的有效性受环境混响以及扬声器和麦克风的干扰 [75, 86] 的影响很大，因此很难发动物理攻击。这两个障碍对制作有效的音频 AE 提出了严峻挑战。