人工智能（AI）不仅仅是一种开拓性的创新技术，甚至已经成为一种常态，企业正在工程、IT营销、财务、客户服务等领域迅速采用AI和机器学习（ML）工具。但与此同时，他们必须平衡AI工具带来的诸多风险，以获取最大限度的回报。事实上，为了释放AI的变革潜力，企业必须启用安全控制来保护其数据，防止敏感信息泄露，减轻“影子AI”的蔓延，并确保AI数据的质量。
但糟糕的是，这些AI给企业带来的风险是双向的：在企业之外，AI已经成为网络威胁的推动力。事实上，AI工具使网络犯罪分子和国家支持的威胁行为者能够更快、更大规模地发动复杂的攻击。尽管如此，随着企业努力应对动态威胁形势，AI有望成为网络防御的关键部分。
Zscaler ThreatLabz 最新发布的《2024年AI安全报告》通过分析当今企业使用AI和ML工具的方式，揭示了跨业务部门和地区的关键AI挑战及机遇，帮助企业了解如何适应不断变化的AI环境并保护其AI工具。
重点发现
- AI/ML工具的使用量飙升了82%，从2023年4月的5.21亿笔AI/ML交易增加到2024年1月的31亿笔；
- 企业阻止了5%的AI/ML交易——在9个月内被阻止的交易增加了577%——这反映出人们对AI数据安全的担忧日益加剧，以及企业不愿制定AI政策的现实；
- 制造业产生的AI流量最多，占Zscaler云中所有AI/ML交易的9%，其次是金融和保险（19.9%）以及服务业（16.8%）；
- ChatGPT的使用率持续飙升，增长了1%，尽管它也是企业屏蔽最多的AI应用程序；
- 按交易量计算，使用最广泛的AI应用程序是ChatGPT、Drift、OpenAI、Writer和LivePerson。交易量排名前三的应用程序是ChatGPT、OpenAI和net；
- 产生最多AI和ML交易的5个国家是美国、印度、英国、澳大利亚和日本；
- 企业正在向AI工具发送大量数据，在2023年9月至2024年1月期间，AI/ML应用程序之间总共交换了569 TB的数据；
- AI正以前所未有的方式赋能威胁行为者，包括AI驱动的网络钓鱼活动、深度伪造（deepfakes）和社会工程攻击、多重勒索软件、企业攻击面发现、自动化漏洞生成等等。
关键GenAI和ML使用趋势
企业AI革命远未达到顶峰。数据显示，从2023年4月到2024年1月，企业AI交易激增了近600%，而且没有放缓的迹象。但与此同时，被阻止的AI应用交易也增加了577%。
AI交易持续飙升
从2023年4月到2024年1月，企业AI和ML交易增长了近600%，1月份零信任交易所（Zero Trust Exchange）的月交易量超过30亿。这凸显了一个事实，即尽管与AI相关的安全事件和数据风险越来越多，但其巨大的变革潜力仍然吸引着组织甘愿“冒险尝试”。值得注意的是，虽然人工智能交易在12月假期期间出现了短暂的停顿，但在2024年初，交易继续以更快的速度进行。
【图1：2023年4月-2024年1月期间，AI交易量变化趋势图】
然而，即使AI应用激增，大多数AI交易仍是由一组相对较少的市场领先型AI工具驱动的。总体而言，ChatGPT占所有AI和ML交易的一半以上，而OpenAI应用程序本身排在第三位，占所有交易的7.82%。与此同时，流行的AI聊天机器人Drift产生了近五分之一的企业AI流量。LivePerson和BoldChatEnterprise聊天机器人也打败了其他热门应用程序，排在了第5和第6位。排在第4位的writer多被用于创作企业书面内容，如营销材料等。最后，经常用于视频通话的AI转录工具Otter也驱动了一小部分AI流量。
【图2：顶级AI应用排名】
与此同时，企业从AI工具中发送和接收的数据量也在顺应这些趋势。开源AI开发平台hug Face通常被称为“AI领域的GitHub”，在经由AI工具传输的企业数据中占比近60%。由于hug Face允许用户托管和训练AI模型，因此它从企业用户那里获取大量数据是有道理的。
【图3：AI/ML流量传输的数据】
虽然ChatGPT和OpenAI出现在这个榜单上是意料之中的，但两个值得注意的项目是veit——一个AI视频编辑器，通常用于在视频中添加字幕、图像和其他文本——和Fotor，一个用于生成AI图像以及其他用途的工具。由于与其他类型的请求相比，视频和图像需要更大的文件大小，因此这两个应用程序出现在榜单上也就不足为奇了。
企业阻止的AI交易比以往任何时候都多
即使企业采用AI的热情持续高涨，但出于数据和安全考虑，组织也越来越多地阻止AI和ML交易。数据显示，企业阻止了所有AI交易的18.5%——从2023年4月到2024年1月增长了577%，共计阻止了超过26亿笔交易。
【图4：被阻止的AI交易趋势图】
总体而言，一些最流行的AI工具通常也是最受限制的。事实上，ChatGPT既是使用最多的AI应用程序，也是被屏蔽最多的AI应用程序。这表明，尽管这些工具很流行，企业仍在积极限制它们的使用，以防止数据丢失和隐私问题。另一个值得注意的趋势是，拥有AI辅助驾驶功能的必应（bing.com）在2023年4月至2024年1月期间被屏蔽。事实上，bing.com在所有被阻止的AI和MLdomain交易中占25.02%。
【图5：被阻止的AI工具（左）和域名（右）排名】
AI的行业细分
企业垂直领域在AI工具的整体采用及其阻止的AI交易比例方面表现出显著差异。制造业是明显的领导者，推动了零信任交易所超过20%的AI和ML交易；金融保险（19.9%）、服务业（16.8%）和技术行业（15.6%）紧随其后。总体而言，这四个行业遥遥领先于其他行业，成为最积极的AI采用者。
【图6：AI交易最多的垂直领域分布】
【图7：各领域AI/ML交易趋势图】
然而，随着AI交易的急剧增加，行业部门也在阻止更多的AI交易。在这里，某些行业偏离了它们的整体采用趋势，反映了在确保AI工具方面不同的优先级和成熟度。例如，金融和保险行业阻止AI交易的比例最高，达到37.2%，而全球平均水平为18.5%。这在很大程度上可能归咎于该行业严格的监管和合规环境，以及这些组织处理的高度敏感的财务和个人用户数据。
【图8：各垂直领域阻止的AI交易比例】
与此同时，尽管制造业在推动整体AI交易方面发挥了巨大作用，但在阻止AI交易方面仍占比高达15.7%。作为最早和最渴望采用AI的行业之一，技术行业采取了一种中间路线，在扩大AI采用的过程中，阻止了19.4%（高于平均水平）的AI交易。令人惊讶的是，医疗保健行业阻止了17.2%（低于平均水平）的AI交易，尽管这些组织处理大量的健康数据和个人身份信息（PII）。这一趋势可能反映了医疗机构在保护涉及AI工具的敏感数据方面的滞后性，因为安全团队完全跟不上AI创新的步伐。这一点从医疗保健领域的AI交易总量相对较低上可以得到印证。
各国AI使用情况
受监管要求、技术基础设施、文化因素和其他因素的影响，AI的采用趋势在全球范围内存在显著差异。以下是在Zscaler云中推动AI和ML交易的主要国家。正如预期的那样，美国在AI交易中占据了最大份额。与此同时，由于印度加速致力于技术创新，该国已成为AI流量的主要产出国。
【图9：各国AI交易比例】
区域细分：EMEA
在欧洲、中东和非洲（EMEA）地区，各国之间的AI和ML交易率存在明显差异。虽然英国仅占全球AI交易的5.5%，但它占EMEA地区AI流量的20%以上，成为明显的领导者。法国和德国紧随其后，排名第二和第三。
【图10：EMEA地区AI交易占比】
区域细分：亚太地区
亚太地区（APAC）的AI采用情况显示出了明确且值得注意的趋势。尽管该地区代表的国家要少得多，但据TheatLabz观察，亚太地区的AI交易比EMEA地区多了近13亿（135%）。这一增长几乎是由印度一手推动的，印度创造了亚太地区近一半的AI和ML交易。
【图11：APAC地区AI交易占比】
企业AI风险和现实威胁场景
对于企业来说，AI驱动的风险和威胁分为两大类：启用企业AI工具所涉及的数据保护和安全风险；以及由生成式AI工具和自动化驱动的新网络威胁格局的风险。
企业AI风险
1. 保护知识产权和隐私信息
生成式AI工具可能会导致敏感和机密数据的无意泄露。事实上，敏感数据泄露在开放全球应用安全项目（OWASP）十大AI应用程序漏洞中排名第六。在过去的一年里，我们看到了许多意外数据泄露或AI训练数据泄露的例子，一些最大的AI工具提供商甚至泄露了TB级的客户隐私数据。
与此同时，攻击者也有可能发动二级恶意软件攻击，使用像Redline Stealer或LummaC2这样的信息窃取工具来窃取员工的登录凭据并访问他们的AI账户。事实上，据最近披露，大约有22.5万名ChatGPT用户凭据在暗网上出售，这些凭据大多源于这种类型的攻击。虽然隐私和数据安全仍然是AI工具提供商的首要任务，但这些风险仍然存在，并且同样延伸到较小的AI公司以及启用AI功能的SaaS提供商等。
最后，还有来自企业AI用户自身的风险。用户可能会在不知情的情况下将有价值的知识产权或隐私信息暴露到用于培训LLM的数据集中。例如，开发人员请求优化源代码，或者销售团队成员根据内部数据寻找销售趋势，都可能无意中泄露组织外部受保护的信息。
企业必须意识到这种风险，并实施强大的数据保护措施，包括数据丢失预防（DLP），以防止此类泄漏。
2. AI应用的数据隐私和安全风险
随着AI应用程序的数量急剧增长，企业必须考虑到，在数据隐私和安全方面，并非所有AI应用程序都是水平相当的。不同的AI/ML应用的条款和条件可能会有很大的不同。企业必须考虑他们的查询是否将用于进一步训练语言模型，挖掘广告，或出售给第三方。此外，这些应用程序的安全实践及其背后公司的整体安全状况可能会有所不同。为了确保数据隐私和安全，企业需要评估并为其使用的大量AI/ML应用程序分配风险分数，同时将数据保护和公司安全措施等因素纳入考虑范围。
3. 数据质量问题：垃圾输入，垃圾输出
最后，用于训练AI应用程序的数据的质量和规模必须始终受到审查，因为它直接关系到AI输出的价值和可信度。虽然像OpenAI这样的大型AI供应商在公共互联网等广泛可用的资源上训练他们的工具，但在专业或垂直行业（包括网络安全）提供AI产品的供应商必须在高度具体、大规模、通常是私人的数据集上训练他们的AI模型，以驱动可靠的AI结果。因此，企业在评估任何AI解决方案时都需要仔细考虑数据质量问题，因为“垃圾输入”确实会转化为“垃圾输出”。
更广泛地说，企业应该意识到数据中毒的风险——当训练数据被污染时，会影响AI输出的可靠性或可信度。无论使用哪种AI工具，企业都应该建立一个强大的安全基础，为这种可能性做好准备，同时不断评估AI训练数据和GenAI输出是否符合其质量标准。
AI驱动的威胁场景
企业面临着持续不断的网络威胁，这其中就不乏由AI驱动的攻击。AI驱动型威胁的可能性基本上是无限的：攻击者正在使用AI来生成复杂的网络钓鱼和社会工程活动，创建高度普及的恶意软件和勒索软件，识别和利用企业攻击面的薄弱入口点，并整体上提高了攻击的速度、规模和多样性。这让企业和安全领导者陷入两难境地：他们必须熟练地驾驭快速发展的AI技术，以获得其革命性的潜力，但同时也必须面对前所未有的挑战来防御和降低AI攻击的风险。
AI模拟：深度造假、虚假信息等等
如今，AI已经能够生成与现实几乎无法区分的视频、实时虚拟形象和语音。在一个引人注目的例子中，攻击者利用AI深度模仿一家公司的首席财务官，说服一家香港跨国公司的员工将2500万美元的资金汇到一个外部账户。虽然这名员工怀疑是网络钓鱼，但在参加了包括公司首席财务官、其他员工和外部人员在内的多人视频会议后，他的担忧消除了。但他不知道的是参加电话会议的都是AI。
AI的威胁将以多种形式出现。随着2023年语音钓鱼（vishing）威胁凸显，一个关键趋势将是使用AI进行身份驱动的社会工程攻击，以获取用户凭据。最近由Scattered Spider发起的勒索软件攻击表明，语音通信在目标环境中获得立足点并部署进一步的勒索软件攻击是多么有效。AI生成的攻击将对检测和防御行动构成更大的挑战。
企业必须在2024年采取安全措施，预计员工将成为AI深度假冒和网络钓鱼活动的目标。员工培训将是解决网络安全难题的重要组成部分。作为这场军备竞赛的一部分，企业还应该评估快速发展的AI网络防御系统，以识别AI生成的网络钓鱼攻击，并将其作为武器库的关键部分。
恶意聊天机器人：揭露暗网上的WormGPT和FraudGPT
像ChatGPT这样流行的AI聊天机器人有适当的安全控制，在大多数情况下可以防止用户生成恶意代码。约束较少的生成式AI版本，即所谓的“恶意聊天机器人”，没有这样的安全控制。因此，最受欢迎的恶意聊天机器人（包括WormGPT和FraudGPT）在暗网上的销量激增。虽然这些工具中的许多都被标榜为安全研究人员的辅助工具，但它们主要被威胁行为者用来生成恶意代码。
ThreatLabz研究发现，购买这些恶意聊天机器人出奇地简单：例如，在WormGPT的购买页面上，只需一个提示，用户就可以通过向比特币钱包付款来购买试用版。如此一来，任何人都可以访问一个功能齐全的生成式AI工具，该工具可用于创建、测试或优化任何种类的恶意代码，而无需任何安全护栏。
虽然研究人员已经证明，ChatGPT等流行的AI工具可以被恶意破解，但它们对这些行为的防御能力也在不断增强。因此，像WormGPT和FraudGPT这样的工具的销售只会继续增长，如何在暗网上的威胁行为者社区中有效地创建和优化恶意软件的最佳实践示例也会继续增长。
【图11：WormGPT聊天机器人截图】
跨攻击链的AI驱动型恶意软件和勒索软件
AI正在帮助威胁行为者和国家行为体组织在攻击链的多个阶段更轻松、更复杂地发起勒索软件攻击。在AI出现之前，当发起攻击时，威胁行为者必须花费大量时间来识别企业的攻击面，以及服务和应用程序中面向互联网的漏洞。现在，使用生成式AI，可以立即查询这些信息，接下来，攻击者便可以使用LLM生成或优化针对这些漏洞的代码利用，并为目标环境定制有效负载。
除此之外，生成式AI还可用于识别企业供应链合作伙伴之间的弱点，同时突出连接到核心企业网络的最佳路线。即使企业保持强大的安全态势，下游漏洞通常也会带来巨大风险。随着攻击者不断尝试生成式AI，这将形成一个迭代的反馈循环，从而导致更复杂、更有针对性的攻击，这些攻击甚至更难以缓解。
下图说明了攻击者在勒索软件攻击链中利用生成式AI的一些关键方法——从针对特定漏洞的自动化侦察和代码利用，到生成多态恶意软件和勒索软件。通过自动化攻击链的关键部分，威胁参与者能够生成更快、更复杂、更有针对性的攻击。
【图12：攻击者在勒索软件攻击链中利用生成式AI的示意图】
AI威胁预测
根据《世界经济全球风险报告》所示，AI产生的错误信息和网络攻击在2024年全球十大风险中排名第二和第五。
随着AI领域（包括AI生成的视频和图像领域）的持续快速发展，这些风险只会越来越大，我们利用AI来缓解这些风险的能力也会越来越强。展望2024年及未来，以下是一些最关键的AI风险和威胁预测。
国家行为体黑客的AI困境：推动AI威胁的同时阻止AI的使用
国家支持的威胁组织准备与AI发展复杂的关系：利用AI制造更复杂的威胁，同时努力阻止访问反政府内容。
国家支持的威胁组织使用AI工具并非一个新现象，且其规模和复杂程度都将显著增长。来自微软和OpenAI的报告证实了这种担忧，揭示了由俄罗斯、朝鲜和伊朗等国家支持的威胁行为者团体已经积极地研究和利用了ChatGPT功能，并成功扩展到了各种用例，包括鱼叉式网络钓鱼、代码生成和审查以及翻译。
尽管有针对性的干预已经阻止了其中一些攻击，但企业应该为政府支持的AI计划的持续存在做好准备，范围包括流行的AI工具的部署，专有LLM的创建，以及不受限制的ChatGPT启发式变体的出现，例如FraudGPT或WormGPT。不断发展的形势描绘了一幅具有挑战性的图景，在这幅图景中，国家支持的行为者继续以新颖的方式利用AI来制造复杂的新网络威胁。
恶意聊天机器人和AI驱动的攻击：“AI作恶”的威胁将会加剧
AI驱动的攻击可能会在全年激增，因为暗网是恶意聊天机器人（如WormGPT和FraudGPT）扩大网络犯罪活动的温床。
这些阴险的工具将成为执行增强的社会工程、网络钓鱼诈骗和各种其他威胁的工具。网络犯罪分子对暗网的讨论越来越多，他们正在深入研究非法部署ChatGPT和其他生成式AI工具，以进行一系列网络攻击。目前已识别出的恶意LLM应用程序超过212个，仅占现有恶意LLM应用程序的一小部分，而且这个数字预计还会稳步增长。
与使用生成式AI来提高效率的开发人员一样，威胁行为者使用这些工具来发现和利用漏洞，制造令人信服的网络钓鱼计划，并以更快、更复杂和更大规模的方式自动化攻击。例如，威胁行为者组织Scattered Spider最近使用Meta的LLaMa2 LLM来利用微软PowerShell功能，在未经授权的情况下下载用户凭据。这些进步的轨迹表明，网络威胁将开始以前所未有的速度发展，呈现出更难以用传统安全措施防御和识别的新形式。
以AI对抗AI：AI驱动型防御将被纳入安全战略
企业将越来越多地采用AI技术来对抗AI驱动的网络攻击，包括专注于使用深度学习和AI/ML模型来检测隐藏在加密流量中的恶意软件和勒索软件。传统的检测方法将继续与新的AI驱动型零日攻击和多态勒索软件作斗争，因此基于AI的指标对于识别潜在威胁至关重要。AI还将在快速识别和阻止令人信服的AI网络钓鱼和其他社会工程攻击方面发挥重要作用。
企业将越来越多地将AI纳入其网络安全战略。AI将被视为获取网络风险可视性以及创建可操作、可量化的操作指南，以优先考虑和修复安全漏洞的关键手段。长期以来，将噪音转化为实际信号一直是CISO面临的最大挑战，因为将数十种工具之间的风险和威胁信息关联起来可能需要一个月或更长时间。因此，到2024年，企业将把生成式AI视为一种消除噪音、分担网络风险、推动更精简、更高效的安全组织的方式。
AI供应链中的数据中毒：垃圾AI数据的风险将会增加
随着AI供应链攻击愈演愈烈，数据中毒将成为最令人担忧的问题。AI企业及其培训模式和下游供应商将越来越多地成为恶意行为者的目标。
OWASP十大LLM应用程序漏洞突出了“训练数据中毒”和“供应链攻击”的重大风险，这些风险会损害AI应用程序的安全性、可靠性和性能。同时，AI应用程序供应链（包括技术合作伙伴、第三方数据集和AI插件或API）中的漏洞已经成熟，随时可被利用。
依赖AI工具的企业将面临更严格的审查，因为他们认为这些工具是安全的，并能产生准确的结果。在确保训练数据集的质量、完整性和可扩展性方面提高警惕至关重要，特别是在AI网络安全领域。
束缚或释放：企业在使用AI工具时将权衡生产力与安全性
到目前为止，许多企业已经度过了AI工具采用和集成的早期阶段，并将仔细考虑其AI安全策略。即便如此，对于大多数公司来说，将允许哪些AI工具，阻止哪些AI工具，以及将如何保护他们的数据，这些问题仍然没有确切答案。
随着AI工具的数量持续飙升，企业将需要密切关注每种工具的安全问题——至少，要深入了解员工的AI使用情况，并能够按部门、团队甚至用户级别实现粒度访问控制。企业可能还会寻求对AI应用程序本身进行更细致的安全控制，例如在AI应用程序中执行数据丢失预防策略，防止敏感数据泄露，或防止复制和粘贴等用户操作。
AI驱动的欺骗：病毒式deepfakes将助长选举干预和虚假信息运动
像deepfakes这样的新兴技术构成了重大威胁，包括干扰选举和传播错误信息。在美国大选期间，AI已经被卷入了误导策略，比如制造假冒候选人的机器人电话，以降低选民投票率。这些例子虽然令人担忧，但可能只是AI驱动的虚假信息的“冰山一角”。
此外，在此类计划中使用AI可能不仅限于国内参与者。国家支持的实体也可以利用这些策略来制造混乱，破坏选举过程中的信任。在一个值得注意的案例中，攻击者利用AI生成的deepfakes欺骗员工转移了2500万美元，这表明这项技术对现实世界的巨大影响。同样地，泰勒·斯威夫特（Taylor Swift）等名人的非法deepfakes照片在社交媒体上疯传，也让人们注意到在内容监管措施赶上之前，被操纵的内容是多么容易传播。
原文链接：
https://www.zscaler.com/resources/industry-reports/threatlabz-ai-security-report.pdf