目录
一、两大阻碍
根据麦肯锡的报告,其两年内与150多家公司合作的经验,有两个障碍几乎总会在构建过程中出现:
1.创新受阻:流程拖精力分散
问题: 繁琐的流程、目标不清晰以及反复返工,严重阻碍了创新。
表现: 本该解决重要问题的团队,却花大量时间重复做实验或等待合规审批(合规团队自己也忙不过来)。研究发现团队在GenAI项目上所谓的“创新”时间,有30%-50%花在了满足合规要求或等待合规规则明确上。结果就是团队在解决不重要的问题,重复做相同的事,开发无法复用的“一次性”方案,最终无法创造真正价值。
2. 难以规模化:风险顾虑与成本失控
问题: 即使少数原型项目显示出潜力,企业也很难把它们从实验阶段推广到实际生产环境。
表现: 当想把GenAI应用扩大规模时,安全和风险问题(尤其是声誉风险)通常需要一个个单独解决,这导致问题变得过于庞大、成本过高,最终难以推进。
许多企业在从试点到大规模部署 GenAI 时都会遇到一系列连锁问题:一个环节出错,不仅会拖慢单个应用的进度,还可能很快让整个项目停摆。
尽管大模型的“幻觉”率已有所下降,但在海量企业级调用下,这个问题会被不断放大。除此之外还有因准备不足或理解不清导致的早期失败(比如信息不符合品牌、违反政策等),很容易引起企业的过度担心。一旦测试结果不理想,很可能会整个项目被叫停,严重打击企业AI转型的积极性。
二、解决方案:构建统一平台,平衡速度与安全
很多人认为必须要在“快速推进”和“谨慎行事”之间二选一,但经验证明这是个误区。企业可以构建一个统一的GenAI平台,既能有效管理风险,又能推动创新。
这个平台的核心是提供一套集中管理、经过验证的服务和资源,方便查找、使用和复用。服务包括:道德提示分析、模型运行监控、预审提示库、多云自动化、访问控制等。资源包括:应用模板、可复用代码、培训材料等。把这些能力整合到一个平台,能大大提高产品满足合规的效率。实践证明,这几乎可以完全省掉那30%-50%的等待合规时间。
麦肯锡根据为不同行业构建GenAI平台的经验,总结出成功的平台都包含以下三个核心部分:
1. 自助服务平台:赋能开发与管控
要让企业内众多团队都能方便、安全地使用GenAI工具,需要一个安全合规的自助平台:
方便开发者: 一个企业应该拥有一个统一的AI工具入口平台,开发者能够基于平台现成的应用模板,使用预先配置好、符合安全和规模要求的工具,快速开始开发自己的方案。这个平台的界面要简单易用,提供清晰的文档和学习材料,帮助开发者提升技能。好的平台还支持开发者共享新工具和改进的模板。
管理访问与成本: 平台需要提供管理工具的入口,如监控仪表盘、分析工具,并内置预算控制和报告功能,防止成本超支。简化数据访问审批流程,让治理和审批过程透明可查,并能随时了解应用状态,这能让企业放心运行大量应用。预算等控制可以灵活设置(比如临时测试环境预算低,大流量测试预算高),并与AI网关的成本管理结合,让团队和IT管理者能实时监控开发成本。
2. 开放架构:促进能力复用
技术规模化的关键是最大化复用。这需要企业形成一套模块化的开放架构,能轻松集成并替换可复用的服务和工具,同时显著降低总成本。
复用核心能力:通常企业在AI工具的采购上倾向于两种常见的方向,可以针对此模块化构建:一是针对常见场景(如知识管理、客服聊天机器人、工作流程自动化)的完整应用模板和数据工具(如RAG、KG-RAG);二是大多数GenAI应用都需要的通用代码库(如文本分段、数据排序、提示优化、意图识别)。很多核心能力可以作为服务直接提供。
开放比单一供应商好: 仅依赖一家 AI 供应商,容易束缚创新。AI 技术日新月异,各种模型和解决方案层出不穷。与其一次性采购某家厂商的整套应用,不如根据不同需求,分类挑选多家供应商的工具,再将它们统一集成到企业自己的应用平台,这样更灵活,也更有利于创新。
3. 自动化防护:管理风险与合规
AI应用的使用伴随着诸多风险,如确认数据不外漏、结果合规等等,为了让团队专注于产品本身,而不是安全和合规模块,AI平台需要内置智能防护措施,在关键环节自动触发检查和控制:
自动检查: 平台能自动审查模型的输入和输出,防止数据违规、验证输出是否合规、跟踪成本,并把成本算到具体应用上。
数据来源可查: 所有训练和推理用到的数据都会被自动记录,开发者随时查到原始来源;
实现上述措施最有效的方法之一是使用集中的AI网关,所有团队和应用都必须通过它访问大模型。网关根据策略控制对大模型的访问,提供成本分摊报告,并记录所有输入输出供以后分析。
灵活处理特殊情况: 好的网关系统足够灵活,能根据需要临时调整检查规则——譬如 HR 工具遇到必须处理的敏感信息时,能快速关闭个人信息过滤,但对其他应用仍保持保护。
应对模型错误: 网关保存的请求和响应记录,可以用来训练模型检测“幻觉”和偏见问题,并自动通知团队或尝试自动修复。
三、总结
本文一直在说要为企业构建一体化的AI平台,要构建这样的平台确实需要企业在组织、流程和技术上投入大量的时间与资金。但是相对的,只有在这种有章可循的建设路径下,才能让 AI 应用在企业中真正落地并持续进化。
随着全球数字化浪潮不断加速,企业正面临前所未有的创新机遇与竞争压力:谁能最快将 AI 能力转化为可复用的业务模块加速企业流程升级,谁就能在市场中占得先机。
一个统一的平台化策略,不仅能够在部署头几款应用之后快速看到价值回报——无论是效率倍增、成本可控,还是合规风险的显著降低。它不是在速度和安全之间妥协,而是找到了一条两者兼顾的可行路径,真正助力AI在企业中的应用落地。
*本文系神州数码云基地编译自 McKinsey,原文作者Curt Jacobsen
*编译转载此文出于传递信息资讯,版权归原作者所有,如有侵权,联系删除