AI驱动下的数据新基建:腾讯游戏数据资产治理与湖仓架构革新

发布于:2025-08-01 ⋅ 阅读:(30) ⋅ 点赞:(0)

在大模型技术迅猛发展的今天,AI 正深度重塑数据基础设施,推动其向智能化快速演进。如何将 AI 深度融入数据管理,释放数据的潜在价值、提升运营效率,成为企业在构建 AI 驱动的数据资产管理体系的核心问题。

在近期举办的“DataFun AI+BI智能驱动峰会”上,腾讯游戏公共数据平台部专家戴诗峰分享了腾讯游戏在AI驱动下进行数据基础设施智能化革新的实践。他围绕腾讯游戏数据发展背景、AI驱动的资产体系重塑、智能湖仓架构建设以及AI智能场景应用探索四大核心议题,展示了如何通过“人+AI”双引擎模式,驱动游戏业务的智能化升级,开启数据治理的新篇章。

腾讯游戏数据发展的三阶段

戴诗峰回顾了腾讯游戏数据的二十年历程,将其数据能力演进划分为三个阶段。在早期的端游时代,腾讯游戏的数据体系主要围绕统一日志结构搭建,针对不同游戏需求进行逐一定制(CaseByCase)。这种方式虽然支撑了基础运营分析,但数据资产缺乏沉淀,新需求响应依赖人工,效率较低。随着2015年前后移动游戏的爆发,数据中台模式应运而生,腾讯游戏将分散的日志加工成可复用的指标、画像、模型等标准资产,涵盖了更广泛的用户生命周期运营、精细化营销等需求。

当下,游戏行业正迎来AI赋能的转折点。2020年起,腾讯游戏开始打造"能被大模型理解的数据资产",通过血缘染色、智能标注等技术让 AI 解析资产含义,同时在前端探索搭建统一自助服务门户,整合数据探索平台与LLM集成应用,使得90%的业务需求无需人工开发,推动数据从 “技术专属” 真正走向 “业务自助”。

AI时代数据技术的核心要求

戴诗峰强调,在数据框架演进至优化阶段,数据技术体系需围绕 “数据 AI 化内核、湖仓一体基座、业务自助化界面” 三大核心构建,才能实现从 “数据石油” 到 “智能汽油” 的转化。

首先,数据 AI 化内核要求资产既能被人工理解,也能被 AI 理解。腾讯游戏通过原始数据的血缘染色和智能化标注,结合本地化资产模型训练,建立起持续运营机制。其次,湖仓一体基座则需应对 PB 级训练数据的成本与性能挑战,统一管理结构化(如运营数据)与非结构化数据(如游戏语音、图片),实现流批一体化计算,让实时与离线数据能被统一访问。最后,业务自助化界面则聚焦降低使用门槛,支持自然语言查询生成报表、基于角色推荐数据集、无代码生成预警规则等,让业务人员直接 “用数据说话”。

基于AI的智能资产中台构建

戴诗峰指出,面对传统数据中台的“新需求响应滞后、业务难访问明细数据、存储成本高企”这三大痛点,腾讯游戏通过构建智能资产中台实现突破,核心是 “双目标驱动 + 知识图谱闭环”。

双目标驱动以 “资产复用率” 为北极星指标,通过本地化评价模型提升 AI 对资产的理解准确率,同时要求大模型覆盖 100% 数据开发场景、业务自助需求满足率超 90%。知识图谱闭环将资产分为基础资产(人工可理解)与优质资产(人机双理解),通过特征聚类、血缘分析关联数据链路与业务标签,目前已覆盖 5500 + 资产表、10W + 数据列,资产推荐 TOP3 准确度达 95.3%。

值得注意的是,在智能资产中台里,“让 AI 理解资产”并不是模糊的概念。为保障资产体系持续迭代,腾讯游戏还构建了十一步资产建设与应用闭环,涵盖从资产规范定义、候选资产生成到需求匹配、模型认证、图谱构建,再到应用反馈与资产下架的完整生命周期。通过持续评估模型理解准确率并调优,确保整个资产体系能够动态进化。

智能湖仓架构的建设与升级

任何上层应用的突破,都离不开底层架构的支撑。腾讯游戏的数据架构伴随着业务发展不断升级,从2010年分散的关系型数据库体系,到2015年引入Hadoop,但仍存在离线和实时数据壁垒的大数据架构,最终在2022年启动、2023年完成全部业务迁移至湖仓一体架构,实现了数据管理效率与业务支撑能力的跃升。

湖仓架构的核心价值在于打破数据湖与数据仓库的界限,通过统一平台管理数据,引入弹性伸缩计算和运营托管等机制,具备支持事务(确保数据一致性)、统一管理异构数据、兼容 BI 工具访问、打通端到端数据流、保持开放性、适配多场景等七大核心特性。

戴诗峰提到,湖仓架构设计围绕 “随需而动、丰俭由人、资产自治” 三个原则。“随需而动” 即技术服务于业务需求,如线上活动、高时效性场景需要实时数据才搭建实时链路;“丰俭由人” 是指不同业务根据自身情况选择,预算足、追求速度的业务将数据放 “仓” 里,对时效要求不高的业务直接用工具访问 “湖”,业务可自主选择计算加速层和引擎层的使用方式;“资产自治” 则实现资产自治理,高频有价值的资产自动沉淀优化,低频无效资产自动降级释放资源,无需人工持续干预,有效提升资源利用效率。这三个原则共同确保了湖仓架构既能精准匹配业务需求,又能实现资源利用效率的最大化。

这种架构带来的业务价值是立竿见影的。目前腾讯游戏基于湖仓架构实现了业务支撑能力的双重跃升:在交付模式上,过去冗长的需求流程被依托湖仓动态资产和AI能力的快速交付所取代。在数据时效上,实现了日志接入即实时化,湖中数据保持实时可用,有力支撑了前端资产和看板的实时更新,为业务决策提供了更及时的依据。

AI在数据场景的应用探索

在智能资产体系与湖仓架构支撑下,AI 已深度融入数据服务全场景,形成分层化的应用体系。

戴诗峰认为,最基础的业务应用是经营分析可视化。当前团队投入精力最多的是精细化运营场景,业务人员常常需要在查看报表后进行更灵活的动态分析(如对比新老活动数据),这高度依赖明细数据的提取能力,腾讯游戏正借助流式计算和湖仓架构来加速响应。而辅助决策等更高级场景,虽AI有潜力,但目前受限于稳定性和知识理解深度,仍需以预研探索为主,现阶段的核心仍聚焦于提升精细化运营的效率。

在精细化运营场景中,数据提取并非简单的 Text-to-SQL 过程,而是需要一整套的工程化平台支撑。从需求拆解、资产探查、SQL 生成,到批量跑数、结果验证,整个过程并非“需求→结果”的直线,而是靠工程化平台串联“找数据、写逻辑、跑任务、验结果”等环节,实现高效支撑精细化运营,让业务及时拿到所需数据。

在数据底座、资产及领域模型支撑下,Text-to-SQL只是起点,还可延伸出 Text-to-DSL,覆盖智能问答等场景,形成一个价值闭环。需求拆解和生成过程中沉淀的新特征或口径,会被反馈回资产建设体系,或成为个人特征,或升级进入公共资产目录,不断丰富知识库,反哺后续的需求理解和应用深化,推动业务与资产体系迭代,让数据应用更深入、高效。

结语

腾讯游戏通过AI驱动的数据新基建,实现了从"数据石油"到"智能汽油"的转化。未来,团队将持续深化资产体系与湖仓架构的智能化融合,积极探索AI在实时场景的创新应用,如实时玩家情感分析、自动化运营策略生成等,为游戏业务创新注入源源不断的智能动力。

书籍推荐

《大模型工程化:AI驱动下的数据体系》是腾讯游戏数据团队基于多年游戏数据工作的实践经验,发布的技术专著。该书深入讲解了大模型技术的发展、应用及工程化原理,并特别聚焦于游戏领域的应用。