近日,伊隆·马斯克(Elon Musk)成立的人工智能公司 OpenAI 宣布最新的里程碑。人工智能在热门电玩游戏 Dota 2 的 5 对 5 团体战中,击败排名前 1% 的顶尖业余玩家。
用 AI 解决复杂的现实问题
OpenAI 去年 8 月首度将 AI 投入 Dota 2 竞赛,并在 1 对 1 对战中击败专业玩家。不过 1 对 1 的游戏类型技术难度较低,并未考验到 AI 之间的协调及计划能力,所以 OpenAI 一直以来的目标都是在 5 对 5 团体战中战胜人类玩家。而最近,经过将近一年的研究及测试后,人工智能成功在 5 对 5 团体战中战胜排名前 1% 的顶尖业余玩家。虽然 OpenAI 尚未挑战该游戏的专业玩家,但 OpenAI 宣布将会于今年 8 月举行的 Dota 2 国际邀请赛(The International)中挑战专业玩家。
用电玩游戏训练 AI 的动机很简单,如果能训练 AI 学习电玩游戏中所需的技能,就能利用 AI 来解决更复杂的现实问题,例如管理城市的交通基础建设。电玩游戏与西洋棋或围棋这类棋类游戏的不同,在于 AI 无法全盘分析整个游戏,并计算出下一步最佳行动,必须习惯游戏的不确定性。而且,电玩游戏与棋类游戏相比,有更多讯息需要处理,以及有大量可能的动作。进行游戏时,AI 必须在 1 千个不同的操作之间做选择,同时处理代表游戏过程的 2 万个数据点。
一天训练 180 年的游戏量
OpenAI 使用一种称为强化学习(reinforcement learning)的方法来训练 AI,这种技术看似简单,却能让 AI 学习复杂的行为。工程师在游戏中设置奖励功能(AI 在杀死敌人等事件之后,能获得奖励点数),然后让 AI 不断在游戏中用试误法自我学习。AI 以加速度的方式一天训练 180 年的游戏量,并训练几个月的时间,自我学习的效率非常惊人。洛克曼表示:「刚开始是完全随机的,在地图上游荡。然后,经过几个小时,AI 开始掌握基本技能。」洛克曼还表示,如果需要 12,000 到 20,000 小时的时间学习才能成为专家,那么 OpenAI 的 AI 每天累积的游戏经验是人类一生经验的 100 倍。这种 AI 的训练方式,证明了当代机器学习方法,以及最新计算机芯片能处理大量数据的强大功能。另一方面,这提醒人们 AI 并不够聪明。这种训练方式,等于 AI 需要花费数千年的时间才能学会玩电玩游戏。
AI 玩家的优势
虽然 OpenAI 的 AI 已进行 5 对 5 团体战,却仍未触及 Dota 2 真正的复杂度。AI 只使用 5 位英雄,而 Dota 2 共有 115 位英雄 ,每位英雄都有独特的属性和技能。AI 在游戏过程中的某些决策甚至是程序写死的,例如从商店购买的物品,以及在游戏中使用经验值升级的技能。此外,游戏的某些特殊功能被完全禁用,包括隐身、召唤单位和守卫放置,这些功能对进阶玩家非常重要。不过,OpenAI 的 AI 拥有计算机的所有优势,不但反应时间比人类快,不会失误,还可以实时又准确的查询物品库存、英雄健康状况,以及地图上物体之间的距离等数据,这对正确使用某项技能来说非常重要。而人类玩家必须手动查询,或者凭本能判断。
用规模克服挑战
OpenAI 共同创办人兼技术长格雷戈·洛克曼(Greg Brockman)表示:「如果你对一个问题进行模拟,而且能运行足够大的规模,那么执行上就不会有任何障碍。」洛克曼表示,AI 玩家平均能持续进行游戏 45 分钟,这种长时间计划对 AI 是一种挑战,甚至很难经由强化学习来训练,但 OpenAI 却做到了。洛克曼表示 OpenAI 成功的主要因素,只是因为他们有更多运算能力来解决这个问题,而这确实与规模有关。
注重团队目标
巴斯大学(University of Bath)人工智能研究员特奥多罗(Andreas Theodorou)表示,5 对 5 游戏的最新研究有了一大进展,最重要的成就就是 OpenAI 使用交互式可视化接口为 AI 除错。特奥多罗补充:「这项技术显示,即使是强化学习和机器学习系统也能可视化操作。这些附加组件增加了系统的价值,特别是教育目的。」特奥多罗还表示,研究人员使用单独奖励功能来鼓励 AI 玩家一起工作,也是值得注意的。这些奖励功能被视为团队精神,并在每场比赛的过程中都会增加。虽然比赛开始时,每个 AI 玩家都追求拼命杀敌等个人目标,但随着时间进展,AI 玩家更关注于团队共同的目标。
洛克曼表示,与人类玩家不同,这些 AI 玩家绝对是无私的。他表示:「AI 玩家完全愿意为了更大的利益,而牺牲一条路或舍弃一位英雄。为了满足好奇心测试,我们找了一个人替补其中一个 AI 玩家,而他说自己感受到充分的支持,他想要的任何物品,AI 玩家都会提供给他。」OpenAI的 AI 团队目前已经与业余和半职业团队进行了五场多人比赛,成绩为四胜一和。但他们最大的挑战将是今年的 Dota 2 国际邀请赛。计算机在比赛中能完胜人类顶级玩家吗?请拭目以待。