AI 在体育竞技游戏（SPG，Sports Game）中的应用已经成为游戏厂商持续探索的领域之一。随
着人工智能技术的不断发展，越来越多的游戏开发商开始使用 AI 来提升游戏的真实感和沉浸感。
例如，在足球模拟游戏中，AI 可以根据球员的能力和状态来决定他们在比赛中的行动、团队策略
与风格，使游戏更加逼真。同时，AI 还可以与玩家协作配合，帮助他们在比赛中取得胜利。除此
之外，
越来越多的 AI 在 SPG 中的应用积累，被推广发扬到真实世界的体育竞技项目中
。
基于这些观察，本文将探讨
AI 在 SPG 中的应用
，并展望未来的发展趋势。
2022 年，梅西终于捧起了 8 年前凝望的大力神杯，体育精神与热血竞技令人狂热 与痴迷。与此同时，AI 界的新宠儿们，Diffusion Model，chatGPT 等 AI 内容生成 模型掀起了新一轮的 AI 狂热。我们不禁联想——如果有一个 AI 界的足球世界杯， 那将会是怎样？谁又会成为 AI 界的梅西？
2020 年，谷歌基于其开源足球环境[1]，在 Kaggle 上举办了一场全世界范围的”AI 世界杯“[2]，共 1141 支队伍参加，AI 运动员们同场竞技，产出了大量的战术打法与高光时刻。
“AI 世界杯”毫无疑问向我们展示了，在足球等 SPG 游戏中，利用 AI 控制球员并践行战术、提高竞技水平的无限可能。在此之前，足球 SPG 游戏的 AI 球员控制往往基于规则，这会导致 AI 水平有限，团队配合不足，易于被玩家发现、吐槽等，如 《FIFA 2017》的 Active Intelligence System，《实况足球》的 AI 控制系统等。
与之相反，基于强化学习的足球 AI 能够有效提升对局强度，策略多样且拟人性更强。如基于自博弈的强化学习+模仿学习足球 AI 解决方案，在 AI 世界杯中被验证能够以更少的算力，取得更好的成绩，并在控球、短传、防守等方面得到了高度认可。
下面将详细介绍这一方案~
这一方案基于足球环境原生接口，设计了一整套的
状态向量表征方案
，包含球、球员、游戏环境等多方面特征，保证了强化学习智能体能够获取足量的环境信息。
动作空间上
，基于环境提供接口，包含了空闲、移动、传球/射门等动作，涵盖了足球竞技中的常见行为。
奖励设计方面
，除了比分奖励外，还设计了检查点奖励，每轮带球首次进入更靠近
敌方球门的检查点范围时获取，以让强化学习智能体更加有动力向对方半场进攻。
除了传统 RL 算法框架外，
网易团队还设计了 RL+模仿学习（IL，Imitation Learning）的方法
，来快速学习掌握对手的强劲策略，使模型更易学习人类与 AI 优势策略，风格更为多样，强度更高。该框架同时结合强化学习与模仿学习的优势， 按照一定比例（λ%）来构建训练所需的样本，并同时优化强化学习的累计期望奖励与模仿学习的模仿误差，使得模型保持了对环境的探索能力，同时还能快速学习专家的打法战术。
基于上述设计，网易结合网易游戏深耕积累的成熟的算法库与训练框架，通过 PVE 对抗规则AI+自博弈的方式，最终训练出了高强度、多样化风格策略的足球 SPG 对战 AI，并从 11v11 衍生出了 5v5、多智能体等多种智能体方案，相关成果已在网易内部多个项目应用并转化沉淀，可快速迁移到其他游戏环境中。
—— END——
今天先聊到这里，看到这里的游戏人，期待下次为大家分享更多游戏行业洞察！
我来自网易~ 是你最得力的游戏行业战略家，也是最硬核的游戏技术布道师，一起让技术发光~ 欢迎各位游戏人一起探讨交流~
tips：《网易智企游戏AI指南》免费领取方式——评论区留言【指南】，立即get√
好的内容值得你关注、点赞与收藏~❤
