学习团队竞争游戏中广义虚拟交叉博弈的全局纳什均衡

摘要

自我博弈(SP)是竞争性游戏中流行的多智能体强化学习框架。尽管在实证中取得成功，但SP的理论特性仅限于双玩家设置。对于两个合作智能体团队相互竞争的团队竞争游戏，研究展示了一个反例：SP无法以高概率收敛到全局纳什均衡(NE)。

策略空间响应预言机(PSRO)是另一种通过迭代学习对先前策略的最佳响应(BR)来寻找NE的框架。通过学习团队BRs，PSRO可以直接扩展到团队竞争游戏且保持收敛特性不变，但其从零开始的重复训练使其难以扩展到复杂游戏。

本研究提出广义虚拟交叉博弈(GFXP)，这是一种继承了两个框架优势的新算法。GFXP同时训练基于SP的主策略和反制种群。主策略通过虚拟自我博弈和与反制种群的交叉博弈进行训练，而反制策略则作为对主策略检查点的BRs进行训练。

在矩阵游戏和网格世界领域评估GFXP，结果显示GFXP实现了最低的可开发性。进一步在具有挑战性的足球游戏中进行实验，GFXP以超过94%的胜率击败了最先进模型。

[摘要][PDF][文献]