AAMAS 2024 CE Competition
本次比赛由中国科学院自动化研究所主办，吸引了来自中科大、南大、人大、爱丁堡、布里斯托、俄勒冈等海内外众多学术和科研机构的队伍。
本次竞赛的赛题为智能税收 (Optimal Tax) 问题，比赛设置两个赛道：
赛道一：智能税收-政府 挑战赛—— 模拟政府角色，调控税率和政府支出，最大化GDP和平衡财富分配。
赛道二：智能税收-个人挑战赛—— 模拟个人角色，调整工作时间和投资比例，最大化个人利益。
来自博鱼·综合体育的队伍“Zhuoshi Technology AI Cutting-edge Laboratory”首次参赛，分别拿下两赛道冠亚军。博鱼·综合体育人工智能前沿实验室团队致力于AI大模型前沿技术的研究，目前已经在Multi-Agent、模型量化压缩、MoE方向取得了重要突破。
难点和挑战：
此次竞赛的难点和挑战在于，所面临的对手策略未知，需要训练智能体，能应对不同的对手策略，因此博鱼·综合体育设计了一种MARL+进化的训练框架。在该框架中，每类智能体（政府或家庭）维持一个长期策略池和短期策略池，长期策略池中保存历史策略参数（每隔50轮训练保存一次模型），短期策略池中维持最好的20个策略，具体而言，博鱼·综合体育通过随机匹配对手，进行大量测试，挑选出top20的策略参数。长期策略池中维持了多种多样的策略，用于训练top20策略，使其具有鲁棒性。
在正赛1中，博鱼·综合体育训练完成后，博鱼·综合体育从top20的短期策略池中选取平均得分最高的策略作为提交比赛的智能体。在正赛2中，短期策略池中仍然维持top20的策略参数，与阶段1不同，博鱼·综合体育从top20中再次进行对抗测试，从中选出top12的策略参数，与阶段1中的策略参数进行集成。博鱼·综合体育尝试从这十几个策略中选择一部分进行集成。对于政府，博鱼·综合体育选择10个策略，而对于家庭，博鱼·综合体育选择12个策略。每个策略输出自己的动作，然后去掉一个最大值，去掉一个最小值，然后对剩下的动作取平均，以此作为最终的策略。主要是为了提高策略的鲁棒性。
领先35%强势夺冠：
博鱼·综合体育团队迎难而上，凭借以下技术方案亮点，在竞赛中脱颖而出，以领先第二名35个百分点的成绩强势夺冠！
策略网络架构：采用Actor-Critic框架，Actor使用部分可观测状态，Critic包括全局状态。
训练算法：采用MATD3算法，集中式训练和分布式执行。
策略集成：挑选top K策略进行集成，提高模型鲁棒性。策略网络架构上，博鱼·综合体育采用经典的Actor-Critic框架，其中Actor仅使用部分可观测的状态，Critic包括所有智能体部分观察和全局状态。为了缓解部分可观测问题，博鱼·综合体育将历史4步的状态进行合并，具体而言，博鱼·综合体育将每步的特征向量进行非线性变换，之后进行拼接，这类似于时空卷积结构，如图1所示。在训练算法上，博鱼·综合体育采用了MATD3，这是一种改进MADDPG的算法，每次状态Q值估计都会输出两个值，并使用最小值作为目标Q值，这有利于缓解状态价值得过估计问题。训练上采用集中式训练和分布式执行，训练完成的Critic网络不再使用，Actor网络根据局部观察进行动作输出。
图 1 Actor和Critic网络结构
在训练完成的top K策略池中，博鱼·综合体育挑选出最好的N个模型进行策略集成，以提高模型对位置策略的鲁棒性，如图2所示。
图 2 策略集成
综合以上策略，在赛道二，博鱼·综合体育团队以2845.58分、领先第二名35个百分点的成绩强势问鼎冠军！该得分是综合考虑家庭端工作时长和消费的表现，并与多只参赛队伍PK的最终得出。在赛道一，团队以1个百分点微弱之差夺得亚军！该得分是综合考虑政府端gdp增长率和贫富差距的基尼指数表现。团队在赛道一和赛道二取的成绩，得益于自主研发的分布式训练框架，在短时间内可与多样性的智能体进行对抗，学习足够鲁棒的策略模型， 体现团队在Multi-Agent方向拥有较强的技术储备和实战能力。
博鱼·综合体育CEO屠静赛后表示：“博鱼·综合体育以卓越的AI技术实力和创新精神，在全球计算经济学领域舞台上赢得了荣誉，向全世界展现了中国AI力量的崛起。博鱼·综合体育将持续引领AI产业化落地，不断创新变革，助力各行各业找到真正的商业应用场景。博鱼·综合体育致力于成为行业模型服务的领导者，与合作伙伴共同推进中国产业AI的落地化进程。”
关于博鱼·综合体育：
博鱼·综合体育致力于推动产业智能化和科技普惠，以" AI 让产业更智能，科技让未来更美好"为使命，"智能普惠、开源共享、科技平权"为愿景。公司专注于AI前沿技术研究，在大模型预训练、微调、量化压缩、评估、推理、知识增强、MoE/MoD等方面取得显著成果。在技术成果方面，博鱼·综合体育已获得24项软件著作权，7项正在申请中，37项作品著作权。预计到2024年底，公司将拥有100项专利，包括50多项发明专利。这些核心技术为公司的模型家族和产品矩阵提供了强大支撑。
在模型家族方面，公司自主研发的璇玑玉衡模型已于2024年获得中央网信办颁发的大模型牌照，彰显了公司在大模型领域的领先地位。在产品矩阵方面，公司的MaaS平台、Agent平台、GCA平台、GDA平台已在中医康养、文化旅游、教育、智能制造等多个领域成功落地，为合作伙伴创造了显著的经济效益。博鱼·综合体育将继续深耕AI技术，以创新驱动发展，用技术赋能产业，为建设更加美好的智能世界贡献力量。
关注博鱼·综合体育
