从雀圣到股神，微软只差最后一英里

　　2019年8月29日，微软全球执行副总裁沈向洋在世界人工智能大会的主论坛上宣布，微软亚洲研究院（以下简称亚研院）创造出了世界上最强的麻将AI，Suphx（超级凤凰）。
　　今年6月，Suphx成为首个在国际知名的专业麻将平台天凤上荣升十段的AI系统。沈向洋表示，这是目前AI系统在麻将领域取得的最好成绩，其实力已经超过了该平台公开房间顶级人类选手的平均水平。
　　天凤是一家创办于2006年的在线麻将对战平台，规则完善，且有着专业的段位升级系统。目前平台上在全球范围内已有近33万名麻将玩家，其中有很多专业选手。天凤对战平台分为特上房和凤凰房两种竞技房间。前者对四段以上所有玩家免费开放，最高段位为十段，后者则仅对七段以上的人类付费玩家开放，最高段位为十一段天凤位，但该房间目前暂不允许AI参与。自2006年平台上线以来，达到十段的选手约有180位，现役仅有十几位。而在凤凰房，达到四人麻将天凤位的高手仅有13人。
　　自从今年3月登陆日本天凤麻将平台以来，Suphx已经在公开房间特上房与人类选手进行了超过5000场对战。除此以外，据亚研院副院长刘铁岩表示，自2017年年中亚研院启动这一项目以来，Suphx已经完成了约2000万场自我博弈。
　　虽然目前Suphx还不曾与天凤位的选手对战过，但很多天凤位的高手已经在关注Suphx在特上房的比赛，其中号称天凤位第一人的朝仓康心在社交媒体上表示，他认为Suphx可能比他还要强大。
　　天凤平台特上房稳定段位对比亚研院博客
　　游戏AI的下一步
　　自从2016年AlphaGo击败李世乭以来，人工智能在游戏领域的应用就一直饱受关注，且随着科技巨头们对人工智能的不断加码，越来越多的棋类游戏和电子竞技游戏成为了AI能力的试验田。
　　根据游戏信息暴露的程度，AI研究者大多把游戏分为两大类，一是完美信息游戏（PerfectInformationGames），即所有游戏参与者都能随时访问所有关于游戏（以及对手）的状态和可能延续的信息；二是不完美信息游戏（ImperfectInformationGames），即游戏参与者不能掌握所有信息，且各个对局者所掌握的信息不对称。
　　完美信息游戏的典型代表有双陆棋、国际跳棋、国际象棋和围棋等，其中复杂程度最高的是围棋。2017年AlphaGo两次迭代后的版本AlphaZero通过深度强化学习成功解决了包括围棋在内的多个完美信息游戏。在此之后学术界研究的热点开始转向不完美信息游戏和多人对战的电竞游戏。
　　扑克、麻将、桥牌，还有包括星际争霸2和Dota2等地图不完全公开的电子游戏，都属于不完美信息游戏。2017年到2019年，卡内基梅隆大学（CMU）发布的Libratus和与FacebookAI合作发布的Pluribus分别击败了两人无限注德州扑克和六人不限注扑克的人类顶级玩家，由此正式开启了AI学界对不完美信息游戏的征程。
　　与此同时，包括开发了AlphaGo的DeepMind，埃隆马斯克参与创办的OpenAI，Facebook人工智能实验室FAIR以及国内的腾讯AILabs都开始对星际争霸2、Dota2、王者荣耀等RTS和MOBA类电子游戏进行游戏AI的开发。其中DeepMind联合暴雪开发的星际争霸2游戏AIAlphaStar在2019年1月战胜了顶尖的人类玩家，OpenAIFive也在2019年4月战胜了Dota2刚刚蝉联世界冠军的战队OG俱乐部。
　　AlphaStar亚研院博客
　　2017年4月，国际智力运动联盟宣布，竞技麻将成为继围棋、象棋、国际象棋、桥牌和国际跳棋之后的第六项国际正式智力运动项目。因为麻将本身对比其他棋类游戏在隐藏信息和难度上给AI研究带来的挑战，麻将AI的开发也一直是游戏AI领域较难攻克的一个领域。
　　麻将的特殊性
　　微软本身是一家全球顶级的游戏公司，旗下也有着《帝国时代》等经典即时战略类游戏，但这次亚研院却选择了更为传统的全民类棋牌游戏麻将。对于这次亚研院对游戏的选择，刘铁岩对极客公园表示，亚研院对其他电子游戏也有关注，但在内部，他们玩笑称即时战略类游戏更游戏，而棋牌类游戏更AI，意思是即时战略类电子游戏对选手有着控制键鼠等设备的游戏感要求，受到手速、反应速度等方面的影响，当我们把一些不必要的人和机器的差别抹掉，体现出的更多是智慧、智能的作用。因此亚研院选择在棋牌类游戏里寻求AI上的突破。
　　Suphx大三元胡牌亚研院博客
　　而在棋牌类游戏里，麻将也有着一些特殊性。
　　首先，麻将对战中存在着巨大的状态空间。136张麻将牌的排列组合可能性远远高于52张的德州扑克，且在同一个玩家两次出牌之间，夹杂了其他3个玩家的出牌和自己摸的底牌，可能出现的不同局面数目非常巨大。更大的变数是，在麻将中，4位玩家的出牌顺序是不固定的，任意一位玩家的吃碰杠都可能使出牌顺序突然改变，导致游戏树不规则且动态变化。这些特点使麻将很难直接利用AlphaGo等棋盘游戏AI常用的蒙特卡洛树搜索算法。
　　其次，在不完美信息的棋牌游戏中，麻将玩家只能看到手上13张手牌和之前已经打出来的牌，因此最多会有超过120张未知牌。一方面，由于随机性太大，玩家即便在出牌决策中能估测出对方玩家手牌、底牌等不可见的牌，也无法避免不确定性对于游戏走向的影响。这给AI模型的训练带来很大挑战：AI模型很难发现已知牌面信息和最优打法之间的逻辑链路。另一方面，丰富的隐藏信息导致游戏树的宽度非常大，对树搜索算法的可行性提出了进一步的挑战。
　　最后，麻将有着复杂的奖励机制。日本麻将的规则是无役不能和牌，多样的特殊牌面构成了复杂的役种和番数计算规则。一轮游戏共包含8局，单局得分与役种和番数相关，最后根据8局的得分总和进行排名，来形成最终影响段位的点数奖惩。因此有时麻将高手会策略性输牌，例如，在第8轮时如果A玩家已经大比分领先第二名，他可能会故意放炮给排名第四的玩家，来防止总分被排名第二的玩家反超，保证自己在最终结算时获得最大的点数奖励。这为构建高超的麻将AI策略带来了额外的挑战，AI需要审时度势，把握进攻与防守的时机。
　　面对麻将游戏的巨大挑战，AI仅靠强大的计算力无法从根本上解决问题，而需要更强的直觉、预测、推理和模糊决策能力。刘铁岩说道，从棋牌类角度来说，麻将在可观测以及不可观测两个方面都有着很大的难度，亚研院作为一家研究机构，攻克这一问题也便成了顺理成章的选择。
　　AI的大局意识
　　针对麻将在游戏AI领域的这几个难点，亚研院针对性地在强化学习的基础上尝试了一些新的算法，从而保证Suphx在对战中能够对游戏有更全面的掌握，从而在多局游戏中做出策略性的决策。
　　麻将游戏的挑战以及Suphx的核心技术亚研院博客
　　首先，针对麻将巨大的状态空间，亚研院的研究团队在算法中引入了对探索过程多样性进行动态调控的机制，这使得Suphx能够比传统算法更充分地试探牌局状态的不同可能。另一方面，一旦某一轮的底牌给定，其状态子空间会大幅缩小；所以研究团队让Suphx在推理阶段根据本轮的牌局来动态调整策略，对缩小了的状态子空间进行更有针对性的探索，进而更好地根据本轮牌局的演进做出自适应决策。
　　其次，针对不完美信息游戏的挑战，Suphx提出了名为先知教练的技术以提升强化学习的效果。其基本思想是利用AI不可见的信息，对模型进行引导，不断地训练促使其越来越熟悉不可见的信息，从机器的角度理解已有信息，从中找到决策依据。
　　另外，对于麻将复杂的牌面表达和计分机制，研究团队还利用全盘预测技术搭建起每轮比赛和8轮过后的终盘结果之间的桥梁。通过设计，这一预测器可以理解每轮比赛对终盘的不同贡献，从而将终盘的奖励信号分配回每一轮比赛之中，以便对自我对战的过程进行更加直接而有效的指导，并使得Suphx可以学会一些掌控全局的高级技巧。
　　基于上面这三种特别的算法，Suphx在进入天凤平台后快速地在与人类选手的对战中掌握了独特的策略，有不少玩家表示，天凤的玩法与人类有很大的不同，甚至有天凤位的选手表示自己看了几百场Suphx的比赛，学了很多新技术，对他个人的打法有很大帮助。
　　不过有趣的是，据刘铁岩介绍，Suphx背后的研究团队并没有麻将高手，最擅长麻将的研究员在天凤平台上可能都打不到一段。
　　还差最后一英里
　　可是如此投入精力做出的游戏AI究竟有什么用？麻将仅仅四人的对弈，牌数也是数量明确且有限的，在这样的环境里训练出的模型和系统，是否能在复杂度远远高于游戏的真实世界里应用？
　　面对这一问题，刘铁岩说道：在做基础科学研究的时候，首先我们希望能在一个相对可控的环境里淬炼技术，当我们找到最好的技术后，去落地的时候，还有所谓的最后一英里的创新（lastmileinnovation）。
　　目前，Suphx相关研究带来的技术创新还没有全部应用到实际落地场景中，但已经有了部分应用。亚研院与华夏基金、太平资产等金融机构一起做了一些很大胆的实盘投资实验，涉及资金上亿人民币，取得了非常好的效果，在业界遥遥领先，其中就使用了自适应决策的技术。刘铁岩解释说，通过历史的金融交易数据离线训练出的AI模型，在今天的市场上有很多变数，包括经济走势、国家政策和世界范围内互动模式的差异等等，因此动态适应今天的场景就非常重要。这与Suphx里的自适应决策是一脉相承的。
　　在Suphx的开发和研究中，最有价值的部分就是以上介绍的，基于麻将特性，研究团队在深度强化学习基础上做出的改进（自适应决策、先知教练和全盘奖励的预测机制）。现阶段，深度强化学习是业界最为有效的一种机器学习方法，但它在具体解决一些复杂问题的时候还需要进一步改进，而Suphx就是这样一种探索。半年来，Suphx在与人类选手的对战中不断改进，背后的数据对团队的算法研究有很大的帮助。刘铁岩表示，不久后，亚研院会以论文的方式分享相关的技术细节。
　　最后，至于Suphx是否会在未来登陆中国麻将平台，刘铁岩表示，作为一个研究单位，我们对一切都是开放的。因为我们使用的是机器学习的技术，它对游戏的规则（中国麻将规则与日本麻将有差别）没有那么敏感，只要有明确的规则体系在，就会有解决办法。