首页 智能硬件 AI人工智能

AlphaGo Zero监督学习和无监督学习:当中的利与弊

AlphaGo Zero的启示:监督学习和无监督学习的利弊

本文系网易智能工作室(公众号smartman 163)出品。聚焦AI,读懂下一个大时代!

【网易科技讯 10月24日消息】2016年,作为世界上最好的围棋选手之一,李世石在首尔的比赛中,以四比一的成绩输给了AlphaGo。无论是在围棋历史上,还是在人工智能(AI)的历史上,这都是一件大事。围棋在中国、韩国和日本的文化中具有的地位就像西方文化中的象棋一样重要。

在击败李世石后,AlphaGo在网上的一系列匿名游戏中击败了数十名知名人类选手,随后在5月重新出现,应对来自中国乌镇围棋选手的柯洁。但是柯先生的表现并不比李先生的好,最终以3-0的比分输给了计算机。

对于人工智能研究人员来说,围棋同样是被尊崇的。国际象棋在1997年出现在计算机上,Garry Kasparov与IBM的一台名为深蓝的计算机进行对抗,最后输掉了比赛。但是,在李世石失败之前,围棋的复杂性让其很难在机器上表现。AlphaGo的胜利十分引人,它充分展示了一种名为“机器学习”的人工智能力量,目标是让计算机教会自己一些复杂的任务。

AlphaGo通过研究人类专家棋手之间的数千场对抗,进而从这些游戏中学习规则和策略,然后在数百万场比赛中不断改进,从而学会围棋。这足以让它比任何人类都更强大。但是AlphaGo的公司,DeepMind的研究人员相信,他们可以改进这一技术。在刚刚发表在《自然》杂志上的一篇论文中,他们公布了最新版本的“AlphaGo Zero”。它在游戏中表现得更好,学得更快,需要更少的计算硬件便可以做得好。不过,最重要的是,与原版不同的是,AlphaGo Zero在没有向人类专家求助的情况下,成功地自学了这款游戏。

这一技术立刻吸引了很多关注。像很多游戏一样,学习围棋虽然容易,却很难玩好。两名持黑子与白子选手轮流在一个由19条垂直线和19条水平线组成的棋盘交叉处放置棋子。目标是占领比对手更多的领土。被对手包围的棋子将从棋盘上移除。玩家继续前进,直到双方都不愿继续。然后,每个人都将他的棋子数目加到所环绕空网格的交叉点上。最后,数量多的将成为赢家。

困难来自于多种可能的走法。19x19的棋盘上有361个不同的地方,黑色的一方可以最先放置棋子。随后,白子有360种可能的走法。在棋盘上的走法总数有10170种,这个数字实在是太大了,因此无法进行任何物理类比(例如,可观测宇宙中大约有1080个原子)。

而人类专家则致力于在更高的层面上去理解这个游戏。围棋规则简单却会涌现出大量不同情况。玩家会谈论诸如“眼睛”和“梯子”之类的棋局,以及诸如“威胁”和“生与死”之类的概念。但是,尽管人类棋手理解这些概念,但用一种超文字的方式解释计算机程序要困难得多。相反,最初的Alpha Go研究了数千个人类游戏的例子,这个过程被称为“监督学习”。由于人类的游戏反映了人类对这类概念的理解,一个接触到棋局足够多的计算机也能理解这些概念。一旦AlphaGo在人类教师的帮助下,熟练掌握了战术和策略,便克服了重重障碍,开始参加到百万场无人监督的训练游戏,每一场比赛都提升了它的技巧。

受监督的学习比围棋更有用。这是最近人工智能领域取得进步背后的基本理念,它帮助计算机学会做一些事情,比如识别照片中的人脸,可靠地识别人类语音,有效地过滤电子邮件中的垃圾邮件。但是,正如Deepmind老板Demis Hassabis所言,监督学习是有限度的。它依赖于训练数据的可用性,以及向计算机提供数据,从而向机器显示它应该做什么。这些数据必须经过人类专家的过滤。例如,面部识别的训练数据由成千上万张图片组成,有些照片上有人脸,有些则没有,每一张照片都需要人为的标注。这使得这类数据的成本很高,前提是它们是可以获取到的。而且,正如论文指出的那样,这里可能会存在一些更细微的问题。依靠人类专家的指导,可能会限制人类对计算机能力的限制。

“AlphaGo Zero”的设计初衷是为了避免所有这些问题,从而完全跳过“火车车轮”阶段。这个项目的开展利用游戏规则和“奖励功能”,即当它赢得比赛便奖励一点,输掉则扣除一点。然后不断进行实验,反复通过游戏来对抗其他版本的自己,并受限于奖励机制,即必须尽可能多地赢得奖励,从而使奖励最大化。

这个项目是从随机放置棋子开始的,机器完全不知道自己在做什么。但它取得了快速的进步。一天之后,它的棋艺便上升到了高级专家级别。两天之后,它的表现就超过了2016年击败李世石的版本。

DeepMind的研究人员能够观察到他们的自我革新,重新发现人类几千年来积累起来的围棋知识。有时候,它看起来像人类一样诡异。经过大约三个小时,专注于“捕捉棋子”的训练,这是大多数人类初学者也必须经历的阶段。在另一些人看来,这显然是外星人。例如,“梯子”是一种棋子的排列模式,当一个玩家试图捕获一群对手的棋子时,他会在棋盘上的对角线上放置。它们是围棋游戏的常见局面。因为梯子由一个简单的重复模式组成,人类新手很快就会学会并去推断它们,对梯子“搭建”的成功与否进行评估。但AlphaGo Zero——它无法推断,而是半随机地尝试新动作——这花了比预期时间更长的时间来掌握这个技巧。

然而,自己学习而不是依靠人类的暗示,总的来说是一个很大的进步。例如,josek是表述棋盘边缘附近发生的一系列动作的特殊序列。(他们的剧本自然让他们有点像国际象棋的开场。)AlphaGo Zero发现了josek教给人类棋手的准则。但它也发现了一些完全属于自己的方法,并最终成为了自己的下棋的首选。负责AlphaGo项目的David Silver表示,这台机器似乎具有一种明显非人类的风格。

其结果是一个不仅是超人的项目,而且是令人难以接受的。围棋(和国际象棋,以及其他许多游戏)都可以用一种叫做“Elo评级”的东西来量化,它根据过去的表现给出了一个玩家可以打败另一个玩家的概率。一个球员有50:50的几率击败对手,但只有25%的几率比对手高出200分。柯先生获胜的支持率为3661。李先生的是3526。在经过40天的训练后,AlphaGo Zero的得分超过了5,000——这一数字远远领先超强选手柯洁先生,同时暗指包括柯洁在内的任何一个人类选手都没有可能打败它。当它与AlphaGo的第一个击败李斯基的版本对战时,它以100比0获胜。

当然,比起围棋,生活中还有很多别的事情。它的创造者希望,像那些为AlphaGo的不同迭代提供动力的算法,理论上可以应用于相似的任务的中。(DeepMind已经利用了AlphaGo背后的技术,帮助谷歌大幅削减其数据中心的能耗。)但是,一种无需他人指导就能学习的算法,意味着机器可以在人们不知道如何解决的问题上放手。Hassabis表示,任何可以归结为通过大量可能性进行智能搜索的事情,都可以从AlphaGo的方法中受益。他列举了一些经典的棘手问题,比如研究蛋白质如何折叠成最终的功能形状,预测哪些分子可能作为药物,或者准确地模拟化学反应。

人工智能的进步常常引发人们对人类退化的担忧。DeepMind希望这类机器最终能成为生物大脑的助手,而不是取代它们,就像从搜索引擎到纸张一样。毕竟,一台机器发明新的解决问题的方法,能够推动人们走上新的、高效的道路。Silver先生表示,AlphaGo的一个好处是,在一个充满历史和传统的游戏中,它鼓励人类棋手对古老的智慧提出质疑,并进行实验。在输给了AlphaGo之后,柯洁研究了计算机阵法,寻找灵感。之后,他又以22连胜的成绩打败了人类对手,这是一个令人印象深刻的壮举,即使对于他的对手来说也是如此。毕竟,监督学习是双向的。

官方微博/微信

每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。

↑扫描二维码

想在手机上看科技资讯和科技八卦吗?

想第一时间看独家爆料和深度报道吗?

请关注TechWeb官方微信公众帐号:

1.用手机扫左侧二维码;

2.在添加朋友里,搜索关注TechWeb。

手机游戏更多