最强写作AI竟然学会象棋和作曲，语言模型跨界操作引热议，在线求战

十三 来源： 量子位

一个搞文本生成的模型，还能用来干嘛？

好奇心很强的网友便拿OpenAI的做了个实验。

原来，GPT-2除了能生成文本，竟然还能 下象棋 、 做音乐 ！

△训练GPT-2下国际象棋

作者表示：

除此之外，在更早的实验中，研究人员还发现GPT-2能作曲。

这也引起了网友们的热烈讨论。

不过，也有网友对此提出了质疑。

那么，GPT-2下国际象棋、做音乐，到底是怎么一回事呢？

下象棋、做音乐，GPT-2成跨界选手

用GPT-2来下象棋，最开始大概只是一个娱乐项目。作者肖恩·普莱斯（Shawn Presser）只用了一周的时间就完成了Demo。

之所以做出这样大胆的尝试，是因为他的胖友格温·布兰文（Gwern Branwen）不仅教会了GPT-2写诗：

还让GPT-2写出了爱尔兰民歌。

乍一听这个开头，甚至有点像孙燕姿的《遇见》。

实际上，布兰文是用Session & ABCnotation.com上的20多万首音乐作品对GPT-2模型进行了训练，这些作品将乐曲以字母文本的形式体现。

所以，能不能通过e2e4（将棋子从e2位置移动到e4位置）这样的国际象棋指令集来训练GPT-2，让这个文本生成模型学会下棋呢？

答案是：可以。

普莱斯发现，仅仅经过一个小时的训练，GPT-2 1.5B模型就表现出了国际象棋“天赋”。

虽然在下了几步棋之后，就会出现无效移动，但这次实验还是证明了，制造GPT-2国际象棋引擎并非不可能。

△第9步出现无效移动

于是，普莱斯又用2.4M数据训练了GPT-2 1.5B模型一整天，模型有所进步：直到第14步，它才出现了bug。

接着，普莱斯“编写了一些代码以计算所有有效移动的概率”（作者并未作出具体解释），GPT-2可以将棋局推至残局了。

普莱斯已经把他的代码部署到了Colab上，如果你想试试这只会下棋的GPT-2棋商如何，可以亲身前往挑战：

逆天的语言AI—GPT-2

去年2月，OpenAI发布了一个 “逆天”的语言AI ，名为GPT-2。

整个模型包含 15亿 个参数。

这个AI写起文章来文思泉涌毫无违和感，无需针对性训练就能横扫各种特定领域的语言建模任务，还具备阅读理解、问答、生成文章摘要、翻译等等能力。

然而，当时假新闻实在编的太真实，所以OpenAI说：我们不敢放出完整模型。

人类只给了它两句话的开头：

AI就顺着这胡言乱语的设定，一本正经地编了下去：

效果惊人外，在各种特定领域数据集的语言建模测试中， GPT-2都取得了优异的分数 。

网友们对其完全开源的呼声越发强烈，于是在接下来的时间里，GPT-2经历了 “挤牙膏式的开源” 。

它初出茅庐时先放出了124M版本的模型，然后是355M，再然后是774M。

经过9个月断断续续发布，OpenAI最终把15亿参数的完整模型放了出来。

实测结果如何？

OpenAI在博客里说，GPT-2的生成结果，有独立客观第三方的检验，令人信服：

也就是说在人类眼里，15亿参数模型，比之前放出的那些模型，写出的文章更逼真了。

语言模型跨界引热议

超会编故事的NLP模型，现在还能写曲子、下象棋了，这件事引发了网友的热议，甚至吸引来了马库斯。

英国作家Tom Chivers认为，这或许将打开通向AGI（通用人工智能）的新思路。

有网友质疑说，这并不是对下棋这件事的“学习”，只是在统计学上将给定的开局动作与其相应的后续动作关联起来。GPT-2仅仅是给出了符合已知模式的结果。

一位斯坦福CS博士则直言，可能使用非常古早的语言建模方法同样能实现这一结果。说GPT-2“学会下棋”是一种误导。

那么，你怎么看呢？

作者介绍

△Shawn Presser

Shawn Presser，具有丰富的C++游戏引擎编程经验，是一位图形学编程人员、工具开发者。

2010年至2011年，就职于S2 Games，参与Heroes of Newerth游戏项目的相关工作。

2005年至2008年，就职于Simutronics，主要从事基于C++的项目开发工作。

传送门

Reddit：

博客：

作者资料：

Demo：

版权所有，未经授权不得以任何形式转载及使用，违者必究。