ChatGPT数据模型训练器 ChatGPT之父称巨型人工智能模型时代已结束

参考消息网4月21日报道初创公司开放人工智能研究中心()推出的聊天机器人(聊天生成预训练转换器)的功能令人惊叹，这促使外界对人工智能领域的兴趣和投资激增。

但据美国《连线》月刊网站4月17日报道，上周末，该公司首席执行官萨姆·奥尔特曼发出警告：创造这款机器人的研究战略已经失去效用。尚不清楚未来的进展将出自何处。

近年来，采用现有的机器学习算法，并将之扩大到以前难以想象的规模，在人工智能语言模型领域取得了一系列令人印象深刻的进展。该公司在训练这些项目中的最新模型GPT-4时，可能利用了数以万亿计的文本文字和数以千计功率强大的计算机芯片。这个过程需要超过1亿美元的开支。

但是，奥尔特曼说，即使扩大模型规模，也不会取得更大进展了。上周末，他在美国麻省理工学院举办的一次活动中告诉人们：“我认为我们已处于这种巨型模型时代的末期。我们会用其他方法改进它们。”

奥尔特曼的断言表明，在开发和应用新的人工智能算法的竞赛中出现了意想不到的转折。自去年11月推出以来，微软公司利用其底层技术为必应搜索引擎增加了聊天机器人功能；谷歌公司推出了与必应竞争的聊天机器人“巴德”。很多人一拥而上，尝试用新一代聊天机器人协助完成工作或个人任务。

与此同时，无数资金充裕的初创公司正在斥巨资打造规模更大的算法，努力追赶的技术。在稍加升级GPT-3的基础上推出了的最初版本，而用户现在能够使用功能更强大的GPT-4驱动的版本。

奥尔特曼发表的声明表明，GPT-4可能是的战略——扩大模型规模并为之提供更多数据——能够产生的最后一项重大进展。他没说哪种研究战略或技术可能会取而代之。在描述GPT-4的论文中说，它的预测表明，扩大模型规模的收益在减少。奥尔特曼说，公司能够建立的数据中心的数量以及建设速度，也存在客观限制。

加拿大科希尔公司联合创始人、曾在谷歌公司人工智能部工作的尼克·弗罗斯特说，奥尔特曼觉得扩大模型规模不会永远奏效，这一观点确实有道理。他也认为，要在转换器(GPT-4及其竞争对手的核心机器学习模型)方面取得进展，不是规模的问题。

他说：“有很多办法能让转换器变得更好、更有用，其中很多跟扩大模型规模无关。”他指出，新的人工智能模型设计(或结构)以及基于人类反馈的进一步微调，都是很多研究人员开始探索的前景光明的方向。

颇具影响力的语言算法组的每个版本都包括人工神经网络，在接受训练后，可预测会跟在一段给定文本后出现的字词。

GPT-2是这种语言模型中较早的一个，于2019年推出。它最多有15亿个参数。当时，与之前的系统相比ChatGPT数据模型训练器，GPT-2已经极其庞大了，部分原因在于，的研究人员发现ChatGPT数据模型训练器，扩大规模可以让模型更连贯。

2020年推出的GPT-3规模更大，其参数达到惊人的1750亿个。该系统生成诗文、电子邮件及其他文本的综合能力令其他公司和研究机构坚信，应将自己的人工智能模型扩大至类似甚至更大规模。

在去年11月亮相后，一些技术权威猜测ChatGPT数据模型训练器，等到GPT-4推出时，它将是一种规模和复杂度令人目眩的模型。而当终于公布这一新的人工智能模型时，公司并未披露其规模到底有多大，也许是因为规模已不再那么重要。

免责声明：本文系转载，版权归原作者所有；旨在传递信息，不代表本站的观点和立场和对其真实性负责。如需转载，请联系原作者。如果来源标注有误或侵犯了您的合法权益或者其他问题不想在本站发布，来信即删。