OpenAI CEO宣布转向，“大模型时代”即将结束？

4月19日，虽然在这个月几乎每周都至少有一家科技大公司入局训练大模型，但 OpenAI 却突然改变了方向声称，大模型时代已经要结束了。

上周末在麻省理工学院，OpenAI 的 CEO 在演讲中警告称：我们已经处在大模型时代的尾声，并表示如今的 AIGC 发展中，将数据模型进一步做大，塞进更多数据的方式，已经是目前人工智能发展中最后一项重大进展，并且还声称目前还不清楚未来的发展方向何去何从。

消息传出，立即引发很多外界的质疑，OpenAI 本身已经是大模型技术领域最前沿的研究机构，为何会说出这种能让研究方向180度掉头的论调？

在如今的生成式 AI 背后的技术，称其为大模型甚至已经不够准确，这些模型所需的参数数量已经是天文数字，称其为“巨型模型”或许更加准确。

OpenAI 最早的语言模式是 GPT-2，于 2019 年公布，发布时就有 15 亿个参数，此后随着 OpenAI 研究人员发现扩大模型参数数量能有效提升模型完善程度，真正引爆 AI 行业浪潮的 GPT-3 发布时，参数数量已经达到了 1750 亿个。

截至目前，OpenAI 并没有公布最新迭代版本 GPT-4 所用的参数数量。但外界普遍估算其包括的参数量已经达到了 GPT-3 的二十倍——3.5万亿个参数。

但人类互联网历史上被保留下来的各种高质量语料，已经在 GPT-3 以及后续发布的 GPT-4 的学习中被消耗殆尽。大模型参数数量仍然可以继续膨胀下去，但对应数量的高质量数据却越来越稀缺，因此增长参数数量带来的边际效益愈发降低。这如同 AI 行业的“摩尔定律”一般。

除了大模型本身的技术发展方向，Altman 提到的另一个问题：购买大量 GPU 以及建设数据中心的物理限制以及高昂的成本，或许才是更多 AI 大模型开发公司现在所面临的切肤之痛：运营巨型数据服务中心成本高昂已经是行业公认，但如果是用于 AI 大模型训练则更是贵上加贵，无论是对电力还是水力的消耗都极其巨大。

即使是 GPT-4 或 New Bing，也多次因为算力不足不得不公开宣布短时间内暂停访问。算力已经成为限制 AIGC 进一步拓展使用场景的关键桎梏。Altman 的说法的根据，或许也有很大一部分来源于 OpenAI 所面临的现实原因。

在今年三月，英伟达专用于大模型参数计算、采用专用 Transformer Engine 架构的英伟达 H100NVL 系列发布之后，从中嗅到商机的黄牛也开始借机炒价，售价已经飙升至四万美元。但这些在当下大模型技术巨大的风口面前似乎都不值一提，目前 H100NVL 系列仍然处于一货难求的状态。马斯克也在 Twitter 上惊呼“似乎每个人和他们的狗都在抢购 GPU”。

不过吐槽归吐槽，即便是马斯克也不得不为了自己新成立的 AI 公司而买买买：据《商业内幕》报道，马斯克已经购入了一万组英伟达最新发布的 GPU 并运至数据中心。并在 Twitter 上声称将开发 TruthGPT 来挑战 ChatGPT。

尽管 Altman 同时还在演讲中表示“OpenAI 目前没有在开发 GPT-5”。但在 AI 大模型发展狂奔的路上，没有人愿意真的成为“落后六个月”的那个。

根据分析机构 SemiAnalysis 估算，如果按照目前 ChatGPT 的运算处理效率，想要承担 Google 搜索目前在全球全部访问流量，至少需要 410 万张英伟达 A100 GPU。即使只是训练出目前 ChatGPT 能力的大模型，也需要超过 10000 个 GPU 来完成，后续运营维护还需要更多。

这也是如今几乎你能见到的每个大模型产品都需要“内测邀请码”的原因：不仅训练这些大模型烧钱，运营起来更加烧钱。

这种对于计算硬件极度迫切的需求，推动着英伟达成为这个市场最大的垄断者。如今英伟达已经占据了计算卡 88% 的市场份额，其他选项 —— 例如 Google 开发的 Tensor TPU，甚至不提供对外售卖的选项。

但正如马斯克“嘴上说暂停训练半年，实际光速成立 AI 公司”一样，在很大程度上，这也只是 Altman 的一家之言。如今很多后来者的技术发展程度都还远未到能说出“AI 发展不能靠无脑计算”的程度。但 Altman 所说的确实已经成为如今头部大模型开发公司正在/即将要面对的棘手问题。

“一味不计成本地堆砌硬件不是未来”已经成为越来越多业内人士的共识。

现在的 AI 发展阶段，甚至很多地方都有着互联网发展早期时代的即视感：AI 行业的发展也已经出现了“摩尔定律”，训练大模型所需的大量 GPU 组成的硬件训练集群，与世界上第一台计算机并没有本质上的区别。

人工智能也需要一次“半导体革命”，探索未来也需要更加高效的方式：或许对大模型参数数量的精简，以及利用多个较小的模型实现处理能力的提升，会是大模型时代结束之后，AIGC 行业的下一个发展方向。

在 ChatGPT 发布之初，针对参数量过高以及关于道德伦理方面的问题，OpenAI 曾公开过一项新的研究：使用一种通过人类反馈来强化学习（RLHF）的技术，对模型数据进行微调。

经过超过一年的测试，OpenAI 由此生成了 InstructGPT，其模型参数量仅有 13 亿，只不到原版 ChatGPT 的百分之一，但这个迭代款不仅表现出更准确的回答能力，甚至在回答中关于事实核查以及负面内容的表现，要好于 ChatGPT 本身。

此外，同样近期大火的 AutoGPT：使用 GPT-4 作为底层技术，加入了从网页中抽取关键信息的能力，根据返回的结果进一步执行命令，帮你自动完成任务处理。突破了只能处理文本相关内容任务的限制。

由此诞生的结果，就是用户在 AutoGPT 的实际使用中都能明显感受到，要智能得多的结果，甚至完完全全改变了原本 ChatGPT 常规的使用方式，比如 AutoGPT 能自动完成一整个网页的代码实现，甚至还有网友发现 AutoGPT 为了完成最初的任务目标，自行在招聘网站上发布了招聘广告，吸引其他人来辅助完成。

这些在应用层面的创新，除了能为大模型技术探索更多的应用场景，也是在 AI 领域探索现有算力之下发展的可能。基于人类反馈实时修改结果的最直观体验，就是让人工智能变得更加聪慧，同时也是真正意义上能实现“一个人就是一个团队”的技术。

宏观来看，即使当下大模型技术对于 AIGC 的发展至关重要，但长远来讲，AI 绝不会永远依赖大模型的参数提升以及堆砌算力来构建未来，开发更小更精准的模型，以及更加具体的应用场景，或许已经是下一个时代真正的方向。

届时，或许是大模型时代的结束，却是人工智能时代真正的开始。

如需加入CXO UNION（CXO联盟）高管社群，请联系社群小伙伴哦~

本文由CXO UNION-CXO联盟（cxounion.cn）转载而成，来源于微信公众号张勇毅；编辑/翻译：CXO UNIONCXO联盟小O。

免责声明: 本网站(http://www.cxounion.cn/)内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。

本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等) 版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时，请及时通知本站，予以删除。