机器之心报道
编辑：陈萍、杜伟
(资料图片)
至于原因，一方面是大模型需要跳出扩展参数规模的范畴，另一方面受限于高昂的训练成本。
近几个月来，OpenAI ChatGPT 的强大生成式对话能力引发了人们对 AI 的新兴趣和投资。随着国内外掀起类 ChatGPT 研发热潮，对话式 AI 及背后的大模型被更多人看好。
但上周在 MIT 的视频发言中，OpenAI CEO Sam Altman 发表了另一番言论。他警告称，诞生 ChatGPT 的研究策略已经结束。至于未来会在哪些方面出现进展尚不清楚。
过去几年，OpenAI 通过采用现有机器学习算法并将它们扩展到以往无法想象的规模，在与语言相关的人工智能领域取得了一系列引人瞩目的进展。其中作为最新的进展，GPT-4 可能使用数万亿文本单词和数千个强大的计算机芯片训练。
GPT-4 在语言、数学、编程、视觉、医学、法律和心理学等多种任务上都有出色的表现。Sam Altman 却对此表示，让模型变得更大（比如巨型模型）将不会进一步带来新进展。
Sam Altman 的这番言论表明，在开发和部署新 AI 算法的竞赛中出现了一个意想不到的转折。自去年 11 月 ChatGPT 推出以来，微软利用底层技术在必应搜索中添加了基于它的聊天机器人，谷歌也推出 Bard 竞品。很多人急着尝试使用新型聊天机器人帮助完成工作或个人任务。
与此同时，包括 Anthropic、AI21、Cohere 和 Character.AI 在内众多资金雄厚的初创公司都投入大量资源构建规模更大的算法，以努力追赶 OpenAI。
不过，Sam Altman 的话似乎预示着，GPT-4 可能是 OpenAI 研发更大模型并喂给它们更多数据这一战略的最后一个重大进展。这也可以从他
亲自辟谣 GPT-5 的相关传闻
中看出一些端倪，他表示目前没有训练 GPT-5，短期内也不会训练。
在描述 GPT-4 的论文中，OpenAI 预估扩展模型规模的收益将出现递减。OpenAI 建造数据中心的数量以及建造速度也存在物理限制。
除了大模型设计和架构本身的原因，巨额花费也是一大原因。据报道，ChatGPT 需要至少 10000 个 GPU 进行训练，还需要更多资源保证持续运行。而英伟达专为 AI 和高性能计算设计的最新 H100 GPU 单价高达 30,603 美元，无疑成本高昂。Altman 亲自承认，GPT-4 的训练花费超过了 1 亿美元。
Cohere 的联合创始人（曾在谷歌从事 AI 工作）Nick Frosst 表示，Altman 的扩大规模并不能永远奏效的观点听起来是对的。他也认为，Transformer（GPT-4 及竞品的核心机器学习模型类型）的进展已经超出了扩展范畴。除了向模型添加更多参数之外，还有很多其他方法可以使 Transformer 变得更好、更有用。
新的 AI 模型设计或架构以及基于人类反馈的进一步微调成为很多研究人员已经在探索的有前景的方向。
马斯克将 AI 项目命名为 TruthGPT
马斯克这边，虽然嘴上说担忧 GPT-4 引发社会问题，并签署暂停开发比 GPT-4 更强大的系统至少六个月。但实际情况却是马斯克正致力于新建一家人工智能初创公司 X.AI，与 OpenAI 直接展开竞争。
据报道，马斯克已经从英伟达获取了上万块 GPU，这些系统为人工智能和高端图形处理等密集型任务所需的计算提供动力。
马斯克证实了有关他计划创建一家人工智能初创公司，与 ChatGPT 竞争的报道。马斯克在接受福克斯采访时宣布了这项计划，并表示，「我将创建一种称为 TruthGPT 的人工智能平台，或者说是一个最大限度地寻求真理的人工智能，可以理解宇宙的本质。我认为这可能是通往（AI）安全的最佳途径，从某种意义上说，一个关心理解宇宙的人工智能不太可能灭绝人类，因为我们是宇宙中有趣的一部分。」
马斯克在采访中还表示，他相信人工智能具有毁灭文明的潜力，无论（其力量）多么小。
此前，马斯克于 2015 年与 OpenAI 现任 CEO Sam Altman 等人共同创立了 OpenAI，但马斯克于 2018 年离开了公司董事会。据了解，马斯克当时声明的原因是为了避免与特斯拉发生潜在的利益冲突，但后来马斯克表示还有其他原因，另一个原因是他不同意 OpenAI 团队在做的一些事情。
另外据 Semafor 3 月份报道，马斯克曾试图在 2018 年接任公司 CEO 一职，但在 Altman 和其他人拒绝后便离开了。
自从退出 OpenAI 董事会以来，马斯克一再批评 OpenAI。就在今年 2 月，他还表示现在的 OpenAI 根本不是他所希望的，并称 OpenAI 为微软控制的、闭源、利润最大化的公司」。
面多马斯克的多次攻击，Altman 表示即便如此，自己仍将马斯克视为自己的偶像之一，并表示，「我相信马斯克确实对 AGI 安全感到压力，这是可以理解的。」
值得一提的是这不是马斯克第一次考虑打造 TruthGPT。他在 2 月曾经发推说，我们需要的是 TruthGPT。
关于 TruthGPT 的更多细节，马斯克没有透漏更多消息，我们可以后续期待一波。
参考链接：
https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/
https://venturebeat.com/ai/openai-chief-says-age-of-giant-ai-models-is-ending-a-gpu-crisis-could-be-one-reason-why/
