OpenAI 训练数据耗尽，GPT-5 开发遭遇重大挫折

GPT-5绰号 "猎户座项目"（Project Orion）的工作遭遇了重大挫折。该项目进度远远落后于计划，而且耗资巨大。经过 18 个多月的努力，微软公司原本以为他们会在 2024 年年中准备就绪，但事实并非如此。

他们为此投入了大量资金--仅计算能力一项，每次训练就耗资约 5 亿美元--但与 GPT-4 相比，他们并没有看到期望中的性能飞跃。虽然有一些明显的改进，但还不足以证明这样的花费是合理的。

最大的问题之一是没有高质量的数据来训练模型。公共互联网上没有足够的多样化、高质量数据来发挥作用。为了解决这个问题，OpenAI 邀请专家来创建新的训练材料，比如软件代码和数学问题。但这是一个缓慢的过程。GPT-4需要13万亿个代币才能完成训练。换句话说，即使有 1000 人每天写 5000 个单词，他们也需要几个月的时间才能完成 10 亿个单词的训练。

更糟糕的是，公司内部问题重重。2024 年，二十多位关键高管离职，其中包括首席科学家伊利亚-苏茨基弗（Ilya Sutskever）和首席技术官米拉-穆拉提（Mira Murati）。OpenAI 也一直在兼顾其他项目，如 "o1 "和 "Sora"，同时还在努力解决如何推进 GPT-5 的问题。

首席执行官萨姆-阿尔特曼（Sam Altman）已经确认，GPT-5 不会在 2024 年发布，这对他们雄心勃勃的人工智能计划来说是一个重大挫折。