Meta's Llama 4 在超过 100,000 个 Nvidia H100 GPU 上运行

Meta 公司最近发布了关于其即将推出的大型语言模型 Llama 4 的最新消息。在最近的财报电话会议上，首席执行官马克-扎克伯格（Mark Zuckerberg）透露，他们正在一个由超过100,000 个 Nvidia H100 GPU 组成的集群上训练 Llama 4 模型。-这比他所见过的其他公司所做的都要大。

这种新的大型语言模型预计将于 2025 年初推出，并将首先推出其较小的版本。虽然关于其具体能力的细节还不多，但扎克伯格暗示，Llama 4 将拥有新的功能、更好的推理能力和更快的整体速度。

Meta 推出 Llama 4 的做法保持了免费下载模型的模式，这与 OpenAI 和谷歌不同，后者只通过 API 限制访问。这种模式尤其受到希望更自由地使用人工智能的初创公司和研究人员的欢迎。

如此大规模的计算设置，对能源的需求也同样巨大，估计达到 150 兆瓦，是美国国家实验室最大超级计算机能源需求的五倍。Meta 的预算也反映了这一规模，预计 2024 年基础设施支出将达到 400 亿美元，比 2023 年猛增 42%。

尽管成本高昂，Meta 的财务状况依然稳健，销售额增长了 22%，这主要归功于广告收入，它帮助平衡了 9% 的运营成本增长。