Apple首个公开的 LLM 名为 Ferret，由 8 个 Nivida A100 GPU 驱动

Apple 悄然发布了首个多模态大语言模型（LLM）人工智能开源项目，并将其命名为 "雪貂"（Ferret）。 人工智能研究员甘哲 在 10 月份通过Apple https://twitter.com/zhegan4/status/1712345137983201716X/Twitter上介绍的，但直到现在才引起人们的注意。Ferret 由 Gan 和他在Apple 的同事以及哥伦比亚大学的研究人员共同开发。根据 Gan 的说法，Ferret 比 OpenAI 的 GPT-4 更能精确地理解和描述小图像区域，同时产生的幻觉（错误）也更少。

有趣的是，Apple的Github 仓库显示，该公司使用 8 个配备 80GB HBM2e 内存的高端 Nvidia A100 GPU 训练 Ferret。A100 是市场上最炙手可热的 GPU。 去年年底，OpenAI 的 ChatGPT推出后，人工智能生成技术迅猛发展。它在 Tensor Float 32 精度下能够达到 312 TeraFLOPS，Apple ，用于训练 Ferret 的 80GB 模型可提供高达 2,039 GB/s 的带宽。不过，该公司并未透露用于训练新模型的主题。

虽然Apple 与 Ferret 的生成式 AI 之旅仍处于相对早期阶段，但其目标是让 Ferret 这样的模型在智能手机上有效工作。据认为，OpenAI 的 GPT4 有超过 1 万亿个参数，但手机目前只能处理约 100 亿个参数的 LLM。为此、 Apple 研究人员最近也取得了突破性进展展示了如何利用板载闪存来补充智能手机内存，从而在设备上运行更大的模型。