Notebookcheck Logo

2024 年国际电脑展 | 技嘉推出价值 3.5 万美元的预制 AMD Ryzen Threadripper 7975X PC,在家就能训练自己的 2360 亿参数人工智能

技嘉推出全新 AI TOP 预置 PC,用于本地 LLM 训练和推理。(来源:技嘉)
技嘉推出全新 AI TOP 预置 PC,用于本地 LLM 训练和推理。(来源:技嘉)
技嘉正在提供新的预制 PC,让从学生到专业人士都能在家中进行自己的人工智能训练和推理。这些预制电脑被称为 AI TOP PC,配备了技嘉精选的组件,可从 80 亿个参数模型扩展到 2,360 亿个参数模型,而且只需一个普通的家用墙壁插座即可运行。
Launch AI Desktop Workstation AMD Ryzen (Zen) Geforce GPU Zen 4

最近,人工智能(AI)的新闻铺天盖地,原始设备制造商几乎在任何事物上都贴上了人工智能的标签,甚至连这种不起眼的导热膏也不例外。.

虽然大多数人工智能模型(如 ChatGPT、DALL-E、Gemini、Llama、Copilot 等)对计算要求极高,因此在很大程度上依赖于云计算,但也可以在边缘或客户端系统上运行人工智能推理。如果要在敏感数据和 IP 上训练人工智能模型,同时又要保持它们在内部运行,这一点就变得尤为重要。

在边缘上训练人工智能模型并进行推理是可能的,但消费级硬件在运行大型模型和每瓦有效处理更多令牌方面存在很大限制。技嘉希望改变这一现状,推出全新 AI TOP 系列,帮助您 "在办公桌上训练自己的人工智能"。

AI TOP 实用程序

技嘉表示,其 AI TOP PC 建立在三个结构之上:AI TOP Utility、AI TOP Hardware 和 AI TOP Tutor。其目标是将系统参数从 80/30 亿个扩展到 70/2360 亿个,同时能够使用普通墙壁插座运行系统。

AI TOP 实用程序可监控各种系统参数,如 CPU、GPU、RAM 和 SSD 的使用情况,同时为人工智能训练任务提供无代码图形用户界面前端。

人工智能顶级硬件

在硬件方面,AI TOP PC 从主板到电源都配备了经过全面测试的标准化硬件。这些组件可根据需要进行升级,并可在典型的家庭或办公室环境中使用。

为此,该公司推出了两款专为人工智能用途定制的主板:

  • TRX50 Aero D(亚马逊售价 559 美元)AI TOP,配备双 10GbE LAN、高达 2 TB DDR5、4 个 PCIe Gen 5 x16 插槽和 4 个 NVMe SSD,可与 AMD Threadripper 7000 系列 Storm Peak HEDT CPU 配合使用。
  • W790 AI TOP 配备 2x Thunderbolt 4、高达 2 TB DDR5、5x PCIe Gen 5 x16 插槽和 6x NVMe SSD,可与 Intel Xeon-W2400 和 W3400 Sapphire Rapids HEDT CPU 配合使用

在 GPU 方面,技嘉 AI TOP PC 可以使用 NvidiaGeForce RTX 4070 Ti SuperAI TOP 16G,四块可组合成总计 64 GB 的 VRAM,用于 AI 训练。您还可以选择新的 AMD Radeon Pro W7900 DSAI TOP 48G 或 W700 AI TOP 32G,并将它们扩展到四块显卡,以获得高达 192 GB 的 VRAM。

技嘉还提供了一款配备 Phison's aiDAPTIVCache 的 AI TOP 100E NVMe SSD,可运行Phison's aiDAPTIV+ 模型。.这款固态硬盘可提供高达 7,200/6,500 MB/s 的连续读写速度和 150 倍的 TBW。

AI TOP PC 配备了 UD1600PM PG5 80+ Platinum PSU,可提供足够的电力运行四个 GPU,其使用寿命是传统 PSU 的两倍。

这些 AI TOP 预制 PC 的起价分别为:80 亿参数 6499 美元、130 亿参数 11999 美元、300 亿参数 16499 美元,以及 700 亿参数 35999 美元,最大模型规模高达 2360 亿。

前两个选项提供 AMD Ryzen Threadripper 7960X CPU(亚马逊售价 1399 美元)和 2x RTX 4070 Ti Super GPU。30B 配置提供 Threadripper 7975X(亚马逊售价 3899 美元)和 4x RTX 4070 Ti 超级图形处理器。最后,70B 巨兽采用 Threadripper 7975X 和 4x Radeon Pro W7900 GPU。

人工智能高级讲师

最后,我们还有 AI TOP Tutor,它通过使用 AI TOP Utility 进行培训,就所有与 AI TOP 相关的事宜提供人工智能桌面辅导、咨询和指导。

资料来源

技嘉新闻稿

Please share our article, every link counts!
Mail Logo
> Notebookcheck中文版(NBC中国) > 新闻 > 新闻档案 > 新闻档案 2024 06 > 技嘉推出价值 3.5 万美元的预制 AMD Ryzen Threadripper 7975X PC,在家就能训练自己的 2360 亿参数人工智能
Vaidyanathan Subramaniam, 2024-06- 3 (Update: 2024-06- 3)