OpenAI 对 NVIDIA 推理加速器的有效性持怀疑态度，并积极寻找替代方案

人工智能技术世界的动态
要点：主要玩家
OpenAI 和 Nvidia 被视为人工智能市场的领导者，但它们正在寻找新的合作伙伴。即将达成一笔交易，预计双方将签署价值 1 亿美元的协议。

Nvidia 加速器的问题
目前 Nvidia 的芯片在推理（使用已训练模型）时并不总能提供所需性能。OpenAI 正在寻求替代方案。

新解决方案的研发
1. OpenAI → Cerebras + Groq

- 公司计划将 10% 的加速器更换为第三方供应商的芯片，这些芯片更适合推理。
- 与 Cerebras 已经达成合作：OpenAI 将从他们那里采购“国王级加速器”，在处理大型语言模型方面表现出色。

2. Groq 和 Nvidia

- 去年 Nvidia 以 2000 万美元收购了 Groq，并提出更有利的交易结构。
- 收购后，Groq 的部分自治权被削弱：大多数加速器开发者已转入 Nvidia 员工队伍，其余公司现在只能销售面向云系统的软件。

3. AMD 及其他方案

- OpenAI 仍高度依赖 Nvidia 和 AMD 的加速器，它们使用外部 HBM 内存。
- 对于推理而言，具有更大集成内存容量的芯片更为合适——这正是 Groq、Cerebras 和 Google 所提供的。

为何重要
- 推理效率对大型语言模型（ChatGPT、Codex）的运行至关重要。
- Codex 的问题：在开发 AI 代理 Codex 时，OpenAI 遇到了 Nvidia 加速器低效的问题，这凸显了更换硬件平台的必要性。
- 未来替代方案：OpenAI 计划使用 Cerebras 的解决方案，并可能采用其他芯片，以提升其面向开发者工具的性能。

结论
OpenAI 正在积极寻找新的技术合作伙伴，以减少对 Nvidia 的完全依赖。同时，公司正在制定投资初创企业（Cerebras、Groq）的战略，并考虑与 Nvidia 进行大型交易以及潜在的高达 1 亿美元的投入。这将有助于改善推理性能并加速 AI 产品的发展。