英伟达推出Nemotron 3 Super 120B——一款开放式LLM,为AI代理提供五倍速度提升。
新款 Nvidia 模型 – Nemotron 3 Super
Nvidia 宣布推出 Nemotron 3 Super,这是一种开放式的 Mixture‑of‑Experts(MoE)类型 AI 模型。
* 总参数量 120 亿,其中活跃参数 12 亿。
* 专为代理 AI 设计——在多“代理”相互作用并与外部世界交互的系统中使用。
架构
该模型采用 Mamba‑Transformer 的混合方法(结合 Mamba 层和 Transformer 元素)。
Nemotron 3 Super 首次应用 LatentMoE 范式、Multi‑Token Prediction 层以及 NVFP4 预训练协议。根据 Nvidia 表示,这一技术栈提升了精度并加速推理。
性能
* 吞吐量比前一版本 Nemotron Super 快至 5 倍。
* 精度提高至 2 倍。
* 支持 100 万 token 的上下文窗口,使代理能够保存完整的工作流程状态,降低偏离目标的风险。
实际应用
Nemotron 3 Super 非常适合多代理系统中的复杂任务:
| 任务 | 用例示例 |
|---|---|
| 代码生成与调试(无文件拆分) | 自动编写和检查大型程序 |
| 财务分析 | 将数千页报告加载到模型内存中 |
训练
该模型在使用逻辑思维模型创建的合成数据上进行训练。Nvidia 公布了完整方法论:
* 训练前后超过 10 万亿 token;
* 15 个强化学习环境;
* 评估配方。
研究人员可利用 Nvidia NeMo 平台进一步微调或构建自定义版本。
技术细节
* 在 Nvidia Blackwell 架构上支持 NVFP4。
* 与 Nvidia Hopper 上的 FP8 相比,显著降低内存需求并将推理速度提升四倍,同时保持精度。
可用性
模型已上线:
* 通过 build.nvidia.com、Hugging Face、OpenRouter 和 Perplexity;
* 云合作伙伴:Google Cloud Vertex AI、Oracle Cloud Infrastructure、CoreWeave、Together AI、Baseten、Cloudflare、DeepInfra、Fireworks AI、Modal;
* 以 Nvidia NIM 微服务形式提供,可在本地或云端部署。
Nemotron 3 Super 为代理 AI 开辟了新机遇,兼具高精度、可扩展性和灵活的定制能力。
评论 (0)
分享你的想法——请保持礼貌并围绕主题。
登录后发表评论