麦克龙推出了全球首款LPDDR‑SOCAMM2内存,容量为256GB,非常适合人工智能。

麦克龙推出了全球首款LPDDR‑SOCAMM2内存,容量为256GB,非常适合人工智能。

34 hardware

Micron 推出面向数据中心的新型内存

Micron 公司发布了全球首款 256 GB LPDRAM SOCAMM2 内存模块,专为高性能数据中心和人工智能任务而设计。

有什么新特性?
参数 | 传统内存 | LPDRAM SOCAMM2
---|---|---
功耗 | 低三倍 |
模组尺寸 | 紧凑型,由单晶片 32 Gb 组成 |
带宽 | 为 AI 推理提升 |
延迟 | 大幅降低

在八通道处理器和总计 2 TB 内存的环境下,AI 模型启动速度(首个 token 的时间)提高了两倍半以上。

谁需要它?
该模块适用于:

- 部署大型语言模型;
- 所有对内存容量、带宽和延迟要求苛刻的工作负载;
- 需要将部分 KV 缓存从显存卸载到更经济的系统内存而不影响性能的场景。

尺寸与合作
SOCAMM2 是 RDIMM 的紧凑版,功耗更低。该内存的研发与 Nvidia 合作完成,凸显其在 GPU 加速 AI 方面的适用性。

因此,Micron 为数据中心提供了一种高效解决方案,可降低能源和空间成本,同时提升 AI 工作负载性能。

评论 (0)

分享你的想法——请保持礼貌并围绕主题。

暂无评论。留下评论,分享你的观点!

要发表评论,请先登录。

登录后发表评论