英伟达Groq 3 LPX如何加速AI推理8月24日，N VIDI A 宣布 Groq 3 LPX 进入全面生产，Nebius 成为首个采用该系统的 AI 云平台。

Gemma 4 31B 在 10 万输入 token 下，测得中位3,431 输出 token/秒。

⚙️ 为什么是低延迟推理

- 256 颗 LPU
- 128 GB SRAM
- 40 PB/s SRAM 带宽
- 640