Groq

说真的，第一次用它跑 Llama 3.3 的时候，速度确实惊到我了。那个输出不是一句一句往外蹦，几乎是一整段直接摔在屏幕上的感觉。 技术上他家搞了个 LPU（语言处理单元），和传统的 GPU 不是一回事。GPU 是通用型选手，LPU 是专门为 AI 推理做的定制芯片。单看数字，Llama 3.1 8B 能做到 1,000 tokens/s，Llama 4 Maverick 大概 560 tokens/s。实际体验里有用户测过，Agent 流程里 10 次 LLM 调用，如果每秒 500 tokens，总耗时 5 秒就能跑完；如果换成其他慢一些的服务，可能要 25 秒。这个差距在实时聊天或者语音 Agent 里，体感就是直接对比。 模型方面它只跑开源的。Llama 整个系列（3.1 8B、3.3 70B、4 Scout/Maverick）都有，Gemma、Qwen 这些也能用。语音方面有 Whisper V3 做转录，还接入了 Orpheus 做 TTS。不过要注意，如果你要用 GPT-5、Claude 或者 Gemini，Groq 是跑不了的，它不是聚合平台，只提供 LPU 加速过的开源模型。但反过来，如果你依赖的那些服务时常过载导致没法用，Groq 反而是最早跟进的救援队。我知道有人通过代理把 Kimi K2 接上 Groq 来跑，用起来非常流畅。 定价可以说是杀手锏。最便宜的 Llama 3.1 8B，输入 100 万 token 只要 5 分钱，输出 8 分钱。Llama 3.3 70B 贵一点，输入 59 分，输出 79 分。贵的大概也就 GPT-5.4 的 30 美元每百万 token 的一个零头。而且它支持 Batch API（批量请求打五折）和 Prompt Caching，两个叠起来能打到原价的两五折左右。还有个免费额度，不用绑卡就能用，只不过会被限流——具体限多少看模型，有的型号只有 30 RPM。 体验方面有两点让我挺满意的。第一是调用方式，它完全兼容 OpenAI 的 SDK 格式，只需要改 base URL 和 API key 就行，零迁移成本。第二是 GroqCloud 的调试界面，可以直接在 Playground 里测 prompt，不用来回翻文档，集成了完整的 Python/TypeScript SDK。 缺点也不少。首先是模型选择面太窄，全是开源的，没有闭源旗舰，追求顶级智力水准的时候确实不如直接调 GPT 或 Claude。其次输出质量有用户反馈过，在某些写作任务里明显不如其他服务，虽然跑 Llama 的时候差距可以忽略不计，但如果你的业务对生成质量要求很高，这一点要留心。然后限流问题是真的烦。免费额度用着用着就撞墙，尤其是跑高并发的时候，429 错误出现频率不低。再一个它家是多模态能力还比较有限，虽然推出了 Qwen3-VL 视觉语言模型，但目前只面向企业客户开放。我自己用的时候对图片理解要求不高，还没感觉，但如果你的项目需要视觉识别，目前 Groq 不是个好选择。稳定性方面也有待考验。虽然 GroqCloud 跑起来响应确实很快，但这种快是以专用架构做代价的，大模型被分散在几百颗 LPU 芯片上跑，稳定性依赖协同调度，高峰时段偶尔会有抖动。另外，Groq 公司最近正在以 650 亿美元的估值寻求新一轮融资，背后有英伟达签下的 170 亿授权协议加持，虽然这说明资本看好它们的技术路线，但一个还在烧钱扩张的平台，长远的价格和 SLA 承诺还需要持续观望。 总结一下。如果你做实时 AI 应用，对速度敏感，原型阶段或者个人项目，对模型生态要求不高，对延迟和吞吐有极致的要求，Groq 绝对值得认真考虑。那个免费额度直接够你做很多基础尝试，Llama 系列的能力在大多数场景也够用。如果是生产环境跑对质量要求高的严肃业务，或者需要很多闭源旗舰模型、多模态能力的，Groq 确实不太够。不过它家最近已经开始面向企业陆续推出 Qwen3-VL 这类视觉模型，未来值得继续关注。