DeepInfra

用了一段时间的 DeepInfra，从 Llama、DeepSeek 一路用到 Kimi、GLM，最深的体感就四个字——极致省钱。 这平台是真的便宜到离谱。 做 Llama 3.1 70B 的价格对比时，DeepInfra 以 0.24 美元/百万 Token 拿下最便宜的位置，比跑在 DePIN 网络上的 Hyperbolic 还便宜 40%，更别提那些标榜“企业级可靠”的 Groq、Fireworks 或 Together AI（三者价格都落在 0.69-0.88 美元区间），价格差距拉开将近三倍。所有可用模型的文本输入价格从每百万 token 0.06 美元起步，跑常规的中小项目完全不心疼。用过一个月的 DeepSeek R1 Distill Llama 70B 处理长程 Agent 任务，月底看账单意外地省下了不少预算。有时候模型性能好到让你忍不住多跑几趟——万一哪天它就调价了呢，这类平台常有浮动惊喜。 模型库方面，虽然不是最多的，但核心款覆盖很全。 主流开源阵容包括 Llama、Qwen、Mistral 等都在线，还有 Kimi K2、GLM-5.1 这些长上下文优化过的 MoE 模型。新版 DeepSeek V4 Pro 也第一时间上线。如果常在 Hugging Face 上找模型，官方现在直接是 HF 支持的 Inference Provider，意味着在模型页面点几下就能拿到一键上手的 Python/JavaScript 代码，选择走 Hugging Face 路由器一样计费到 DeepInfra 账号。这点在团队协作搞模型测试时意外提高了很多效率。看官方文档，多模态视觉、文本生成、嵌入也都在支持的行列。 速度方面，它没走 Groq、Fireworks 那种“极致快”路线，但整体表现足够舒服。 有人测试过 Kimi K2 0905，DeepInfra 的 TTFT（首字延迟）约 0.33 秒，仅落后 Groq（0.23 秒）约 100 毫秒，清晰领先于 Together（0.39 秒）、Parasail（0.46 秒）乃至 Fireworks（0.86 秒）。跑 Llama 3.1 70B 时，DeepInfra Turbo 的 TTFT 为 0.31 秒，几乎与 Amazon 延迟优化版持平，比 AWS 标准版快一半。有一次在做多轮工具调用时，首字几乎瞬间反馈，体感非常丝滑，零卡顿延迟的体验确能改善人机协作的节奏。跨平台对比不同模型时，其在某些模型上吞吐量与 Together AI、Novita 基本处于同一梯队。 功能支持相当现代。 完善的函数调用能力已经在全线 API 落地；高度兼容 OpenAI SDK，项目原有调用代码几乎无需变动，改改 base URL 就能直接切过去。与 Hugging Face 的深度集成也意味着可以直接在 Python SDK 里调用 DeepInfra 服务的各种模型，无需额外封装，而且用量直接绑定账号计费，减少了对内部测试环境 API 更换的维护成本。 不过坑也有几个要提。 网络方面，海外服务在中国大陆访问不方便，实测直接连接延时很高，有时请求会失败，需要使用一些转发或代理方案来稳定访问。稳定性上，作为以极致性价比著称的平台，偶尔在高峰时段会遇到响应抖动；虽然体感没到严重故障的地步，但如果跑对延迟极度敏感的实时应用，建议观察其状态面板，结合数据备份方案。 总的来说，DeepInfra 是做成本敏感型开发的首选。 个人学习、实验室 MVP、早期产品探索，选它就为了用省钱跑出最好的覆盖质量。生产环境用最好搭配备用节点，规避偶发性网络抖动。但无论怎么看，当你在用 Groq 一类追求极致速度的钱包肉疼时，转身看看 DeepInfra，那份性价比确实会让你心里踏实很多。