硅基流动分享央国企大模型推理降本实践

2026年秋季，第19届央国企CIO及数科公司高管峰会召开。硅基流动在峰会上围绕央国企大模型规模化落地，分享了推理基础设施与ROI方面的实践。公司代表唐安波作了主题分享，题目为从算力到Token生产力。

硅基流动提出Token生产力公式：Token 生产力 = 产能 × 利用率 × 交付质量。其中，产能取决于芯片硬件能力与模型优化水平；利用率通过流量治理和算力智能调度来提升；交付质量则涵盖推理精度、工具调用成功率以及SLA稳定性三个方面。

围绕这一公式，硅基流动设计了四层解耦架构，覆盖从模型部署、加速到服务调度的全生命周期。目前，公司已适配近百款模型，企业可以一键拉起模型。在芯片适配方面，硅基流动与华为云联合推出基于国产芯片的DeepSeek R1/V3 Token服务，在DeepSeek-R1上实现单卡Decode吞吐量超过1,920 tokens/s。

此外，硅基流动全球首发基于沐曦曦云C550集群的Kimi-K2商业化服务部署。在摩尔线程MTT S5000上部署DeepSeek-V3，单卡Prefill吞吐超过4000 tokens/s，Decode吞吐超过1000 tokens/s。

在客户实践方面，硅基流动服务了一家央国企集团。该集团原有约50台机器，模型实例开了四五十个。硅基流动将重复模型收敛到约十个，改为Serverless模型服务统一调用API。唐安波表示，要“把算力统一纳管起来；通过自研推理引擎，让模型跑得更快、更好”，并强调“模型统一，算力统一”。

经过上述调整，同样约50台机器腾出资源，用于部署GLM-5.2、DeepSeek-V4-Flash-0731等大模型。唐安波还指出，“模型智力的上限，也决定了应用创新的上限”。

内容来源于网络，如有侵犯您的权益，请联系邮箱 kefu@qiyes.com，我们将第一时间核实处理。