BIS管制落地次日,智源清昴发布国产Token工厂方案
11月16日美国BIS出口管制延伸至远程算力访问,次日智源与清昴智能发布基于众智FlagOS的国产Token工厂端到端推理优化方案并上线商用,主攻昇腾910C与GLM-5.3。
11月16日美国BIS出口管制延伸至远程算力访问,次日智源与清昴智能发布基于众智FlagOS的国产Token工厂端到端推理优化方案并上线商用,主攻昇腾910C与GLM-5.3。
11月16日,美国商务部工业与安全局(BIS)的出口管制政策正式生效,受限范围进一步覆盖到远程算力访问。仅隔一天,11月17日,清昴AI伙伴大会暨Token工厂年会上,北京智源人工智能研究院与清昴智能联合推出一套端到端推理优化方案,该方案依托众智FlagOS,并已在国产芯片上线的商用Token工厂中投入使用。
北京智源人工智能研究院副院长林咏华谈到,模型迭代与硬件基建之间存在周期上的剪刀差。她以电价作比,说明算力成本与供应链安全的关系,并表示:“大模型在上半场已经证明了我们可以打造出世界级的模型。但下半场更重要的是,如何把这些模型的能力变成高质量、低成本、稳定供给的、有价值的 Token 能力。”她还指出:“无论在 CPU 时代还是 AI 芯片时代,都不可能由一款芯片包揽天下。”
清昴智能方面,关超宇提出,需要一套高效的翻译器,把国产算力转化为标准化的产能。这一思路正是联合方案要解决的问题:让不同国产芯片上的模型推理输出稳定、可计量的Token供给。
众智FlagOS生态目前已汇聚21家芯片企业、86家生态伙伴,覆盖35款AI芯片,包含FlagGems、FlagScale、FlagTree、FlagCX等组件。其9大算子库中沉淀了超过1454个开源Triton算子,其中近八百个算子已在至少5款国产芯片上达到原生80%以上的性能。
此次优化方案主要面向华为昇腾910C集群与智谱GLM-5.3系列模型。在Prefill阶段,81920输入长度、16并发波次下,吞吐提升3.41%;256K超长输入下,TTFT p50下降4.94%。Decode阶段,910C微基准耗时由18.03微秒压缩至2.04微秒。
端到端商业场景实测中,Decode阶段ITL下降超过10%,TPOT降低8%以上。
内容来源于网络,如有侵犯您的权益,请联系邮箱 kefu@qiyes.com,我们将第一时间核实处理。
来源:雷锋网
平台公告
拖拽式可视化编辑、模板自由更换、支持自定义域名绑定。
11月18日,千问办公电商版推出“品牌知识库”并面向所有电商商家开放,包含品牌档案、品牌参考集和品牌记忆三大能力,可统一生成内容调性。
11月17日,荣昌区委书记万容在新闻发布会上表示,“十五五”时期荣昌将重点干好“四件事”,依托平台培育畜牧新质生产力,以科技创新引领现代畜牧业迭代升级,打造具有国际影响力的畜牧科技策源地。
智源研究院联合逆矩阵、北大、清华、北航推出PhysCapBench,覆盖三大领域共1500段视频,从七维度评测Caption物理信息,实验显示物理描述可改善生成模型表现。
腾讯优图实验室研究总监孙星已离职。他本科毕业于南京理工大学,博士毕业于香港大学工程学院,2016年加入腾讯优图实验室,早期从事医疗影像AI研究,后转向多模态大模型、Agent与RAG等方向。