百度开源文心5.5 Flash Base基座模型

11月5日，百度宣布正式开源基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。该模型采用MoE架构，总参数量为2800亿，每个Token激活140亿参数。

在预训练阶段，文心5.5 Flash Base使用了33.5万亿Token，预训练上下文长度最高支持128K。在微调与推理阶段，模型支持最长100万Token的上下文。

在多基准测试中，文心5.5 Flash Base取得同尺寸模型SOTA，表现超过DeepSeek-V4-Flash-Base等模型。技术层面，该模型提出Latent-Gated Sparse Attention注意力机制，通过低秩门控注意力使门控投影权重参数减少75%。同时，模型采用Multi-Router Latent MoE专家路由。

此外，文心5.5 Flash Base引入ECHO训练目标，复用主干最后一层，仅采用单步ECHO预训练。百度还推出了注意力算子FlashMask-4。

内容来源于网络，如有侵犯您的权益，请联系邮箱 kefu@qiyes.com，我们将第一时间核实处理。