LongCat-2.0核心技术解析揭秘国产AI芯片上的万亿参数训练奇迹LongCat-2.0是一款具有1.6万亿总参数的大规模MoE语言模型每次token激活约480亿参数相比之前的LongCat模型有了实质性提升并伴随着多项架构改进。其完整训练和大规模部署完全基于AI ASIC超级集群构建预训练跨越超过35万亿tokens展示了在国产硬件平台上进行前沿规模训练的能力。国产AI芯片上的万亿参数训练突破LongCat-2.0在超过50K国产加速器上进行预训练由于模型和集群规模带来了显著的系统级挑战。团队通过系统性优化解决了这些挑战实现了超过35%的训练吞吐量提升同时增强了可靠性。确定性与可靠性保障系统通过强制确定性确保训练可重现性通过优化基础算子增强数值可靠性并通过自动化监控实现无缝故障恢复全面保障稳定的生产运行。规模化训练技术系统通过将6D并行性与超级节点架构相结合应用多维内存优化并率先大规模部署定制的Muon优化器有效克服了硬件内存瓶颈提高了大规模训练效率。长上下文训练方案系统通过实施优化的内部算子通过基于all-gather的CP并行方案将上下文长度扩展到1M并精心设计计算-通信重叠以最小化同步开销解决了大规模长上下文训练挑战。创新架构LongCat稀疏注意力机制为解决长序列任务中的性能瓶颈LongCat-2.0引入了LongCat稀疏注意力LSA并在数千亿tokens的1M上下文数据上进行训练。LSA具有三个正交的、可插拔的改进流式感知索引SI重塑令牌选择预算将硬件对齐的连续访问与动态随机选择相结合。这将碎片化的内存访问转变为可预测的顺序读取实现合并的HBM访问和高有效带宽。跨层索引CLI利用相邻层注意力显著性的经验稳定性来分摊索引成本在推理时单次索引传递服务于多个连续层这通过训练期间的跨层蒸馏成为可能。分层索引HI采用从粗到细的两阶段评分方案——首先通过块级近似评分进行粗召回然后在召回的候选中进行细粒度令牌选择——缩小索引器每个查询必须处理的候选空间。在LongCat-2.0中HI以无训练方式应用并针对选定的超长上下文任务启用。N-gram嵌入提升参数利用效率LongCat-2.0从LongCat-Flash-Lite继承了N-gram嵌入通过在与MoE正交的稀疏维度上扩展参数提高了参数利用效率。模型中包含135B N-gram嵌入参数遵循以下扩展原则MoE的稀疏性已经越过了最佳点N-gram嵌入的比例被限制在最佳范围内这两个原则保证了N-gram嵌入相比同等大小的纯MoE模型具有稳健的优势。对于推理将参数从专家转移到N-gram嵌入减少了大批量解码内存I/O加速了生成过程。国产超级集群上的推理优化在1M令牌上下文上服务1.6T参数模型是一项重大挑战特别是在HBM容量、HBM I/O带宽和节点间互连带宽的严格限制下。团队通过模型、设备和部署级别的一系列优化来应对这一挑战。模型特定优化为优化注意力和ScMoE系统通过索引器流水线和KV缓存并行性减轻KV缓存开销和内存压力同时利用显式的每核控制实现密集和MoE分支的完全并行执行。面向加速器的优化系统通过采用超级内核最小化执行开销利用L2缓存进行权重预取以隐藏I/O延迟并利用高速互连进行高效的横向扩展和纵向扩展分布式处理从而优化整体性能。部署与服务优化LongCat-2.0通过预填充-解码分离架构优化服务性能该架构利用定制的并行方案——CPP和SP用于预填充KVP和大型EP用于解码——以及异步负载平衡来有效克服特定阶段的瓶颈。多教师学习专家组设计团队在训练后 pipeline 中引入了专门的专家组设计分为三类代理专家、推理专家和交互专家。代理专家专注于提高复杂现实场景中的自主任务执行能力推理专家扩展模型的逻辑推理深度并实现基于问题难度的自适应计算交互专家专注于人机对齐和用户体验优化最后采用MOPD架构整合这三个专家组的最强能力。这种融合使最终模型能够结合强大的代理执行能力、深度推理和高质量交互使其能够准确理解复杂的用户需求并可靠地完成具有挑战性的现实世界任务。快速开始要开始使用LongCat-2.0请先克隆仓库git clone https://gitcode.com/meituan-longcat/LongCat-2.0有关详细的部署和使用说明请参阅项目文档。[!NOTE] ️模型权重即将发布— 敬请期待创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考