龙猫大模型

刚刚，美团开源了他们的龙猫大模型LongCat-Flash。

一个拥有5600亿参数的混合专家（MoE）模型。 它不仅在性能上追求卓越，更通过一系列架构和训练上的创新，实现了惊人的计算效率和高级的Agent能力。 LongCat-Flash在保证强大能力的同时，将计算资源用在“刀刃”上。 它并非在处理每个任务时都激活全部5600亿参数，而是通过精巧的设计，实现了动态的资源分配。   LongCat-Flash最具创新性的设计之一是 “零计算”专家机制 (Zero-computation Experts) 模型可以智能地判断输入内容中不同部分的重要性，并将计算量较小的任务（例如常见的词语、标点符号）分配给一个特殊的“零计算”专家。该专家不进行实际的复杂运算，直接返回输入，从而极大地节省了算力。 得益于此，模型在处理每个词元（token）时，仅需动态激活186亿至313亿的参数（平均约270亿），实现了性能与效率的完美平衡。   在大规模MoE模型中，不同“专家”模块之间的通信延迟往往是性能瓶颈。 为此龙猫大模型引入了快捷连接混合专家模型 (Shortcut-connected MoE, ScMoE) ScMoE架构通过引入一个快捷连接，有效地扩大了计算和通信的重叠窗口，显著提升了训练和推理的吞吐量，让模型的响应速度更快。   它不仅在多个方面与业界顶尖的开源模型（如 DeepSeek V3.1, Qwen3）旗鼓相当，甚至在某些特定能力上实现了超越。