资讯

电子工程专辑4月

蚂蚁集团开源Ling团队模型，国产芯片训练成本降低20%

为此，我们提出了两种不同规模的MoE大语言模型（LLM）——Ling-Lite和Ling-Plus（中文名“百灵”，拼音Bailing）。 Ling-Lite包含168亿参数（激活参数27.5亿），而Ling-Plus拥有2900亿参数（激活参数288亿）。 两个模型均表现出与行业领先基准相媲美的性能。