九天众擎语言大模型2.0于2024年7月发布，创新提出基于稀疏专家混合语言架构，模型参数及训练数据均有飞跃性提升，预训练阶段采用了5万亿Token数据，此外，还引入了10%的行业知识数据。