1、在Megatron-LM框架中添加了对几种新内核支持，Megatron-LM框架是Megatron-LM的特殊分支，旨在 AMD GPU上实现高效训练大规模语言模型，新版Megatron-LM增加 ...

包括 Megatron-LM、MetaSeq 和 Colossal-AI 等主流训练系统，默认使用 FP16 / BF16 混合精度或 FP32 全精度来训练大型语言模型。

Megatron-LM是专门训练GPT、BERT、T5等大型语言模型的分布式深度学习训练框架，用于应对在训练数十亿至数千亿个参数的模型时，面临的运算瓶颈与 ...