此外，研究人员还探讨了如何提高大型语言模型的鲁棒性和可靠性，尤其是OLMES模型。他们发现，采用指数移动平均（EMA）技术对多个训练检查点的模型权重进行平均，显著提升了模型性能，相比仅使用最后一个检查点，能够有效防止过拟合并稳定训练。研究还考察了训练数据变化对模型的敏感性，结果表明，结合不同的随机种子和打乱的数据顺序，能够有效提升模型的鲁棒性。