实验结果表明，使用预测的最优词表大小的模型在多个任务上一致地优于使用常规词表大小的模型。 5.2 训练数据量对最优词表大小的影响 第 6 章 结论 ...

为了验证我们的方法 3 能够处理这些实际场景中由于训练数据量变化对最优词表大小的影响，我们将词表大小为 的模型与方法 3 预测的最优词表大小 的模型进行了比较。 如表所示，我们的预测可以根据不同的训练数据量，有效调整词表大小，实现了更好的模型。

在这一节中，本文报告了基于三种方法预测的最优词表参数和大小，遵从以前的关于 scaling laws 中数据量和模型参数的算力分配有关工作 [1]，训练数据的量与非词表参数等比例地随 FLOPs 预算缩放。… ...

当前大多数 LLMs 的词表参数由于词表大小小于预测的最优值而处于次优状态。 第 2 章 预备知识 2.1 扩展法则 扩展法则 (scaling laws) 考虑了一个计算预算 ...

目前的DeepSeek V2似乎并没有扩中文词表，这样中文推理的效率还未达到最高。

Foldseek默认的结构词表大小只有20，如果有更加精准的结构编码模型，扩大结构表征的词表大小，是不是能进一步提升模型利用结构的能力？

扩充百川中文词表，该词表中文识字率较高，用于提高简繁体汉字的识字率；根据 结巴分词 词频前20000的词表扩充中文词，提高专名切分效果 ...

本文初步探讨了不同类型的词表对语言模型训练所产生的影响，研究者使用了 12 个小型的语言模型及 4 个中型的语言模型作为实验对象，并得出了直观简洁的结论。这些结论可以帮助你选择最合适的词表来训练语言模型。

Foldseek默认的结构词表大小只有20，如果有更加精准的结构编码模型，扩大结构表征的词表大小，是不是能进一步提升模型利用结构的能力？ 由于计算能力的限制，SaProt只在650M上完成了训练。 如果能够继续扩大模型规模，是否可以进一步地提升模型表现？

① 反对使用顺序版词表，也就是按字母顺序从A排到Z的词表。 这种词表只适合用来快速查单词，不适合用来记忆。