ICML 2024 - 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准
ICML 2024 | 大语言模型预训练新前沿：「最佳适配打包」重塑文档处理标准
在大型语言模型的训练过程中，数据的处理方式至关重要。
传统的方法通常通过将大量文档拼接并切分成等同于模型的上下文长度的训练序列。这虽然提高了训练效率，但也常导致文档的不必要截断，损害数据完整性，导致关键的上下文信息丢失，进而影响模型学习到的内容的逻辑连贯性和事实一致性，并使模型更容易产生幻觉。
AWS AI Labs 的研究人员针对这一常见的拼接-分块文本处理方式进行了深入研究， 发现其严重影响了模型理解上下文连贯性和事实一致性的能力。这不仅影响了模型在下游任务的表现，还增加了产生幻觉的风险。
14
0
2025-09-02
