neng8科技快讯网AI人工智能前沿资讯_汽车数码相机评测_手机电脑硬件百科

8B尺寸达到GPT-4级性能！北大等提出医疗专家模型训练方法

大规模语言模型（LLMs）的持续预训练是提升其在特定领域性能的重要方法。通过在新领域的语料库上预训练大语言模型，这一过程能够显著增加模型的领域知识储备和任务能力。

然而，尽管已有许多研究探讨了从头预训练的LLMs的学习机制和性质，关于持续预训练过程中LLMs行为的研究却相对较少。