neng8科技快讯网AI人工智能前沿资讯_汽车数码相机评测_手机电脑硬件百科

如何将 LLM 的上下文扩展至百万级？

在2023年初，即便是当时最先进的GPT-3.5，其上下文长度也仅限于2k。然而，时至今日，1M的上下文长度已经成为衡量模型技术先进性的重要标志之一。

如果把 LLM 比作新时代的操作系统，上下文窗口便是它的「内存」。一个现代的操作系统需要足够大的内存才能完成各种各样的复杂任务。与之类似，一个优秀的 LLM 也需要足够长的上下文长度来完成各种复杂的任务。