neng8科技快讯网AI人工智能前沿资讯_汽车数码相机评测_手机电脑硬件百科

Memory Layers是Meta推出的用可训练的键值查找机制为模型增加额外参数的方法，它不会增加浮点运算次数（FLOPs）。基于稀疏激活补充计算密集型的前馈层，提供专门的容量廉价地存储和检索信息。Memory Layers在大规模语言模型中显示出显著的实用性，尤其是在处理事实性任务时，能显著提高模型的性能。