neng8科技快讯网AI人工智能前沿资讯_汽车数码相机评测_手机电脑硬件百科

ICML 2025 | 清华、上海AI Lab等提出傅里叶位置编码，多项任务远超RoPE

长文本能力对语言模型（LM，Language Model）尤为重要，试想，如果 LM 可以处理无限长度的输入文本，我们可以预先把所有参考资料都喂给 LM，或许 LM 在应对人类的提问时就会变得无所不能。

但是，LM 通常只在较短窗长下进行训练，可能产生过拟合，只学习到指定范围内的位置关系，但是无法理解没学习过的位置关系。为了缓解这个问题，当下最流行的便是引入具有周期性的旋转位置编码（Rotary Position Embedding，RoPE）。由于周期性编码每间隔一定距离就会出现数值重复，所以 LM 可以使用在少数几个周期内学习到的经验泛化到更多的周期当中。

傅利叶创始人兼CEO顾捷：人形机器人没到价格战阶段，2025年行业产量将10倍增长

AI大模型的加速发展，催化了国产人形机器人陆续走出实验室，让量产成为人形机器人新的关键词。

今年以来，多家国产人形机器人公司发布首款人形机器人产品，他们之中，最年轻的公司还不到两岁。在傅利叶创始人兼CEO顾捷看来，这背后除了大模型的应用之外，还离不开国内高度发达的汽车、消费电子工业体系，让人形机器人的本体得以量产。