neng8科技快讯网AI人工智能前沿资讯_汽车数码相机评测_手机电脑硬件百科

预测token速度翻番！Transformer新解码算法火了，来自小羊驼团队｜代码已开源

小羊驼团队的新研究火了。

他们开发了一种新的解码算法，可以让模型预测100个token数的速度提高1.5-2.3倍，进而加速LLM推理。