neng8科技快讯网AI人工智能前沿资讯_汽车数码相机评测_手机电脑硬件百科

逐个token太慢！大模型原生并行出token，CMU、英伟达新作Multiverse

原生并行生成不仅仅是加速，它是我们对 LLM 推理思考方式的根本转变。

众所周知，大语言模型的参数量越来越大，算力需求也越来越可怕，然而因为「祖宗之法」，推理只能一个一个 token 按顺序来。

对此，卡耐基梅隆大学（CMU）Infini-Al-Lab 的研究人员拿出了「多元宇宙」Multiverse，这是一个全新的生成式建模框架，支持原生的并行生成。