
LLaDA – 人大高瓴AI联合蚂蚁推出的扩散大语言模型
LLaDA(Large Language Diffusion with mAsking)是中国人民大学高瓴AI学院李崇轩、文继荣教授团队和蚂蚁集团共同推出的新型大型语言模型,基于扩散模型框架而非传统的自回归模型(ARM)。LLaDA基于正向掩蔽过程和反向恢复过程建模文本分布,用Transformer作为掩蔽预测器,优化似然下界实现生成任务。
25
0
2025-08-29