neng8科技快讯网AI人工智能前沿资讯_汽车数码相机评测_手机电脑硬件百科

摆脱Transformer依赖？这家AI初创公司推出国内首个非Attention机制大模型

以大规模著称的Transformer，在实际应用中的高算力和高成本，让不少中小型企业望而却步。

文 | 苏建勋

Transformer是当下爆火的GPT、LLAMA、PaLM等大模型普遍采用的基础架构，凭借强大的自然语言理解能力，Transformer在问世的短短几年内便取代了传统的RNN网络结构，成为自然语言处理领域的主流模型架构。