neng8科技快讯网AI人工智能前沿资讯_汽车数码相机评测_手机电脑硬件百科

谷歌Transformer过时了？清华姚班校友等三连击，爆改注意力！

谷歌又有新的注意力了！

他们提出的新架构参数减少40%，训练速度较RNN提升5-8倍，在某些任务上性能甚至Transformer好7.2%！

在大语言模型（LLMs）中，他们引入了新的注意力偏向策略，并重新构想了「遗忘」这一过程，用「保留」来取而代之。

近日，据外媒最新报道，谷歌正计划向人工智能(AI)领域的初创公司Anthropic进行新一轮投资，投资金额预计超过10亿美元。此举将使谷歌成为Anthropic的重要股东，并加强双方在AI基础模型领域的合作与竞争。 Anthropic作为OpenAI的主要竞争对手，在AI技术研发方面一直保持着强劲势头。此前，有报道称Anthropic即将完成一轮由Lightspeed Venture Partners领投的20亿美元融资，公司估值也因此攀升至约600亿美元。而此次谷歌的投资将与Lightspeed的融资轮次分开进行，进一步