neng8科技快讯网AI人工智能前沿资讯_汽车数码相机评测_手机电脑硬件百科

GPU推理时代终结？世界最大芯片加持推理狂飙20倍，英伟达H100也被干趴！

LLM若想高速推理，现如今，连GPU都无法满足了？

曾造出世界最大芯片公司Cerebras，刚刚发布了全球最快的AI推理架构——Cerebras Inference。

运行Llama3.1 8B时，它能以1800 token/s的速率吐出文字。

不论是总结文档，还是代码生成等任务，响应几乎一闪而过，快到让你不敢相信自己的眼睛。

OpenAI o1强推理能提升安全性？长对话诱导干翻o1

本文作者来自于上海交大，上海 AI Lab 和北航。第一作者是上海交大博士生任麒冰，导师为马利庄教授，其他作者包括北航研究生李昊，上海 AI Lab 研究员刘东瑞，上海 AI Lab 青年科学家邵婧等。