neng8科技快讯网AI人工智能前沿资讯_汽车数码相机评测_手机电脑硬件百科

开源1.6B小模型「小狐狸」，表现超同类模型Qwen和Gemma

自从 Chatgpt 诞生以来，LLM（大语言模型）的参数量似乎就成为了各个公司的竞赛指标。GPT-1 参数量为 1.17 亿（1.17M），而它的第四代 GPT-4 参数量已经刷新到了 1.8 万亿（1800B）。

像其他 LLM 模型例如 Bloom(1760 亿，176B)和 Chinchilla（700 亿，70B）的参数量也在不断飙升。参数的数量直接影响了模型的性能和能力，更多的参数意味着模型能够处理更复杂的语言模式，理解更丰富的上下文信息，并在多种任务上表现出更高的智能水平。