
XGrammar – 陈天奇团队推出的LLM结构化生成引擎
XGrammar是由陈天奇团队推出的开源软件库,能为大型语言模型(LLM)提供高效、灵活且可移植的结构化数据生成能力。基于上下文无关语法(CFG)定义结构,支持递归组合以表示复杂结构,适合生成JSON、SQL等格式数据。XGrammar用字节级下推自动机优化解释CFG,减少每token延迟,实现百倍加速,几乎无额外开销。
19
0
2025-08-31