UltraMem 是字节跳动团队提出的全新超稀疏模型架构，解决传统 MoE 架构在推理时的高额访存问题。架构通过优化内存访问和计算效率，显著降低推理成本，推理速度较 MoE 提升了2-6倍，成本最高可降低83%。UltraMem 的核心技术包括：多层结构改进，将大型内存层拆分为多个小内存层，分布在 Transformer 层中，增加 skip-layer 操作，实现并行计算；优化 value 检索方式，采用 Tucker 分解查询键检索（TDQKR），提高检索精度；以及隐式扩展稀疏参数（IVE），通过虚拟内存和物理内存的概念，减少显存和部署成本。实验表明，UltraMem 在不同规模的激活参数下均展现出显著的性能优势，随着稀疏参数增加，扩展能力优于 MoE。