跟着模子限制的扩大，推理资本和访存恶果已成为收尾大模子限制愚弄的要津瓶颈。近期，字节稀奇豆包大模子团队提议了全新的疏淡模子架构UltraMem，该架构灵验处理了MoE推理时高额的访存问题，推理速率较MoE架构种植2—6倍，推理资本最高可镌汰83%。该议论还揭示了新架构的Scaling Law，诠释其不仅具备优异的Scaling特质，更在性能上超越了MoE。

实际圮绝标明，训练限制达2000万value的UltraMem模子，在同等狡计资源下，可同期已毕业界率先的推理速率和模子性能，为构建数十亿限制value或expert开拓了新旅途。