开发者构建O(NlogN)注意力系统MQAR，长上下文保持97%精度

核心摘要

一位开发者构建了一种名为MQAR（自适应可学习分层路由）的O(NlogN)注意力系统，该系统在长上下文上能保持97%的精度，同时占用更少内存并能更好地扩展VRAM。

机会与影响

这一注意力机制的创新为开发者提供了更高效、更节省内存的长上下文处理方案，有望在有限硬件上运行更大的模型。

来源信息

该条资讯来自 www.reddit.com。标签：趋势。相关平台：reddit。