针对 Apple Silicon 的硬核模型优化

这个项目的方向非常硬核，专门针对 Apple Silicon 上的 MLX 框架进行深度优化。它引入了 L2 磁盘缓存（支持重启后保留）、L1 分页缓存以实现极快的首字生成时间（TTFT），以及混合 SSM 调度和连续批处理等高级特性。 简单说，它想把本地运行大模型的显存和性能瓶颈压榨到极限。对于在 MacBook 上折腾本地 LLM 推理的开发者来说，这种底层的 KV Cache 压缩和复用机制非常具有吸引力，它不仅是一个简单的运行工具，更像是一个针对特定硬件架构的性能实验室。