无 Python 的 Rust 推理服务器

Shimmy 是一个完全用 Rust 编写的本地大模型推理服务器，主打“无 Python”环境。它兼容 OpenAI 的 API 格式，支持 GGUF 和 SafeTensors 格式的模型权重。作为一个单一的二进制文件，它的部署体验非常干净利落。 真正难的地方不是写一个 API 包装器，而是处理底层的模型加载和内存管理。它支持模型的热切换和自动发现功能，这意味着你可以在不重启服务的情况下无缝切换不同的本地模型。对于那些受够了 Python 依赖地狱，想要一个轻量、高性能且开箱即用的本地推理后端的开发者，这是一个很棒的选择。