隐私优先的自托管 AI 网关

这个项目的方向挺直接，它是一个主打隐私优先的自托管 LLM 代理和 AI 网关。随着团队内部使用的 AI 模型越来越多，如何统一管理 API 密钥、做负载均衡以及控制调用频率，成了一个绕不开的运维问题。 VoidLLM 试图用 Go 语言提供一个轻量级的解决方案。它支持多供应商路由、使用量追踪和限流功能。真正难的地方不是转发请求，而是如何在不窥探用户提示词（Zero knowledge）的前提下，做好企业级的网关管控。它还提供了 Docker 和 Helm 支持，方便在 Kubernetes 环境中部署。 如果你正在寻找一个干净、专注且不触碰业务数据的本地 AI 网关，这个早期项目值得留意。