数据中心级的分布式推理服务框架

这个项目的方向挺直接，它是一个用 Rust 编写的数据中心级分布式推理服务框架。随着大模型参数量的激增和并发请求的增加，单机推理已经遇到瓶颈，Dynamo 的目标就是解决超大规模下的 LLM 推理调度问题。 它不像是在做一个简单的 API 封装，而是深入到了底层的基础设施层面。通过支持分离式服务（Disaggregated Serving）和 Kubernetes 集成，它能够与 vLLM、TensorRT-LLM 等主流推理引擎配合，优化集群级别的路由和资源分配。 真正难的地方不是让模型跑起来，而是在多节点、多 GPU 的复杂网络环境中，实现高吞吐量和低延迟的动态负载均衡。对于需要自建大规模 AI 推理集群的底层架构团队来说，这是一个极具潜力的硬核开源方案。