GitHub 高星项目· 5 projects
由潜龙编辑团队甄选,每周更新最值得看的开源项目。我们看重的不是 Star 多少,而是它解决问题的方式。
专为 Agent 设计的 AI 原生代理
Plano 是一个用 Rust 编写的 AI 原生代理和数据平面,专门为基于 Agent 的应用设计。它在底层内置了编排、安全控制、可观测性以及智能的 LLM 路由功能。 简单说,它想把 Agent 运行所需的网络和调度基础设施抽象出来。开发者不需要在业务代码里反复处理重试、路由和监控逻辑,而是可以...
Kubernetes 上的标准化 AI 推理平台
KServe 是一个在 Kubernetes 上运行的标准化 AI 推理平台,支持生成式和预测式模型的分布式部署。对于那些需要在生产环境中大规模运行机器学习模型的团队来说,这是一个非常硬核的基础设施项目。 它解决的核心痛点是模型部署的复杂性。无论是传统的机器学习框架,还是现在流行的大语言模型(LLM...
无 Python 的 Rust 推理服务器
Shimmy 是一个完全用 Rust 编写的本地大模型推理服务器,主打“无 Python”环境。它兼容 OpenAI 的 API 格式,支持 GGUF 和 SafeTensors 格式的模型权重。作为一个单一的二进制文件,它的部署体验非常干净利落。 真正难的地方不是写一个 API 包装器,而是处理底...
Lemonade
简单说,它想把本地 AI 应用的发现和运行过程变得更顺畅。这个项目主要关注如何利用用户设备上的 GPU 和 NPU 来提供优化的 LLM 推理服务,从而支撑各种本地 AI 应用的运行。 这里有个小看点:它不仅是一个推理后端,还涉及到了 MCP(模型上下文协议)服务器的集成。随着越来越多的人希望在本地...
终端里的本地优先 AI 编程助手
Nanocoder 是一个运行在终端里的 AI 编程代理,主打“本地优先”和优秀的终端 UI 体验。它不仅支持通过 Ollama 运行本地模型,也可以灵活接入 OpenAI 或 OpenRouter 等云端服务。 在众多 AI 编程工具中,Nanocoder 选择了一条轻量化的终端路线。它没有去卷复...