⚡ TL;DR — 30-Second Verdict
怎么选：你要统一调用多家大模型的接口、想要简单的限流和回退、或者在搭应用层集成，选 LiteLLM。你要把负载铺到集群上、扩展训练或推理流水线、或者需要细粒度控制计算资源，选 Ray。
快速对比：LiteLLM 与 Ray 核心差异
| 对比项 | LiteLLM | Ray |
|---|---|---|
| 本质 | 把多家大模型统一成一个 OpenAI 兼容接口的网关 | 通用分布式计算框架 |
| 主要职责 | 在各家厂商之间做路由、重试、限流和成本记账 | 调度和运行分布式的训练与推理任务 |
| 是否必须有大模型 | 是，这正是它存在的意义 | 不是，它是通用计算引擎 |
| 学习曲线 | 低，一般写一段YAML 就能跑 | 高，要理解 actor、task、ray 这些概念 |
| 支持语言 | Python | Python、Java、C++ |
| 内置故障转移 | 有，回退链和重试开箱即用 | 没有，得自己实现 |
| 典型规模 | 一个网关前面挂多家厂商 | 几百到上千节点的集群 |
| 常见搭配 | 把 LiteLLM 放在 Ray 集群前面 | 用 Ray 跑训练或批量推理任务 |
LiteLLM 是什么
LiteLLM 是开源的代理和网关，把 100 多家大模型厂商简化成一个 OpenAI 兼容接口。关键能力包括自动重试、跨厂商回退路由、按密钥限流、和 Langfuse 及 Prometheus 的可观测性集成，以及成本统计。它适合想把厂商差异屏蔽掉、集中管理 API Key、并且不重写应用代码就能加上负载均衡和故障转移的开发者。
做多模型应用的团队能直接受益于 LiteLLM 的 100 多个模型支持和 OpenAI 兼容端点，摆脱厂商锁定、压缩集成时间。和 LangChain 那种更宽的框架思路不同，LiteLLM 只专注统一 API 路由，简单场景部署更快。但需要深度定制模型行为、或者要实时切换厂商的组织，不要只依赖 LiteLLM 这层抽象。
— 中国吧 AI Tools Hub Editorial Team on LiteLLM
→ Read the full LiteLLM review
Ray 是什么
Ray 是开源分布式计算框架，把 Python 应用和机器学习负载从单台机器扩到大型集群。关键能力包括部署模型的 Ray Serve、分布式数据处理的 Ray Data、可扩展训练的 Ray Train，以及细粒度的任务并行。它适合团队搭生产级机器学习系统、分布式推理流水线，或者需要横向扩展、容错和自定义资源管理的应用。
Ray 擅长分布式训练流水线，能从笔记本无缝扩到 1000 多个节点而不改代码。和 Spark 偏批处理的模型不同，Ray 原生支持实时推理和强化学习，这也是 OpenAI 和 Uber 用它的原因（43k+ star）。如果只是单机小应用就别上 Ray，分布式的开销只会平白增加复杂度。
— 中国吧 AI Tools Hub Editorial Team on Ray
什么场景该选哪个
Choose LiteLLM if…
- C
- h
- o
- o
- s
- e
- L
- i
- t
- e
- L
- L
- M
- w
- h
- e
- n
- y
- o
- u
- r
- p
- r
- i
- m
- a
- r
- y
- n
- e
- e
- d
- i
- s
- u
- n
- i
- f
- y
- i
- n
- g
- m
- u
- l
- t
- i
- p
- l
- e
- L
- L
- M
- A
- P
- I
- p
- r
- o
- v
- i
- d
- e
- r
- s
- u
- n
- d
- e
- r
- a
- s
- i
- n
- g
- l
- e
- i
- n
- t
- e
- r
- f
- a
- c
- e
- ,
- i
- m
- p
- l
- e
- m
- e
- n
- t
- i
- n
- g
- s
- i
- m
- p
- l
- e
- r
- a
- t
- e
- l
- i
- m
- i
- t
- i
- n
- g
- a
- n
- d
- f
- a
- l
- l
- b
- a
- c
- k
- l
- o
- g
- i
- c
- ,
- o
- r
- r
- e
- d
- u
- c
- i
- n
- g
- i
- n
- t
- e
- g
- r
- a
- t
- i
- o
- n
- c
- o
- m
- p
- l
- e
- x
- i
- t
- y
- f
- o
- r
- a
- p
- p
- l
- i
- c
- a
- t
- i
- o
- n
- d
- e
- v
- e
- l
- o
- p
- m
- e
- n
- t
- .
- I
- t
- i
- s
- t
- h
- e
- b
- e
- t
- t
- e
- r
- f
- i
- t
- f
- o
- r
- s
- t
- a
- r
- t
- u
- p
- s
- a
- n
- d
- t
- e
- a
- m
- s
- p
- r
- i
- o
- r
- i
- t
- i
- z
- i
- n
- g
- r
- a
- p
- i
- d
- d
- e
- p
- l
- o
- y
- m
- e
- n
- t
- ,
- c
- o
- s
- t
- m
- a
- n
- a
- g
- e
- m
- e
- n
- t
- ,
- a
- n
- d
- d
- e
- v
- e
- l
- o
- p
- e
- r
- p
- r
- o
- d
- u
- c
- t
- i
- v
- i
- t
- y
- o
- v
- e
- r
- r
- a
- w
- d
- i
- s
- t
- r
- i
- b
- u
- t
- e
- d
- c
- o
- m
- p
- u
- t
- e
- c
- a
- p
- a
- b
- i
- l
- i
- t
- i
- e
- s
- .
Choose Ray if…
- C
- h
- o
- o
- s
- e
- R
- a
- y
- w
- h
- e
- n
- y
- o
- u
- n
- e
- e
- d
- t
- o
- d
- i
- s
- t
- r
- i
- b
- u
- t
- e
- c
- o
- m
- p
- u
- t
- e
- -
- i
- n
- t
- e
- n
- s
- i
- v
- e
- w
- o
- r
- k
- l
- o
- a
- d
- s
- a
- c
- r
- o
- s
- s
- m
- u
- l
- t
- i
- p
- l
- e
- m
- a
- c
- h
- i
- n
- e
- s
- ,
- b
- u
- i
- l
- d
- s
- c
- a
- l
- a
- b
- l
- e
- M
- L
- t
- r
- a
- i
- n
- i
- n
- g
- o
- r
- i
- n
- f
- e
- r
- e
- n
- c
- e
- p
- i
- p
- e
- l
- i
- n
- e
- s
- ,
- o
- r
- r
- e
- q
- u
- i
- r
- e
- d
- e
- e
- p
- c
- o
- n
- t
- r
- o
- l
- o
- v
- e
- r
- r
- e
- s
- o
- u
- r
- c
- e
- a
- l
- l
- o
- c
- a
- t
- i
- o
- n
- a
- n
- d
- p
- a
- r
- a
- l
- l
- e
- l
- i
- z
- a
- t
- i
- o
- n
- .
- I
- t
- i
- s
- t
- h
- e
- b
- e
- t
- t
- e
- r
- f
- i
- t
- f
- o
- r
- e
- n
- g
- i
- n
- e
- e
- r
- i
- n
- g
- t
- e
- a
- m
- s
- w
- o
- r
- k
- i
- n
- g
- o
- n
- l
- a
- r
- g
- e
- -
- s
- c
- a
- l
- e
- p
- r
- o
- d
- u
- c
- t
- i
- o
- n
- s
- y
- s
- t
- e
- m
- s
- ,
- c
- u
- s
- t
- o
- m
- d
- i
- s
- t
- r
- i
- b
- u
- t
- e
- d
- a
- r
- c
- h
- i
- t
- e
- c
- t
- u
- r
- e
- s
- ,
- o
- r
- a
- p
- p
- l
- i
- c
- a
- t
- i
- o
- n
- s
- d
- e
- m
- a
- n
- d
- i
- n
- g
- h
- i
- g
- h
- t
- h
- r
- o
- u
- g
- h
- p
- u
- t
- a
- n
- d
- f
- a
- u
- l
- t
- t
- o
- l
- e
- r
- a
- n
- c
- e
- .
核心功能差异
- 架构 — litellm: API proxy/gateway layer; ray: Distributed compute runtime
- 易用性 — litellm: Drop-in OpenAI-compatible replacement; ray: Requires distributed systems knowledge
- 性能 — litellm: Optimized for API call throughput; ray: Optimized for distributed task parallelism
- 社区 — litellm: Growing rapidly in AI dev circles; ray: Mature community in ML/MLops
- 定价模式 — litellm: Free open-source, paid enterprise options; ray: Free open-source, paid cloud offers
- 部署方式 — litellm: Single node or containerized deployment; ray: Multi-node clusters and cloud orchestration
- 语言支持 — litellm: Python SDK with REST API; ray: Python-first with multi-language runtimes
- 生态集成 — litellm: Integrates with LangChain, LlamaIndex; ray: Integrates with PyTorch, TensorFlow, Hugging Face
常见问题
LiteLLM 和 Ray 能一起用吗？ ▼
能，这是最常见的组合。用 Ray 分布式地跑模型服务和推理负载，用 LiteLLM 在应用层做 API 路由、限流和厂商回退。
哪个社区更成熟？ ▼
Ray 的社区更老更大，在分布式系统和机器学习基础设施上的文档更深。LiteLLM 社区增长很快，专注大模型集成模式，在 AI 应用开发里采用率高。
哪个更适合生产环境？ ▼
两个在各自领域都能上生产。需要稳定访问多家厂商的生产应用选 LiteLLM；需要集群扩展和容错的生产机器学习流水线选 Ray。
LiteLLM 和 Ray 的定价模式是什么？ ▼
都有免费开源版加企业支持。LiteLLM 提供付费托管和企业特性（比如更强的可观测性）。Ray 提供 Ray Cloud 托管服务，按集群资源和用量计费。
只想调几个大模型 API，需要上 Ray 吗？ ▼
不需要。LiteLLM 加一段 YAML 就够了。Ray 是给需要跨节点扩展的训练和推理用的，单机场景上了反而更麻烦。
显存只有一张卡，怎么选？ ▼
两个都不帮你省显存。要省钱的关键是选小模型加量化，LiteLLM 帮你统一路由时也能顺便切到更便宜的模型。