litellm-gateway/README.md

1.3 KiB
Raw Blame History

LiteLLM Gateway

定位

MiniMax 模型 API 网关,为整个 agent 集群提供:

  • 🔐 安全代理 — 真实 API Key 不暴露给 agent
  • 🛡️ 额度管控 — per-key RPM/TPM 限制,防止滥用
  • 🔄 智能回落 — M2.7 → M2.5 → M2.5-Lightning 自动切换
  • 📊 用量追踪 — 实时 API 调用日志与消费统计
  • 🔥 热更新 — key 管理/模型添加完全热生效Sileya 的 key 配置不受影响

架构

OpenClaw Agent (Sileya / 李狗蛋 / 妮可 ...)
  → sk-agent-key (LiteLLM Virtual Key)
  → LiteLLM Proxy (:4000)
      ├── 额度检查 / 用量记录
      ├── 智能路由 + fallback
      └── MINIMAX_API_KEY (仅此处持有)
          → api.minimax.io

部署

环境要求

  • Python 3.9+
  • 独立服务器或轻量容器(不强制 Docker
  • 推荐OMV (Nas) / Proxmox 容器 / 任意 VPS

快速启动

pip install litellm

# 配置环境变量
export MINIMAX_API_KEY="sk-xxx"
export LITELLM_MASTER_KEY="sk-litellm-admin-key"

# 启动
uvicorn litellm_proxy:app --host 0.0.0.0 --port 4000

文档