爱站程序员基地Hackerxiao (@atopos31) 在 【开源】LLMIO｜又一个LLM API 负载均衡网关 统一模型 日志记录 请求透传 熔断 完美支持cc/codex/gemini 中发帖
功能特性
统一 API：兼容 OpenAI Chat Completions、OpenAI Responses 、Gemini Native 与 Anthropic Messages 格式，支持透传流式与非流式响应。
权重调度：balancers/ 提供两种调度策略(根据权重大小随机/根据权重高低优先)与熔断机制，可按工具调用、结构化输出、多模态能力做智能分发。
可视化管理后台：Web UI（React + TypeScript + Tailwind + Vite）覆盖提供商、模型、关联、日志与指标。
速率与失败处理：内建速率限制兜底与提供商连通性检测，保证故障隔离。
本地持久化：通过纯 Go 实现的 SQLite (db/llmio.db) 保存配置和调用记录，开箱即用。
系统概览
[image]
渠道管理
[image]
模型管理
[image]
日志记录
[imag…
详情链接：
https://linux.do/t/topic/1341946/1
来源: LINUX DO, 消息ID: 263174
