缓存

一、为什么大模型调用需要网关 业务侧直接连 OpenAI / 国产大模型 / 自建 Ollama，短期省事，长期会踩三类坑：账单失控（突发流量打满配额）、稳定性差（上游抖动直接传导到用户）、重复成本高（相同 Prompt 反复计费）。一层大模型 API 网关可以把鉴权、路由、限流、熔断、缓存和观测收敛到统一入口，让 A...