数据库优化记录 2018-07-07
SELECT SN FROM book_table WHERE ParkID = 1006 AND Plate = '江A12345' AND StartTime <= NOW() AND EndTime >= NOW()AND `Status` = '已确认' LIMIT 1; select * from...
独享代理部署的新思路 2018-07-07
常规的Http或者Socket代理都是共享的,在计算机上配置好代理服务的Ip和端口就可以使用代理服务。 本次改进代理的新思路是实现独享使用自建的代理服务,技术上选用openresty+lua+redis实现。 在公网上建立好本地(127.0.0.1)代理服务后,通过openresty对外开发,拦截请求IP实现过滤非法代...
Agent 生产环境稳定性:超时、重试、降级 2026-10-04
一、Agent 不稳,往往不是模型「变笨了」 线上最常见的体验是:偶尔超时、工具偶发失败、重试把账单打爆、降级策略缺失导致整条链路挂死。Agent 比普通 API 更脆,因为它是多步循环:模型 → 工具 → 模型 → 工具……任何一环抖动都会被放大。 二、超时:分层设,而不是只设一个全局 60 秒 模型调用超时:按模型...
大模型 API 网关设计:限流 / 熔断 / 缓存 2026-10-02
一、为什么大模型调用需要网关 业务侧直接连 OpenAI / 国产大模型 / 自建 Ollama,短期省事,长期会踩三类坑:账单失控(突发流量打满配额)、稳定性差(上游抖动直接传导到用户)、重复成本高(相同 Prompt 反复计费)。一层大模型 API 网关可以把鉴权、路由、限流、熔断、缓存和观测收敛到统一入口,让 A...
Docker 部署 Ollama + OpenWebUI 完整指南 2026-10-01
一、为什么选 Ollama + OpenWebUI Ollama 负责在本机或服务器上拉起与管理大模型(拉取、运行、OpenAI 兼容 API);OpenWebUI(原 Ollama WebUI)提供类 ChatGPT 的对话界面、多会话、知识库与工具扩展。二者用 Docker 组合后,可以快速搭一套私有、可自托管的本...