近期文章

AI Agent & 智能体 · 工程实践 & 部署 · 开源项目 & 工具

RAG 系统从 0 到 1:向量数据库选型

一、RAG 不是「接个向量库就完事」 RAG(检索增强生成)的目标,是让模型在回答前先拿到 可引用的私有知识 。向量数据库只是检索层的一种实现;从 0 到 1,你还要定:文档切分、嵌入模型、召回策略、重排、引用格式与更新流水线。本文聚焦最容易卡住的决策: 向量数据库怎么选 。 二、先分清你的数据规模与约束 个人/小团队...

Agent 生产环境稳定性:超时、重试、降级

一、Agent 不稳,往往不是模型「变笨了」 线上最常见的体验是:偶尔超时、工具偶发失败、重试把账单打爆、降级策略缺失导致整条链路挂死。Agent 比普通 API 更脆,因为它是 多步循环 :模型 → 工具 → 模型 → 工具……任何一环抖动都会被放大。 二、超时:分层设,而不是只设一个全局 60 秒 模型调用超时 :...

大模型 API 网关设计:限流 / 熔断 / 缓存

一、为什么大模型调用需要网关 业务侧直接连 OpenAI / 国产大模型 / 自建 Ollama,短期省事,长期会踩三类坑: 账单失控 (突发流量打满配额)、 稳定性差 (上游抖动直接传导到用户)、 重复成本高 (相同 Prompt 反复计费)。一层 大模型 API 网关 可以把鉴权、路由、限流、熔断、缓存和观测收敛到...

Docker 部署 Ollama + OpenWebUI 完整指南

一、为什么选 Ollama + OpenWebUI Ollama 负责在本机或服务器上拉起与管理大模型(拉取、运行、OpenAI 兼容 API); OpenWebUI (原 Ollama WebUI)提供类 ChatGPT 的对话界面、多会话、知识库与工具扩展。二者用 Docker 组合后,可以快速搭一套 私有、可自托...