自托管大模型 + Agent 的完整方案
一、完整方案要解决什么 「自托管大模型 + Agent」不是单点安装,而是一条可运维链路:模型推理 → 统一 API → Agent 运行时 → 工具与知识库 → 观测与权限。目标是:数据尽量不出域,成本可控,能力可扩展。 二、参考架构 用户 / 内部系统 │ ▼ OpenWebUI(可选,人工对话与评测) │ ▼ A...
Hermes Agent 部署踩坑全记录
一、这篇写给「按文档做了但就是起不来」的人 Hermes Agent(社区亦常被搜成 Hermas)走自托管路线时,坑主要集中在:环境变量、模型接口兼容、工具权限、Docker 网络、以及「看起来启动成功但第一条工具调用就失败」。本文按真实排障顺序记录,方便对照。 二、环境与依赖类 现象:安装成功,启动即报模块缺失 /...
Docker 部署 Ollama + OpenWebUI 完整指南
一、为什么选 Ollama + OpenWebUI Ollama 负责在本机或服务器上拉起与管理大模型(拉取、运行、OpenAI 兼容 API);OpenWebUI(原 Ollama WebUI)提供类 ChatGPT 的对话界面、多会话、知识库与工具扩展。二者用 Docker 组合后,可以快速搭一套私有、可自托管的本...