BERT中文分类训练实战
BERT 中文分类全流程:分词、编码、数据集与增量微调 中文分词与编码、AI 项目五阶段、用 ChnSentiCorp 制作自己的 Dataset,以及「冻结 BERT + 全连接头」的增量微调。 1. 中文分词:句子怎么变成数字 NLP 的第一步,是把句子转成词(token): 方式一:单个文字分词 ——按单字切分。...
自托管大模型 + Agent 的完整方案
一、完整方案要解决什么 「自托管大模型 + Agent」不是单点安装,而是一条可运维链路: 模型推理 → 统一 API → Agent 运行时 → 工具与知识库 → 观测与权限 。目标是:数据尽量不出域,成本可控,能力可扩展。 二、参考架构 用户 / 内部系统 │ ▼ OpenWebUI(可选,人工对话与评测) │ ▼...
大模型 API 网关设计:限流 / 熔断 / 缓存
一、为什么大模型调用需要网关 业务侧直接连 OpenAI / 国产大模型 / 自建 Ollama,短期省事,长期会踩三类坑: 账单失控 (突发流量打满配额)、 稳定性差 (上游抖动直接传导到用户)、 重复成本高 (相同 Prompt 反复计费)。一层 大模型 API 网关 可以把鉴权、路由、限流、熔断、缓存和观测收敛到...
Docker 部署 Ollama + OpenWebUI 完整指南
一、为什么选 Ollama + OpenWebUI Ollama 负责在本机或服务器上拉起与管理大模型(拉取、运行、OpenAI 兼容 API); OpenWebUI (原 Ollama WebUI)提供类 ChatGPT 的对话界面、多会话、知识库与工具扩展。二者用 Docker 组合后,可以快速搭一套 私有、可自托...