四种情况，建议直接考虑私有化
如果一条都不符合，用现成的 API 更省钱，我们也会这么建议。
数据不能出内网
合同、客户资料、财务数据、图纸、工单——一旦上传公网就无法追溯和撤回，合规和老板这一关都过不去。
网络环境受限
工厂车间、涉密场所、内网隔离环境，根本没有稳定的外网出口，API 方案从物理上就走不通。
调用量大且长期
每天几万次调用、要用三年，按 token 计费的总成本会远超自建。算一笔三年账就清楚了。
要深度接入内部系统
需要和 ERP、OA、工单、图纸库打通，模型要读到内部数据、写回业务系统，公网 API 做不了这件事。
三种部署形态，按你的现状选
不是越新越好，也不是越大越好。已有虚拟化平台的客户，多数不需要再买一套新硬件。
| 形态 | 适合谁 | 优点 | 需要注意 |
|---|---|---|---|
| 单机一体机 | 10–30 人使用、单一场景、想快速上线 | 到货即用，故障面小，交付周期最短 | 单点故障，需要备份与备件方案 |
| 现有虚拟化 / 超融合承载 | 已有集群、希望统一运维、预算敏感 | 资源复用，可弹性分配，管理入口统一 | 需评估 GPU 直通或虚拟化支持、电源与散热余量 |
| 新建 GPU 集群 | 多部门、多场景、需要资源隔离与池化 | 可横向扩展，支持多模型并行 | 机房供电、承重、散热要先改造，周期最长 |
模型规模与显存需求（参考）
这张表只用来判断“大概要什么档次的机器”，不能代替 POC 实测。
| 模型规模 | 显存需求（参考） | 典型用途 |
|---|---|---|
| 7B – 14B | 16 – 24 GB | 文档问答、客服辅助、文本分类与摘要 |
| 32B | 48 – 80 GB | 知识库问答、合同审阅、工单处理 |
| 70B 及以上 | 140 GB 以上，多卡 | 复杂推理、代码生成、长文档分析 |
参考值为单会话、常见量化精度下的估算。并发人数、上下文长度、是否需要多模型并行，都会显著改变实际需求。 最终配置以 POC 实测的吞吐与首字时延为准。
交付清单：一份合同里包含什么
私有化部署最容易出问题的地方不是装不上，而是装完之后没人知道怎么维护。 所以我们把“能交接”写进交付标准。
- 架构设计与硬件选型清单（含三年总成本对比）
- 硬件上架、系统与驱动部署、推理服务安装
- API 网关、账号权限、操作审计与日志
- 数据接入：文档解析、切片、向量库、检索调优
- 验收测试报告：准确率、拒答率、首字时延、并发吞吐
- 运维手册 + 管理员培训（含故障定位流程）
三个最常见的误区
- “买张卡就行”——显存够不等于吞吐够，并发一上来就排队，体验直接崩。
- “模型越大越好”——32B 能解决的场景硬上 70B，等于多花三倍预算换零点几秒的首字差异。
- “部署完就结束了”——模型半年就换代，知识库每天都在长，没有运营就是一次性投入。
私有化部署常见问题
不一定。三条路：现有服务器加装 GPU 卡、直接上一体机、先租算力跑通场景再决定是否自建。
如果只是验证场景，我们建议先租；确认要长期跑、调用量大，再自建才划算。
取决于模型规模、上下文长度和回答长度，没有统一答案。同样一张 24G 卡，跑 8B 模型做短问答可能支持几十人，
换成 32B 加长文档分析，可能只够几个人。我们会在 POC 阶段给出你们真实场景下的实测并发数。
多数情况可以，但要看两件事：GPU 直通（PCIe Passthrough）或 vGPU 是否被平台支持，以及现有集群的电源、散热余量够不够。
我们会先做一次资源评估，能复用就复用，不为了卖硬件硬推新集群。
运营服务包含版本评估与升级。升级前先在影子环境跑你们的评测集，确认准确率和时延不退化再切主环境，出问题可以一键回滚。
能。我们提供离线安装包、离线模型权重和本地向量库，整个部署过程不需要外网。
后续升级通过离线介质导入，运维支持改为现场方式。
