私有化大模型
DeepSeek、Qwen 本地部署：让大模型读懂 ERP 数据
简要回答
在 ERP 数据上用本地大模型，关键不是挑哪个模型，而是显存估算、检索与查询设计、权限映射和评测。多数场景用检索和只读查询就够，不需要微调。模型用 vLLM 或 Ollama 部署在厂内 GPU 上，数据全程不出厂。
DeepSeek 和 Qwen 都提供开放权重的模型，工厂可以下载后部署在自己的服务器上。对于鼎捷、用友、金蝶、SAP 等 ERP 的用户，这意味着可以在不把数据送往外部接口的前提下，获得自然语言问答和文档理解能力。
但从下载模型到真正可用，中间有不少工程问题：需要多少显存、如何接 ERP 数据、怎样控制权限、怎样验证答案可信。本文按这条线逐项说明，并指出哪些事情不必做。
模型选型与显存估算
显存需求大致由参数量和精度决定：以 16 位精度加载，每十亿参数约占两个吉字节显存，另外还要给上下文缓存留空间。量化到 8 位或 4 位可以显著降低占用，但会有一定精度损失，需要用您自己的问题测试。
DeepSeek 的大参数模型需要多卡甚至多机，而较小的蒸馏版本和 Qwen 的中等规模模型可以在单台多卡服务器上运行。问数和文档问答通常不需要最大的模型，先用中等规模验证，再按效果决定是否升级。具体型号和版本请以发布方最新说明为准。
- 参数量乘以精度字节数，估算权重显存
- 并发越高，上下文缓存占用越大
- 量化可省显存，但要用真实问题复测
- 先中等规模验证，再决定是否加大
服务化：vLLM 或 Ollama
vLLM 适合多用户并发，吞吐高，提供兼容常见接口的服务；Ollama 部署简单，适合试点和小团队。两者都可以在内网运行，不需要连接公网，模型权重下载后可离线保存。
上线时要考虑服务监控、日志、限流和模型版本管理。更换模型版本前，用同一批评测问题回归，避免升级后答案悄悄变差。
让模型读 ERP 数据的两种方式
第一种是结构化查询：模型把问题转成只读 SQL，在业务视图上执行，结果再由模型解释。适合库存、订单、成本这类精确数字，答案必须来自实时数据并显示所用查询。
第二种是检索增强（RAG）：把工艺文件、质量记录、合同、维修手册切块建立向量索引，问答时检索相关片段再回答，并给出出处。适合非结构化文档。两种方式常配合使用，由路由层判断问题属于哪类。
权限、审计与写回
权限要沿用 ERP 的角色，在查询层按用户限制可见范围；文档检索也要按文档权限过滤，否则模型可能把无权限的内容摘要出来。每次问答记录用户、问题、查询和来源，便于审计。
写回 ERP 的动作默认关闭。需要时只生成草稿，由有权限的人审批后通过标准接口提交。模型的输出不应直接成为业务单据。
要不要微调
多数制造企业不需要微调。企业术语、料号体系和流程，通过提示词、检索和视图命名就能很大程度上解决。微调需要整理高质量标注数据，维护成本高，且知识更新后要重新训练。
只有在固定格式输出、特定领域语言风格或小模型需要提升某类任务时，才值得考虑微调，并且应先用评测证明收益。
评测与上线
准备一份由业务人员出题的评测集，覆盖常见查询、模糊问法和应当拒答的问题，记录答对率、拒答是否合理、响应时间。试点阶段每周复盘错误案例，多数错误来自口径或视图设计。
合规方面，国内企业要关注生成式人工智能相关管理规定以及数据安全、个人信息保护要求。对内部使用的系统，通常侧重数据分级、访问控制和日志留存；具体是否需要备案或评估，请由您的法务确认。
常见问题
DeepSeek 和 Qwen 选哪个？
没有统一答案。用您的真实问题对几个候选模型评测，比较准确率、响应时间和显存占用后再决定。
没有 GPU 能跑吗？
小模型可以在 CPU 上运行，但速度慢，只适合验证。正式使用建议配 GPU。
本地模型的回答会比云端差吗？
取决于任务。结合实时查询和检索的问答，差距常常不大；复杂推理和长文写作可能不及最大规模的云端模型。
需要把 ERP 全部数据导入向量库吗？
不需要。精确数字用只读查询，向量库只用于文档类内容，避免数据过期和权限泄露。
模型会学习我们的数据吗？
推理时不会修改模型权重。除非您主动微调，否则数据只作为上下文使用。
相关指南
鼎捷 T100 AI 集成：在不改动核心的前提下做问答与分析
鼎捷 T100 如何接入私有化大模型：只读取数、自然语言查询、工单与采购异常分析，数据不出厂，写回必须人工审批。
易飞 ERP易飞 ERP 接入 AI：中小工厂的低成本落地路径
中小制造企业的易飞 ERP 如何用本地大模型做问数、库存与交期分析：低成本起步，数据留在自己的服务器。
ERP 与 MES 集成工厂 MES 与 ERP 集成：数据对齐之后，AI 才有用
MES 与 ERP 集成怎么做：工单下达、报工回传、物料与质量数据对齐，以及在集成之上加 AI 做异常分析。
设备数据采集设备数据采集：从 OPC UA 到 ERP，再到可提问的分析
设备数据采集（OPC UA、Modbus、MQTT）如何与 ERP、MES 联动，并用本地大模型做停机与良率分析。
用友 U8 / U9 Cloud用友 U8 / U9 Cloud 的 AI 集成：数据不出厂的做法
在用友 U8、U9 Cloud 上落地私有化 AI：用自然语言查库存、采购、生产订单与缺料，数据不出厂，默认只读，写入需人工确认。
用友 BIP用友 BIP 之上的企业 AI：私有化问答与智能体
用友 BIP 之上如何加 AI：基于开放平台与 API 做自然语言查询和智能体，开源模型本地部署，权限沿用 BIP 角色，写入需人工审批。