私有化大模型 + ERP
Qwen / DeepSeek 私有化部署并连接 ERP：实操要点
简要回答
可行。用 vLLM 或 Ollama 在企业自有 GPU 上运行 Qwen、DeepSeek 等开源权重模型，再通过只读接口和私有检索连接 ERP，数据与模型调用都留在内网。关键不在模型本身，而在取数通道、权限、可核对性和审批机制。
DeepSeek 发布之后，很多制造企业的老板和信息部门都在问同一个问题：能不能把大模型装在自己厂里，接到用友、金蝶或 SAP 上，让员工直接提问？答案是可以，但有几个容易被低估的环节。
本文不讨论模型榜单，而是从一个企业要把它落地所必须回答的问题出发：用什么硬件，怎么部署，怎么连 ERP，怎么保证答案可靠，怎样满足数据安全要求。
先想清楚：模型只是其中一层
一个能用的企业 AI 系统由几层组成：模型、推理服务、取数与检索、权限与审计、界面与智能体。很多项目失败，是因为把 70% 的精力放在选模型上，却没有解决 ERP 数据怎么取、口径怎么对、谁能看什么。
对 ERP 问答而言，最重要的是让模型不要凭空编数字。可靠的做法是让模型把问题转成对 ERP 的查询，由系统执行查询并返回真实结果，再由模型组织语言，同时把查询语句展示给用户核对。这比让模型直接回答要可靠得多。
- 模型层：Qwen、DeepSeek、Mistral、Gemma、gpt-oss 等开源权重模型
- 推理层：vLLM 或 Ollama，部署在自有 GPU 或专有云
- 数据层：ERP 只读接口、私有 RAG、向量索引
- 控制层：用户权限、日志审计、写入审批
硬件与推理：按问题规模估算
硬件取决于模型规模、上下文长度和并发人数。用于 ERP 查询和文档问答的场景，中等规模的模型加量化往往已足够，一到两张高端显卡可以支持几十人的日常使用；若要运行很大的混合专家模型，则需要多卡甚至多机，成本会明显上升。具体数字请以实测为准，我们不会在评估前给出固定配置。
许可方面，Qwen 的多数规格采用宽松许可，DeepSeek 的部分模型采用 MIT 许可，但不同版本、不同规格的条款可能不同，商用前务必逐一核对。国产算力如昇腾可以作为选项，需验证推理框架对所选模型的支持情况。
连接 ERP：通道与权限
连接方式依 ERP 而异：用友 U8 通常通过 SQL Server 只读视图，金蝶云星空可用业务对象的 WebAPI，SAP 可用 OData 或 BAPI，具体见各 ERP 对应的页面。统一原则是只读账号、白名单对象、按用户身份取数、记录每条查询。
文档类数据，例如合同、检验报告、作业指导书、设备手册，可以用私有 RAG 建立索引。注意文档本身也有权限，检索结果必须按用户权限过滤，否则会出现普通员工通过对话读到保密合同的情况。
数据安全与合规
私有部署的核心价值，是业务数据和模型调用都不经过第三方。这有助于满足《数据安全法》《个人信息保护法》以及等保 2.0 的要求，但并不自动合规：访问控制、脱敏、日志、备份、人员培训仍要企业自己落实。
还有一个常被忽略的点：不要把企业数据用于对外模型的训练或调优，除非有明确的授权和脱敏。使用开源模型做本地微调时，要把训练数据的来源和权限纳入审批。
怎么开始，以及什么时候不必做
建议从一个评估开始：列出十个业务人员真正会问的问题，确认每个问题的数据来源，选一个 ERP 的只读通道，用不同大小的模型做对比，再决定硬件。试点两到四周，由业务人员验收，而不是由技术人员自评。
什么时候不必做：如果您只是想要一个通用聊天助手，不涉及 ERP 数据，直接使用成熟的商业服务可能更省事；如果 ERP 原厂的 AI 功能已经满足需求且数据位置可以接受，也不需要自建。Netray 的价值在于私有部署、跨系统联合问答，以及在严格的数据边界下做出可核对的答案。
常见问题
DeepSeek 和 Qwen 选哪个？
没有统一答案。应使用您自己的问题集做对比测试，同时核对许可条款、硬件需求和中文业务术语的表现。
必须自己买 GPU 吗？
不必须。也可以部署在企业自己租用的专有云或本地托管环境里，只要数据和模型调用处于您控制的边界内。
模型会不会编造数据？
通过让系统执行真实查询并展示查询语句，可以大幅降低编造风险，但不能说为零，所以关键数字仍建议人工核对。
能否让模型直接修改 ERP？
默认不能。任何写回都需要指定人员审批，并保留记录。我们建议先从只读开始。
和直接使用公有云大模型 API 相比如何？
公有云 API 部署快、能力强，但业务数据会离开企业边界。若数据敏感或有合规要求，私有部署更合适；若数据不敏感，公有 API 也是合理选择。
相关指南
用友 U8 / U9 Cloud 的 AI 集成：数据不出厂的做法
在用友 U8、U9 Cloud 上落地私有化 AI：用自然语言查库存、采购、生产订单与缺料，数据不出厂，默认只读，写入需人工确认。
用友 BIP用友 BIP 之上的企业 AI：私有化问答与智能体
用友 BIP 之上如何加 AI：基于开放平台与 API 做自然语言查询和智能体，开源模型本地部署，权限沿用 BIP 角色，写入需人工审批。
金蝶云星空 (Kingdee K/3 Cloud)金蝶云星空 AI：用自然语言查采购、库存与生产
金蝶云星空（K/3 Cloud）接入私有化大模型：通过 WebAPI 与业务对象查采购、库存、生产与 BOM，数据留在企业内网，默认只读。
金蝶云苍穹 (Kingdee Cosmic)金蝶云苍穹的企业 AI：大型制造集团的私有化做法
金蝶云苍穹（含星瀚）上的企业 AI：基于平台开放能力做问答和智能体，大模型本地部署，权限沿用平台角色，适合大型制造集团。
SAP S/4HANASAP S/4HANA 在中国的 AI 私有化部署
在中国落地 SAP S/4HANA 的 AI：本地部署开源大模型，经 CDS 视图与 OData 只读取数，权限沿用 SAP 角色，数据不出境。
Oracle ERPOracle ERP 私有大模型：本地部署与只读取数
为 Oracle EBS、JD Edwards 和 Fusion ERP 部署私有大模型：本地运行开源模型，只读取数，保留 Oracle 权限，数据不外发。