# Qwen / DeepSeek 私有化部署并连接 ERP：实操要点

> Source: https://netray.co/zh/private-qwen-deepseek-erp
> Language: zh
> Publisher: Netray (netray.co)

可行。用 vLLM 或 Ollama 在企业自有 GPU 上运行 Qwen、DeepSeek 等开源权重模型，再通过只读接口和私有检索连接 ERP，数据与模型调用都留在内网。关键不在模型本身，而在取数通道、权限、可核对性和审批机制。

DeepSeek 发布之后，很多制造企业的老板和信息部门都在问同一个问题：能不能把大模型装在自己厂里，接到用友、金蝶或 SAP 上，让员工直接提问？答案是可以，但有几个容易被低估的环节。

本文不讨论模型榜单，而是从一个企业要把它落地所必须回答的问题出发：用什么硬件，怎么部署，怎么连 ERP，怎么保证答案可靠，怎样满足数据安全要求。

## 先想清楚：模型只是其中一层

一个能用的企业 AI 系统由几层组成：模型、推理服务、取数与检索、权限与审计、界面与智能体。很多项目失败，是因为把 70% 的精力放在选模型上，却没有解决 ERP 数据怎么取、口径怎么对、谁能看什么。

对 ERP 问答而言，最重要的是让模型不要凭空编数字。可靠的做法是让模型把问题转成对 ERP 的查询，由系统执行查询并返回真实结果，再由模型组织语言，同时把查询语句展示给用户核对。这比让模型直接回答要可靠得多。

- 模型层：Qwen、DeepSeek、Mistral、Gemma、gpt-oss 等开源权重模型
- 推理层：vLLM 或 Ollama，部署在自有 GPU 或专有云
- 数据层：ERP 只读接口、私有 RAG、向量索引
- 控制层：用户权限、日志审计、写入审批

## 硬件与推理：按问题规模估算

硬件取决于模型规模、上下文长度和并发人数。用于 ERP 查询和文档问答的场景，中等规模的模型加量化往往已足够，一到两张高端显卡可以支持几十人的日常使用；若要运行很大的混合专家模型，则需要多卡甚至多机，成本会明显上升。具体数字请以实测为准，我们不会在评估前给出固定配置。

许可方面，Qwen 的多数规格采用宽松许可，DeepSeek 的部分模型采用 MIT 许可，但不同版本、不同规格的条款可能不同，商用前务必逐一核对。国产算力如昇腾可以作为选项，需验证推理框架对所选模型的支持情况。

## 连接 ERP：通道与权限

连接方式依 ERP 而异：用友 U8 通常通过 SQL Server 只读视图，金蝶云星空可用业务对象的 WebAPI，SAP 可用 OData 或 BAPI，具体见各 ERP 对应的页面。统一原则是只读账号、白名单对象、按用户身份取数、记录每条查询。

文档类数据，例如合同、检验报告、作业指导书、设备手册，可以用私有 RAG 建立索引。注意文档本身也有权限，检索结果必须按用户权限过滤，否则会出现普通员工通过对话读到保密合同的情况。

## 数据安全与合规

私有部署的核心价值，是业务数据和模型调用都不经过第三方。这有助于满足《数据安全法》《个人信息保护法》以及等保 2.0 的要求，但并不自动合规：访问控制、脱敏、日志、备份、人员培训仍要企业自己落实。

还有一个常被忽略的点：不要把企业数据用于对外模型的训练或调优，除非有明确的授权和脱敏。使用开源模型做本地微调时，要把训练数据的来源和权限纳入审批。

## 怎么开始，以及什么时候不必做

建议从一个评估开始：列出十个业务人员真正会问的问题，确认每个问题的数据来源，选一个 ERP 的只读通道，用不同大小的模型做对比，再决定硬件。试点两到四周，由业务人员验收，而不是由技术人员自评。

什么时候不必做：如果您只是想要一个通用聊天助手，不涉及 ERP 数据，直接使用成熟的商业服务可能更省事；如果 ERP 原厂的 AI 功能已经满足需求且数据位置可以接受，也不需要自建。Netray 的价值在于私有部署、跨系统联合问答，以及在严格的数据边界下做出可核对的答案。

## FAQ

### DeepSeek 和 Qwen 选哪个？

没有统一答案。应使用您自己的问题集做对比测试，同时核对许可条款、硬件需求和中文业务术语的表现。

### 必须自己买 GPU 吗？

不必须。也可以部署在企业自己租用的专有云或本地托管环境里，只要数据和模型调用处于您控制的边界内。

### 模型会不会编造数据？

通过让系统执行真实查询并展示查询语句，可以大幅降低编造风险，但不能说为零，所以关键数字仍建议人工核对。

### 能否让模型直接修改 ERP？

默认不能。任何写回都需要指定人员审批，并保留记录。我们建议先从只读开始。

### 和直接使用公有云大模型 API 相比如何？

公有云 API 部署快、能力强，但业务数据会离开企业边界。若数据敏感或有合规要求，私有部署更合适；若数据不敏感，公有 API 也是合理选择。