# 在用友系统旁私有化部署大模型：架构、选型与上线

> Source: https://netray.co/zh/yonyou-local-llm-deployment
> Language: zh
> Publisher: Netray (netray.co)

在用友系统旁边部署大模型，核心是三件事：模型和检索都跑在企业自己的内网，访问用友数据只通过只读视图或受控接口，所有调用留日志并按用户权限过滤。模型选 Qwen、DeepSeek 等开源权重系列，用 vLLM 等引擎服务，规模按并发测算。

很多企业的信息部门担心的不是 AI 好不好用，而是数据会不会出去。ERP 里有价格、成本、客户、BOM 和工艺，这些都是核心商业秘密。把它们发到公网的模型接口上，在合规和安全上都难以通过内部审批。私有化部署就是为了解决这个顾虑。

本文面向准备在用友 U8、U8 Cloud 或 YonBIP 周边落地大模型的信息部门，讲部署的基本架构、选型考虑和常见坑。数字只给范围和方法，具体配置要按你的并发和场景测算。

## 整体架构：模型、检索、连接器、网关

一个可用的私有化结构通常包含四层。模型服务层，在企业的 GPU 服务器上运行开源权重模型；检索层，对企业文档、制度、工艺文件和 ERP 的说明做向量化检索；连接器层，通过只读数据库视图或用友开放接口取业务数据；以及网关层，负责登录认证、权限过滤、限流和日志。

这些组件可以部署在企业机房，也可以部署在企业自己控制的私有云或专属云。要点是：提示词、检索片段、业务数据和输出结果都不经过企业不可控的第三方服务。

- 模型服务：vLLM 或 Ollama 等引擎，按并发选择
- 检索：企业文档与 ERP 说明，权限随文档来源继承
- 连接器：只读视图或开放接口，不使用管理员账号
- 网关：统一认证、审计日志、提示与输出的敏感信息检查

## 模型与 GPU 怎么选

开源权重模型里，通义千问（Qwen）、DeepSeek 等系列在中文和工具调用上表现较好，也有 Llama、Mistral、Gemma、gpt-oss 等可选。选型时要看三件事：中文业务理解与数值表达，是否支持函数调用和结构化输出，以及许可证是否允许企业内部商用。不要只看公开榜单，应该用企业自己的问题集做评测。

GPU 的配置取决于模型大小、量化方式、上下文长度和同时使用的人数。问数类场景用中等规模模型加量化往往已足够，若要做复杂的文档理解和长上下文分析，则需要更大的显存。国内采购 GPU 还要考虑供货与国产加速卡的适配情况，应在评估阶段就验证推理引擎对目标硬件的支持，而不是采购之后再发现不兼容。

## 网络隔离与数据安全

建议把 AI 服务放在独立网段，对用友系统只开放必要的端口和账号，AI 服务本身不允许主动访问公网。需要更新模型或软件时，通过离线导入或受控的中转区完成。对涉密程度高的企业，可以做到完全断网运行。

合规方面，企业应当依据《数据安全法》《个人信息保护法》以及所属行业的监管要求，对数据分类分级，明确哪些数据可以进入 AI 流程。内部使用的企业知识问答与面向公众提供生成式服务不同，后者涉及更多监管要求，企业如有对外服务计划应单独咨询法务。是否需要等保测评等，由系统定级和行业要求决定，Netray 不代替企业出具合规结论。

## 权限：不要让 AI 成为越权的后门

最常见的安全问题，不是模型被攻破，而是 AI 让用户看到了本来没有权限的数据。例如用一个高权限账号做检索，普通员工问一句话就能看到成本或薪资。正确的做法是检索与查询都按提问者的身份过滤，文档继承源系统的权限，业务数据按用友里的数据范围限制。

此外要防范提示注入：文档或单据备注里可能带有诱导模型执行操作的文字。模型不应该拥有写入权限，写入类操作必须经过独立的审批和确认步骤，并只允许调用预先定义的有限动作。

## 怎样上线，以及何时不必自建

建议分阶段：先用一到两个只读场景（如库存与采购问数、制度问答）做试点，用真实问题评测准确率，再扩展到更多部门；写回类能力最后考虑，并保持人工确认。试点期间同步建立使用规范、日志审阅和模型更新的流程。

诚实的权衡：自建意味着要投入 GPU、运维和持续评测。如果企业没有敏感数据的顾虑，使用情况也很少，或者用友产品自带的智能功能已经满足需要，就没有必要自建。私有化的价值在于数据不出企业，以及能使用企业自己的文档与规则，而不是单纯追求拥有模型。

## FAQ

### 私有化部署一定要买很多 GPU 吗？

不一定。问数和知识问答用中等规模开源模型加量化，一到数张卡可能就够，具体取决于并发与响应时间要求，需在评估阶段测算。

### 可以完全断网运行吗？

可以。模型、检索和连接器都在内网，模型和软件更新通过离线导入完成，适合对保密要求高的企业。

### 模型会学习并泄露我们的数据吗？

默认的问答使用不会训练模型，数据只在推理和检索时使用。若要微调，需要单独评估数据范围，并在企业自己的环境里进行。

### 用国产大模型还是别的开源模型？

取决于评测结果与许可证。Qwen、DeepSeek 在中文上通常有优势，但应以企业自己的问题集测试后再决定，也要关注硬件适配。

### 对外提供服务是否也适用？

本文讨论的是企业内部使用。面向公众提供生成式人工智能服务有额外的监管要求，请单独咨询法务或合规人员。