用友 · 私有化部署
在用友系统旁私有化部署大模型：架构、选型与上线
简要回答
在用友系统旁边部署大模型，核心是三件事：模型和检索都跑在企业自己的内网，访问用友数据只通过只读视图或受控接口，所有调用留日志并按用户权限过滤。模型选 Qwen、DeepSeek 等开源权重系列，用 vLLM 等引擎服务，规模按并发测算。
很多企业的信息部门担心的不是 AI 好不好用，而是数据会不会出去。ERP 里有价格、成本、客户、BOM 和工艺，这些都是核心商业秘密。把它们发到公网的模型接口上，在合规和安全上都难以通过内部审批。私有化部署就是为了解决这个顾虑。
本文面向准备在用友 U8、U8 Cloud 或 YonBIP 周边落地大模型的信息部门，讲部署的基本架构、选型考虑和常见坑。数字只给范围和方法，具体配置要按你的并发和场景测算。
整体架构：模型、检索、连接器、网关
一个可用的私有化结构通常包含四层。模型服务层，在企业的 GPU 服务器上运行开源权重模型；检索层，对企业文档、制度、工艺文件和 ERP 的说明做向量化检索；连接器层，通过只读数据库视图或用友开放接口取业务数据；以及网关层，负责登录认证、权限过滤、限流和日志。
这些组件可以部署在企业机房，也可以部署在企业自己控制的私有云或专属云。要点是：提示词、检索片段、业务数据和输出结果都不经过企业不可控的第三方服务。
- 模型服务：vLLM 或 Ollama 等引擎，按并发选择
- 检索：企业文档与 ERP 说明，权限随文档来源继承
- 连接器：只读视图或开放接口，不使用管理员账号
- 网关：统一认证、审计日志、提示与输出的敏感信息检查
模型与 GPU 怎么选
开源权重模型里，通义千问（Qwen）、DeepSeek 等系列在中文和工具调用上表现较好，也有 Llama、Mistral、Gemma、gpt-oss 等可选。选型时要看三件事：中文业务理解与数值表达，是否支持函数调用和结构化输出，以及许可证是否允许企业内部商用。不要只看公开榜单，应该用企业自己的问题集做评测。
GPU 的配置取决于模型大小、量化方式、上下文长度和同时使用的人数。问数类场景用中等规模模型加量化往往已足够，若要做复杂的文档理解和长上下文分析，则需要更大的显存。国内采购 GPU 还要考虑供货与国产加速卡的适配情况，应在评估阶段就验证推理引擎对目标硬件的支持，而不是采购之后再发现不兼容。
网络隔离与数据安全
建议把 AI 服务放在独立网段，对用友系统只开放必要的端口和账号，AI 服务本身不允许主动访问公网。需要更新模型或软件时，通过离线导入或受控的中转区完成。对涉密程度高的企业，可以做到完全断网运行。
合规方面，企业应当依据《数据安全法》《个人信息保护法》以及所属行业的监管要求，对数据分类分级，明确哪些数据可以进入 AI 流程。内部使用的企业知识问答与面向公众提供生成式服务不同，后者涉及更多监管要求，企业如有对外服务计划应单独咨询法务。是否需要等保测评等，由系统定级和行业要求决定，Netray 不代替企业出具合规结论。
权限：不要让 AI 成为越权的后门
最常见的安全问题，不是模型被攻破，而是 AI 让用户看到了本来没有权限的数据。例如用一个高权限账号做检索，普通员工问一句话就能看到成本或薪资。正确的做法是检索与查询都按提问者的身份过滤，文档继承源系统的权限，业务数据按用友里的数据范围限制。
此外要防范提示注入：文档或单据备注里可能带有诱导模型执行操作的文字。模型不应该拥有写入权限，写入类操作必须经过独立的审批和确认步骤，并只允许调用预先定义的有限动作。
怎样上线，以及何时不必自建
建议分阶段：先用一到两个只读场景（如库存与采购问数、制度问答）做试点，用真实问题评测准确率，再扩展到更多部门；写回类能力最后考虑，并保持人工确认。试点期间同步建立使用规范、日志审阅和模型更新的流程。
诚实的权衡：自建意味着要投入 GPU、运维和持续评测。如果企业没有敏感数据的顾虑，使用情况也很少，或者用友产品自带的智能功能已经满足需要，就没有必要自建。私有化的价值在于数据不出企业，以及能使用企业自己的文档与规则，而不是单纯追求拥有模型。
常见问题
私有化部署一定要买很多 GPU 吗？
不一定。问数和知识问答用中等规模开源模型加量化，一到数张卡可能就够，具体取决于并发与响应时间要求，需在评估阶段测算。
可以完全断网运行吗？
可以。模型、检索和连接器都在内网，模型和软件更新通过离线导入完成，适合对保密要求高的企业。
模型会学习并泄露我们的数据吗？
默认的问答使用不会训练模型，数据只在推理和检索时使用。若要微调，需要单独评估数据范围，并在企业自己的环境里进行。
用国产大模型还是别的开源模型？
取决于评测结果与许可证。Qwen、DeepSeek 在中文上通常有优势，但应以企业自己的问题集测试后再决定，也要关注硬件适配。
对外提供服务是否也适用？
本文讨论的是企业内部使用。面向公众提供生成式人工智能服务有额外的监管要求，请单独咨询法务或合规人员。
相关指南
用友U8数据接入AI：怎样做到只读、可核对、不乱答
在用友U8的SQL Server数据上做AI问数：只读账号、库存与采购销售口径、权限映射、本地部署模型与上线步骤。
用友 U8 / YonBIP用友 U8 迁移到 YonBIP：怎么规划，AI 能帮上什么
U8升级到YonBIP或YonSuite怎么规划：数据盘点、二次开发梳理、迁移路径、并行期与AI辅助的边界和风险。
用友 U8 Cloud / YonBIP用友 OpenAPI 集成 AI：怎样调用、怎样限权、怎样写回
通过用友开放接口把AI接入U8 Cloud、YonBIP：鉴权与令牌、限流、只读优先、写回审批、错误处理与审计。
用友 U8 / U9 Cloud 生产制造用友生产制造模块常见问题：从 BOM 到成本差异，AI 怎么帮着查
用友U8、U9 Cloud生产制造模块常见问题：BOM、MRP、生产订单、领料倒冲、成本差异，以及AI辅助诊断的做法。
用友 U8 / U9 Cloud用友 U8 / U9 Cloud 的 AI 集成：数据不出厂的做法
在用友 U8、U9 Cloud 上落地私有化 AI：用自然语言查库存、采购、生产订单与缺料，数据不出厂，默认只读，写入需人工确认。
用友 BIP用友 BIP 之上的企业 AI：私有化问答与智能体
用友 BIP 之上如何加 AI：基于开放平台与 API 做自然语言查询和智能体，开源模型本地部署，权限沿用 BIP 角色，写入需人工审批。