SAP 생성형 AI 온프레미스 도입: 데이터를 밖으로 내보내지 않는 방법

전환 프로젝트 중에는 ECC와 S/4HANA가 한동안 함께 돌아갑니다. 현업은 어느 쪽에서 무엇을 봐야 하는지 헷갈리고, 마스터 데이터 정리와 커스텀 코드(Z 프로그램) 인벤토리 파악에도 시간이 많이 듭니다. 이럴 때 자연어 조회와 코드 설명 보조가 가장 먼저 효과를 냅니다.

중요한 점은 AI가 전환 프로젝트를 대신해 주지는 않는다는 것입니다. 데이터 모델 차이(예를 들어 S/4HANA에서 통합된 비즈니스 파트너, MATDOC 중심의 자재 문서 구조)를 이해하는 컨설턴트는 여전히 필요합니다. AI는 그 컨설턴트와 현업의 반복 질의를 줄여 주는 도구로 보는 것이 맞습니다.

기본 구성은 사내 GPU 서버에 Llama, Qwen, Mistral, Gemma, gpt-oss 계열 같은 오픈 가중치 모델을 vLLM이나 Ollama로 띄우고, 그 앞에 검색과 권한 계층을 두는 방식입니다. SAP에는 읽기 전용 계정 또는 OData, RFC 인터페이스로 접속하며, 질의 결과만 모델에 전달됩니다. 모델 서버는 인터넷에 열지 않고 사내망 또는 격리망에 둘 수 있습니다.

권한은 SAP 쪽 롤을 그대로 따르게 하는 것이 원칙입니다. 사용자별로 SAP 사용자 컨텍스트를 전달하거나, 최소한 조직 단위(회사코드, 플랜트)별로 조회 범위를 제한해야 합니다. AI 전용 만능 계정을 만들면 편하지만, 원가나 인사 데이터가 의도치 않게 노출될 수 있어 권하지 않습니다.

처음에는 한 부서, 한 가지 질문 유형으로 좁히는 것이 좋습니다. 예를 들어 구매 납기 조회만 먼저 구축하고, 2~4주 동안 현업이 실제로 쓰는지, 답이 맞는지 확인한 뒤 범위를 넓힙니다. 데이터 경로와 권한, 모델 크기, GPU 규모는 이 단계에서 함께 정리됩니다.

솔직히 말씀드리면 SAP 자체의 AI 기능(Joule 등)만으로 충분한 경우도 많습니다. SAP 클라우드 서비스를 이미 쓰고 있고 데이터 반출에 문제가 없다면 벤더 기능이 더 간단합니다. 사내 구축형은 데이터 보호 요건이 강하거나, 여러 시스템을 한 번에 묻고 싶거나, 커스텀 영역이 큰 경우에 의미가 있습니다.