IA on-premise sobre dados do ERP: como é construída e o que ela exige

O modelo de linguagem é de pesos abertos (famílias como Llama, Qwen, Mistral, Gemma, gpt-oss e DeepSeek) e roda em servidor próprio com um servidor de inferência como vLLM ou Ollama. A camada de dados traduz a pergunta em português para uma consulta ao ERP, executa com um usuário de leitura e devolve o resultado com a consulta à mostra. A camada de documentos indexa PDFs, manuais, laudos e procedimentos e recupera os trechos relevantes antes de o modelo responder (RAG, geração aumentada por recuperação).

A maior parte da qualidade vem do desenho dessas camadas, não do tamanho do modelo. Um modelo médio, com bom dicionário de dados e permissões corretas, supera um modelo grande sem contexto sobre o seu esquema.

O tamanho do hardware depende do modelo e de quantas pessoas consultam ao mesmo tempo. Modelos de 7 a 14 bilhões de parâmetros, quantizados, rodam em uma única GPU de classe profissional e atendem equipes pequenas. Modelos na faixa de dezenas de bilhões de parâmetros pedem mais memória de vídeo, às vezes mais de uma GPU. O volume de documentos pesa mais no armazenamento e no índice do que na GPU.

Para um piloto, é comum alugar capacidade em nuvem privada ou usar uma estação existente antes de comprar. Uma boa avaliação responde: quantos usuários simultâneos, que tempo de resposta é aceitável e quais perguntas realmente justificam um modelo maior.

Se as perguntas são sempre as mesmas, um relatório ou dashboard fixo é mais barato, mais rápido e mais previsível. Se o cadastro de itens e de estruturas é caótico, a IA vai refletir o caos. Se o fornecedor do ERP já oferece um assistente que atende ao caso e a política de dados permite usá-lo, não há motivo para montar infraestrutura própria.

A IA privada compensa quando a pergunta é variável, cruza ERP, MES e documentos, e os dados não podem sair da empresa por contrato, por segurança ou por exigência de cliente.