LLM local (Mistral) et ERP : mode d'emploi pour un déploiement sur site

Dans une architecture d'ERP conversationnel, le modèle remplit trois rôles : comprendre la question en français, produire une requête ou un appel d'API sur le schéma de l'ERP, et rédiger une réponse à partir des résultats. Les chiffres viennent de l'ERP, pas de la mémoire du modèle, et c'est ce qui limite les inventions.

Le modèle ne contient pas vos données et n'est pas réentraîné par vos questions. La confidentialité tient à l'endroit où il s'exécute et à ce qu'on lui transmet : uniquement les extraits nécessaires à la réponse, dans votre périmètre.

Pour servir plusieurs utilisateurs, vLLM est un choix courant : traitement par lots continus, bon débit sur GPU. Ollama convient bien aux pilotes et aux postes de test. La mémoire GPU disponible conditionne la taille du modèle et la précision (quantification) ; plus le modèle est gros ou le contexte long, plus il faut de mémoire.

Le dimensionnement se mesure plutôt qu'il ne se devine : nombre d'utilisateurs simultanés, longueur des réponses, latence acceptable. Un pilote tient souvent sur peu de GPU ; une mise en production avec de la redondance demande davantage. Les GPU peuvent être dans votre salle serveur ou chez un hébergeur de cloud privé ou souverain que vous choisissez.

Si vos données peuvent résider dans un cloud européen avec les garanties contractuelles voulues et si vous n'avez pas de contrainte de confidentialité forte, une API hébergée ou l'assistant intégré à votre ERP est plus simple et souvent moins coûteux. Le local ajoute des coûts de matériel, d'exploitation et de veille sur les modèles.

Pour démarrer, un diagnostic évalue vos questions, vos données et vos contraintes, puis un pilote en lecture seule mesure la qualité sur un jeu de questions de référence. Si les résultats ne sont pas à la hauteur, nous le disons avant d'investir dans du matériel.