# Lokale LLMs mit ERP-Daten: Llama, Mistral und Qwen im eigenen Haus > Source: https://netray.co/de/lokale-llm-erp-daten > Language: de > Publisher: Netray (netray.co) Offene Modelle wie Llama, Mistral oder Qwen laufen mit vLLM oder Ollama auf eigenen GPUs und beantworten Fragen auf ERP-Daten, ohne dass Daten das Haus verlassen. Für Abfragen und Dokumentensuche reichen sie meist aus, bei komplexem Schlussfolgern sind große Cloud-Modelle teils besser. Viele Mittelständler wollen KI auf ihre ERP-Daten anwenden, aber keine Bestellungen, Preise und Stücklisten an einen US-Cloud-Dienst schicken. Die Antwort sind offene Modelle, die Sie selbst betreiben: Llama von Meta, Mistral aus Frankreich, Qwen, Gemma, gpt-oss oder DeepSeek-Modelle, je nach Lizenz und Aufgabe. Das Modell allein macht aber noch keinen ERP-Assistenten. Es braucht Zugriff auf Daten, eine Abfrageschicht, Berechtigungen, Protokolle und Tests. Diese Seite erklärt, wie das zusammenspielt und was es kostet, ohne Zahlen zu erfinden. ## Warum lokal? Die deutsche Perspektive Gründe für den lokalen Betrieb sind selten ideologisch. Sie liegen in der DSGVO (Drittlandübermittlung, Auftragsverarbeitung), in Geheimhaltungspflichten gegenüber Kunden, im Schutz von Konstruktions- und Preisdaten und im Wunsch nach stabilen Modellversionen. Cloud-Anbieter ändern Modelle, Preise und Nutzungsbedingungen; ein lokal eingefrorenes Modell verhält sich morgen wie heute. Dazu kommt die Kontrolle für den Betriebsrat und für Audits: Wenn Prompts und Antworten im eigenen Netz bleiben, lässt sich belegen, was protokolliert wird und wer Zugriff hat. ## Modelle und Betrieb: Llama, Mistral, Qwen, Gemma Welches Modell passt, hängt von Sprache, Aufgabe und Lizenz ab. Mistral-Modelle sind in europäischen Sprachen stark, Qwen und Llama bewähren sich bei Code und SQL-Erzeugung, Gemma ist kompakt. Prüfen Sie die Lizenzbedingungen genau, besonders bei kommerzieller Nutzung. Benchmarks sind nur ein Anhaltspunkt; entscheidend ist der Test mit Ihren echten Fragen auf Deutsch. Serviert werden die Modelle mit vLLM für Durchsatz bei mehreren Nutzern oder mit Ollama für kleine Installationen und Tests. Quantisierung (zum Beispiel 4 oder 8 Bit) verringert den Speicherbedarf, kostet aber etwas Qualität. Ein mittleres Modell mit 7 bis 32 Milliarden Parametern läuft je nach Quantisierung auf einer bis wenigen Server-GPUs; größere Modelle brauchen entsprechend mehr. - vLLM: Durchsatz, Batching, mehrere gleichzeitige Nutzer - Ollama: einfacher Start, Tests, kleine Teams - Quantisierung: weniger Speicher, leichter Qualitätsverlust - Modellwahl immer an eigenen deutschen Testfragen messen ## Von Modell zu ERP-Assistent: SQL, Retrieval, Rechte Für strukturierte Fragen übersetzt das Modell die Frage in eine Abfrage auf das ERP-Schema, zum Beispiel auf SAP-Tabellen wie EKKO und EKPO, auf eine abas- oder proALPHA-Datenbank oder auf Views. Die Abfrage wird angezeigt, mit einem Lesekonto ausgeführt und das Ergebnis zusammengefasst. Ein semantischer Katalog mit sprechenden Spaltennamen verbessert die Treffsicherheit deutlich. Für Dokumente (Verträge, Arbeitsanweisungen, Zeichnungsbeschreibungen) kommt Retrieval hinzu: Texte werden in Abschnitte zerlegt, indiziert und zur Frage passend an das Modell gegeben, mit Quellenangabe. Berechtigungen aus dem ERP und aus der Dateiablage werden übernommen, damit niemand über die KI Daten sieht, die er sonst nicht sehen darf. - Natürlichsprachliche Frage wird zu sichtbarer, prüfbarer Abfrage - Lesekonto und Rollen aus dem ERP - Retrieval mit Quellenangabe für Dokumente - Menschliche Freigabe für jede schreibende Aktion ## Hardware, Betrieb und Kosten ehrlich betrachtet Rechnen Sie mit GPU-Servern, Speicher, Strom, Kühlung und Betriebsaufwand. Für einen Pilot genügt oft ein einzelner Server mit ein oder zwei GPUs; für viele gleichzeitige Nutzer braucht es mehr. Alternativ lässt sich ein Modell in einer privaten oder souveränen Cloud in der EU betreiben, was die Investition verringert, aber die Kontrolle teilt. Kosten hängen von Nutzerzahl, Modellgröße und Verfügbarkeitsanforderungen ab. Konkrete Zahlen nennen wir erst nach dem Assessment, weil Pauschalzahlen irreführen würden. ## Datenschutz und Regulierung Läuft das Modell im eigenen Haus, entfallen viele Fragen zu Auftragsverarbeitung und Drittlandtransfer, aber nicht alle. Weiterhin gelten Zweckbindung, Datensparsamkeit, Löschkonzepte und gegebenenfalls eine Datenschutz-Folgenabschätzung. Bei Beschäftigtendaten ist der Betriebsrat zu beteiligen. Die EU-KI-Verordnung bringt Betreiberpflichten wie KI-Kompetenz und Transparenz. Offene Modelle bringen eigene Lizenzfragen mit. Dokumentieren Sie Modell, Version, Quelle und Lizenz in Ihrem KI-Inventar. ## Wann eine Cloud-KI oder die Herstellerfunktion reicht Wenn Ihre Daten unkritisch sind und Sie ohnehin auf SAP, Microsoft Dynamics oder einer anderen Cloud-Plattform arbeiten, sind die eingebauten KI-Funktionen des Herstellers oft der schnellere Weg. Sie sind integriert, werden gewartet und kosten keinen eigenen Betrieb. Lokale Modelle lohnen sich, wenn Datenhoheit, Geheimhaltung, Kostenkontrolle bei hohem Volumen oder herstellerübergreifende Abfragen im Vordergrund stehen. Das entscheiden wir mit Ihnen im Assessment, ohne Verkaufsdruck. ## FAQ ### Welches lokale Modell ist für Deutsch am besten? Das hängt von Aufgabe und Lizenz ab. Mistral, Llama, Qwen und Gemma sind gängige Kandidaten. Wir testen sie mit Ihren echten deutschen Fragen, statt nur Benchmarks zu vertrauen. ### Welche Hardware brauchen wir? Für einen Pilot oft ein Server mit ein bis zwei GPUs. Der Bedarf hängt von Modellgröße, Quantisierung und Nutzerzahl ab. Konkretes klären wir im Assessment. ### Sind lokale Modelle so gut wie ChatGPT? Für Abfragen, Zusammenfassungen und Dokumentensuche meist ausreichend. Bei komplexem Schlussfolgern oder langen Texten sind die größten Cloud-Modelle teils besser. Das zeigt der Test an Ihren Aufgaben. ### Kann das Modell Daten im ERP ändern? Standardmäßig nein, der Zugriff ist lesend. Schreibende Aktionen sind nur mit menschlicher Freigabe vorgesehen und werden protokolliert. ### Ist ein lokales Modell automatisch DSGVO-konform? Nein. Es vermeidet viele Übermittlungsfragen, aber Zweckbindung, Löschkonzepte, Rechtsgrundlagen und gegebenenfalls eine Datenschutz-Folgenabschätzung bleiben nötig. ### Wie verhindern wir, dass das Modell Unsinn erfindet? Antworten stützen sich auf sichtbare Abfragen und zitierte Quellen. Dadurch lassen sich Ergebnisse prüfen. Ein Restrisiko bleibt, daher sollten wichtige Entscheidungen immer von Menschen bestätigt werden.