Lokale Sprachmodelle im Unternehmen im Überblick

Viele Unternehmen würden KI gern stärker nutzen, haben aber ein ungutes Gefühl dabei, Kundendaten, Verträge oder interne Kalkulationen an einen Cloud-Dienst zu schicken. Eine naheliegende Frage ist dann, ob man so ein Sprachmodell nicht einfach selbst betreiben kann.

Die kurze Antwort lautet ja. Die längere Antwort steht in diesem Artikel.

Was lokal hier bedeutet

Ein lokales Sprachmodell läuft auf Hardware, die Sie selbst kontrollieren. Das kann ein Server im eigenen Rechenzentrum sein, ein gemieteter Server bei einem Anbieter Ihres Vertrauens oder im kleinsten Fall ein leistungsstarker Arbeitsplatzrechner. Entscheidend ist, dass Ihre Eingaben das eigene System nicht verlassen.

Was sich in den letzten Jahren getan hat

Vor nicht allzu langer Zeit waren offene Modelle eher etwas zum Ausprobieren. Das hat sich deutlich geändert. Ein gutes Beispiel ist gpt-oss-20b von OpenAI. Das Modell ist unter der freien Apache-2.0-Lizenz veröffentlicht, darf also auch kommerziell genutzt werden, und läuft bereits auf Geräten mit 16 GB Speicher. Seine Leistung liegt nach Angaben von OpenAI in der Nähe von o3-mini, einem Cloud-Modell, das vor kurzem noch zur ersten Reihe gehörte.

Zum Betrieb gibt es inzwischen ausgereifte freie Werkzeuge wie Ollama oder llama.cpp, mit denen sich ein Modell in kurzer Zeit starten und über eine Schnittstelle ansprechen lässt.

Wofür lokale Modelle gut geeignet sind

Lokale Modelle spielen ihre Stärken bei klar umrissenen Aufgaben aus.

• Texte zusammenfassen, etwa lange Protokolle oder Gutachten
• Dokumente einordnen und Informationen herausziehen, zum Beispiel aus Rechnungen oder Anfragen
• Entwürfe für wiederkehrende Schreiben erstellen
• Fragen zu internen Dokumenten beantworten, wenn das Modell mit einer Suche über diese Dokumente verbunden ist

Wo die Grenzen liegen

Ehrlich gesagt sind die größten Cloud-Modelle bei schwierigen Aufgaben weiterhin vorn, etwa bei langen Argumentationsketten, komplexem Code oder sehr langen Dokumenten. Wer lokal arbeitet, tauscht ein Stück Qualität gegen Kontrolle.

Dazu kommen Kosten, die in keiner Preistabelle eines Cloud-Anbieters stehen. Die Hardware muss gekauft oder gemietet werden. Jemand muss das System betreiben, aktualisieren und absichern. Und wenn mehrere Kolleginnen und Kollegen gleichzeitig arbeiten, wächst der Bedarf an Rechenleistung schneller, als man denkt.

Die Mischform ist oft die vernünftigste Lösung

In der Praxis muss es selten ein Entweder-oder sein. Sensible Daten bleiben bei einem lokalen Modell, alles andere darf über einen Cloud-Dienst laufen, idealerweise mit Rechenzentren in der EU und einem Vertrag, der das Training mit Ihren Daten ausschließt. So nutzen Sie die Stärken beider Seiten.

Wie Sie anfangen

Mein Rat ist, nicht mit der Hardware anzufangen, sondern mit einer konkreten Aufgabe. Nehmen Sie einen echten Anwendungsfall aus Ihrem Alltag, testen Sie ihn mit einem lokalen Modell und mit einem Cloud-Modell und vergleichen Sie die Ergebnisse nüchtern. Danach wissen Sie, ob der Qualitätsunterschied für Ihre Aufgabe überhaupt eine Rolle spielt. Genau bei dieser Gegenüberstellung unterstützen wir gern.

Quellen

• Bericht von Tom’s Hardware zu den offenen Modellen gpt-oss von OpenAI