Was ist lokale KI? Und warum ein Betrieb sie will, bevor er weiß, dass er sie will

Fangen wir mit dem Satz an, um den es geht: Lokale KI bedeutet, dass Sprachmodelle auf einem Server im eigenen Netzwerk des Betriebs laufen, nicht bei einem Cloud-Anbieter irgendwo auf der Welt. Der Chat sieht dabei aus wie jeder andere Chat. Der Unterschied liegt nicht in der Oberfläche, sondern darin, wo die Antwort entsteht — im eigenen Serverraum oder in einem Rechenzentrum, das Ihnen nicht gehört.

Lokale KI ist nicht ChatGPT, und sie ist keine Beratung

Zwei Verwechslungen begegnen uns ständig. Die erste: „Wir nutzen schon KI, wir haben ein ChatGPT-Abo.“ Das stimmt, ist aber Cloud-KI — praktisch, aber jede Eingabe geht zu einem fremden Anbieter, und Sie verlassen sich auf dessen Vertrag, dessen Preise, dessen Server. Die zweite Verwechslung: „Wir hatten schon eine KI-Beratung.“ Auch das ist wertvoll, aber es ist Wissen, keine Technik — nach dem Workshop steht kein Server im Haus, der tatsächlich etwas erledigt. Lokale KI ist beides nicht. Es ist eigene Rechenleistung, eigene Modelle, eigene Kontrolle darüber, was das Haus verlässt und was nicht.

Was lokal heute wirklich gut kann — und was nicht

Ehrlich gesagt: kein Wundermodell. Was auf einem Server im Büro läuft, kann heute zuverlässig Texte schreiben und redigieren, lange Mails und Protokolle zusammenfassen, den Posteingang vorsortieren, in Ablage und Dokumenten suchen und Angebotsentwürfe vorbereiten. Das ist der Löwenanteil dessen, was in einem normalen Betriebsalltag an Schreibtischarbeit anfällt. Für die wirklich schwierigsten Spezialaufgaben sind die größten Cloud-Modelle nach wie vor voraus — dafür bleibt Cloud mit ausdrücklicher Freigabe eine Option, aber eben die Ausnahme, nicht die Regel. Grundsatz bei uns: lokal ist der Standard, und nichts geht ungefragt nach draußen.

Konkret sieht das im Alltag so aus: Eine Mitarbeiterin lässt sich einen langen Anfrage-Wortwechsel in drei Sätzen zusammenfassen, bevor sie antwortet. Der Posteingang trennt Werbung, Rechnungen und echte Kundenanfragen vor, statt dass jemand morgens dreißig Mails von Hand sortiert. Ein Angebot wird als Entwurf vorbereitet, mit den richtigen Positionen aus früheren Aufträgen, und ein Mitarbeiter prüft und verschickt es. Und wenn jemand fragt „Was stand noch einmal in der Zeichnung von letztem Jahr“, findet die KI die Antwort in der Ablage, statt dass jemand zwanzig Minuten sucht. Nichts davon ist Zauberei — es ist Fleißarbeit, die vorher Zeit gekostet hat und jetzt nicht mehr.

Mehr zu diesem Zusammenspiel und wo die Grenzen im Detail verlaufen, steht auf der Seite Datenschutz bei KI.

Für wen sich das lohnt

Nicht jeder Betrieb braucht einen eigenen Server. Es lohnt sich vor allem dort, wo vertrauliche Daten den Alltag ausmachen: Kanzleien mit Mandantenakten, Praxen mit Patientendaten, Handwerksbetriebe mit Kundenlisten und Aufträgen, Fertigung mit Konstruktionszeichnungen. Als Faustregel hat sich bei uns eine Größe ab etwa fünf bis zehn Mitarbeitern bewährt, die täglich mit Dokumenten arbeiten — darunter rechnet sich der Aufwand selten, darüber schon. Wir erleben das bei Betrieben im Chiemgau, in Rosenheim und München: Wer Kundendaten hat, für den ist die Frage „wo läuft die KI eigentlich“ keine technische Petitesse, sondern die erste Frage überhaupt.

Umgekehrt gilt auch: Ein Betrieb, der nur gelegentlich einen Brief formuliert oder eine Mail übersetzt, für den reicht meist ein Cloud-Abo völlig aus. Lokale KI ist keine Statusfrage und kein Selbstzweck — sie lohnt sich, wenn das Volumen an Dokumenten und die Vertraulichkeit der Daten es hergeben, nicht, weil „KI“ gerade überall draufsteht.

Was man dafür braucht

Im Kern vier Dinge. Erstens ein Server mit Grafikkarte im Haus — Größe und Kosten hängen stark davon ab, wie viele Leute ihn nutzen und wofür; eine ehrliche Rechnung dazu, inklusive Vergleich zum Cloud-Abo, finden Sie im Artikel Lokale KI oder Cloud-Abo: Was es wirklich kostet. Zweitens kuratierte Modelle — nicht irgendein Modell aus dem Internet, sondern eine geprüfte Auswahl, die zur Aufgabe passt. Drittens die Anbindung an das, womit im Betrieb ohnehin gearbeitet wird: Mail, Ablage, Branchensoftware. Und viertens jemanden, der es betreibt — Updates, Backup, Monitoring, ein fester Ansprechpartner, der auch dann erreichbar ist, wenn der Server einmal nicht will. Details zu Hardware, Anbindung und Betrieb stehen auf der Seite KI-Infrastruktur.

Diese vier Bausteine hängen zusammen. Ein Server ohne kuratierte Modelle ist nur Blech im Schrank. Modelle ohne Anbindung an Mail und Ablage bleiben ein isolierter Chat, den kaum jemand täglich nutzt. Und ohne Betreuung veraltet auch die beste Einrichtung irgendwann — Modelle entwickeln sich weiter, und jemand muss entscheiden, wann ein Wechsel sich lohnt und wann nicht. Deshalb bauen wir das nicht als einmaliges Projekt, das nach der Übergabe endet, sondern als etwas, das mitwächst, wenn der Betrieb mitwächst.

Datenschutz, kurz

AI-Act und DSGVO geben den Rahmen vor, in dem so etwas passieren muss — Auftragsverarbeitung, Kennzeichnung, Protokollierung. Ein Server im eigenen Haus macht vieles davon leichter zu erklären, weil die Daten das Gebäude gar nicht erst verlassen. Rechtsberatung ersetzen wir damit nicht; für Datenschutz-Folgenabschätzung und Verarbeitungsverzeichnis arbeiten wir Ihrem Anwalt oder Ihrer Kanzlei zu, entscheiden aber nichts an deren Stelle.

Wichtig ist uns dabei ein ehrlicher Punkt: „Lokal“ heißt nicht automatisch „hundertprozentig sicher“ oder „vollständig offline“ — auch ein Server im Haus braucht Pflege, Backups und ein Auge auf Zugriffsrechte, sonst ist er nur eine andere Art von Risiko. Der Unterschied ist, dass Sie diese Kontrolle dann selbst in der Hand haben, statt sie einem fremden Anbieter zu überlassen.

Stand September 2026. Was im Einzelfall sinnvoll ist, hängt an Ihren Daten und Ihrem Alltag — das besprechen wir am besten konkret, an Ihren Beispielen.