Tipp heute ollama in dein Terminal. Was startet, ist kein lokales Modell.

Seit Version 0.32.0 vom 11. Juli 2026 öffnet der bloße Befehl einen Agenten — und in Ollamas eigenen Release Notes steht, womit: „Chat, Code, & Work (glm-5.2:cloud)“. Ein Cloud-Modell. Das populärste Werkzeug für lokale KI schickt dich beim Standardaufruf ins Netz.

Das ist kein Skandal, sondern ein Produktentscheid, und man kann ihn abschalten. Aber es ist die perfekte Eröffnung für diesen Beitrag. Denn „lokal“ ist inzwischen ein Wort, das man prüfen muss, statt es zu glauben.

Warum man das überhaupt macht

Fangen wir mit dem an, was wirklich trägt — und das ist nicht das Geld.

Wenn du eine KI auf eigenen Servern ausschließlich für eigene Zwecke betreibst, dann verschwindet nach Auffassung der deutschen Datenschutzkonferenz die Auftragsverarbeitung. Du bist alleiniger Verantwortlicher. Kein Auftragsverarbeitungsvertrag nach Art. 28 Abs. 3 DSGVO, keine Unterauftragnehmerkette, keine Drittlandsübermittlung, kein Angemessenheitsbeschluss, der nächstes Jahr kippen kann.

Das ist der Punkt, den man verstehen muss: Lokale Verarbeitung ist keine Risikominderung. Sie ist ein struktureller Wegfall einer ganzen Pflichtenkette. Die Aufsichtsbehörden empfehlen lokale Verarbeitung ausdrücklich, etwa für Nachtraining und Fine-Tuning.

Und die verbreitete Sorge, man hole sich mit eigener KI Regulierungspflichten ins Haus, geht am Privatanwender vorbei: Der AI Act gilt nach Art. 2 Abs. 10 für rein private, nicht-berufliche Nutzung überhaupt nicht und nimmt freie Open-Source-Systeme grundsätzlich aus.

(Das ist die Wiedergabe von Behörden- und Gesetzestexten, Stand 24. Juli 2026 — keine Rechtsberatung. Für den konkreten betrieblichen Fall gehört das zur Datenschutzbeauftragten.)

Was auf deine Karte passt

Die ehrlichste VRAM-Auskunft, die es offiziell gibt, sind die Dateigrößen in Ollamas Bibliothek. Grob gerechnet: Du brauchst so viel Grafikspeicher, wie die Datei groß ist, plus etwas Luft.

ModellGröße (Q4)passt auf
Gemma 4, 12B7,6 GB8-GB-Karte, knapp
gpt-oss-20bfür 16 GB ausgelegt16-GB-Karte
Qwen3.6-27B17 GB24-GB-Karte
Gemma 4, 31B20 GB24-GB-Karte
Laguna XS 2.1 (q4)20 GB24-GB-Karte
Qwen3.6-35B24 GB24 GB, sehr knapp

Die realistische Einstiegsschwelle ist damit eine 16-GB-Karte. Bei einem großen deutschen Händler lag eine RTX 5060 Ti mit 16 GB bei 555,85 € (Aktionspreis), die günstigste reguläre 16-GB-Karte bei 559,64 €. Die 32-GB-Karte (RTX 5090) kostet mit 4.248,99 € ein Vielfaches.

Zwei Dinge dazu, die selten richtig dargestellt werden:

Quantisierung macht Modelle nicht nur kleiner, sondern schneller. Beim Standardbeispiel Llama-3.1-8B generiert die 4-Bit-Variante 71,93 Token pro Sekunde, die 16-Bit-Variante nur 29,17 — Faktor 2,5. Der Grund: Textgenerierung ist speicherbandbreitenbegrenzt. Weniger Bits heißt weniger zu lesen. Die verbreitete Vorstellung, Quantisierung sei ein reiner Qualitätskompromiss, den man nur aus Platzmangel eingeht, stimmt so nicht.

Der Strom ist egal. Bei einer Stunde Volllast täglich kostet die 5060 Ti rund 2,22 € im Monat, die 5090 rund 7,09 € — gerechnet mit dem amtlichen deutschen Haushaltsstrompreis von 40,55 Cent je Kilowattstunde. Selbst bei vier Stunden täglich sind es 8,88 € bzw. 28,35 €. Das Argument „lokale KI lohnt sich wegen der Stromkosten nicht“ ist damit vom Tisch. Entschieden wird ausschließlich am Kaufpreis.

Die Rechnung, die kaum jemand hinschreibt

Und der Kaufpreis entscheidet gegen dich.

555,85 € entsprechen — zum Kurs vom Abrufdatum — rund 253 Millionen Output-Token bei Gemini 3.5 Flash-Lite. Bei Claude Haiku 4.5 sind es 126 Millionen, bei Claude Sonnet 5 noch 63 Millionen, bei GPT-5.6 Sol immerhin 21 Millionen.

Mach dir klar, was das heißt. Wer täglich 5.000 Token erzeugt — und das ist bereits intensive tägliche Nutzung —, bräuchte für 253 Millionen Token rechnerisch rund 138 Jahre.

Als Break-even ausgedrückt: Die Einsteigerkarte rechnet sich bei 10 € monatlichen API-Ausgaben nach etwa 71 Monaten, also sechs Jahren. Bei 25 € nach gut zwei Jahren. Erst bei 50 € im Monat wird es mit knapp zwölf Monaten interessant. Die 5090 braucht bei 50 € im Monat rund acht Jahre.

Lokale KI ist finanziell fast nie die günstigere Wahl. Wer sie mit „das spart auf Dauer Geld“ begründet, rechnet in aller Regel falsch. Man kauft sie für Datenhoheit — und die ist ein echter Wert, aber eben ein anderer.

Eine ehrliche Ausnahme: Wer aus Compliance-Gründen ohnehin europäische Datenresidenz braucht, zahlt bei beiden großen US-Anbietern genau 10 % Aufpreis — OpenAI nennt „a 10% uplift“, Anthropic einen Faktor 1,1. Das verschiebt die Rechnung leicht, aber nicht dramatisch.

Der Leistungsabstand — und der Trick in der Zahl

Hier wird viel durcheinandergeworfen, und der Unterschied ist entscheidend.

„Offene Modelle haben fast aufgeholt“ stimmt — im Intelligence Index von Artificial Analysis liegen Kimi K2.6 und MiMo V2.5 Pro bei 54 Punkten, DeepSeek V4 Pro bei 52, gegenüber 60 für GPT-5.5 an der Spitze. Ein Jahr zuvor war der Abstand deutlich größer.

„Ich kann das zu Hause laufen lassen“ ist eine andere Aussage über andere Modelle. Kimi K2.6 hat eine Billion Parameter. DeepSeek V4 Pro 1,6 Billionen. Das sind Rechenzentrumsmodelle. Sie sind offen — aber nicht deshalb auf deiner Grafikkarte lauffähig.

Was tatsächlich auf eine einzelne Karte passt, liegt weiter zurück: Qwen3.6-27B kommt auf 37 Indexpunkte — Rang 1 seiner Größenklasse, aber eben 37 gegen 60. gpt-oss-20b liegt bei 15.

Und die Gegenprobe im Blindvergleich fällt noch klarer aus: In der LMArena-Rangliste steht unter den Top 15 kein einziges offenes Modell. Das beste offene Modell liegt auf Rang 29.

Fairerweise gehört dazu: Die Methodik dieser Arena ist dokumentiert kritisiert worden („The Leaderboard Illusion“), unter anderem weil ein sehr großer Datenanteil auf wenige kommerzielle Anbieter entfällt. Die Kritik kommt allerdings von Autoren, die selbst einem Modellanbieter nahestehen. Beides gehört nebeneinander.

Mein Fazit dazu: Für Zusammenfassen, Umformulieren, Strukturieren, einfaches Coden reicht ein 27B-Modell auf einer 24-GB-Karte völlig. Für die harten Fälle — langes Nachdenken, verschachtelte Aufgaben, agentische Arbeit — merkst du die 23 Punkte Unterschied sofort.

Wo „lokal“ nicht lokal ist

Das ist der Teil, den kein Ratgeber schreibt, weil er unbequem ist.

Ollamas Standardaufruf. Siehe oben: Seit v0.32.0 startet ollama einen Agenten mit einem Cloud-Modell. Cloud-Modelle stehen dabei in derselben Bibliotheksliste wie lokale, unterschieden nur durch das Suffix im Tag — gemma4:31b läuft bei dir, gemma4:31b-cloud nicht. Ein Zeichen Unterschied.

Die Websuche im Agenten läuft über Ollamas eigene Server und verlangt ein Konto und einen API-Schlüssel.

Auch bei rein lokaler Nutzung fallen Metadaten an. Ollamas Datenschutzerklärung trennt das sauber — Inhalte werden lokal nicht erhoben, ausdrücklich: „We do not collect, store, transmit, or have access to your prompts, responses, model interactions, or other content you process locally.“ Geräte- und Nutzungsmetadaten aber schon.

LM Studio erklärt Telemetriefreiheit und benennt zugleich offen die fünf Funktionen, die Internet brauchen: Modellsuche, Modell-Download, Katalogstatistiken, Runtime-Downloads, Update-Prüfung. Das ist die vorbildliche Variante — die Grenze steht in der Doku.

Und der erste Schritt zur Souveränität ist bei einem der bekanntesten Modelle eine Identitätsabgabe: Um die „offenen“ Llama-4-Gewichte herunterzuladen, verlangt Meta den vollen juristischen Namen und das Geburtsdatum. Die Llama-Lizenz ist ohnehin keine Open-Source-Lizenz — wer 700 Millionen monatlich aktive Nutzer überschreitet, muss Meta um Erlaubnis bitten, die nach eigenem Ermessen erteilt wird.

Welches Modell du nehmen solltest, wenn dir die Lizenz wichtig ist

Wenn „offen“ wirklich offen heißen soll, ist die Lizenz das erste Kriterium — und hier hat sich etwas geändert, das in fast jedem älteren Ratgeber noch falsch steht.

Gemma 4 steht seit dem Release am 31. März 2026 unter Apache 2.0 — die Lizenzseite trägt den vollständigen, unveränderten Text. Alle früheren Gemma-Generationen hatten eine restriktive Haus-Lizenz, in der Google sich sogar vorbehielt, die Nutzung aus der Ferne einzuschränken. Für Gemma 3 und älter gilt das weiter. Wer einen Ratgeber liest, der „Gemma hat eine eigene Lizenz“ sagt, liest einen veralteten Ratgeber.

Qwen3.6-27B steht unter unveränderter Apache 2.0, ohne Zusatzklauseln — und ist zugleich das stärkste Modell seiner Größenklasse. Wenn ich eins empfehlen müsste für eine 24-GB-Karte, wäre es das.

gpt-oss-20b steht ebenfalls unter Apache 2.0 und ist laut Modellkarte ausdrücklich für 16 GB ausgelegt — der bequemste Einstieg auf der Einsteigerkarte.

Was du dafür verlierst

Damit das keine Werbung wird, hier der ehrliche Preis:

Geschwindigkeit. Eine Einsteigerkarte ist kein Rechenzentrum. Bei langen Kontexten und langem Nachdenken wartest du.

Fähigkeit. 37 gegen 60 Indexpunkte sind kein Rundungsfehler. Die schweren Aufgaben kann dein lokales Modell schlechter.

Wartung. Treiber, Quantisierungen, Modell-Updates, kaputte Abhängigkeiten. Das ist Arbeit, die dir bei einer API niemand berechnet, weil sie jemand anderes macht.

Und eine Lücke, die ich nicht schließen konnte: Ich habe in der offiziellen Dokumentation von Ollama und LM Studio keine Aussage dazu gefunden, ob heruntergeladene Modellgewichte kryptografisch auf Herkunft geprüft werden. Bei einer Datei, die du auf deinem Rechner ausführst, wäre das eine Angabe, die ich gern gehabt hätte.

Mein Fazit

Kauf keine Grafikkarte, um Geld zu sparen. Die Rechnung geht fast nie auf, und wer dir etwas anderes vorrechnet, hat entweder deinen Verbrauch oder den Kartenpreis geschönt.

Kauf sie, wenn dir zählt, dass bestimmte Texte dein Haus nicht verlassen — Mandantendaten, Patientendaten, Manuskripte, Verträge, alles, wo die Frage „wo liegt das gerade?“ eine echte Antwort braucht. Dafür ist lokale KI nicht die günstigere, sondern die einzige saubere Lösung, weil dann kein Dritter mehr in der Kette steht.

Und wenn du anfängst: Fang klein an. Eine 16-GB-Karte, gpt-oss-20b oder ein Gemma 4 in mittlerer Größe, und schau eine Woche lang ehrlich hin, was du davon wirklich benutzt. Danach weißt du, ob die 24-GB-Karte sich lohnt — besser, als es vorher zu raten.

Die Werkzeuge drumherum stehen in meinem laufend gepflegten Index mit 137 KI-Werkzeugen; welches der kommerziellen Modelle wofür taugt, steht im Vergleich von ChatGPT, Claude und Gemini.

Quellen

Alle am 24. Juli 2026 geprüft. Preise, Modellstände und Lizenzen ändern sich; Hardwarepreise sind Händlerpreise zum Abrufdatum.

Wenn dir hier etwas veraltet oder falsch vorkommt: schreib mir.