Zwei Open-Source-Projekte, die diese Woche durch die Newsletter gingen: WebLLM lässt Sprachmodelle komplett im Browser laufen, Magnitude auf dem eigenen Rechner ohne Internet. Was beide können, wo lokale Modelle enden, und für welche Daten im Betrieb das die richtige Antwort ist. Mit meinem eigenen Setup als Beispiel.
Gestern habe ich über GPT-6 Astra geschrieben, und die erste Rückfrage war dieselbe wie bei jedem neuen Modell: „Und meine Kundendaten gehen dann alle nach Amerika?" Die ehrliche Antwort ist: bei den großen Modellen ja, mit Vertrag, Verschlüsselung und Auftragsverarbeitung, aber ja. Deshalb heute zwei Werkzeuge, bei denen die Antwort nein ist, und eine nüchterne Liste, wofür das reicht.
WebLLM ist eine Inferenz-Engine, die ein Sprachmodell komplett im Browser laufen lässt, beschleunigt über WebGPU, ohne einen Server dahinter. Die Schnittstelle ist dieselbe wie bei OpenAI: Streaming, JSON-Modus, strukturierte Ausgaben, erste Funktionsaufrufe. Unterstützt werden Llama, Phi, Gemma, Mistral und Qwen. Das Projekt kommt aus dem Umfeld der Carnegie Mellon University, der University of Washington und der MLC-Gemeinschaft, ist Apache-2.0-lizenziert und hat rund 19.000 Sterne auf GitHub. Praktisch heißt das: Eine Webseite kann ein Modell laden und lokal antworten, ohne dass ein Byte den Rechner verlässt.
Magnitude geht einen Schritt weiter Richtung Betrieb. Es ist ein lokaler Inferenz-Server: Nach der Installation vermisst er deinen Rechner, Prozessor, Speicher, Bandbreite, schlägt Modelle vor, die hineinpassen, mit geschätzten Tokens pro Sekunde, lädt sie herunter, und danach braucht er kein Internet mehr. „Prompts, Dateien und Modelle bleiben auf deinem Rechner." Er hängt sich als Modell-Anbieter unter Claude Code, Codex, Cline und andere Agenten, läuft auf macOS, Linux und Windows über WSL, ebenfalls Apache-2.0, und nimmt auch beliebige GGUF-Modelle von Hugging Face.
Was auf einem normalen Bürorechner läuft, ist Qwen- oder Phi-Klasse mit wenigen Milliarden Parametern, nicht GPT-6 oder Fable. Das ist für viele Aufgaben genug, für schwierige nicht, und die Modell-Artikel dieser Woche zeigen, wie groß der Abstand ist. WebLLM braucht einen Browser mit WebGPU und genug Grafikspeicher, und die Hintergrundprozesse, auf denen es läuft, können „jederzeit ohne Vorwarnung beendet" werden. Magnitude hat offene Fehler und ist jung. Beides ist ein Werkzeug für Leute, die wissen, was sie tun, oder jemanden haben, der es weiß.
Ich betreibe selbst ein lokales Modell auf eigener Hardware, für interne Aufgaben. Nicht, weil es besser wäre als die großen Modelle, das ist es nicht. Sondern weil es Daten gibt, die ich keinem Vertrag anvertrauen will: Kundenlisten, Verträge, Buchhaltung, Personalunterlagen. Für diese Daten ist lokal nicht die zweitbeste Lösung, sondern die einzige, die ich nachts ruhig schlafen lässt. Und die Aufgaben, die dort anfallen, sind fast nie die schwierigen: sortieren, zusammenfassen, Felder ausfüllen, Entwürfe vorbereiten. Genau das kann ein kleines Modell.
Die Sortierung, die ich empfehle, hat drei Stufen. Lokal: alles, was Kundendaten, Verträge oder Personal berührt, und alles, was Routine ist. Cloud mit Vertrag: Texte, die nach außen gehen, Recherche, Bilder, alles, wo Qualität den Unterschied macht und die Daten unkritisch sind. Gar nicht: Dinge, die ein Mensch entscheiden muss. Und DSGVO-Vorteil heißt nicht Freifahrtschein. Wer lokal rechnet, bleibt verantwortlich, welche Daten er in das Modell gibt, wer den Rechner bedienen darf und wie lange Ergebnisse liegen bleiben. Lokal löst die Übermittlung, nicht die Verantwortung.
Nimm einen Rechner mit ordentlich Speicher, der ohnehin da ist. Installiere Magnitude, lass ihn ein Modell vorschlagen, und gib ihm die eine Aufgabe, die jede Woche mit sensiblen Daten anfällt: eingehende Kundenmails in drei Töpfe sortieren, oder aus zehn Angeboten die Eckdaten in eine Tabelle ziehen. Miss vier Wochen, ob das Ergebnis reicht. Wenn ja, hast du eine KI, die nie eine Datenschutzfrage aufwirft. Wenn nein, weißt du genau, welche Aufgabe doch in die Cloud muss, und kannst dafür einen sauberen Vertrag machen. Beides ist besser als die Frage weiter zu vertagen.
Klein reicht für Routine. Und Routine ist, wo die sensiblen Daten liegen.
WebLLM und Magnitude sind keine Konkurrenz zu GPT-6 oder Fable, und wer sie so liest, wird enttäuscht. Sie sind die Antwort auf eine andere Frage, nämlich die, die in fast jedem Gespräch mit einem Inhaber als zweites kommt: Was passiert mit meinen Daten? Die Antwort „nichts, sie bleiben hier" ist für einen Teil der Aufgaben im Betrieb die richtige, und dieser Teil ist größer, als die Modell-Rennen vermuten lassen, weil es der Routine-Teil ist.
Die Entscheidung, die dahinter steht, ist nicht technisch: Welche Daten dürfen raus, welche nicht. Wer das einmal sauber sortiert hat, kann für die eine Hälfte das beste Modell der Welt mieten und für die andere ein kleines im eigenen Haus laufen lassen. Beides zusammen ist die Kaskade, über die ich diese Woche schon zweimal geschrieben habe, nur diesmal nicht nach Preis sortiert, sondern nach Vertrauen.
Quellen: mlc-ai/web-llm (GitHub, Apache-2.0) · magnitudedev/magnitude (GitHub, Apache-2.0). Beide über TLDR DevOps und TLDR Web Dev vom 04.09.2026. Eigener Betrieb eines lokalen Modells: Erfahrungswert, keine Messung. Stand: 04.09.2026.
Welches Modell für welche Aufgabe, welche Tools wirklich zählen und wie du richtig promptest — komplett lesbar, kein Download.
Jetzt gratis lesen →Ich sortiere mit dir die Aufgaben deines Betriebs in lokal, Cloud mit Vertrag und gar nicht, richte das lokale Modell auf einem vorhandenen Rechner ein und gebe ihm die erste Aufgabe. Vier Wochen später weißt du, was reicht.