Zwei LLM-Wikis: eine Methode, zwei Domänen

Jede Konzeptseite hält fest, was ein Kind können muss, woran man Beherrschung erkennt, welche Fehlvorstellungen typisch sind und auf welche Lehrplan-Kompetenzen und Autoren sie sich stützt. Die Beziehungen sind durchgehend n:m: 70 Konzepte decken mehr als eine Lehrplan-Kompetenz ab, und ein Konzept gehört jeder Karte, die es braucht.

Zwei Karten sind final und als deutsche Exporte abgelegt. Die übrigen 37 hat ein Agent in einem einzigen Nachtlauf vom 15. auf den 16. September entworfen, von der Literaturrecherche bis zur Karte. Am Morgen lag ein Bericht bereit, der alle offenen Entscheidungen nach Art gruppierte. Diese 37 Karten sind Entwürfe. Die fachliche Prüfung steht noch aus.

Drei Beispiele:

• Die Matrix wird immer ganz geprüft. Der Lehrplan 21 ordnet Kompetenzen in einer Matrix aus Kompetenzbereichen und Handlungsaspekten. Beim ersten Durchgang zum Thema Geld extrahierte der Agent nur die Rechen-Kompetenzen und schob «Preise grafisch darstellen» still einem späteren Daten-Thema zu. Seither muss jeder Ingest alle drei Handlungsaspekte jedes berührten Bereichs prüfen, und «gehört zu einem anderen Thema» gilt allein nicht als Begründung.
• Entscheidungen kommen als Tabelle. Rückfragen, die in Prosa steckten, habe ich übersehen. Heute bekommt jede Entscheidung eine eigene Tabelle mit Optionen, Trade-offs, Konsequenzen und genau einer Empfehlung.
• Entwürfe sind nie Expertenwissen. Wo kein fachdidaktisches Dokument existiert, darf der Agent einen Lernbaustein entwerfen. Er trägt dann die Kennung «Entwurf, Agent+Mensch», und das Lint-Skript bricht ab, sobald ein Entwurf «(Experten)» für sich beansprucht.

Zur Ehrlichkeit über die Herkunft: Jedes der 364 Konzepte führt neben Fachliteratur auch «Claude (agent expertise)» als Grundlage auf. Die Überlegungen des Agents prägen jede Seite mit, und das Wiki sagt das offen, statt es hinter Literaturzitaten zu verstecken.

Das Lint-Skript prüft unter anderem: Jede Karte ist azyklisch und von der Wurzel aus erreichbar, Kanten zeigen nur aufwärts durch die Lernstufen, jede referenzierte Fertigkeit existiert, jede Lehrplan-ID gibt es wirklich, jede Quelle ist als Snapshot vorhanden und jede Autorenangabe ist in einer Registry aufgelöst.

Der letzte Lauf endet mit 0 Fehlern und 16 Warnungen. Die Warnungen sind bewusst keine Fehler: 11 davon betreffen Fertigkeiten, für die es nach den pädagogischen Regeln keinen zulässigen Weg zur Diagnose gibt. Das muss ein Mensch beurteilen, nicht ein Skript.

Rund um das Wiki sind weitere Build-Targets entstanden: ein Frontend in SvelteKit, das Themen, Karten mit ihren UND/ODER-Knoten und die offenen Entscheidungen als interaktiven Graphen zeigt. Die Daten erzeugt ein Skript direkt aus dem Repo. Das Container-Image baut Pokkum, das Base-Image ist per pokkum.lock gepinnt.

Ein Beispiel aus dem ersten Proposal, einem Metal-Kernel nach dem Elastic-Cache-Verfahren:

• Sourced: Die Drift der KV-Caches nimmt über die Layers monoton zu. Das belegt das Paper, allerdings für andere Modelle, nicht für LLaDA2.1.
• Inferred: Auf CUDA-Hardware gefundene Parameter sind ein brauchbarer Startpunkt für Apple Silicon, müssen aber neu abgestimmt werden.
• Speculative: Eine feinere Prüfung pro Token könnte Veraltung erkennen, die das Verfahren übersieht, zu unbekannten Kosten.

Dazu die Regel, gescheiterte Ideen zu behalten: Zeigt ein Experiment keinen Nutzen, wird das als Ergebnis festgehalten, nicht gelöscht. 84 der 118 Konzeptseiten tragen diese Markierungen ausdrücklich, die übrigen 34 nicht. Diese Lücke ist offen.

Source-Notes verlinken auf die Konzepte, die sie begründen. Ein Audit sollte finden, welche dieser Seiten fehlen, und legte 20 an. Dann fiel mir eine weitere fehlende Seite auf, die der Audit hätte finden müssen.

Die Ursache: Der Agent hatte die Links gegen die Liste in index.md geprüft statt direkt gegen die Dateien. Was im Index fehlte, war für ihn unsichtbar. Der korrigierte Audit fand 29 weitere fehlende Seiten, die Nachkontrolle noch eine. Insgesamt 51 Seiten, auf die das Wiki verwies, die es aber nicht gab.

Im Mathe-Wiki ist Lint anders gelöst: Ein Skript liest die Dateien selbst, einen Index, dem es blind vertrauen könnte, gibt es für das Skript nicht.

Aus dem Wiki entstanden im Juli 2026 ein Konzept und ein Implementierungsleitfaden für eine eigene Inferenz-Engine in Swift und Metal. Gebaut und gemessen wurde sie in einem separaten Repo: 111 Commits vom 10. bis 19. Juli 2026, entwickelt auf einem MacBook Pro M1, Zielhardware ein Mac Studio M2 Ultra.

Dort sind echte Ergebnisse entstanden, auch negative. Das erste Proposal des Wikis ist widerlegt: Die Wiederverwendung des Caches im aktiven Block hat bei LLaDA2.x eine theoretische Obergrenze von rund 4 bis 5 %, in der Umsetzung praktisch null, und erhöht gleichzeitig die Zahl der Schritte. Die geplanten Folgephasen wurden deshalb gar nicht erst gestartet. Mein Fazit nach vielen negativen Resultaten: dLLMs passen schlecht zur Architektur von Apple Silicon. Gelohnt hat sich die Übung trotzdem, gerade wegen dieser Erkenntnis.

Im Wiki ist davon nichts angekommen. 05-Experiments/ ist leer, der letzte Log-Eintrag stammt vom 4. Juli, und das widerlegte Proposal steht weiterhin auf «idea». Im Engine-Repo liegen 14 fertige Wiki-Entwürfe für die Experimente, übertragen habe ich sie noch nicht. Ein Wiki, das seine eigenen Ergebnisse nicht kennt, führt den nächsten Agent in die Irre. Das ist der nächste Schritt, und danach will ich die Resultate veröffentlichen, gerade die negativen. Wer denselben Weg prüft, spart sich so die Sackgasse.