Die Studie

Was wir versprechen, und wo es überprüft wird

Manche Versprechen sind durch Konstruktion wahr — es gibt keinen Server, also gibt es nichts zu messen — andere sind Aussagen über Verhalten, die sich nur durch Messen überprüfen lassen. Beides zu verwechseln ist der einfachste Weg zu glauben, man habe alles überprüft.

Die These

Was entscheidbar ist, wird im Code entschieden; die Regeln räumen die typischen Fehler des Modells beiseite; dem Modell bleibt nur, was Sprachverständnis erfordert. Mit dieser Aufteilung leistet ein kleines Modell Arbeit, die es allein nicht könnte.

Keine Messung dieser Studie lässt ein Modell ein anderes bewerten: ein Richter kostet so viel wie die Arbeit, die er bewertet, und verschiebt das Problem, statt es zu lösen. Was gezählt wird, wird gezählt — ein Widerspruch ist durch die Konstruktion des Falls erwartet oder nicht, eine Zahl steht in den Notizen oder nicht, ein Zitat hält dem zeichenweisen Vergleich stand oder es ist erfunden.

Der Code allein irrt sich nie

Achtzehntausend Fälle, dreitausend pro Sprache, kein Modell geladen: nur Faktenextraktion, Paarbildung und die Unterdrückungsregeln.

Siebentausenddreihundertdreiunddreißig Alarme, keiner falsch. Und nicht, weil das System bis zum Schweigen vorsichtig wäre: die Alarme machen 41 % der Fälle aus. Was das heißt, muss genau gesagt werden: die Fälle sind keine unabhängigen Beobachtungen — der Generator hat einige Dutzend Kombinationen, die vielfach wiederholt werden — die richtige Lesart ist also null Fehler auf allem, was der Generator erzeugen kann, in sechs Sprachen, und keine Schätzung der Fehlerwahrscheinlichkeit auf echten Notizen.

Derselbe Code bleibt bei der Trefferquote jedoch bei 0,815 stehen: fast jeder fünfte Konflikt entgeht ihm, und das ist keine Frage des Feinschliffs. Implizite Konflikte — „für die Rückfahrt nehmen wir den Zug“ gegen „ich habe den Flug gebucht“ — hinterlassen keine messbare Tatsache. Dort muss man verstehen, was die Sätze meinen, und das ist die Arbeit des Modells.

Was es kostet, in echten Ressourcen

2,73 GB sind weniger als ein Browser mit einem Dutzend Tabs. Alles, was diese Studie misst, passt hinein — Extraktion, Regeln, Urteil, Zusammenfassungen, Suche — und nichts verlässt den Mac. Es gibt noch eine Ressource, die sich nicht in Gigabyte messen lässt: in diesem Korpus erzeugt fast die Hälfte der Fälle nicht einmal ein Paar, das ans Modell ginge.

Die Regeln sind mehr wert als die Modellgröße

Die Ablation: dieselben Fälle, dasselbe Modell, dieselben Notizen, nur die deterministischen Unterdrückungen abgeschaltet. Die Präzision fällt von 0,986 auf 0,818, die Fehlalarme steigen von 1 auf 16. Ein paar Dutzend Zeilen sprachlicher Marker beseitigen fünfzehn von sechzehn Fehlalarmen — und sie kosten weniger als nichts, denn ohne sie erhält das Modell 16 % bis 19 % mehr Aufrufe. Wir haben auch das Gegenteil versucht, die schwierigen Unterscheidungen im Prompt in Worten zu erklären: über tausend Fälle 0,703 gegen 0,705. Eine Schwelle zu verschieben lehrt keine Unterscheidung.

Die Grenze zwischen Code und Modell war falsch gezogen

Das ist das Ergebnis, das die Studie nicht erwartet hatte, und es kam heraus, indem die Fehler klassifiziert statt gezählt wurden. Die Grenze war an zwei entgegengesetzten Stellen falsch.

In keinem der beiden Fälle wird am Modell, am Prompt oder an der Größe etwas geändert: was sich verschiebt, ist die Linie, wer was entscheidet. Und der Unterschied zwischen den beiden Modellen ist nicht, dass das kleine weniger versteht — es vertraut weniger, und seine Vorsicht fraß die Arbeit des Codes auf.

Eine Neuberechnung ist keine Messung: die Regel wurde geschrieben und die neunhundert Fälle von Grund auf neu gefahren. Die Vorhersage traf beide Zahlen — sie zeigte aber auch, dass die erste Fassung nur einen von zwei Zweigen abdeckte, denn drei Konflikte gingen nicht durch eine Verneinung des Modells verloren, sondern weil seine Zitate dem Vergleich mit den Notizen nicht standhielten.

Zusammenfassungen und Suche

Hundertvierundvierzig Archive, zwölf pro Sprache und Modell. Die Hälfte der Fragen hat im Kontext keine Antwort, und das ist die Hälfte, die zählt: ein Modell, das trotzdem antwortet, mit einer Zahl, die es nicht gibt, erzeugt etwas, das wie deine eigene Notiz aussieht und keine ist.

Bei der Suche sind die beiden Modelle nicht zu unterscheiden, und das ist das Ergebnis, das für ein persönliches Archiv am meisten zählt: hundertvierundvierzig Gelegenheiten zu erfinden, keine genutzt. Bei den Zusammenfassungen zeigt sich die Größe sehr wohl — und dort liegt der wahre Preis des Profils Essenziell: auf einer Wiki-Seite wiegt eine erfundene Zahl schwerer als eine fehlende, denn die Seite ist das, was man statt der Notizen wieder liest.

Die drei Profile

Ein Profil ist kein Modell: es ist eine Zuordnung von Aufgaben an zwei Modelle. Seiten und Widersprüche gehen an das intensive Modell, die Suche an das schnelle.

Wer Essenziell wählt, kauft keine schlechteren Widersprüche — sondern weniger vollständige Seiten.

Was diese Studie NICHT beweist

• Sie beweist nicht, dass es mit deinen Notizen funktioniert. Die Korpora sind konstruiert: die Fälle sind erfunden, die Widersprüche gesetzt. Echte Notizen sind schlampiger, elliptischer und mehrdeutiger.
• Die Fälle sind keine unabhängigen Beobachtungen. Achtzehntausend Fälle sind einige Dutzend Kombinationen, vielfach wiederholt.
• Das Korpus ist an einem entscheidenden Punkt leichter als die Wirklichkeit: der Satz mit der Tatsache beginnt immer mit dem Subjekt, was für den Extraktor die beste Bedingung ist. Die Präzision 1,0000, auf der alles ruht, wird dort gemessen, wo die Extraktion am besten arbeitet.
• Die Sprachen sind nicht gleichwertig. Italienisch hat tausend Fälle hinter sich; die anderen fünf haben diese Studie und einen handgeschriebenen Referenzsatz von sechzehn Fällen.

Eine falsche Messung, und wie sie entdeckt wurde

Die Zahlen zum Lesen wurden von Grund auf neu erhoben. Die erste Fassung des Prüfstands rief die Prompts der vorherigen Engine auf: der Code kompilierte, die Tests liefen grün, und die Zahlen gehörten zu einer anderen Pipeline. Der Verdacht kam von einem Ergebnis, das zu eindeutig war, um wahr zu sein — das kleine Modell schrieb auf Englisch zwölf von zwölf Mal in der falschen Sprache. Das gehört gesagt, denn es ist die Art Fehler, die eine Studie nicht enthalten sollte und die keine automatische Prüfung abgefangen hätte. Die falschen Berichte bleiben neben den guten im Repository: sie zeigen den Unterschied, sie stützen keine Schlussfolgerung.

Was diese Studie den Referenzen aus „Die Idee“ sagt

• Bush — Der Wert liegt in den Verknüpfungen, nicht in den Dokumenten. Im Memex zieht der Mensch die Pfade; hier schlägt sie der Code vor, und die Frage wird, wie weit man einer Verknüpfung trauen kann, die man nicht selbst gezogen hat. Die Zahl: null falsche Konflikte in achtzehntausend Fällen.
• Luhmann — Struktur entsteht aus den Verknüpfungen, sie wird nicht entworfen. Aber Luhmann zog die Verknüpfungen von Hand und wusste warum; hier muss das Warum <b>gezeigt</b> werden — deshalb trägt jeder Widerspruch die beiden wörtlichen Sätze mit sich, die ihn begründen.
• Ahrens — Umformulieren ist bereits Denken, die dauerhafte Notiz muss also der Mensch schreiben. Genau deshalb fließt das Wiki nicht in die Notizen zurück: käme der Text des Modells wieder herein, würde die App an deiner Stelle umformulieren.
• Park — Reflection konsolidiert, sonst erstickt die Menge den Sinn. Diese Studie ergänzt ein Detail, das jene Arbeit nicht behandelt: Konsolidieren ist der Moment, in dem erfunden wird. Reflection ohne Kontrolle der Zahlen konsolidiert auch die Fehler, und zwar in autoritativerer Form, als sie entstanden sind.
• Karpathy — Der Vorschlag, der dem, was wir tun, am nächsten kommt: ein Wiki, das das Modell pflegt, in dem es „liest, destilliert, aktualisiert und Konflikte meldet“. Beim letzten Punkt sagen unsere Messungen das Gegenteil, und das ist das Ergebnis unten.

Das Modell zu bitten, Konflikte zu melden, während es die Seite schreibt, war das Erste, was wir versucht haben, und es funktioniert am schlechtesten von allem: vier gefundene Konflikte von vierzig. Nicht wegen der Modellgröße — eine Prüfaufgabe, die in eine Schreibaufgabe hineingeschoben wird, macht jeder schlecht. Nimmt man sie dem Modell weg und gibt sie dem Code: Trefferquote 1,000 und Präzision 0,911.

In einem von einem LLM gepflegten Wiki ist die Konflikterkennung keine Aufgabe des LLM.

Und ein Versprechen, das diese Studie nicht berührt

„Die Idee“ sagt, das System gebe dir nicht zurück, was du weißt — es lasse dich schreiben, was du nicht wusstest, dass du denkst. Das ist die ehrgeizigste Aussage, und keine Zahl hier stützt sie. Man kann messen, ob ein Widerspruch echt ist, ob eine Zahl da war, ob ein Zitat hält. Man kann nicht messen, ob eine Frage dich zum Denken gebracht hat: das weiß nur, wer sie liest, an den eigenen Notizen, ein paar Monate später. Eine Studie wie diese kann höchstens die Gründe ausräumen, aus denen das Versprechen mit Sicherheit scheitern würde.

Die Idee lesen →