Dialectic Convergence

Die fünf Phasen

1. ❓

   Phase 1 Fragen

   Die Modelle entwickeln die Fragen selbst. Jeder Teilnehmer schlägt leichte, mittlere und schwere Fragen vor. Die Jury sieht die Vorschläge ohne Absender und stimmt ab; die eigenen Vorschläge bekommt ein Modell dabei nicht vorgelegt. Ein Dublettenfilter streicht doppelte Fragen, bevor der Katalog steht: rund 20 % leicht, 30 % mittel, 50 % schwer.

2. ✍︎

   Phase 2 Antworten

   Jedes Modell beantwortet jede Frage für sich, ohne die Antworten der anderen zu kennen.

3. 🎭

   Phase 3 Blind-Ranking

   Zu jeder Frage treten die Antworten paarweise gegeneinander an. Ein drittes Modell bekommt beide Texte als „Antwort A“ und „Antwort B“ vorgelegt, ohne Modellnamen, und entscheidet, welche besser ist und wie sicher es sich dabei ist. Wer gegen wen antritt, regelt ein Schweizer System über mehrere Runden.

4. ⚔︎

   Phase 4 Challenges

   Jedes Modell prüft eine Antwort jedes anderen Modells gezielt auf Fehler. Das angegriffene Modell verteidigt sich, ein unbeteiligtes Schiedsrichter-Modell bewertet den Angriff. Wer ehrlich meldet, dass er keinen Fehler findet, wird dafür belohnt; erfundene Kritik kostet Punkte.

5. 🔁

   Phase 5 Konsistenz-Check

   Zwei Fragen des Katalogs bekommt jedes Modell noch einmal, in drei unterschiedlich formulierten Aufgabenstellungen. Je ähnlicher die Antworten ausfallen, desto höher der Konsistenzwert.

Die Methode und ihre Version

Dialectic Convergence ist die Benchmark-Methode des KI-Battles. Wir haben sie für einen Fall entwickelt, für den es keine fertigen Testdaten gibt: Sprachmodelle auf einem frei gewählten Thema vergleichen, zu dem niemand vorab Musterlösungen geschrieben hat. Der Name beschreibt das Prinzip. Die Modelle widersprechen einander in Duellen und Angriffen, und aus vielen einzelnen Urteilen entsteht eine Rangfolge.

Die Methode trägt eine Versionsnummer, aktuell 1.0. Jede Battle-Seite nennt unter dem Titel die Version, nach der der Lauf gemessen wurde. Ändern wir etwas, das Ergebnisse verschieben kann, zum Beispiel die Gewichtung oder die Auswahl der Schiedsrichter-Modelle, steigt die Nummer, und die Tabelle hält fest, was sich geändert hat. Läufe verschiedener Versionen lassen sich nur eingeschränkt vergleichen.

Was der Benchmark kann und was nicht

Ein Battle beantwortet eine eng gefasste Frage: Welches Modell aus diesem Feld hat auf diese Fragen die besseren Antworten gegeben, gemessen am Urteil der anderen Modelle? Daraus ergibt sich, was ein Ergebnis trägt.

Er misst relative Qualität im Feld

Das Ranking vergleicht die Teilnehmer untereinander. Ein Score von 82 heißt: Dieses Modell lag in diesem Feld weit vorn. Dass 82 Prozent seiner Antworten richtig waren, heißt er nicht. Gegen ein stärkeres Feld sinkt die Peer-Anerkennung desselben Modells und damit sein Score, ohne dass eine einzige Antwort schlechter geworden wäre.

Es gibt keinen Datensatz mit Musterlösungen

Klassische Benchmarks prüfen Antworten gegen eine vorab festgelegte Lösung. Hier stammen Fragen, Antworten und Bewertungen von den Modellen. So werden Themen messbar, für die kein Testdatensatz existiert. Dafür ist kein Urteil in einem Battle von außen geprüft.

Gemeinsame Irrtümer bleiben unentdeckt

Liegt das ganze Feld bei einem Punkt falsch, bemerkt es niemand: Die Antworten stimmen überein, die Schiedsrichter-Modelle halten sie für richtig, und kein Angriff in der Challenge-Phase beanstandet sie. Das ist im Battle „Deutsche Rechtschreibung und Grammatik“ vom 7. August 2026 passiert. Seit dem 1. Juli 2024 schreibt das Amtliche Regelwerk das Komma bei Infinitivgruppen (erweiterter Infinitiv mit „zu“) verbindlich vor; bis dahin war es in vielen Fällen freigestellt. Alle acht Modelle haben in ihrer Antwort auf Frage 9 noch den alten Stand erklärt, der Sieger eingeschlossen. Schon die Frage selbst, von einem der Modelle vorgeschlagen und von der Jury ausgewählt, wollte wissen, in welchen Fällen das Komma „fakultativ“ sei. Kein Schiedsrichter-Modell und kein Angriff hat das bemerkt. In einem Duell zur verwandten Frage 5 verlor sogar die Antwort, die das Komma bei erweiterten Infinitivgruppen als Pflicht nannte: Sie stütze sich auf veraltete Regeln, urteilte das Schiedsrichter-Modell. Ein Battle zeigt, worauf sich das Feld einigt; ob das Feld recht hat, kann es nicht prüfen.

Schiedsrichter-Modelle haben eigene Vorlieben

Die Bewertung kommt von Sprachmodellen, und die urteilen nicht neutral. Sie können die zuerst gezeigte Antwort bevorzugen oder Modelle aus dem eigenen Haus. Was Version 1.0 dagegen tut und was offen ist, steht im Abschnitt Verzerrungen der Schiedsrichter-Modelle.

Das Ergebnis gilt für diesen Lauf

Ein Battle prüft eine begrenzte Zahl von Fragen zu einem Thema (bisher 16), bestimmte Modellversionen und bestimmte Einstellungen, etwa das Denkbudget oder die Quantisierung eines lokalen Modells. Ein Update des Anbieters oder ein anderer Fragenkatalog kann die Reihenfolge ändern. Vom Abschneiden bei „Deutsche Rechtschreibung und Grammatik“ lässt sich nicht auf „Networking mit LinkedIn“ schließen. Deshalb gibt es ein Battle je Thema.

Blindverfahren

Im Blind-Ranking sieht das Schiedsrichter-Modell das Thema, die Frage und zwei Texte, beschriftet mit „Antwort A“ und „Antwort B“. Modellnamen kommen im Auftrag nicht vor. Dasselbe gilt für die Challenge-Phase: Angreifer und Schiedsrichter-Modell erfahren nicht, von wem die geprüfte Antwort stammt.

Das Verfahren hat zwei Lücken. Die Antworten selbst werden nicht bereinigt: Nennt ein Modell im Text seinen eigenen Namen, steht er auch im Duell. Außerdem schreiben Modelle in einem erkennbaren Stil, den ein anderes Modell wiedererkennen kann.

Jury und Rollentrennung

Jedes Duell entscheidet genau ein Schiedsrichter-Modell. Es wird der Reihe nach aus der Jury genommen, und zwar so, dass es an dem Duell nicht beteiligt ist. Kein Modell urteilt über die eigene Antwort. Fällt das Schiedsrichter-Modell aus oder liefert es ein unlesbares Urteil, übernimmt das nächste aus der Jury. In der Challenge-Phase ist das Schiedsrichter-Modell weder Angreifer noch Verteidiger.

In der Regel bilden die Teilnehmer selbst die Jury: Im Rechtschreib-Battle entfielen auf jedes der acht Modelle zwischen 32 und 45 der 320 Urteile. Das erste Battle mit Richtern von außen ist „Qwen 3.8 27B in fünf Größen“. Dort richten GPT-6 Sol und DeepSeek V4 Pro, die selbst nicht antreten. Die fünf Modelldateien und Claude Opus 5.5 antworten, greifen an und verteidigen sich, urteilen aber nicht.

Zwei Rollen trennen das Antreten vom Richten:

Nur antworten answeronly

Das Modell tritt voll an: Es schlägt Fragen vor, antwortet, greift an, verteidigt sich und wird gerankt. Ein Urteil gibt es nicht ab. So laufen Modelle mit, die als Richter befangen wären, etwa mehrere Fassungen desselben Modells.

Nur richten judgeonly

Das Modell gehört zur Jury und tritt nicht an. Es stellt keine Fragen, gibt keine Antworten und erscheint nicht im Ranking. So kann ein Modell richten, das nicht Teil des Vergleichs sein soll.

Zahl der Duelle

Zu jeder Frage läuft ein eigenes Turnier nach dem Schweizer System. Vor jeder Runde werden die Antworten nach ihrer bisherigen Bilanz sortiert, dann treffen Antworten mit ähnlicher Bilanz aufeinander, möglichst ohne dass sich eine Paarung wiederholt. Die Rundenzahl ergibt sich aus der Feldgröße (der aufgerundete Zweierlogarithmus), meistens plus zwei Zusatzrunden.

Meistens treten acht Modelle an. Das sind fünf Runden mit je vier Duellen, bei 16 Fragen also 16 × 5 × 4 = 320 Duelle je Battle. Nicht jedes Modell trifft bei jeder Frage auf jedes andere: Je Frage gibt es 20 Duelle bei 28 möglichen Paarungen. Weicht ein Battle davon ab, nennt seine Seite Feldgröße, Runden und Duelle.

Score-Berechnung

Der Score eines Modells setzt sich aus drei Teilen zusammen:

Score = 0,55 × Peer-Anerkennung + 0,35 × Challenge-Erfolg + 0,10 × Konsistenz. Alle drei Teile liegen zwischen 0 und 1; die Battle-Seiten zeigen den Score mit 100 multipliziert. Lässt sich ein Teil für ein Modell nicht messen, etwa weil nach einem technischen Ausfall kein gültiger Konsistenz-Test vorliegt, wird er nicht als null gewertet. Sein Gewicht verteilt sich dann auf die übrigen Teile.

Peer-Anerkennung

In jedem Duell nennt das Schiedsrichter-Modell die bessere Antwort und gibt an, wie sicher es sich ist, auf einer Skala von 0 bis 1. Daraus wird für beide Antworten eine Punktzahl zwischen 1 und 10: Die Siegerin bekommt 5,5 Punkte plus das 4,5-Fache der Sicherheit, die Verliererin entsprechend weniger. Ein Unentschieden bringt beiden 5,5 Punkte. Die Peer-Anerkennung ist der Mittelwert aller Punktzahlen eines Modells, geteilt durch 10. Ein knapper Sieg zählt also weniger als ein deutlicher.

Challenge-Erfolg

Bewertet wird der Angreifer. Das Schiedsrichter-Modell vergibt 0 bis 10 Punkte dafür, wie berechtigt die Kritik war. Meldet der Angreifer, dass er keinen Fehler findet, und stimmt das, bekommt er ebenfalls hohe Punkte. Der Challenge-Erfolg ist der Mittelwert dieser Punkte über alle eigenen Angriffe, geteilt durch 10. Bei acht Modellen greift jedes Modell jedes andere einmal an, das sind 56 Angriffe und sieben Bewertungen je Modell. Wie gut sich ein Modell verteidigt, fließt in Version 1.0 nicht in den Score ein.

Die „berechtigten Fehler-Angriffe“ auf den Battle-Seiten sind die Angriffe, die das Schiedsrichter-Modell als begründet eingestuft hat.

Konsistenz

Jedes Modell beantwortet die ersten beiden Fragen des Katalogs je dreimal, jedes Mal mit anders formulierter Aufgabenstellung. Der Konsistenzwert ist die Kosinus-Ähnlichkeit der Worthäufigkeiten, gemittelt über alle Antwortpaare. Das Maß ist grob, weil es nur Wörter zählt: Zwei inhaltlich gleiche, aber verschieden formulierte Antworten gelten ihm als unähnlich.

Was nicht in den Score eingeht

Die Selbstnote, die jedes Modell vor dem Lauf abgibt, dient nur dem Vergleich „Selbstbild vs. Realität“. Zusätzlich benoten bis zu drei Schiedsrichter-Modelle jede Antwort einzeln auf einer Skala von 0 bis 10. Diese Einzelnoten nutzen wir für Auswertungen im Video; im Ranking stecken sie nicht.

Konfidenz und „ähnlich stark“

Der Score ordnet die Modelle. Wie belastbar diese Reihenfolge ist, zeigt eine zweite Auswertung der Duelle mit einem Bradley-Terry-Modell. Es schätzt aus allen Siegen und Niederlagen für jedes Modell eine Stärke. Aus den Stärken zweier Modelle folgt die Wahrscheinlichkeit, mit der das eine das andere im Duell schlägt. In die Rechnung geht nur ein, wer gewonnen hat; unentschiedene Duelle zählen nicht mit. In den bisherigen Battles waren das weniger als 4 % der Duelle, in den meisten unter 1 %.

Zu jeder Stärke gehört ein 95-%-Konfidenzintervall, berechnet aus der Fisher-Information der Schätzung. Je mehr Duelle ein Modell bestritten hat und je eindeutiger sie ausgingen, desto schmaler ist das Intervall.

Wann zwei Plätze als ähnlich stark gelten

Für die Klammer „ähnlich stark“ im Ranking vergleichen wir benachbarte Plätze. Zwei Nachbarn gelten als ähnlich stark, wenn ihr Abstand kleiner ist als das 1,96-Fache des Standardfehlers der Differenz. Dann enthält das 95-%-Intervall des Abstands die Null, und die Duelle allein entscheiden nicht, wer von beiden stärker ist. Liegen mehrere Nachbarn hintereinander so dicht, fasst die Klammer sie zu einer Gruppe zusammen. In einer langen Gruppe gilt die Aussage von Platz zu Platz; die beiden Enden können weiter auseinanderliegen.

Geprüft wird der Abstand selbst und nicht, ob sich zwei einzelne Intervalle überlappen. Der Überlapp ist die gröbere Prüfung: Zwei Intervalle können sich berühren, obwohl der Abstand gesichert ist.

Einen Sonderfall gibt es. Gewinnt ein Modell kein einziges Duell, hat seine Stärke keinen endlichen Schätzwert, und sein Standardfehler sagt nichts über die Unsicherheit. Allgemein gilt das, wenn zwischen zwei Gruppen von Modellen alle Duelle in dieselbe Richtung ausgingen. Für Nachbarn auf beiden Seiten einer solchen Grenze prüfen wir den Abstand deshalb mit einem Likelihood-Quotienten-Test, auf derselben Schwelle. Wenige verlorene Duelle reichen ihm nicht: Zwei Niederlagen ohne Sieg trennen zwei Plätze noch nicht.

Die Reihenfolge auf der Battle-Seite folgt immer dem Score, auch innerhalb einer Klammer. Die Markierung entsteht für jedes Battle automatisch aus den Daten des Laufs, niemand setzt sie von Hand.

Was die Markierung nicht abdeckt

Sie stützt sich auf die Duelle, also auf den Teil des Scores mit dem größten Gewicht. Für Challenge-Erfolg und Konsistenz, zusammen 45 % des Scores, berechnet Version 1.0 keine Unsicherheit; der Challenge-Erfolg ruht bei acht Modellen auf sieben Bewertungen je Modell. Der Punktabstand im Ranking ist deshalb kein Maß für die Klammer. Im Rechtschreib-Battle liegen Platz 2 und 3 um 4,7 Punkte auseinander und gelten als getrennt, Platz 3 und 4 um 5,3 Punkte und stehen in einer Klammer: In den Duellen war der Abstand zwischen 2 und 3 knapp gesichert, der zwischen 3 und 4 nicht.

Der Satz unter dem Ranking beginnt aus demselben Grund mit „Im direkten Vergleich“. Ein klarer Abstand dort heißt, dass ein Modell das andere in den Duellen verlässlich schlägt. Dass beide Plätze bei einem neuen Lauf in dieser Reihenfolge blieben, folgt daraus nicht.

Verzerrungen der Schiedsrichter-Modelle

Eigene Antworten

Ein Modell urteilt nie über ein Duell oder einen Angriff, an dem es beteiligt ist. Bei der Auswahl der Fragen bekommt es die eigenen Vorschläge nicht zur Abstimmung vorgelegt.

Position

Sprachmodelle können als Schiedsrichter die Antwort bevorzugen, die sie zuerst lesen. Version 1.0 gleicht das nicht aus: Die Reihenfolge der beiden Antworten wird nicht ausgelost, und jedes Duell wird nur in einer Reihenfolge bewertet. In der ersten Runde ist die Reihenfolge beliebig. Ab der zweiten Runde steht die Antwort mit der bis dahin besseren Bilanz an Position A. Ein Schiedsrichter-Modell mit einer Vorliebe für die erste Position kann einen frühen Vorsprung dadurch verstärken. Wie stark der Effekt in unseren Läufen ist, ist nicht gemessen.

Familie

Modelle desselben Anbieters schließt Version 1.0 nicht automatisch voneinander aus. Im Battle „Networking mit LinkedIn“ hat zum Beispiel MiniMax M2.5 über Duelle von MiniMax M2.7 geurteilt und umgekehrt. Ob Modelle ihre Verwandten bevorzugen, lässt sich aus einem einzelnen Lauf nicht ablesen. Wo es darauf ankommt, legen wir die Jury von Hand fest: Vergleicht ein Battle mehrere Fassungen desselben Modells, richtet kein Modell dieser Familie.

Prüfsummen der Quant-Dateien

Lokale Modelle gibt es in verschiedenen Quantisierungen, also in unterschiedlich stark komprimierten Fassungen derselben Gewichte. Unter demselben Namen sind oft mehrere Dateien aus verschiedenen Quellen im Umlauf, die sich im Verhalten unterscheiden können. Vergleicht ein Battle Quantisierungen miteinander, halten wir deshalb zu jeder Datei die SHA256-Prüfsumme in den Ergebnisdaten des Laufs fest. Wer dieselbe Datei lädt und dieselbe Prüfsumme erhält, hat genau die Fassung vor sich, die im Battle angetreten ist.

Stand: Oktober 2026 · Methodenversion 1.0