Wie A2B im Vergleich mit den größten KI-Modellen abschneidet

Wenn Menschen hören, dass ein KI-Chatbot auf Nachhaltigkeit ausgelegt ist, geht es in der ersten Frage meist um die Qualität. Heißt weniger Energie auch schlechtere Antworten? Wir wollten das mit Daten beantworten statt mit Versprechen.

Das Ergebnis in Kürze

Bei 100 echten Nutzer-Prompts pro Sprache, bewertet von drei Modellen dreier verschiedener Unternehmen, liegt A2B in der Spitzengruppe. Auf Englisch ist A2B Boost Dritter von 13 Systemen, hinter Claude Opus 5.5 und GPT-6 Astra und gleichauf mit Claude Fable 5.1 und Gemini 3.1 Pro. A2B Core ist Siebter, nur wenige Zehntel hinter der Spitze, bei Kosten von 1,01 € pro 100 Antworten. Auf Deutsch ist A2B Boost Vierter von 13, gleichauf mit GPT-6 Astra und Kimi K3. A2B läuft vollständig auf Open-Weight-Modellen, die in der EU gehostet werden.

So haben wir getestet und so funktioniert die Bewertung

Prompts. 100 echte Nutzeranfragen aus dem ShareGPT-Datensatz, mit der Themenverteilung aus der NBER-Studie How People Use ChatGPT: praktische Ratschläge, Informationen, Schreiben und mehr. Das deutsche Set ist eine Übersetzung des englischen.

Systeme. Jedes System hat jeden Prompt in einer eigenen Unterhaltung beantwortet, mit verfügbarer Websuche: Frontier-Modelle mit ihrer eigenen nativen Suche, offene Modelle mit derselben Linkup-Suche, die die App nutzt, und A2B über die Anwendung selbst, sodass sein Routing, seine Suche und jeder interne Schritt enthalten sind.

Juroren. Gemini 3.1 Pro (Google), Claude Sonnet 5 (Anthropic) und GPT-6 Sol (OpenAI) haben jede Antwort mit demselben Bewertungsschema von 0 bis 10 benotet, mit Websuche zur Faktenprüfung. Sie sahen nur den Prompt und die Antwort, nie den Namen des Systems.

Bias-Kontrolle. Juroren bevorzugen Antworten der Modelle ihres eigenen Unternehmens. Deshalb wird jedes System nur von Juroren anderer Unternehmen bewertet, nachdem alle Juroren auf dieselbe Skala gebracht wurden. Der 95-%-Bereich zeigt, wie stark sich eine Bewertung mit einer anderen Auswahl an Prompts verschieben könnte; Systeme mit überlappenden Bereichen liegen praktisch gleichauf.

Gesamtranking, Englisch

Die neutrale Bewertung ist der Durchschnitt der Juroren anderer Unternehmen. Die Energie in Klammern vergleicht jedes System mit Claude Fable 5.1, dem effizientesten der drei Frontier-Modelle GPT-6 Astra, Gemini 3.1 Pro und Claude Fable 5.1.

Was die Ergebnisse zeigen

An der Spitze der Tabelle liegt die Qualität eng beieinander: Sieben Systeme liegen innerhalb von etwa 0,3 Punkten, und ihre 95-%-Bereiche überlappen sich. Unterschiede gibt es bei Kosten und Energie. A2B Boost erreicht 8,79 für 1,89 € pro 100 Antworten, Claude Fable 5.1 dagegen 8,78 für 12,62 €. A2B Core erreicht 8,67 für 1,01 € und verbraucht 88 % weniger Energie als Fable 5.1.

Der Energieverbrauch schwankt viel stärker als die Qualität. Qwen 3.8 Max braucht 24,94 Wh pro 1.000 Ausgabe-Tokens, A2B Core 1,86 Wh. Das sind Schätzungen nach einer öffentlichen Methodik, keine Messungen an den physischen Servern.

Auf Deutsch

Dieselben 100 Prompts, übersetzt, zeigen dasselbe Bild. A2B Boost ist Vierter von 12 mit 8,70, hinter Claude Opus 5.5, Gemini 3.1 Pro und Claude Fable 5.1 und gleichauf mit GPT-6 Astra und Kimi K3. A2B Core ist Siebter mit 8,52.

Warum die Kombination von Modellen funktioniert

GLM-5.3 ist das Basismodell von A2B Core. Allein, mit einfacher Suche, landet es in beiden Sprachen deutlich hinter A2B; innerhalb von A2B erreicht es die Frontier-Gruppe. A2B ist kein einzelnes Riesenmodell: Es kombiniert Open-Source-Modelle und wählt für jede Anfrage das passende aus, sodass einfache Fragen nie den Energiepreis eines Frontier-Modells zahlen. So groß ist der Anteil jedes Modells an den Ausgabe-Tokens von A2B:

Grenzen

Das Ranking gilt für diesen Alltagsmix aus 100 Prompts; es ist kein universeller Qualitätswert. LLM-Juroren schwanken bei derselben Antwort zwischen Durchläufen um etwa einen Punkt, der Antworttext kann seinen Anbieter verraten, und die Suchwerkzeuge unterscheiden sich zwischen den Systemen, so wie für echte Nutzerinnen und Nutzer.

Wiederhole den Test selbst

Transparenz ist einer unserer Grundwerte. Jede Antwort, jede Juroren-Eingabe, jede rohe Juroren-Antwort, jede Bewertung, jede Kosten- und Energieberechnung, jedes Log und jedes Skript ist mit einer Prüfsummendatei veröffentlicht. So kannst du prüfen, dass sich nichts verändert hat, und denselben Test mit jedem Modell durchführen. Wenn du etwas findest, das wir falsch gemacht haben, wollen wir davon hören.