Die Grenzen eines einzelnen Prompts: Warum Reasoning keine Präzision garantiert

Je länger ein Modell vor der Antwort „nachdenkt“, desto höher die Wahrscheinlichkeit einer korrekten Antwort — eine Annahme, die man leicht unkritisch übernimmt. Wir haben sie empirisch anhand dreier Aufgaben geprüft, die mechanische, überprüfbare Präzision erfordern. Das Ergebnis ist komplexer, als es zunächst scheint.

Was ist ein einzelner Prompt?

Ein einzelner Prompt ist die einfachste Möglichkeit, ein Sprachmodell zu nutzen — genau die, die die meisten von uns aus alltäglichen Gesprächen mit ChatGPT kennen: Wir schreiben eine Frage oder Anweisung, das Modell erzeugt eine Antwort, und damit ist der Vorgang beendet. Das Modell kann nicht prüfen, ob das gerade Geschriebene korrekt ist. Es verwendet keinen Taschenrechner, führt keinen Code aus und berät sich nicht mit sich selbst. Es sagt lediglich das nächste Wort voraus, dann das folgende, bis der Satz fertig ist. Was dabei entsteht, erhalten wir als fertige Antwort.

Dieser Ansatz funktioniert hervorragend bei Gesprächen, beim Schreiben von Texten oder Zusammenfassungen, für die es keine einzelne, eindeutig richtige Antwort gibt. Unsere Frage war: Was passiert, wenn eine Aufgabe genau eine korrekte Antwort hat und mechanische Präzision erfordert, etwa das Ergebnis einer Multiplikation oder die exakte Zeichenzahl eines Textes? Garantiert allein die Aufforderung, „länger nachzudenken“ — also reasoning_effort zu erhöhen — diese Präzision?

Die Tests liefen über Azure OpenAI auf einem Modell der GPT-5.6-Familie. Der Parameter reasoning_effort steuert, wie viele „Denk“-Tokens das Modell vor der Antwort verbraucht, von none bis xhigh. Um systematische Probleme von zufälligen Schwankungen beim Sampling zu unterscheiden, wiederholten wir jede Kombination aus Aufgabe und Reasoning-Stufe viermal.

Drei Aufgaben, eine Gemeinsamkeit

Wir wählten drei Aufgaben, deren Ergebnisse eindeutig richtig oder falsch sind:

• Multiplikation — das exakte Produkt zweier vierstelliger Zahlen.
• Zeichen — ein Text mit einer exakt vorgegebenen Anzahl von Zeichen, nicht Wörtern.
• Buchstaben — die Anzahl der Vorkommen eines bestimmten Buchstabens in einem zufälligen Text mit ungefähr 350 Zeichen bestimmen.

Ergebnisse: Die Erfolgsquote steigt mit dem Reasoning-Aufwand, aber nicht linear

Bei effort=none scheitern alle drei Aufgaben in 100% der Versuche. Überraschend ist, was danach geschieht. Bei der Aufgabe Buchstaben schneidet high (75%) schlechter ab als low und medium (100%). Mehr Reasoning bedeutet also nicht automatisch ein besseres Ergebnis. Eine höhere Stufe erhöht die Wahrscheinlichkeit eines Treffers, garantiert ihn aber nicht.

Warum passiert das?

Bei effort=none sollte das Modell 3471 × 6305 = 21.884.655 berechnen. Es gab „218637?“ zurück — eine Zahl, die nicht nur falsch, sondern auch strukturell unvollständig war. Das veranschaulicht den Mechanismus: Das Modell erzeugt eine Antwort Token für Token in eine Richtung, ohne die eigene Ausgabe zu überprüfen. Es gibt keinen Schritt „Prüfe, ob das stimmt“. Reasoning gibt dem Modell mehr „Raum“, das Problem vor der Antwort aufzuschlüsseln, verändert aber nicht die grundlegende Architektur: Es bleibt eine Generierung in eine Richtung ohne Rückkopplungsschleife.

Die Kosten wachsen schneller als die Sicherheit

Mehr Reasoning bedeutet höhere Kosten — wir bezahlen für die „Denk“-Tokens, nicht nur für die Antwort.

Bei der Aufgabe Zeichen steigen die Kosten von 0,0003 USD (none) auf 0,0142 USD (xhigh) — ungefähr das Vierzigfache. Die Erfolgsquote bei xhigh erreicht tatsächlich 100%, bei high liegt sie jedoch nur bei 50%. Wir bezahlen mehr, ohne immer mehr Sicherheit zu erhalten.

Buchstaben: durchschnittliche Kosten eines einzelnen Prompts

Reasoning-Stufe	Durchschnittliche Kosten (USD)	Erfolgsquote
none	0,000249 $	0 %
low	0,003133 $	100 %
medium	0,004803 $	100 %
high	0,005837 $	75 %
xhigh	0,006423 $	100 %

Zeichen: durchschnittliche Kosten eines einzelnen Prompts

Reasoning-Stufe	Durchschnittliche Kosten (USD)	Erfolgsquote
none	0,000342 $	0 %
low	0,010084 $	0 %
medium	0,010458 $	50 %
high	0,014829 $	50 %
xhigh	0,014225 $	100 %

Wie geht es weiter?

Da das Problem in der fehlenden Überprüfung liegt, ist der nächste naheliegende Schritt, dem Modell ein Werkzeug zu geben, das diese übernimmt. Im nächsten Beitrag untersuchen wir, was Codeausführung leistet und wo sie weiterhin an Grenzen stößt.