Teure KI gezielt einsetzen: Was unser Experiment zeigte

Eine Funktion in unserer eigenen Software war schon fertig. Wir haben sie trotzdem noch dreimal von KI bauen lassen. Danach hat eine KI eines anderen Anbieters die Ergebnisse paarweise bewertet, anonym und nur gegen den Auftragstext.

Die Funktion ist klein: Sie hält neu angelegte Ordner in einer Übersichtsdatei fest. Gerade das machte sie brauchbar. Alle Läufe starteten vom selben Stand, und am Ende lag Code vor, den man genau vergleichen konnte.

Was wir ausprobiert haben

Bei uns schreibt eine KI den Code. Eine zweite KI, von einem anderen Anbieter, prüft ihn in Runden, bis sie nichts mehr beanstandet. Zum Schluss kontrolliert noch einmal eine KI das Ergebnis gegen vorab beschriebene Abläufe. Wir nennen das die Schlussprüfung.

Normalerweise bereiten wir jede Aufgabe aufwendig vor. Bei dieser hatte das rund einen Tag gekostet. Die Frage war, ob es leichter geht.

Im ersten Lauf bekam die günstigere KI nur den Auftragstext. Im zweiten und dritten Lauf gab es zusätzlich ein Entscheidungsblatt. Das ist eine Seite, auf der steht, was ausdrücklich nicht Ziel ist und was schon entschieden wurde. Dazu kommen Grenzen und Randfälle. Der zweite Lauf ließ die teurere KI bauen, der dritte die günstigere. Beide hatten dasselbe Blatt, der dritte sogar eine leicht verbesserte Fassung.

Was herauskam

Die Vorbereitung hat den Ablauf verkürzt. Ohne Blatt brauchte die Prüf-KI fünf Runden, und die ersten vier fanden jeweils noch etwas. Mit Blatt waren es in beiden Läufen drei Runden. Die Prüf-KI hatte dabei rund 40 Prozent weniger zu lesen. Der Lauf mit Blatt und günstiger KI war mit rund 47 Minuten der schnellste, der mit teurer KI brauchte rund 57.

Besser wurde der Code durch das Blatt nicht. Im Blindvergleich lag der Lauf ohne jede Vorbereitung vor dem günstigen Lauf mit Blatt, wenn auch mit mittlerer Sicherheit. Das Blatt macht den Prozess schneller und billiger. Die Qualität hebt es nicht.

Ganz glatt war es auch mit Blatt nicht. Im Lauf mit der teureren KI meldete die Prüf-KI zwei Runden hintereinander dieselben zwei schweren Mängel. Keiner davon steckte im Code. Unserem Blatt fehlten zwei Festlegungen, etwa eine Ausnahme für ein Verhalten, das die Funktion schon vorher hatte. Zwei Klarstellungen lösten das. Im nächsten Lauf standen sie im Blatt, und der Streit kam nicht wieder. Dafür fand die Prüf-KI dort die nächste Lücke. Jedes Blatt hat Lücken, und eine Klärung pro Aufgabe ist normal.

Wo die teurere KI den Unterschied machte

Der aufschlussreichste Vergleich: zwei Läufe mit demselben Blatt, einmal die teurere, einmal die günstigere KI. Die teurere gewann, und zwar mit hoher Sicherheit. Das blieb so, als wir der bewertenden KI das Blatt mitgaben.

Der Unterschied lag dort, wo das Blatt nichts vorgibt. Die günstigere KI setzte um, was auf dem Blatt stand, und testete es gut. Die teurere verteidigte den Code darüber hinaus. Bei uns betraf das zwei Dinge: Texte, die Menschen von Hand pflegen, und Fehler, die nicht still verschwinden dürfen.

Zwei Beispiele aus der Übersichtsdatei:

• Scheiterte die Abfrage „Ist der Ordner neu?“, ging die günstigere Lösung davon aus, der Ordner sei schon dokumentiert. Es gab keinen Eintrag und keine Fehlermeldung, und ein späterer Lauf holte nichts nach.
• Beim Einfügen wanderten Leerzeichen am Ende einer von Hand geschriebenen Zeile auf die neue Zeile. In diesem Textformat bedeuten zwei Leerzeichen am Zeilenende einen Zeilenumbruch. Bestehender Text änderte sich also, obwohl das Blatt es verbot.

Gemeldet hat das niemand. Die Prüf-KI sah es in drei Runden nicht, die Schlussprüfung hakte nur ihre Liste ab und fand nichts Neues. Aufgefallen ist es erst, als zwei Lösungen anonym nebeneinander lagen.

Was wir geändert haben

Der Standard bleibt die günstigere KI mit Entscheidungsblatt, geprüft von einer KI eines anderen Anbieters. Die teurere KI setzen wir gezielt ein: wenn eine Aufgabe von Menschen gepflegten Text liest und ergänzt, oder wenn viele Fehlerfälle nirgends geregelt sind. Das Bauen kostet dann bei gleicher Vorbereitung rund dreimal so viel. Dafür baut die günstigere KI weiter den Rest.

Auch das Entscheidungsblatt hat jetzt feste Punkte für genau diese Stellen. Von Menschen bearbeiteter Text bleibt Zeichen für Zeichen gleich. Jeder abgefangene Fehler endet sichtbar und nie in einem stillen Standardwert. Wörter wie „bestehend“ und „Zeitpunkt“ werden im Blatt ausdrücklich definiert.

Und die Prüf-KI bekommt einen Zusatz im Auftrag. Sie soll ausdrücklich fragen, ob die Lösung mit echten Eingaben robust bleibt, und vor dem Urteil nennen, wo sie am ehesten bricht. Wir haben das an demselben Code zweimal laufen lassen, einmal mit dem alten Auftrag, einmal mit dem Zusatz. Ohne Zusatz fand die Prüf-KI 2 Befunde, mit Zusatz 6. Sie fand damit alle fünf Mängel, die wir kannten, und einen neuen. Teurer wurde es nicht. Die Prüfung las sogar weniger und war nach 187 statt 216 Sekunden fertig.

Was das für Unternehmen bedeutet

Wenn Sie Software einkaufen, lohnt eine Frage an Ihren Dienstleister: Wo setzt er welche KI ein, und worauf achtet die Prüfung über die Vorgaben hinaus? Eine brauchbare Antwort nennt konkrete Stellen, an denen genauer hingeschaut wird.

Wenn Sie KI selbst einsetzen, gilt dieselbe Überlegung im Kleinen. Was klar beschrieben ist, erledigt auch eine günstige KI zuverlässig. Dort, wo niemand etwas vorgegeben hat, wird es heikel. Dazu zählen Texte, die andere pflegen, und Fälle, in denen etwas schiefgeht. Schauen Sie sich für solche Stellen an, was bei einem Fehler passiert und ob es jemand merkt.

Eine Einschränkung gehört dazu. Jeder Lauf fand genau einmal statt, und die bewertenden KIs urteilen nicht immer gleich. Auch die Prüfung mit Zusatz haben wir nur einmal gemessen. Das ist ein Experiment mit einer Aufgabe, keine Studie. Wir leiten daraus ab, wohin wir künftig genauer schauen, und messen weiter. Offen ist zum Beispiel noch, ob sich die Schlussprüfung genauso lenken lässt.

Häufige Fragen

Ist die teurere KI beim Programmieren immer besser?

In unserem Experiment nicht. Bei gleicher Vorbereitung war sie nur dort deutlich besser, wo die Vorbereitung nichts vorgab, etwa bei von Hand gepflegten Texten und bei Fehlern, die sichtbar bleiben müssen. Alles andere setzte die günstigere KI ebenfalls gut um.

Wofür lohnt sich die teurere KI in der Softwareentwicklung?

Für Aufgaben, die von Menschen bearbeiteten Text lesen und ergänzen, und für Aufgaben mit vielen ungeregelten Fehlerfällen. Das Bauen kostet dabei rund dreimal so viel wie mit der günstigeren KI. Für klar beschriebene Aufgaben reicht die günstigere.

Warum findet eine Prüf-KI nicht alle Fehler?

Sie prüft vor allem das, was ihr aufgetragen wird. In unserem Fall meldeten drei Prüfrunden und die Schlussprüfung keinen der Mängel. Mit einem Zusatz, der ausdrücklich nach Robustheit fragt, fand dieselbe Prüf-KI 6 statt 2 Befunde.