KI-generierter Code vs. handgeschriebener Code: Was Code Reviews zeigen

Opus 5 findet mehr Fehler in handgeschriebenem Code als in KI-generiertem Code.

Ich habe mir in den letzten Monaten viele Gedanken über die Auswirkungen von generativer KI auf die Geschwindigkeit in der Softwareentwicklung gemacht. Seit einigen Wochen beobachte ich, wie sich mein Fokus von „Geschwindigkeit“ auf „Qualität“ verschiebt.

Der Auslöser dafür waren intensive Experimente im Bereich des KI-gestützten Code Reviews. Wir haben CodeRabbit AI ausprobiert und für nicht gut genug befunden und uns daraufhin geeinigt, unseren Code fürs Erste auf unseren Rechnern von Opus 5 reviewen zu lassen. Dabei ist uns aufgefallen, dass Opus 5 extrem gründlich reviewt, immer etwas findet und erst dann kleinlich wird, wenn die größeren Probleme behoben sind. (Ganz ohne Kommentar geht’s ja nicht – wie würde das denn aussehen? Die Mentalität gab es auch schon vor KI.)

Die erste Erkenntnis war also: Ein lokales Review mit Opus 5 erhöht die Code-Qualität. Die zweite Erkenntnis beschäftigt mich jetzt seit Wochen: Opus 5 findet oft mehr Fehler in handgeschriebenem Code als in Code, der mit Fable 5, Opus 5 oder Sol 5.6 generiert wurde. Dabei ist es egal, ob ich der Autor bin, meine Peers oder ich selbst vor zwei Jahren, als ich noch häufiger echte Deep-Work-Phasen hatte.

Jetzt könnte man erwidern: „KI bevorzugt den Code, den sie geschrieben hat.“ Das halte ich nicht mehr für richtig. In meinem Setup weiß die KI nicht, dass sie den Code geschrieben hat, und ein Wechsel der generierenden KI (z. B. von einem Anthropic-Modell auf eines von OpenAI) hat keine Auswirkungen auf Menge und Qualität der Anmerkungen.

Man könnte auch erwidern: „Vielleicht bist du einfach nicht gut und deine Kollegen dann auch nicht.“ Auch wenn der Burn total naheliegt – als Argument taugt er nicht: Wer in den letzten Monaten Nachrichten gelesen hat, findet genügend Hinweise darauf, dass KI inzwischen vielleicht einfach gut genug (oder besser) ist: Sei es Claude Mythos, das 271 Sicherheitslücken in Firefox gefunden hat, oder Linus Torvalds, der sagte: „[…] no, AI isn’t perfect. But Christ, anybody who points to the problems at AI had better be looking in the mirror and pointing at themselves at the same time. Because it’s not like natural intelligence is always all that great either.“

Interessanterweise bedeutet das nicht, dass ein Engineer automatisch besser wird, wenn er seinen Code nur noch mit KI generieren lässt. Ein trauriges Beispiel dafür musste ich erst letzte Woche erleben. Was es stattdessen bedeutet, weiß ich auch nach langem Nachdenken immer noch nicht. Ich weiß nur, dass wir in naher Zukunft keinen Code mehr per Hand schreiben werden und dass Teams, die KI-generierten Code noch immer ablehnen, den Schuss nicht gehört haben.