Sie müssen Ihrem KI-System nicht misstrauen. Sie müssen belegen können, dass es wirkt.

Nicht mein Eindruck. Gemessen.

Der Schluss daraus ist unbequem und deshalb selten zu hören: Wer stille Fehlschläge finden will, braucht keine bessere KI. Er braucht eine Prüfung, die das Ergebnis anfasst statt den Vorgang. Die Untersuchung benennt auch, warum die Prüfer versagen — sie stützen sich auf Oberflächenmerkmale wie selbstbewusste Abschlussformulierungen, „rather than verified state changes“.

Sauber zitiert, weil es sonst auffällt: Die Untersuchung misst zusätzlich leichtgewichtige, domänenspezifisch trainierte TF-IDF-Detektoren mit AUROC 0,83 und 0,95. Das sind trainierte Klassifikatoren und nicht dasselbe wie die programmatischen Zustandsprüfungen, die ich baue — die Autoren empfehlen sie ausdrücklich als Triage-Signal, nicht als vollständige Antwort. Ich führe die Zahl deshalb nicht als Beleg für meine Methode an. Was meine Methode stützt, ist der Befund oben: dort, wo eine unabhängige Zustandsprüfung existiert, fällt die Fehlerquote auf 3 %.

Für Sie, wenn Sie bereits ein KI-System betreiben

Ein RAG über eigene Dokumente, eine Agenten-Automatisierung, eine Ingest-Strecke — und eine dieser drei Fragen lässt sich nicht sicher beantworten:

• Woran genau erkennen wir, dass ein Lauf gewirkt hat — und nicht nur, dass er gelaufen ist?
• Welche unserer Prüfungen könnten grün melden, obwohl die Funktion aus ist?
• Wenn die Antwortqualität morgen einbricht — wie lange merken wir es nicht?

Besonders dann, wenn ein Fehler nicht nur peinlich, sondern teuer oder nachweispflichtig ist: öffentliche Verwaltung, regulierte Bereiche, Kanzleien und Beratungen mit eigenen Wissensbeständen, Betreiber interner Agentenplattformen.

Kein Gutachten, das „sieht gut aus“ sagt

1. Wirkungslandkarte

   Für jede geprüfte Strecke steht schriftlich getrennt: Was meldet Erfolg — und was gilt als tatsächliche Wirkung. Diese beiden Spalten fallen in fast jedem System auseinander. Die Lücke dazwischen ist der Befund.

2. Priorisierte Befundliste

   Jeder Punkt mit konkretem Szenario: welche Eingabe, welcher Zustand, welches falsche Ergebnis. Keine allgemeinen Risikohinweise.

3. Drei bis zehn lauffähige Wirkungsprüfungen — mit Wirksamkeitsnachweis

   Der eigentliche Liefergegenstand. Ausführbare Prüfungen, keine Meinung — ein Programm, das entweder anschlägt oder nicht. Sie können es selbst wiederholen, an dem Tag und in dem Jahr, in dem Sie wollen.

   Manche werden rot. Manche grün. Beides ist Evidenz. Ein gutes System darf eine Prüfung bestehen — und dass es sie besteht, ist genau der Nachweis, den Sie später brauchen. Ich verkaufe keine Fehler, ich verkaufe die Fähigkeit, es zu wissen.

   Und der Schritt, ohne den eine Prüfung nichts belegt: Zu jeder Prüfung gehört ein Gegentest, der den Fehler absichtlich herbeiführt — und belegt, dass die Prüfung dann rot wird und nach Behebung wieder grün. Eine Kontrolle, die nicht scheitern kann, ist Dekoration. Sie bekommen nicht nur Prüfungen, sondern den Nachweis, dass sie funktionieren.

4. Maßnahmenplan

   Nach Aufwand und Wirkung sortiert, mit klarer Trennung zwischen dem, was Sie in einer Stunde selbst ändern können, und dem, was ein Umbau ist.

5. Übergabegespräch, 60 Minuten

   Damit die Prüfungen nach mir weiterlaufen und Ihr Team sie selbst erweitert. Sie laufen auf dem Werkzeug, das ich öffentlich entwickle — Sie sind nach dem Audit nicht von mir abhängig.

Wie ein stiller Fehler aussieht, wenn man ihn beim Namen nennt

Offengelegt: Das ist mein eigenes Werkzeug, nicht das eines Kunden. Ein Kundenfall würde hier nur stehen, wenn er freigegeben wäre — und bis heute ist keiner freigegeben. Der Fall ist vom 19.09.2026 und in jedem Schritt nachvollziehbar.

[preis-konsistenz]  passed 3  failed 0  skipped 0
  ok    pruefung-fand-statt        0.0 h alt (Grenze 26 h)
  ok    genug-artefakte-gelesen    9 >= 7
  ok    ein-preis-nicht-zwei       enthält "status": "einheitlich"

RESULT: PASSED

1  Lauf gegen den echten Bestand
   einheitlich   9 Artefakte   ['5.900']            Exit 0

2  eingepflanzt: | Preis | **2.900 EUR netto, Festpreis** |
   WIDERSPRUCH: 2 verschiedene Audit-Preise: 2.900, 5.900
   _businessplan.md   | Preis | **2.900 EUR netto, Festpreis** |
   Exit 1

3  zurückgesetzt
   SHA-256 vorher   b81ec719524114c0…
   SHA-256 nachher  b81ec719524114c0…   identisch
   wieder grün

Vor der Behebung hätte Schritt 2 GRÜN gemeldet.

Das ist der Unterschied zwischen „die Prüfung ist grün" und „die Prüfung kann rot werden". Ohne Schritt 2 ist Schritt 1 eine Behauptung. Und Schritt 3 gehört dazu, weil eine Prüfung, die das System verändert zurücklässt, ihren eigenen nächsten Lauf verfälscht.

Was mit Ihnen passiert, Tag für Tag

1. vorab · kostenlos30 Minuten Vorgespräch. Sie zeigen mir eine konkrete Strecke. Wir klären, ob sie sinnvoll prüfbar ist — und wenn nicht, sage ich das.
2. Wirkung definieren. Wir trennen die technischen Erfolgsmeldungen von dem Endzustand, den Sie tatsächlich erwarten. Diese beiden Listen sind selten deckungsgleich.
3. Unabhängig prüfen. Ich baue reproduzierbare Prüfungen und stelle die Gegenfrage: Meldet Ihr System auch dann Erfolg, wenn die Wirkung ausbleibt?
4. Befunde reproduzieren. Nur was sich wiederholt nachweisen lässt, zählt als Befund. Ein Verdacht ist keiner.
5. Tag 5 · ÜbergabeÜbergabe nach fünf Tagen. Wirkungslandkarte, priorisierte Befunde, drei bis zehn lauffähige Prüfungen, Maßnahmenplan, 60 Minuten Gespräch.

Kein Plattformwechsel. Kein langfristiges Beratungsmandat. Kein Befund vorab bezahlt: Erst der kostenlose Fit-Check, dann die Entscheidung.

Fünf Tage, vollständig remote

Festpreis, und eine Regel, die ich mir leisten kann

Ich verkaufe die Fehler, für die ich selbst bezahlt habe

Maximilian Adams Ich prüfe nicht als Zuschauer. Ich betreibe selbst ein Agentensystem im Dauerbetrieb — und die Fehler, die ich bei Ihnen suche, habe ich vorher bei mir gefunden.

Ich baue und betreibe seit Monaten ein eigenes Agentensystem im Dauerbetrieb — keine Vorführung, sondern Produktivbetrieb mit echten Nutzern.

• Rund 3,1 Millionen durchsuchbare Textstellen aus eigenen Dokumentbeständen, hybride Suche, vollständig on-premise, ohne Cloud-Anbindung.
• Eine Belegpflicht-Schicht, die schweigt statt zu raten Gibt der Bestand eine Antwort nicht her, wird sie verweigert — statt plausibel formuliert.
• Nächtlicher Prüflauf: 12 Zusicherungen, 37 Einzelprüfungen Ergebnisse werden fortlaufend protokolliert, damit eine Verschlechterung als Reihe sichtbar wird und nicht als Einzelwert untergeht.
• Vier Kriterien des BSI-Prüfkatalogs A5 — und bei keinem behaupte ich Vollständigkeit Die Wirksamkeitsnachweise sind maschinenlesbar an einen externen Katalog gebunden (OPS.1.2 bis OPS.1.5, Basismodul 1.0.0). Zu jedem steht schriftlich, welche Punkte nicht erfüllt sind — das ist der eigentliche Wert des Dokuments. Erfundene Kriterienkennungen lassen den Lauf scheitern.
• 57 Selbsttestfälle — 34 davon dürfen nicht grün werden Eine Prüfung, die nicht scheitern kann, ist Dekoration. Der Code liegt offen.

Jede Prüfart in diesem Werkzeug stammt aus einem realen Vorfall in meinem eigenen Betrieb. Keine aus einer Literaturliste.

Damit kein Missverständnis entsteht: Ein Audit macht Ihr System nicht A5-konform, und es ist keine Zertifizierung. A5 ist derzeit ein Community Draft des BSI und keine Zertifizierungsgrundlage — Kriterienkennungen können sich noch ändern. Was ich liefere, ist Anschlussfähigkeit: Nachweise in einer Form, die sich später an einen externen Katalog binden lässt. Wer Ihnen heute Konformität verspricht, verkauft Ihnen etwas, das es noch nicht gibt.

Was ich ausdrücklich nicht mache

Damit Sie nicht das falsche Gespräch führen:

• Keine Umstellung auf ein anderes Framework. Ich bewerte Ihr System, wie es ist.
• Keine Cloud-Migration, keine Azure-Beratung. Mein Schwerpunkt ist on-premise.
• Kein Onsite-Einsatz. Die Leistung ist vollständig remote.
• Keine Bewertung fremder SaaS-Dienste, in die ich nicht hineinsehen kann.
• Keine Aussage zu Modellqualität oder Prompt-Formulierung. Es geht um nachweisbare Wirkung, nicht um Formulierung.