Der Modelltestbericht (MT‑Report) ist eine ausgearbeitete, auditfähige Vorlage zur Durchführung und Dokumentation der technischen, statistischen, sicherheitsbezogenen und funktionalen Tests eines Hochrisiko‑KI‑Systems gemäß Art. 11, 15, 17 und 43–45 EU-AI-Act.
Er bildet den zentralen Nachweis dafür, dass ein KI‑Modell leistungsfähig, robust, fair, sicher, transparent und konform betrieben werden kann – und ist damit ein Pflichtdokument für Zertifizierung, Audits und Behördenprüfungen.
Zentrale Inhalte aus dem Dokument:
„Der Modelltestbericht dokumentiert die technischen, statistischen, sicherheitsbezogenen und funktionalen Tests, die durchgeführt wurden, um die Leistungsfähigkeit, Robustheit, Fairness, Sicherheit und Konformität des Hochrisiko‑KI‑Systems nachzuweisen.“
„Er ist ein Pflichtbestandteil der technischen Dokumentation gemäß Art. 11 EU‑KI‑VO.“
Highlights & Inhalte
- Testarchitektur mit 6 Testschichten
- (Funktionalität, Performance, Robustheit, Bias, Sicherheit, Oversight)
- Funktionale Tests: Score‑Berechnung, Entscheidungslogik, Grenzwerte, Fehlerbehandlung
- Performance‑Tests: Accuracy, AUC, F1, Precision/Recall, Latenz, Durchsatz
- Robustheits‑Tests: Noise, Outlier, Missing Values, Distribution Shift
- Bias‑Tests: Altersgruppen, Beschäftigungsstatus, Regionen
- Sicherheits‑Tests: Adversarial Evasion, Poisoning, Model Extraction, Model Inversion, API‑Security
- Oversight‑Tests: Trigger, Reaktionszeit, Override‑Qualität, Reviewer‑Fehler
- Drift‑Tests: PSI‑Werte, Drift‑Analyse
- Explainability‑Tests: SHAP‑Analyse, Transparenzbewertung
- Gesamtergebnis & Freigabeempfehlung
- Pflichtbestandteil der technischen Dokumentation für Zertifizierung
Ideal für
- Unternehmen mit Hochrisiko‑KI‑Systemen
- KI‑Entwicklung & Data‑Science
- Compliance‑, Audit‑ und Governance‑Teams
- Vorbereitung auf Konformitätsbewertung nach Art. 43–45 EU-AI-Act
- Organisationen, die vollständige Testnachweise für Behörden benötigen