7d721a6787
CI / go-lint (push) Has been skipped
CI / python-lint (push) Has been skipped
CI / nodejs-lint (push) Has been skipped
CI / test-go-consent (push) Successful in 40s
CI / test-python-voice (push) Successful in 36s
CI / test-bqas (push) Successful in 33s
Clean-Room derivation of 195 controls from BSI QUAIDAL (10 criteria + 15 building blocks + 30 measures + 140 metrics) for EU AI Act Art. 10 training-data quality compliance. - ingest_bsi_quaidal.py parses YAML frontmatter into a structural index (no protected prose stored on disk). - derive_quaidal_mcs.py rewrites each entry via local LLM (qwen3.5:35b-a3b) with a hard 4-gram plagiarism gate < 20%; achieved mean overlap 0.5%. - Migration 011 adds compliance.derived_controls table with full source provenance (framework, section, url, commit SHA, license note). - apply_quaidal_to_db.py UPSERTs YAML into DB. - Source repo (legal-sources/bsi-quaidal/) gitignored. Same pattern as IACE module DIN-reference handling: name the norm and section, never quote. Backed by BSI license clarification 2026-05: § 5 UrhG anwendbar, share:true im Frontmatter; Clean-Room derivation is the safe path. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2882 lines
169 KiB
YAML
2882 lines
169 KiB
YAML
source: Derived from BSI QUAIDAL (Clean-Room)
|
|
source_url: https://github.com/BSI-Bund/QUAIDAL
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
plagiarism_limit_4gram: 0.2
|
|
generated_by_model: qwen3.5:35b-a3b
|
|
controls:
|
|
- id: MET-AI-DATA-QM-01-meanabsoluteerror
|
|
canonical_name: MeanAbsoluteError
|
|
description: Das System muss die mittlere absolute Abweichung zwischen den tatsächlichen
|
|
und den imputierten Werten in den Trainingsdatensätzen berechnen. Diese Kennzahl
|
|
dient als objektiver Indikator zur Validierung der Plausibilität von Datenlückenfüllungen.
|
|
Die Einhaltung definierter Schwellenwerte ist zwingend erforderlich, um die Datenqualität
|
|
vor dem Modelltraining sicherzustellen. Eine Abweichung, die diesen Grenzwert
|
|
überschreitet, muss als kritischer Fehler protokolliert werden.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-01
|
|
title_original_de: QM-01 MeanAbsoluteError
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-01_MeanAbsoluteError.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0377
|
|
- id: MET-AI-DATA-QM-02-mittlerer-quadratischer-fehler
|
|
canonical_name: Mittlerer quadratischer Fehler
|
|
description: Das System muss den mittleren quadratischen Fehler berechnen, um die
|
|
Abweichung zwischen den generierten KI-Ausgaben und den Referenzdaten quantitativ
|
|
zu erfassen. Diese Metrik ist sicherzustellen, da sie größere Diskrepanzen im
|
|
Datensatz stärker gewichtet als lineare Fehlermaße. Die Prüfung erfolgt durch
|
|
den automatisierten Abgleich von Vorhersagewerten mit den tatsächlichen Zielgrößen
|
|
im Trainings- und Validierungsdatensatz.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-02
|
|
title_original_de: QM-02 Mittlerer quadratischer Fehler
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-02_RootMeanSquareError.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-03-f-mass
|
|
canonical_name: F-Maß
|
|
description: Das System muss einen harmonischen Mittelwert aus der Trefferquote
|
|
und dem positiven Vorhersagewert für binäre Klassifizierungsaufgaben berechnen,
|
|
um die Vorhersagegüte zu quantifizieren. Dieser Qualitätsindikator ist als F-Maß
|
|
zu definieren und muss während des gesamten Trainingsprozesses kontinuierlich
|
|
überwacht werden. Die Einhaltung der definierten Schwellenwerte ist durch automatisierte
|
|
Prüfungen sicherzustellen, um die Zuverlässigkeit der KI-Modelle zu garantieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-03
|
|
title_original_de: QM-03 F-Maß
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-03_F-Measure.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-04-genauigkeit
|
|
canonical_name: Genauigkeit
|
|
description: Das System muss sicherstellen, dass der Anteil der korrekt klassifizierten
|
|
Instanzen im Validierungsdatensatz einen definierten Schwellenwert überschreitet.
|
|
Diese Metrik ist als primäres Maß für die Vorhersagegenauigkeit bei ausgewogenen
|
|
Datensätzen zu prüfen. Abweichungen von der Soll-Genauigkeit sind durch eine Analyse
|
|
der Trainingsdatenqualität zu untersuchen. Die Einhaltung dieser Vorgabe ist vor
|
|
jedem Deployment nachzuweisen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-04
|
|
title_original_de: QM-04 Genauigkeit
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-04_Accuracy.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-05-praezision
|
|
canonical_name: Präzision
|
|
description: Die Genauigkeit positiver Klassifizierungen im KI-Modell ist als Verhältnis
|
|
der korrekt identifizierten positiven Instanzen zur Gesamtzahl aller als positiv
|
|
bewerteten Fälle zu quantifizieren. Dieser Qualitätsindikator muss insbesondere
|
|
dann überwacht werden, wenn die Konsequenzen von Fehlalarmen signifikant sind.
|
|
Eine Abweichung unter dem definierten Schwellenwert ist als Verstoß gegen die
|
|
Datenqualitätsanforderungen zu werten und erfordert eine sofortige Überprüfung
|
|
des Trainingsdatensatzes.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-05
|
|
title_original_de: QM-05 Präzision
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-05_Precision.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0179
|
|
- id: MET-AI-DATA-QM-06-recall
|
|
canonical_name: Recall
|
|
description: Das System muss die Fähigkeit nachweisen, alle tatsächlich vorhandenen
|
|
Defekte in den Trainingsdaten korrekt zu identifizieren, wobei der Anteil der
|
|
erkannten Fälle an der Gesamtzahl der Defekte einen definierten Mindestwert erreichen
|
|
muss. Diese Kennzahl ist als primärer Qualitätsindikator für die Vollständigkeit
|
|
der Erkennungsleistung zu etablieren und regelmäßig zu validieren. Eine unzureichende
|
|
Abdeckung positiver Fälle ist als kritischer Mangel an der Datenqualität zu bewerten,
|
|
der sofortige Korrekturmaßnahmen auslöst.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-06
|
|
title_original_de: QM-06 Recall
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-06_Recall.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0156
|
|
- id: MET-AI-DATA-QM-07-spezifizitaet
|
|
canonical_name: Spezifizität
|
|
description: Das KI-Modell muss in der Lage sein, nicht-zutreffende Eingaben mit
|
|
hoher Zuverlässigkeit als negativ zu klassifizieren, um Fehlalarme bei kritischen
|
|
Prozessen zu minimieren. Die Spezifität ist als quantitativer Indikator zu ermitteln
|
|
und muss einen definierten Schwellenwert überschreiten, um die Datenqualität des
|
|
Trainingssets zu validieren. Eine Prüfung ist durchzuführen, um sicherzustellen,
|
|
dass das System irrelevante Muster korrekt ausschließt und keine unnötigen Interventionen
|
|
auslöst.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-07
|
|
title_original_de: QM-07 Spezifizität
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-07_Specificity.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0164
|
|
- id: MET-AI-DATA-QM-08-lernkurven
|
|
canonical_name: Lernkurven
|
|
description: Es ist sicherzustellen, dass die Entwicklung des KI-Modells durch eine
|
|
Analyse der Modellgüte in Abhängigkeit von der Trainingsdatengröße begleitet wird.
|
|
Diese Untersuchung muss nachweisen, ob eine weitere Vergrößerung des Datensatzes
|
|
zu einer signifikanten Verbesserung der Validierungsleistung führt oder ob ein
|
|
Sättigungseffekt eingetreten ist. Die Prüfung erfolgt durch die Auswertung der
|
|
Metrikverläufe während des Trainings, um die Angemessenheit der gewählten Datenmenge
|
|
zu validieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-08
|
|
title_original_de: QM-08 Lernkurven
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-08_LearningCurve.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-09-konfidenzniveau
|
|
canonical_name: KonfidenzNiveau
|
|
description: Das System muss eine statistische Schätzung der Datenqualität für KI-Trainingsdaten
|
|
bereitstellen, die mit einer definierten Wahrscheinlichkeit den wahren Wert der
|
|
zugrundeliegenden Population abdeckt. Es ist sicherzustellen, dass das berechnete
|
|
Konfidenzniveau die Gültigkeit von Stichprobenstatistiken auf die Gesamtheit der
|
|
Daten validiert. Die Einhaltung dieses Parameters ist durch regelmäßige Prüfungen
|
|
der Intervallgrenzen nachzuweisen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-09
|
|
title_original_de: QM-09 KonfidenzNiveau
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-09_KonfidenzNiveau.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-10-1-principal-component-analysis
|
|
canonical_name: -1 Principal Component Analysis
|
|
description: Für die Validierung der KI-Trainingsdaten ist eine dimensionsreduzierende
|
|
Analyse durchzuführen, um redundante Merkmalskorrelationen zu identifizieren und
|
|
die Datenstruktur zu komprimieren. Es ist sicherzustellen, dass die ursprünglichen
|
|
Variablen in eine reduzierte Menge orthogonaler Hauptkomponenten transformiert
|
|
werden, wobei der Informationsverlust minimiert wird. Die Effektivität dieses
|
|
Prozesses ist durch den Nachweis einer signifikanten Reduktion der Datenkomplexität
|
|
bei gleichzeitiger Wahrung der interpretierbaren Informationsdichte zu prüfen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-10
|
|
title_original_de: QM-10-1 Principal Component Analysis
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-10_Dimension%20Reduction/QM-10-1_PrincipalComponentAnalysis.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-10-2-clustergraph-analysisqm-10-2-clustergr
|
|
canonical_name: -2_Clustergraph AnalysisQM-10-2 Clustergraph Analysis
|
|
description: Das System muss eine topologische Analyse der KI-Trainingsdaten durchführen,
|
|
um die globale Struktur und relative Distanz zwischen identifizierten Datenclustern
|
|
explizit abzubilden. Es ist sicherzustellen, dass bei der Dimensionsreduktion
|
|
die strukturellen Beziehungen zwischen den Clustern erhalten bleiben und nicht
|
|
durch lokale Verzerrungen verfälscht werden. Die Korrektheit dieser Darstellung
|
|
ist durch einen automatisierten Validierungsprozess zu prüfen, der Abweichungen
|
|
von der ursprünglichen multidimensionalen Verteilung quantifiziert.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-10
|
|
title_original_de: QM-10-2_Clustergraph AnalysisQM-10-2 Clustergraph Analysis
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-10_Dimension%20Reduction/QM-10-2_Clustergraph%20Analysis.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0333
|
|
- id: MET-AI-DATA-QM-10-3-robustprincipalcomponentanalysis
|
|
canonical_name: -3 RobustPrincipalComponentAnalysis
|
|
description: Das System muss zur Sicherstellung der Datenintegrität ein Verfahren
|
|
zur Trennung von Grundmustern und Anomalien implementieren, das über klassische
|
|
Hauptkomponentenanalysen hinausgeht. Durch die Zerlegung der Eingabedatenmatrix
|
|
in eine niedrigrangige Strukturkomponente und eine spärliche Störkomponente ist
|
|
eine robuste Filterung von Ausreißern im Trainingsdatensatz sicherzustellen. Diese
|
|
Methode ist zwingend erforderlich, um die Modellgenauigkeit bei verrauschten oder
|
|
fehlerbehafteten Eingaben zu gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-10
|
|
title_original_de: QM-10-3 RobustPrincipalComponentAnalysis
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-10_Dimension%20Reduction/QM-10-3_RobustPrincipalComponentAnalysis.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-10-dimensionsreduktion
|
|
canonical_name: Dimensionsreduktion
|
|
description: Das System muss Verfahren zur Reduktion der Merkmalsdimensionalität
|
|
in KI-Trainingsdatensätzen anwenden, um redundante Variablen zu eliminieren und
|
|
den Informationsgehalt zu maximieren. Es ist sicherzustellen, dass die Anzahl
|
|
der verbleibenden Merkmale strikt unter der ursprünglichen Dimensionalität liegt,
|
|
während die wesentlichen Datenstrukturen erhalten bleiben. Die Eignung der eingesetzten
|
|
Algorithmen ist durch technische Prüfungen nachzuweisen, um die Interpretierbarkeit
|
|
der Ergebnisse zu gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-10
|
|
title_original_de: QM-10 Dimensionsreduktion
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-10_Dimension%20Reduction/QM-10_Dimension%20Reduction.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-11-1-pearson-korrelationskoeffizient
|
|
canonical_name: -1 Pearson-Korrelationskoeffizient
|
|
description: Für kontinuierliche Trainingsdaten ist sicherzustellen, dass die lineare
|
|
Abhängigkeit zwischen zwei Variablen durch den Bravais-Pearson-Koeffizienten quantifiziert
|
|
wird. Der berechnete Wert muss im Intervall von -1 bis 1 liegen, um die Stärke
|
|
und Richtung des Zusammenhangs eindeutig zu bewerten. Eine Prüfung ist durchzuführen,
|
|
ob die Daten auf einer Intervall- oder Verhältnisskala vorliegen, bevor die Metrik
|
|
angewendet wird.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-11
|
|
title_original_de: QM-11-1 Pearson-Korrelationskoeffizient
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-11_Korrelationskoeffizienten/QM-11-1_Pearson-Korrelationskoeffizient.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.1273
|
|
- id: MET-AI-DATA-QM-11-2-spearman-rangkorrelationskoeffizient
|
|
canonical_name: -2 Spearman-Rangkorrelationskoeffizient
|
|
description: Das System muss den Spearman-Rangkorrelationskoeffizienten zur Validierung
|
|
der monotonen Abhängigkeit zwischen KI-Trainingsvariablen berechnen. Diese Kennzahl
|
|
ist als nichtparametrisches Maß zwingend einzusetzen, um Zusammenhänge bei nicht-normalverteilten
|
|
Daten oder Vorhandensein von Ausreißern zu quantifizieren. Die Prüfung ist erfolgreich,
|
|
wenn der ermittelte Wert im definierten Intervall von -1 bis 1 liegt und die Richtung
|
|
der Beziehung eindeutig identifiziert wird.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-11
|
|
title_original_de: QM-11-2 Spearman-Rangkorrelationskoeffizient
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-11_Korrelationskoeffizienten/QM-11-2_Spearman-Rangkorrelationskoeffizient.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-11-3-kendalls-tau
|
|
canonical_name: -3 Kendalls Tau
|
|
description: Die Korrelation zwischen den Rangfolgen von KI-Vorhersagen und manuell
|
|
verifizierten Qualitätslabels ist mittels des Kendall-Tau-Koeffizienten zu ermitteln.
|
|
Dieses nichtparametrische Verfahren ist zwingend anzuwenden, um monotone Zusammenhänge
|
|
auch bei nichtlinearen Mustern oder vorhandenen Ausreißern robust zu validieren.
|
|
Die Prüfung muss sicherstellen, dass die berechnete Stärke der Assoziation die
|
|
Datenqualität der Trainingsdaten unabhängig von der Verteilungsform bestätigt.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-11
|
|
title_original_de: QM-11-3 Kendalls Tau
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-11_Korrelationskoeffizienten/QM-11-3_Kendalls%20Tau.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-11-4-punktbiserialer-korrelationskoeffizien
|
|
canonical_name: -4 Punktbiserialer Korrelationskoeffizient
|
|
description: Für die Validierung von KI-Trainingsdaten ist der punktbiseriale Korrelationskoeffizient
|
|
zwingend anzuwenden, um die Abhängigkeit zwischen binären Klassifikationsmerkmalen
|
|
und kontinuierlichen Wertefeldern quantitativ zu bewerten. Diese Kennzahl muss
|
|
die Stärke und Richtung des linearen Zusammenhangs exakt erfassen, wobei sie als
|
|
spezialisierte Form der Pearson-Korrelation für den Fall einer dichotomen und
|
|
einer metrischen Variable fungiert. Die Berechnung ist vor dem finalen Modelltraining
|
|
durchzuführen, um sicherzustellen, dass relevante Einflussfaktoren auf die Datenqualität
|
|
hinreichend identifiziert werden.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-11
|
|
title_original_de: QM-11-4 Punktbiserialer Korrelationskoeffizient
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-11_Korrelationskoeffizienten/QM-11-4_Koeffizient%20der%20punktbiserialen%20Korrelation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0286
|
|
- id: MET-AI-DATA-QM-11-5-phi-koeffizient
|
|
canonical_name: -5 Phi-Koeffizient
|
|
description: Für die Validierung von KI-Trainingsdaten ist der Phi-Koeffizient als
|
|
statistisches Maß zur Quantifizierung der Assoziationsstärke zwischen zwei binären
|
|
Variablen anzuwenden. Die Berechnung basiert ausschließlich auf den Häufigkeitsverteilungen
|
|
einer 2x2-Kontingenztafel, um die Korrelation zwischen den Ausprägungen zu ermitteln.
|
|
Es ist sicherzustellen, dass dieses Verfahren nur bei Daten mit genau zwei diskreten
|
|
Kategorien eingesetzt wird, um die Datenqualität objektiv zu prüfen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-11
|
|
title_original_de: QM-11-5 Phi-Koeffizient
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-11_Korrelationskoeffizienten/QM-11-5_Phi-Koeffizient.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-11-korrelationskoeffizient-diverse
|
|
canonical_name: Korrelationskoeffizient(diverse)
|
|
description: Für die Validierung von KI-Trainingsdatensätzen ist der lineare Zusammenhang
|
|
zwischen relevanten Eingangsvariablen durch den Korrelationskoeffizienten quantitativ
|
|
zu ermitteln. Es ist sicherzustellen, dass die berechneten Werte im Intervall
|
|
von -1 bis +1 liegen und die Stärke sowie Richtung der Abhängigkeit eindeutig
|
|
identifizieren. Abweichungen von definierten Schwellenwerten für signifikante
|
|
Korrelationen sind als Qualitätsmangel zu protokollieren und zu analysieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-11
|
|
title_original_de: QM-11 Korrelationskoeffizient(diverse)
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-11_Korrelationskoeffizienten/QM-11_Korrelationskoeffizient(diverse).md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-12-prozent-fehl-variablen
|
|
canonical_name: Prozent fehl. Variablen
|
|
description: Der Anteil nicht verfügbarer Werte innerhalb definierter Eingabemerkmale
|
|
ist als prozentualer Indikator für die Datenintegrität zu ermitteln. Diese Kennzahl
|
|
muss den relativen Umfang von Lücken im Trainingskorpus quantifizieren, um die
|
|
Zuverlässigkeit der KI-Modelle zu bewerten. Die Berechnung ist auf Basis des Gesamtvolumens
|
|
des Datensatzes durchzuführen und regelmäßig zu validieren, um Datenbereinigungsmaßnahmen
|
|
einzuleiten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-12
|
|
title_original_de: QM-12 Prozent fehl. Variablen
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-12_Prozentsatz%20auf%20Daten.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-13-lineare-diskriminanzanalyse
|
|
canonical_name: Lineare Diskriminanzanalyse
|
|
description: Das KI-Modell muss ein lineares Diskriminanzverfahren implementieren,
|
|
um Trainingsdatenpunkte basierend auf definierten Merkmalsvektoren optimal in
|
|
vorab festgelegte Klassen zu segmentieren. Es ist sicherzustellen, dass die Trennhyperflächen
|
|
so berechnet werden, dass der Abstand zwischen den Klassenmittelwerten maximiert
|
|
und die Varianz innerhalb jeder Klasse gleichzeitig minimiert wird. Die Güte der
|
|
Klassifizierung ist durch die Prüfung der Normalverteilungsannahme der Eingabedaten
|
|
sowie der Homogenität der Kovarianzmatrizen vor dem Training zu validieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-13
|
|
title_original_de: QM-13 Lineare Diskriminanzanalyse
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-13%20Linear%20Discriminant%20Analysis.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-15-sixsigmaprocess
|
|
canonical_name: SixSigmaProcess
|
|
description: Das System muss die statistische Prozessfähigkeit von KI-Trainingsdatensätzen
|
|
kontinuierlich überwachen, um die Standardabweichung der Qualitätsmerkmale auf
|
|
maximal sechs Sigma zu begrenzen. Es ist sicherzustellen, dass die Fehlerrate
|
|
bei der Datenerstellung und -verarbeitung unter 3,4 Defekte pro Million Möglichkeiten
|
|
bleibt. Jede Abweichung von diesem Zielwert ist durch automatische Ausreißererkennung
|
|
zu identifizieren und innerhalb definierter Toleranzgrenzen zu korrigieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-15
|
|
title_original_de: QM-15 SixSigmaProcess
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-15_SixSigmaProcess.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0182
|
|
- id: MET-AI-DATA-QM-16-1-interrater-reliabilitaet
|
|
canonical_name: -1 Interrater-Reliabilität
|
|
description: Für die Validierung der KI-Trainingsdaten ist die Konsistenz zwischen
|
|
mehreren unabhängigen annotierenden Instanzen quantifizativ zu prüfen. Dabei ist
|
|
ein statistisches Maß zur Berechnung der Übereinstimmung unter Berücksichtigung
|
|
des Zufallseinflusses anzuwenden. Die resultierende Kennzahl muss einen definierten
|
|
Mindestwert überschreiten, um die Datenqualität als gesichert zu bewerten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-16
|
|
title_original_de: QM-16-1 Interrater-Reliabilität
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-16_Reliability/QM-16-1_Inter%20Rater%20Reliability.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-16-2-test-retest-reliabilitaet
|
|
canonical_name: -2 Test-Retest-Reliabilität
|
|
description: Das System muss die Stabilität der KI-Ausgaben über die Zeit quantifizieren,
|
|
indem es identische Eingabedaten zu zwei separaten Zeitpunkten verarbeitet. Die
|
|
daraus resultierenden Ergebnisse sind durch einen statistischen Korrelationskoeffizienten
|
|
zu verknüpfen, um die Konsistenz der Modellleistung zu validieren. Eine Abweichung
|
|
unterhalb des definierten Schwellenwerts ist als Qualitätsmangel zu protokollieren
|
|
und zu untersuchen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-16
|
|
title_original_de: QM-16-2 Test-Retest-Reliabilität
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-16_Reliability/QM-16-2_Test-Retest-Reliability.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-16-3-split-half-reliability
|
|
canonical_name: -3 Split-Half-Reliability
|
|
description: Das System muss die Konsistenz der KI-Entscheidungen durch eine Aufteilung
|
|
der Trainingsdaten in zwei unabhängige Teilmengen verifizieren. Die Korrelation
|
|
der Ergebnisse beider Teilmengen ist zu ermitteln und mittels einer statistischen
|
|
Korrekturformel auf die Gesamtreliabilität hochzurechnen. Diese Kennzahl ist als
|
|
messbarer Indikator für die Datenqualität bei der Modellvalidierung heranzuziehen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-16
|
|
title_original_de: QM-16-3 Split-Half-Reliability
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-16_Reliability/QM-16-3_Split-Half-Reliability.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-16-4-cronsbachsches-alpha
|
|
canonical_name: -4 Cronsbachsches Alpha
|
|
description: Das System muss einen quantitativen Indikator zur Bewertung der internen
|
|
Konsistenz der zugrundeliegenden Trainingsdaten implementieren. Dieser Koeffizient
|
|
ist so zu berechnen, dass er die Korrelation zwischen einzelnen Datenelementen
|
|
einer Messskala präzise abbildet. Eine Einhaltung der definierten Schwellenwerte
|
|
ist zwingend erforderlich, um die Zuverlässigkeit der KI-Modellierung sicherzustellen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-16
|
|
title_original_de: QM-16-4 Cronsbachsches Alpha
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-16_Reliability/QM-16-4_Cronsbach%20Alpha.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-16-zuverlaessigkeit
|
|
canonical_name: Zuverlässigkeit
|
|
description: Der Anteil der im Trainingskorpus verifizierten und qualitätsgeprüften
|
|
Datensätze muss einen definierten Mindestwert überschreiten, um die statistische
|
|
Verlässlichkeit des Modells zu gewährleisten. Diese Kennzahl ist ausschließlich
|
|
auf Daten anzuwenden, deren Herkunft und Integrität durch autorisierte Quellen
|
|
bestätigt wurden. Eine regelmäßige Prüfung der Datenherkunft ist zwingend erforderlich,
|
|
um Abweichungen von der festgelegten Qualitätsbasis frühzeitig zu identifizieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-16
|
|
title_original_de: QM-16 Zuverlässigkeit
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-16_Reliability/QM-16_Reliability.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-17-abdeckungsgrad-von-auditmassnahmen
|
|
canonical_name: Abdeckungsgrad von Auditmaßnahmen
|
|
description: Der Erfassungsgrad der Audit-Logs muss quantifiziert werden, um die
|
|
Vollständigkeit der protokollierten Systemereignisse im Kontext spezifischer KI-Trainingsprozesse
|
|
zu verifizieren. Es ist sicherzustellen, dass mindestens 100 % der definierten
|
|
kritischen Aktionen und Datenqualitätsänderungen lückenlos in den Aufzeichnungen
|
|
nachvollziehbar sind. Abweichungen von dieser Vollständigkeit sind als Defekt
|
|
zu bewerten und müssen durch eine detaillierte Analyse der fehlenden Einträge
|
|
identifiziert werden.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-17
|
|
title_original_de: QM-17 Abdeckungsgrad von Auditmaßnahmen
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-17_CoverageLevel.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-18-haeufigkeits-und-gewichtungsfeldern
|
|
canonical_name: Häufigkeits- und Gewichtungsfeldern
|
|
description: Für die Validierung von KI-Modellen ist sicherzustellen, dass Trainingsdatensätze
|
|
explizite Metadaten zur Repräsentativität und Relevanz enthalten. Diese Attribute
|
|
müssen numerische Werte zur Häufigkeit und zur semantischen Gewichtung der einzelnen
|
|
Instanzen definieren, wobei die Gewichtung nicht auf Ganzzahlen beschränkt sein
|
|
darf. Während diese Parameter den Lernprozess steuern, sind sie bei der finalen
|
|
Leistungsbewertung auf repräsentativen Testsets zu ignorieren, um eine unverzerrte
|
|
Vergleichbarkeit zwischen verschiedenen Modellen zu gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-18
|
|
title_original_de: QM-18 Häufigkeits- und Gewichtungsfeldern
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-18_Frequency%20and%20weighting%20fields.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-19-erklaerte-varianz
|
|
canonical_name: Erklärte Varianz
|
|
description: Das System muss den Anteil der durch das Modell erklärten Varianz der
|
|
Zielvariable in den Trainingsdaten quantifizieren, um die Reduktionsqualität zu
|
|
validieren. Dieser Wert ist als normierter Indikator zwischen null und eins sicherzustellen
|
|
und muss bei jeder Validierung der Datenqualität explizit berechnet werden. Eine
|
|
Abweichung von definierten Schwellenwerten ist als Qualitätsmangel zu protokollieren,
|
|
da sie auf eine unzureichende Merkmalsextraktion hinweist.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-19
|
|
title_original_de: QM-19 Erklärte Varianz
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-19_Explained%20Variance.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-21-kumulative-erklaerte-varianz
|
|
canonical_name: Kumulative erklärte Varianz
|
|
description: Das System muss einen quantitativen Indikator zur kumulativen Erklärung
|
|
der Datenvarianz implementieren, der den Anteil der durch gewählte Merkmale abgedeckten
|
|
Gesamtvariation erfasst. Dieser Wert ist bei jeder Validierung des Trainingsdatensatzes
|
|
zu berechnen, um die Angemessenheit der Dimensionsreduktion zu verifizieren. Die
|
|
Auswertung dient dazu, die minimale Anzahl an Features zu bestimmen, die für eine
|
|
repräsentative Datenabbildung erforderlich ist. Eine Unterschreitung des definierten
|
|
Schwellenwerts ist als Qualitätsabweichung zu protokollieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-21
|
|
title_original_de: QM-21 Kumulative erklärte Varianz
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-21_Cummulative_explained_variance.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-22-rekonstruktionsfehler
|
|
canonical_name: Rekonstruktionsfehler
|
|
description: Das System muss die Qualität der KI-Trainingsdaten durch den Vergleich
|
|
von Eingabevektoren mit deren rekonstruierten Versionen quantifizieren. Zur Sicherstellung
|
|
der Datenintegrität ist der mittlere quadratische Fehler als primäres Maß für
|
|
die Rekonstruktionsgenauigkeit zu ermitteln. Ein niedriger Abweichungswert bestätigt,
|
|
dass die extrahierten Merkmalsdimensionen die ursprünglichen Datenstrukturen hinreichend
|
|
abbilden.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-22
|
|
title_original_de: QM-22 Rekonstruktionsfehler
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-22_ReconstructionError.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-23-mittlerer-quadratischer-abweichung
|
|
canonical_name: Mittlerer quadratischer Abweichung
|
|
description: Das System muss einen metrischen Qualitätsindikator implementieren,
|
|
der die durchschnittliche quadrierte Abweichung zwischen den von der KI generierten
|
|
Vorhersagen und den referenzierten Sollwerten berechnet. Diese Kennzahl ist als
|
|
primäres Maß für die Modellgenauigkeit zu werten, wobei ein Wert nahe Null eine
|
|
hohe Übereinstimmung der Trainingsdatenqualität anzeigt. Die Berechnung muss sowohl
|
|
zufällige Schwankungen als auch systematische Verzerrungen in den Daten erfassen,
|
|
um eine valide Bewertung der Vorhersagegüte sicherzustellen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-23
|
|
title_original_de: QM-23 Mittlerer quadratischer Abweichung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-23_MeanSquaredError.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-25-1-variance-treshold
|
|
canonical_name: -1 Variance-Treshold
|
|
description: Für jedes Eingangsmerkmal ist die statistische Varianz zu ermitteln
|
|
und mit einem definierten Grenzwert zu vergleichen. Merkmale, deren Varianz diesen
|
|
Schwellenwert unterschreiten, sind als irrelevant für die Zielvariablen-Unterscheidung
|
|
zu klassifizieren und aus dem Trainingsdatensatz zu entfernen. Diese Maßnahme
|
|
ist zwingend erforderlich, um konstante oder nahezu konstante Merkmale zu eliminieren,
|
|
die keinen Beitrag zur Modellgenauigkeit leisten. Die Einhaltung dieses Filters
|
|
ist vor jedem Trainingsschritt durch einen automatisierten Validierungslauf zu
|
|
prüfen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-25
|
|
title_original_de: QM-25-1 Variance-Treshold
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-25_Feature%20Importance%20Scores/QM-25-1_Variance-Treshold.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-25-feature-importance-scores-diverse
|
|
canonical_name: Feature Importance Scores (diverse)
|
|
description: Das System muss für jedes trainierte Modell quantifizierbare Metriken
|
|
zur Relevanz der Eingangsmerkmale berechnen, um den Einfluss einzelner Variablen
|
|
auf die Vorhersageergebnisse zu bewerten. Es ist sicherzustellen, dass diese Kennzahlen
|
|
eine diverse Verteilung aufweisen, um eine einseitige Abhängigkeit von wenigen
|
|
Merkmalen auszuschließen. Die Validierung dieser Scores ist durch einen automatisierten
|
|
Prüfprozess nachzuweisen, bevor das Modell in den produktiven Einsatz überführt
|
|
wird.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids:
|
|
- QM-26
|
|
- QM-27
|
|
- QM-28
|
|
- QM-29
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-25
|
|
title_original_de: QM-25 Feature Importance Scores (diverse)
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-25_Feature%20Importance%20Scores/QM-25_Feature%20Importance%20Scores.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-26-gini-importance
|
|
canonical_name: Gini-Importance
|
|
description: Für jedes im Modell eingesetzte Feature ist der Beitrag zur Reduktion
|
|
der Gini-Unreinheit über alle Baumstrukturen zu quantifizieren. Die relative Wichtigkeit
|
|
der Eingangsvariablen muss durch die Aggregation der Impurity-Reduktionen an allen
|
|
Splits bestimmt werden. Eine Validierung ist sicherzustellen, um die korrekte
|
|
Berechnung der Feature-Bedeutung für die Datenqualitätsbewertung nachzuweisen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-26
|
|
title_original_de: QM-26 Gini-Importance
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-25_Feature%20Importance%20Scores/QM-26_Gini%20Importance%20Score.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0625
|
|
- id: MET-AI-DATA-QM-27-permutation-feature-importance
|
|
canonical_name: Permutation Feature Importance
|
|
description: Das System muss die Relevanz einzelner Eingangsvariablen für die Vorhersagegüte
|
|
quantifizieren, indem zufällig vertauschte Datenwerte mit dem ursprünglichen Modellverhalten
|
|
verglichen werden. Diese Prüfung ist sicherzustellen, um nachzuweisen, dass die
|
|
gewählten Merkmale einen signifikanten Beitrag zur Modellleistung leisten und
|
|
keine irrelevante Datenqualität die Ergebnisse verfälscht. Die Validierung erfolgt
|
|
durch den Vergleich der Metriken vor und nach der Permutation jedes einzelnen
|
|
Merkmals im Trainingsdatensatz.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-27
|
|
title_original_de: QM-27 Permutation Feature Importance
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-25_Feature%20Importance%20Scores/QM-27_Permutation%20Feature%20Importance.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-28-koeffizienten-linearer-modelle
|
|
canonical_name: Koeffizienten linearer Modelle
|
|
description: Für lineare Regressionsmodelle ist sicherzustellen, dass die absoluten
|
|
Werte der Merkmalskoeffizienten als primärer Indikator für die relative Bedeutung
|
|
der Eingangsvariablen dienen. Ein höherer Koeffizientenwert muss zwingend eine
|
|
stärkere Gewichtung des jeweiligen Merkmals im Trainingsdatensatz widerspiegeln.
|
|
Die Validierung dieser Korrelation ist vor der Modellfreigabe durchzuführen, um
|
|
die Datenqualität der Feature-Importanz zu gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-28
|
|
title_original_de: QM-28 Koeffizienten linearer Modelle
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-25_Feature%20Importance%20Scores/QM-28_Koeffizienten%20linearer%20Modelle.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-29-shap-feature-importance
|
|
canonical_name: SHAP Feature Importance
|
|
description: Das KI-System muss die individuelle Gewichtung aller Eingangsvariablen
|
|
für jede einzelne Vorhersage mittels Shapley-Werten quantifizieren. Es ist sicherzustellen,
|
|
dass diese Berechnung sowohl positive als auch negative Einflussfaktoren auf das
|
|
Endergebnis konsistent abbildet. Die Validierung der Datenqualität erfolgt durch
|
|
die Prüfung der Aggregation dieser Beiträge über alle möglichen Feature-Kombinationen
|
|
hinweg.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids:
|
|
- QM-57
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-29
|
|
title_original_de: QM-29 SHAP Feature Importance
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-25_Feature%20Importance%20Scores/QM-29_SHAP%20Feature%20Importance.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0408
|
|
- id: MET-AI-DATA-QM-30-literatur-recherche
|
|
canonical_name: Literatur Recherche
|
|
description: Das System muss vor dem Training eine systematische Analyse des aktuellen
|
|
Forschungsstands durchführen, um relevante Datenqualitätsstandards zu identifizieren.
|
|
Es ist sicherzustellen, dass etablierte Methoden zur Erkennung von Mustern in
|
|
wissenschaftlichen Publikationen und Datenbanken angewendet werden. Die Qualität
|
|
der Trainingsdaten ist durch den Abgleich mit diesen ermittelten Referenzwerten
|
|
zu validieren, bevor ein Modell initiiert wird.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-30
|
|
title_original_de: QM-30 Literatur Recherche
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-30_LiteraturRecherche.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-31-prozessanalysemetriken
|
|
canonical_name: Prozessanalysemetriken
|
|
description: Für die Validierung des KI-Trainingsprozesses ist ein quantitatives
|
|
Maß zur Erfassung der Datenqualität pro Use-Case zu definieren. Es ist sicherzustellen,
|
|
dass Indikatoren zur Effizienz, Zuverlässigkeit und Compliance regelmäßig ausgewertet
|
|
werden, um die Prozesswirksamkeit objektiv zu bewerten. Die Prüfung muss nachweisen,
|
|
dass definierte Qualitätsziele im gesamten Lebenszyklus des Modells erreicht werden.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs:
|
|
- framework: EU GDPR
|
|
citation: null
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-31
|
|
title_original_de: QM-31 Prozessanalysemetriken
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-31_ProcessAnalysis.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-32-regulaere-ausdruecke
|
|
canonical_name: Reguläre Ausdrücke
|
|
description: Das System muss die Validierung von KI-Trainingsdaten durch algorithmische
|
|
Mustererkennung sicherstellen, um strukturelle Integrität zu gewährleisten. Es
|
|
ist zu prüfen, ob spezifische Datenqualitätsmerkmale mittels definierter Suchlogiken
|
|
identifiziert und transformiert werden können. Diese Mechanismen sind erforderlich,
|
|
um ungültige oder fehlerhafte Dateneinträge in den Trainingskorpora zuverlässig
|
|
zu filtern.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-32
|
|
title_original_de: QM-32 Reguläre Ausdrücke
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-32_RegularExpression.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-34-validierung-der-feldgroesse
|
|
canonical_name: Validierung der Feldgröße
|
|
description: Die Länge aller in KI-Trainingsdatensätzen enthaltenen Textfelder muss
|
|
innerhalb definierter, domänenspezifischer Grenzen liegen. Es ist sicherzustellen,
|
|
dass Abweichungen von diesen Grenzen durch automatisierte Prüfmechanismen oder
|
|
Expertenanalysen identifiziert werden, um Datenqualitätsmängel auszuschließen.
|
|
Die Validierung muss nachweisbar dokumentieren, ob die Feldgrößen den erwarteten
|
|
Spezifikationen entsprechen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-34
|
|
title_original_de: QM-34 Validierung der Feldgröße
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-34_FieldSizeValidation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-35-confusionmatrix
|
|
canonical_name: ConfusionMatrix
|
|
description: Das System muss eine matrixbasierte Auswertung der Klassifikationsleistung
|
|
bereitstellen, die wahre und falsche Positive sowie Negative nach tatsächlichen
|
|
und prognostizierten Klassen differenziert. Diese Aufschlüsselung ist zwingend
|
|
erforderlich, um die Datenqualität der Trainingsdaten und die Zuverlässigkeit
|
|
der KI-Entscheidungen objektiv zu bewerten. Die Genauigkeit der Vorhersagen ist
|
|
durch den Vergleich der Kreuztabellenwerte gegen definierte Schwellenwerte zu
|
|
validieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-35
|
|
title_original_de: QM-35 ConfusionMatrix
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-35_ConfusionMatrix.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-36-area-under-curce-auc
|
|
canonical_name: Area Under Curce (AUC)
|
|
description: Das System muss die Diskriminierungsfähigkeit des Klassifikators durch
|
|
Berechnung der Fläche unter der ROC-Kurve quantifizieren, um die Trennschärfe
|
|
zwischen positiven und negativen Instanzen über alle Entscheidungsschwellen hinweg
|
|
zu bewerten. Es ist sicherzustellen, dass dieser Indikator als aggregierter Qualitätsmaßstab
|
|
dient, der eine Leistungsfähigkeit deutlich über dem Zufallsniveau von 0,5 nachweist.
|
|
Die Validierung erfolgt durch Prüfung der berechneten Metrik gegen definierte
|
|
Mindestgrenzwerte im Rahmen des Datenqualitätsmonitorings.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-36
|
|
title_original_de: QM-36 Area Under Curce (AUC)
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-36_AreaUnderCurce-ReceiverOperatingCharacteristic%20(AUC-ROC).md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-37-area-under-precision-recall-curve-auprc
|
|
canonical_name: Area Under Precision-Recall Curve (AUPRC)
|
|
description: Das System muss die Flächengröße unter der Präzision-Recall-Kurve als
|
|
zentralen Qualitätsindikator für Klassifikationsmodelle ermitteln. Diese Metrik
|
|
ist zwingend zu nutzen, um die Modellgüte bei stark unausgewogenen Datensätzen
|
|
zu quantifizieren, bei denen seltene positive Ereignisse dominieren. Die Einhaltung
|
|
dieses Kriteriums ist durch automatische Auswertung der Trainings- und Validierungsdaten
|
|
sicherzustellen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-37
|
|
title_original_de: QM-37 Area Under Precision-Recall Curve (AUPRC)
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-37_Area%20Under%20Precision-Recall%20Curve%20(AUPRC).md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-38-gewichtete-metriken
|
|
canonical_name: Gewichtete Metriken
|
|
description: Das System muss die Berechnung von Klassifikationsmetriken so implementieren,
|
|
dass die Bedeutung einzelner Klassen und Stichproben durch individuelle Gewichtungsfaktoren
|
|
berücksichtigt wird. Es ist sicherzustellen, dass aggregierte Kennzahlen wie die
|
|
gewichtete F1-Score oder die gewichtete Genauigkeit auf Basis dieser Faktoren
|
|
ermittelt werden, um Verzerrungen in den Trainingsdaten auszugleichen. Die Korrektheit
|
|
dieser gewichteten Berechnungen ist bei jeder Validierung der KI-Datenqualität
|
|
explizit zu prüfen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-38
|
|
title_original_de: QM-38 Gewichtete Metriken
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-38_WeightedMetrics.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-39-power-analyse
|
|
canonical_name: Power Analyse
|
|
description: Vor Beginn des KI-Trainings ist eine statistische Poweranalyse durchzuführen,
|
|
um die erforderliche Datenmenge für die Erkennung signifikanter Effekte zu quantifizieren.
|
|
Die Berechnung muss auf Basis definierter Effektgrößen, des Signifikanzniveaus
|
|
und der erwarteten Populationsvarianz erfolgen, um eine ausreichende Teststärke
|
|
sicherzustellen. Eine valide Ableitung der Stichprobengröße setzt zwingend voraus,
|
|
dass relevante Parameter der Zielpopulation im Vorfeld bekannt sind und in das
|
|
Modell eingehen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-39
|
|
title_original_de: QM-39 Power Analyse
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-39_PowerAnalysis.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-40-chi-quadrat-test
|
|
canonical_name: Chi-Quadrat Test
|
|
description: Die Qualität der KI-Trainingsdaten ist durch einen statistischen Unabhängigkeitstest
|
|
zu validieren, um systematische Verzerrungen in kategorialen Merkmalen zu identifizieren.
|
|
Es ist sicherzustellen, dass die beobachteten Häufigkeitsverteilungen signifikant
|
|
von den theoretisch erwarteten Werten abweichen, sofern keine Unabhängigkeit zwischen
|
|
den Variablen besteht. Diese Prüfung muss für alle nominal skalierten Eingangsattribute
|
|
durchgeführt werden, um die statistische Integrität des Datensatzes vor dem Training
|
|
zu gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-40
|
|
title_original_de: QM-40 Chi-Quadrat Test
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-40_Chi-Quadrat%20Test.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-41-konfidenzintervall
|
|
canonical_name: KonfidenzIntervall
|
|
description: Für jede statistische Schätzung der KI-Datenqualität ist ein Konfidenzintervall
|
|
zu berechnen, das die Unsicherheit des Parameters quantifiziert. Dieses Intervall
|
|
muss so definiert sein, dass der wahre Wert mit dem festgelegten Konfidenzniveau
|
|
mit hoher Wahrscheinlichkeit darin enthalten ist. Die Einhaltung dieser statistischen
|
|
Grenzen ist durch automatische Prüfungen bei jedem Trainingsschritt sicherzustellen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-41
|
|
title_original_de: QM-41 KonfidenzIntervall
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-41_KonfidenzIntervalle.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-43-kreuzabgleich
|
|
canonical_name: Kreuzabgleich
|
|
description: Für die Validierung von KI-Trainingsdaten ist ein quellenübergreifender
|
|
Konsistenzcheck zwingend erforderlich, bei dem die zu verarbeitenden Informationen
|
|
mit unabhängigen Referenzdatensätzen abgeglichen werden. Vor Beginn des Abgleichs
|
|
sind definierte Toleranzgrenzen festzulegen, um Abweichungen objektiv zu bewerten.
|
|
Die Prüfung muss sicherstellen, dass signifikante Diskrepanzen zwischen den Datensätzen
|
|
identifiziert und dokumentiert werden, um die Datenintegrität für das Training
|
|
zu garantieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-43
|
|
title_original_de: QM-43 Kreuzabgleich
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-43_Kreuzabgleich.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-44-1-mittelwert-imputation
|
|
canonical_name: -1 Mittelwert Imputation
|
|
description: Für den Umgang mit fehlenden Werten in KI-Trainingsdatensätzen ist
|
|
die Imputation durch den arithmetischen Mittelwert als alleinige Maßnahme unzulässig,
|
|
da sie die natürliche Varianz der Daten ignoriert und systematische Verzerrungen
|
|
erzeugt. Es ist sicherzustellen, dass bei der Behandlung von Lücken in den Datenelementen
|
|
alternative Verfahren zur Anwendung kommen, welche die Streuung der beobachteten
|
|
Werte berücksichtigen. Die Einhaltung dieser Vorgabe ist durch eine technische
|
|
Prüfung der Imputationslogik vor dem Training zu verifizieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-44
|
|
title_original_de: QM-44-1 Mittelwert Imputation
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-1_Mittelwert%20Imputation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-44-2-median-imputation
|
|
canonical_name: -2 Median Imputation
|
|
description: Fehlende Werte in numerischen Trainingsdatensätzen sind durch den Median
|
|
der vorhandenen Beobachtungen zu ersetzen, um die Robustheit gegenüber Ausreißern
|
|
zu gewährleisten. Diese Maßnahme ist zwingend vor dem Training anzuwenden, wobei
|
|
die Varianz der ursprünglichen Verteilung bewusst nicht rekonstruiert wird. Die
|
|
Anwendung dieses Verfahrens ist ausschließlich für metrische Merkmale zulässig
|
|
und für kategoriale Daten explizit ausgeschlossen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-44
|
|
title_original_de: QM-44-2 Median Imputation
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-2_Median%20Imputation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0192
|
|
- id: MET-AI-DATA-QM-44-3-modus-imputation
|
|
canonical_name: -3 Modus Imputation
|
|
description: Für kategoriale Merkmale ist eine Imputation mittels des häufigsten
|
|
Auftretens zulässig, sofern der Anteil fehlender Werte fünf Prozent nicht überschreitet.
|
|
Diese Methode ist nur anzuwenden, wenn die Varianz der Daten als vernachlässigbar
|
|
eingestuft wird, um systematische Verzerrungen zu vermeiden. Die Einhaltung dieser
|
|
Schwelle ist vor jeder Trainingsdatenaufbereitung durch eine quantitative Prüfung
|
|
sicherzustellen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-44
|
|
title_original_de: QM-44-3 Modus Imputation
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-3_Modus%20Imputation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-44-4-multiple-imputation
|
|
canonical_name: -4 Multiple Imputation
|
|
description: Das System muss bei der Aufbereitung von KI-Trainingsdaten mit unvollständigen
|
|
Einträgen stochastische Verfahren anwenden, um mehrere plausible Varianten der
|
|
fehlenden Werte zu generieren. Diese Mehrfach-Imputationen sind erforderlich,
|
|
um die inhärente Unsicherheit der Datenvollständigkeit quantitativ abzubilden.
|
|
Die finale Datenqualität ist durch die Aggregation der Ergebnisse aus allen simulierten
|
|
Datensätzen zu validieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-44
|
|
title_original_de: QM-44-4 Multiple Imputation
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-4_Multiple%20Imputation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-44-5-knn-imputation
|
|
canonical_name: -5 KNN Imputation
|
|
description: Für den Umgang mit fehlenden Werten im KI-Trainingsdatensatz ist die
|
|
K-Nearest-Neighbors-Methode als Imputationsverfahren zwingend vorzusehen, sofern
|
|
die Datenstruktur signifikante Ähnlichkeitsmuster aufweist. Das System muss für
|
|
jeden fehlenden Eintrag die k-ähnlichsten Referenzpunkte identifizieren und deren
|
|
Merkmalswerte zur Rekonstruktion heranziehen. Eine Anwendung einfacher statistischer
|
|
Mittelwerte ist bei Vorliegen dieser Nachbarschaftsabhängigkeiten unzulässig,
|
|
da sie die Datenintegrität gefährden würde. Die Korrektheit dieses Algorithmus
|
|
ist vor dem Training durch Validierung der Rekonstruktionsgüte zu prüfen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-44
|
|
title_original_de: QM-44-5 KNN Imputation
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-5_KNN%20Imputation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-44-6-hot-deck-imputation
|
|
canonical_name: -6 Hot Deck Imputation
|
|
description: Für den Einsatz in KI-Trainingsdatensätzen ist sicherzustellen, dass
|
|
fehlende Attributwerte durch Imputation aus statistisch ähnlichen Referenzfällen
|
|
ersetzt werden. Die Auswahl der Ersatzwerte muss auf einer definierten Ähnlichkeitsmetrik
|
|
basieren, um die Datenintegrität und Verteilungseigenschaften des Modells zu wahren.
|
|
Eine Validierung ist durchzuführen, um nachzuweisen, dass die generierten Werte
|
|
keine systematischen Verzerrungen in die Trainingsdaten引入.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-44
|
|
title_original_de: QM-44-6 Hot Deck Imputation
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-6_Hot%20Deck%20Imputation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-44-7-llm-basierte-imputation
|
|
canonical_name: -7 LLM-basierte Imputation
|
|
description: Das System muss bei der Verarbeitung von Datensätzen mit fehlenden
|
|
Werten auf KI-Modelle zurückgreifen, um diese basierend auf kontextuellen Zusammenhängen
|
|
und Umgebungsvariablen zu rekonstruieren. Die Qualität der generierten Ersatzwerte
|
|
ist durch Plausibilitätsprüfungen sicherzustellen, um die Integrität des Gesamtdatensatzes
|
|
zu wahren. Eine Validierung der Imputationsergebnisse ist vor der weiteren Datenverarbeitung
|
|
durchzuführen, um systematische Fehler auszuschließen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-44
|
|
title_original_de: QM-44-7 LLM-basierte Imputation
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-7_LLM-Based%20Imputation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-44-8-regression-imputation
|
|
canonical_name: -8 Regression Imputation
|
|
description: Das System muss fehlende Werte in KI-Trainingsdatensätzen durch statistische
|
|
Regressionsmodelle schätzen, wobei vorhandene Merkmale als Prädiktoren zur Vorhersage
|
|
der Zielvariable genutzt werden. Es ist sicherzustellen, dass die gewählte Regressionsmethode
|
|
linear oder nicht-linear ist und die Vorhersagegenauigkeit durch Validierung mit
|
|
verbleibenden Datenpunkten quantifiziert wird. Die Plausibilität der imputierten
|
|
Werte ist vor der weiteren Datenverarbeitung auf Konsistenz mit den identifizierten
|
|
Variablenbeziehungen zu prüfen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-44
|
|
title_original_de: QM-44-8 Regression Imputation
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-8_Regression%20Imputation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-44-9-diffusion-imputation-augmentation
|
|
canonical_name: -9 Diffusion Imputation/Augmentation
|
|
description: Das System muss fehlende Werte in Trainingsdatensätzen durch stochastische
|
|
Rekonstruktionsverfahren auf Basis gelerntter Datenverteilungen ergänzen. Es ist
|
|
sicherzustellen, dass der Imputationsprozess den zugrundeliegenden Datenraum durch
|
|
schrittweise Rauschprozesse modelliert, um plausible Ergänzungen zu generieren.
|
|
Die Qualität der rekonstruierten Daten ist durch Prüfung auf statistische Plausibilität
|
|
im Kontext der vorhandenen Merkmale zu validieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-44
|
|
title_original_de: QM-44-9 Diffusion Imputation/Augmentation
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-9_Diffusion%20Imputation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0208
|
|
- id: MET-AI-DATA-QM-44-data-imputation-methoden
|
|
canonical_name: Data Imputation Methoden
|
|
description: Für KI-Trainingsdatensätze ist ein automatisiertes Verfahren zur Behandlung
|
|
fehlender Werte zwingend vorzusehen, das auf den spezifischen Datenmerkmalen und
|
|
dem Anwendungskontext basiert. Die eingesetzten Imputationsalgorithmen müssen
|
|
so konfiguriert werden, dass sie die statistische Integrität des Datensatzes wahren
|
|
und Verzerrungen in den Analyseergebnissen ausschließen. Eine Prüfung der Datenqualität
|
|
ist erforderlich, um sicherzustellen, dass die vervollständigten Werte die Aussagekraft
|
|
der nachfolgenden Modelle nicht beeinträchtigen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-44
|
|
title_original_de: QM-44 Data Imputation Methoden
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44_Data%20Imputation%20Methods.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-45-prior-ermittlung
|
|
canonical_name: Prior Ermittlung
|
|
description: Vor Beginn der statistischen Auswertung von KI-Trainingsdaten ist systematisch
|
|
Expertenwissen zu ermitteln, um fundierte Vorannahmen über Parameterverteilungen
|
|
zu definieren. Dieser Prozess muss subjektive Unsicherheiten quantifizieren und
|
|
in die Modellbildung einfließen, um die Datenqualität vor der eigentlichen Analyse
|
|
zu sichern. Die gewonnenen Prior-Verteilungen sind durch dokumentierte Befragungsmethoden
|
|
oder historische Datenquellen nachvollziehbar zu begründen. Eine Validierung der
|
|
abgeleiteten Annahmen ist vor der ersten Datenverarbeitung zwingend durchzuführen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-45
|
|
title_original_de: QM-45 Prior Ermittlung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-45_Prior%20Elicitation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-46-daten-standardisierung
|
|
canonical_name: Daten Standardisierung
|
|
description: Für KI-Trainingsdatensätze ist eine Normalisierung auf eine Standardverteilung
|
|
sicherzustellen, bei der der Mittelwert Null und die Standardabweichung Eins beträgt.
|
|
Diese Transformation muss vor dem Training durchgeführt werden, um unterschiedliche
|
|
Skalierungen der Eingabevariablen zu vereinheitlichen und die Konvergenz der Optimierungsalgorithmen
|
|
zu beschleunigen. Die Einhaltung dieser statistischen Parameter ist durch automatische
|
|
Prüfungen vor jedem Training zu verifizieren, um die Modellgenauigkeit zu gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-46
|
|
title_original_de: QM-46 Daten Standardisierung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-46_DataStandardizing.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-47-kovarianz-matrix
|
|
canonical_name: Kovarianz Matrix
|
|
description: Das System muss eine Kovarianzmatrix der Eingangsmerkmale generieren,
|
|
um statistische Abhängigkeiten im Trainingsdatensatz quantitativ zu erfassen.
|
|
Die Diagonalelemente dieser Matrix sind zwingend als Varianzen der einzelnen Merkmale
|
|
zu berechnen, während die Off-Diagonalen die linearen Zusammenhänge zwischen Merkmalspaaren
|
|
abbilden. Diese Metriken sind vor jedem Trainingslauf zu validieren, um eine stabile
|
|
Datenstruktur für multivariate Lernverfahren sicherzustellen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-47
|
|
title_original_de: QM-47 Kovarianz Matrix
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-47_KovarianzMatrix.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0192
|
|
- id: MET-AI-DATA-QM-48-eigenvektoren
|
|
canonical_name: Eigenvektoren
|
|
description: Das KI-Trainingsdatenset muss so strukturiert sein, dass die dominanten
|
|
latenten Merkmale bei der Modellverarbeitung ihre relative Ausrichtung beibehalten,
|
|
während sich lediglich ihre Intensität skaliert. Es ist sicherzustellen, dass
|
|
die Identifizierung dieser invarianten Richtungsvektoren durch quantitative Analyse
|
|
der Datenmatrix validiert wird. Die Skalierungsfaktoren dieser Merkmale sind als
|
|
messbare Qualitätsindikatoren für die Stabilität des Trainingsprozesses zu dokumentieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-48
|
|
title_original_de: QM-48 Eigenvektoren
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-48_Eigenwerte_Vektoren.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-49-wasserstein-distanz
|
|
canonical_name: Wasserstein Distanz
|
|
description: Die Qualität von KI-Trainingsdaten ist durch die Wasserstein-Distanz
|
|
zu quantifizieren, welche den minimalen Transformationsaufwand zwischen der Trainings-
|
|
und der Referenzverteilung misst. Es ist sicherzustellen, dass dieser metrische
|
|
Wert unterhalb eines definierten Schwellenwerts bleibt, um signifikante Verteilungsverschiebungen
|
|
auszuschließen. Die Prüfung erfolgt durch den Vergleich der empirischen Verteilungsdaten
|
|
mittels des Earth-Mover-Ansatzes.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-49
|
|
title_original_de: QM-49 Wasserstein Distanz
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-49_Wasserstein%20Distance.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-50-little-s-mcar-test
|
|
canonical_name: Little's MCAR Test
|
|
description: Das System muss den statistischen Little-Test anwenden, um zu validieren,
|
|
ob fehlende Werte in den KI-Trainingsdaten vollständig zufällig verteilt sind.
|
|
Es ist sicherzustellen, dass keine systematischen Abhängigkeiten zwischen den
|
|
Ausfallmustern und den verbleibenden Datenwerten bestehen. Eine signifikante Abweichung
|
|
von der Zufälligkeit ist als Qualitätsmangel zu dokumentieren und zu melden.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-50
|
|
title_original_de: QM-50 Little's MCAR Test
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-50_Little's%20MCAR%20Test.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0208
|
|
- id: MET-AI-DATA-QM-33-falsepositiverate
|
|
canonical_name: _FalsePositiveRate
|
|
description: Die Rate falsch positiver Klassifizierungen ist als Verhältnis der
|
|
fälschlich als positiv bewerteten negativen Instanzen zu allen tatsächlich negativen
|
|
Instanzen im Trainingsdatensatz zu ermitteln. Es ist sicherzustellen, dass dieser
|
|
Anteil einen definierten Schwellenwert nicht überschreitet, um die Datenqualität
|
|
und Modellzuverlässigkeit zu gewährleisten. Die Prüfung erfolgt durch statistische
|
|
Analyse der Ausgabeverteilung bei bekannten negativen Referenzdaten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-33
|
|
title_original_de: QM-33_FalsePositiveRate
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-33_FalsePositiveRate.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0196
|
|
- id: MET-AI-DATA-QM-51-10-kolmogorov-smirnov-test
|
|
canonical_name: -10 Kolmogorov-Smirnov-Test
|
|
description: Die Verteilung der KI-Trainingsdaten ist mittels eines nichtparametrischen
|
|
Tests auf signifikante Abweichungen von der Referenzverteilung zu prüfen. Dabei
|
|
ist die maximale Distanz zwischen der empirischen und der theoretischen kumulativen
|
|
Verteilungsfunktion zu ermitteln. Ein Abweichungswert, der einen definierten Schwellenwert
|
|
überschreitet, invalidiert die Datenqualität für den Trainingsprozess. Diese Prüfung
|
|
ist vor jedem Trainingsschritt durchzuführen, um die statistische Homogenität
|
|
sicherzustellen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-51
|
|
title_original_de: QM-51-10 Kolmogorov-Smirnov-Test
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-10_Kolmogorov%20Smirnov%20Test.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-51-11-radon-kolmogorov-smirnov-test-rks
|
|
canonical_name: -11 Radon-Kolmogorov-Smirnov Test (RKS)
|
|
description: Die Verteilung der KI-Trainingsdaten muss mittels des Radon-Kolmogorov-Smirnov-Tests
|
|
auf signifikante Abweichungen in höherdimensionalen Merkmalsräumen geprüft werden.
|
|
Es ist sicherzustellen, dass die statistische Signifikanz zwischen Referenz- und
|
|
Testverteilungen unterhalb eines definierten Schwellenwerts liegt, um Datenqualitätsverluste
|
|
zu vermeiden. Eine positive Abweichung ist als kritischer Fehler zu klassifizieren
|
|
und erfordert eine sofortige Datenbereinigung.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-51
|
|
title_original_de: QM-51-11 Radon-Kolmogorov-Smirnov Test (RKS)
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-11_Radon-Kolmogorov-Smirnov%20Test%20(RKS).md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-51-1-normalverteilung
|
|
canonical_name: -1 Normalverteilung
|
|
description: Die Verteilung der relevanten Qualitätsindikatoren im KI-Trainingsdatensatz
|
|
muss eine symmetrische, glockenförmige Struktur um den arithmetischen Mittelwert
|
|
aufweisen. Es ist sicherzustellen, dass die Datenpunkte in der Nähe des Erwartungswerts
|
|
signifikant dichter konzentriert sind als in den Randbereichen. Diese Eigenschaft
|
|
ist durch statistische Tests auf Normalverteilung zu verifizieren, bevor das Modell
|
|
in den produktiven Einsatz überführt wird.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-51
|
|
title_original_de: QM-51-1 Normalverteilung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-1_Normalverteilung.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-51-2-binomialverteilung
|
|
canonical_name: -2 Binomialverteilung
|
|
description: Die Qualität des KI-Trainingsdatensatzes ist durch die Analyse der
|
|
Fehlerraten bei binär klassifizierten Stichproben zu validieren. Es ist sicherzustellen,
|
|
dass die Verteilung der korrekten Vorhersagen dem statistischen Modell einer Binomialverteilung
|
|
entspricht, wobei jede Prüfung als unabhängiges Bernoulli-Experiment mit definiertem
|
|
Erfolgswahrscheinlichkeitswert betrachtet wird. Die Abweichung zwischen der beobachteten
|
|
Trefferquote und dem theoretischen Erwartungswert ist innerhalb eines festgelegten
|
|
Konfidenzintervalls zu prüfen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-51
|
|
title_original_de: QM-51-2 Binomialverteilung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-2_Binomialverteilung.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-51-3-exponentialverteilung
|
|
canonical_name: -3 Exponentialverteilung
|
|
description: Das System muss sicherstellen, dass die Zeitintervalle zwischen aufeinanderfolgenden
|
|
Störereignissen im Trainingsdatensatz einer Exponentialverteilung folgen. Diese
|
|
Verteilung ist erforderlich, um Prozesse mit konstanter Ausfallrate und unabhängigen
|
|
Ereignissen korrekt abzubilden. Die Einhaltung dieser statistischen Eigenschaft
|
|
ist durch eine formale Verteilungsanalyse bei der Datenqualitätsprüfung zu verifizieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-51
|
|
title_original_de: QM-51-3 Exponentialverteilung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-3_Exponentialverteilung.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-51-4-gleichverteilung
|
|
canonical_name: -4 Gleichverteilung
|
|
description: Die Verteilung der generierten Trainingsdaten muss innerhalb des definierten
|
|
Wertebereichs eine gleichmäßige Wahrscheinlichkeitsdichte aufweisen, sodass kein
|
|
einzelner Subbereich gegenüber anderen bevorzugt wird. Es ist sicherzustellen,
|
|
dass jede mögliche Ausprägung im zulässigen Intervall statistisch gleich häufig
|
|
vorkommt. Diese Gleichverteilung ist durch eine systematische Prüfung der Datenverteilung
|
|
auf Abweichungen von der Idealform zu validieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-51
|
|
title_original_de: QM-51-4 Gleichverteilung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-4_Gleichverteilung.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-51-5-chi-quadrat-verteilung
|
|
canonical_name: -5 Chi-Quadrat Verteilung
|
|
description: Das System muss die Verteilung der Abweichungen zwischen den KI-Trainingsdaten
|
|
und den erwarteten Modellen mittels einer Chi-Quadrat-Prüfung quantifizieren.
|
|
Es ist sicherzustellen, dass die berechneten Teststatistiken signifikante Abweichungen
|
|
in den Varianzen der Eingabedaten identifizieren, um Datenqualitätsmängel zu validieren.
|
|
Eine regelmäßige Überprüfung dieser Kennzahlen ist erforderlich, um die statistische
|
|
Konsistenz des Datensatzes nachzuweisen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-51
|
|
title_original_de: QM-51-5 Chi-Quadrat Verteilung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-5_Chi-Quadrat%20Verteilung.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-51-6-t-verteilung
|
|
canonical_name: -6 t-Verteilung
|
|
description: Für die Validierung von KI-Modellen auf Basis kleiner Datensätze muss
|
|
die Unsicherheit der Stichprobenmittelwerte mittels einer t-Verteilung quantifiziert
|
|
werden. Es ist sicherzustellen, dass die berechneten Konfidenzintervalle die erhöhte
|
|
Varianz bei geringen Fallzahlen durch dickere Verteilungsschwänze adäquat abbilden.
|
|
Die Prüfung erfolgt durch den Vergleich der empirischen Datenverteilung mit dem
|
|
theoretischen Modell, um Ausreißereffekte robust zu erfassen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-51
|
|
title_original_de: QM-51-6 t-Verteilung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-6_t-Verteilung.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-51-7-f-verteilung
|
|
canonical_name: -7 F-Verteilung
|
|
description: Die Verteilung der Varianzquotienten aus den KI-Trainingsdaten muss
|
|
statistisch auf Homogenität geprüft werden, um signifikante Abweichungen zwischen
|
|
den Subgruppen zu identifizieren. Es ist sicherzustellen, dass die Varianzunterschiede
|
|
durch eine F-Verteilung-basierte Signifikanzanalyse quantifiziert werden, bevor
|
|
Daten für das Modelltraining freigegeben werden. Diese Prüfung ist zwingend erforderlich,
|
|
um die Datenqualität und die statistische Validität der Trainingspopulation zu
|
|
gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-51
|
|
title_original_de: QM-51-7 F-Verteilung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-7_F-Verteilung.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-51-8-gamma-verteilung
|
|
canonical_name: -8 Gamma Verteilung
|
|
description: Das System muss die statistische Verteilung von Wartezeiten zwischen
|
|
unabhängigen Ereignissen im Trainingsdatensatz auf Konformität mit der Gamma-Verteilung
|
|
prüfen. Dabei sind die Form- und Skalenparameter der Daten explizit zu extrahieren
|
|
und mit den theoretischen Erwartungswerten abzugleichen. Eine Abweichung der empirischen
|
|
Dichtefunktion von dem modellierten Gamma-Verlauf ist als Qualitätsmangel zu dokumentieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-51
|
|
title_original_de: QM-51-8 Gamma Verteilung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-8_Gamma%20Verteilung.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-51-9-weibull-verteilung
|
|
canonical_name: -9 Weibull Verteilung
|
|
description: Die Verteilung der KI-Trainingsdaten muss mittels eines parametrischen
|
|
Modells analysiert werden, das die Zuverlässigkeit von Datenpunkten über deren
|
|
Lebensdauer abbildet. Es ist sicherzustellen, dass die Formparameter des Modells
|
|
flexibel an die spezifischen Ausfallmuster der verwendeten Datensätze angepasst
|
|
werden, um eine realistische Qualitätsbewertung zu ermöglichen. Die Einhaltung
|
|
dieser Verteilungsannahmen ist bei der Validierung der Datenqualität durchzuführen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-51
|
|
title_original_de: QM-51-9 Weibull Verteilung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-9_Weibull%20Verteilung.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-51-verteilungstypen
|
|
canonical_name: Verteilungstypen
|
|
description: Das System muss die statistische Verteilung von Trainingsdaten quantifizieren,
|
|
um diskrete und stetige Zufallsvariablen korrekt zu modellieren. Es ist sicherzustellen,
|
|
dass für jeden Datentyp die passende Wahrscheinlichkeitsfunktion identifiziert
|
|
und validiert wird. Die Analyseverfahren müssen nachweislich die Wahrscheinlichkeit
|
|
spezifischer Ereignisse im probabilistischen System erfassen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-51
|
|
title_original_de: QM-51 Verteilungstypen
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51_DistributionTypes.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-52-01-durchschnittswert
|
|
canonical_name: -01 Durchschnittswert
|
|
description: Die durchschnittliche Abweichung eines definierten Merkmals innerhalb
|
|
des KI-Trainingsdatensatzes ist als zentraler Qualitätsindikator zu berechnen.
|
|
Diese Kennzahl muss aus der Summe aller Einzelwerte dividiert durch die Gesamtanzahl
|
|
der Datapunkte ermittelt werden. Eine Prüfung auf die Stabilität des Ergebnisses
|
|
gegenüber Ausreißern ist zwingend erforderlich, da der Mittelwert bei Extremwerten
|
|
verzerrt sein kann.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-52
|
|
title_original_de: QM-52-01 Durchschnittswert
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-01_Average%20Value.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-52-02-median
|
|
canonical_name: -02 Median
|
|
description: Die Verteilung der KI-Trainingsdaten muss so analysiert werden, dass
|
|
der Median als robustes Maß für die zentrale Tendenz ermittelt wird. Diese Kennzahl
|
|
ist sicherzustellen, um den Einfluss von Ausreißern auf die Datenqualität zu minimieren.
|
|
Eine Prüfung muss nachweisen, dass der berechnete Wert die Mitte der sortierten
|
|
Datenmenge repräsentiert.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-52
|
|
title_original_de: QM-52-02 Median
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-02_Median.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-52-03-modus
|
|
canonical_name: -03_Modus
|
|
description: Die Verteilung der Trainingsdaten ist auf den häufigsten Wert oder
|
|
die häufigsten Werte zu analysieren, um den Modus der Datenqualität zu bestimmen.
|
|
Es ist sicherzustellen, dass die Identifikation dieser dominanten Werte durch
|
|
einen validierten Zählprozess erfolgt, wobei auch das gleichzeitige Auftreten
|
|
mehrerer Modi zu berücksichtigen ist. Die Prüfung muss nachweisen, dass die ermittelten
|
|
Modalwerte die tatsächliche Häufigkeitsverteilung im Datensatz korrekt abbilden.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-52
|
|
title_original_de: QM-52-03_Modus
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-03_Modus.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-52-04-standardabweichung
|
|
canonical_name: -04 Standardabweichung
|
|
description: Die Variabilität der KI-Trainingsdaten ist durch die Berechnung der
|
|
Standardabweichung um den arithmetischen Mittelwert quantitativ zu erfassen. Ein
|
|
zulässiger Grenzwert für diese Streuung muss vor dem Start des Trainingsprozesses
|
|
definiert und im laufenden Betrieb kontinuierlich überwacht werden. Abweichungen,
|
|
die diesen definierten Schwellenwert überschreiten, sind als Qualitätsmangel zu
|
|
klassifizieren und auszuwerten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-52
|
|
title_original_de: QM-52-04 Standardabweichung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-04_StandardDeviation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-52-05-streuung
|
|
canonical_name: -05 Streuung
|
|
description: Das System muss die statistische Variabilität der Trainingsdaten quantifizieren,
|
|
um die Homogenität der Eingabedaten zu validieren. Es ist sicherzustellen, dass
|
|
Kennzahlen wie Standardabweichung oder Interquartilsabstand berechnet werden,
|
|
um Abweichungen vom Mittelwert zu erfassen. Die Einhaltung definierter Schwellenwerte
|
|
für diese Streuungsmaße ist vor jedem Training zu prüfen und bei Überschreitung
|
|
zu melden.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-52
|
|
title_original_de: QM-52-05 Streuung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-05_Streuung.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-52-06-spannweite
|
|
canonical_name: -06 Spannweite
|
|
description: Die Spannweite der Trainingsdaten ist als Differenz zwischen dem maximalen
|
|
und minimalen Wert eines Merkmals zu berechnen, um den gesamten Wertebereich zu
|
|
quantifizieren. Es ist sicherzustellen, dass dieser Indikator regelmäßig auf Ausreißer
|
|
und Datenlücken überprüft wird, da er besonders empfindlich gegenüber Extremwerten
|
|
reagiert. Die Einhaltung definierter Grenzwerte ist zwingend erforderlich, um
|
|
die Stabilität des KI-Modells während des Trainings zu gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-52
|
|
title_original_de: QM-52-06 Spannweite
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-06_Spannweite.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-52-07-interquartilsabstand
|
|
canonical_name: -07 Interquartilsabstand
|
|
description: Die Spannweite des mittleren Datenbereichs muss durch die Differenz
|
|
zwischen dem oberen und unteren Quartil quantifiziert werden, um die Variabilität
|
|
der Trainingsdaten zu bewerten. Dieser Indikator ist sicherzustellen, um Ausreißer
|
|
in den Eingabedaten zu identifizieren und die Datenqualität für das KI-Modell
|
|
zu validieren. Die Berechnung ist bei jedem Daten-Update durchzuführen und muss
|
|
dokumentiert werden, um die Konsistenz der Verteilung nachzuweisen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-52
|
|
title_original_de: QM-52-07 Interquartilsabstand
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-07_Interquartilsabstand.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0339
|
|
- id: MET-AI-DATA-QM-52-08-visualisierungsmethoden
|
|
canonical_name: -08 Visualisierungsmethoden
|
|
description: Die Qualität der KI-Trainingsdaten ist durch automatisierte Visualisierungsverfahren
|
|
zu validieren, um Anomalien und Verteilungsabweichungen in Echtzeit zu identifizieren.
|
|
Es ist sicherzustellen, dass grafische Repräsentationen statistischer Kennzahlen
|
|
genutzt werden, um komplexe Muster und Korrelationen zwischen Variablen effizient
|
|
zu analysieren. Die Prüfung erfolgt durch den Abgleich der visuellen Ergebnisse
|
|
mit definierten Qualitätskriterien, um die Eignung der Datenbasis für den Trainingsprozess
|
|
nachzuweisen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-52
|
|
title_original_de: QM-52-08 Visualisierungsmethoden
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-08_VisualizationTypes.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-52-techniken-der-deskriptiven-statistik
|
|
canonical_name: Techniken der deskriptiven Statistik
|
|
description: Das System muss vor dem Training einer KI-Modellierung deskriptive
|
|
Kennwerte wie Mittelwert, Standardabweichung und Verteilungsform der Eingabedaten
|
|
berechnen, um systematische Verzerrungen oder Ausreißer zu identifizieren. Diese
|
|
statistischen Analysen sind zwingend erforderlich, um die Datenqualität zu validieren
|
|
und als Basis für nachfolgende Modellierungsentscheidungen zu dienen. Eine Prüfung
|
|
der Ergebnisse ist sicherzustellen, bevor der Trainingsprozess initiiert wird.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-52
|
|
title_original_de: QM-52 Techniken der deskriptiven Statistik
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52_Descriptive-Statistics.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-20-scree-plot
|
|
canonical_name: Scree-Plot
|
|
description: Für die Validierung von KI-Trainingsdaten ist ein Scree-Plot zur Visualisierung
|
|
der Eigenwerte in absteigender Reihenfolge zwingend erforderlich. Dieser Plot
|
|
dient dazu, die optimale Anzahl an Hauptkomponenten für die Dimensionsreduktion
|
|
durch Identifikation des charakteristischen Knickpunkts zu ermitteln. Ist die
|
|
Kurve nach diesem Punkt signifikant abgeflacht, sind weitere Komponenten als irrelevant
|
|
für die Varianzaufklärung zu betrachten und auszuschließen. Die Einhaltung dieses
|
|
Kriteriums ist vor jedem Training zu prüfen, um eine Überdimensionierung des Modells
|
|
zu verhindern.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-20
|
|
title_original_de: QM-20 Scree-Plot
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-20_Scree-Plot.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-24-bi-plot
|
|
canonical_name: Bi-Plot
|
|
description: Das System muss ein zweidimensionales Visualisierungstool implementieren,
|
|
das die Ergebnisse einer Hauptkomponentenanalyse simultan mit den ursprünglichen
|
|
Variablenvektoren darstellt. Die Qualität der KI-Trainingsdaten ist durch die
|
|
korrekte Projektion aller relevanten Merkmale auf die ersten beiden Hauptkomponenten
|
|
sicherzustellen. Eine Prüfung ist durchzuführen, um zu verifizieren, dass sowohl
|
|
die Datenpunkte als auch die Variablenladungen in einem einzigen Diagramm konsistent
|
|
und ohne Informationsverlust abgebildet werden.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-24
|
|
title_original_de: QM-24 Bi-Plot
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-24_Biplot.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0169
|
|
- id: MET-AI-DATA-QM-42-qq-diagramm
|
|
canonical_name: QQ-Diagramm
|
|
description: Es ist sicherzustellen, dass die Verteilung der KI-Trainingsdaten durch
|
|
einen quantilenbasierten Plot mit der Referenzverteilung verglichen wird, um Abweichungen
|
|
in den Datenqualitätsparametern zu identifizieren. Die grafische Gegenüberstellung
|
|
der Quantilwerte muss eine visuelle Prüfung auf Normalverteilung und Ausreißer
|
|
ermöglichen. Diese Analyse ist vor jedem Trainingsschritt durchzuführen und muss
|
|
dokumentiert werden, um die statistische Integrität der Eingabedaten zu gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-42
|
|
title_original_de: QM-42 QQ-Diagramm
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-42_QQ-Diagramm.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-54-1-shap-summaryplot
|
|
canonical_name: -1 SHAP-Summaryplot
|
|
description: Das System muss für jedes trainierte Modell einen aggregierten Feature-Importance-Plot
|
|
generieren, der den Beitrag einzelner Eingangsvariablen zur Vorhersageabweichung
|
|
quantifiziert. Die Darstellung ist so zu gestalten, dass die Rangfolge der Merkmale
|
|
und deren Einflussrichtung (positiv oder negativ) auf die Ergebnisverteilung eindeutig
|
|
identifizierbar sind. Eine manuelle Prüfung ist sicherzustellen, um die Plausibilität
|
|
der abgeleiteten Shapley-Werte gegenüber den Rohdaten zu validieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-54
|
|
title_original_de: QM-54-1 SHAP-Summaryplot
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-54-1_SHAP-Summaryplot.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-54-2-shap-dependence-plot
|
|
canonical_name: -2 SHAP-Dependence-Plot
|
|
description: Das System muss die Sensitivität einzelner Eingabevariablen gegenüber
|
|
den Modellvorhersagen durch additive Erklärungsansätze quantifizieren. Es ist
|
|
sicherzustellen, dass die grafische Darstellung die nichtlineare Beziehung zwischen
|
|
Merkmalswerten und deren Beitrag zur Ausgabe eindeutig abbildet. Diese Analyse
|
|
ist vor der Freigabe des Modells zu prüfen, um die Nachvollziehbarkeit der Datenqualität
|
|
und der Feature-Wirkung zu validieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-54
|
|
title_original_de: QM-54-2 SHAP-Dependence-Plot
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-54-2_SHAP-Dependence-Plot.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-54-3-shap-force-plot
|
|
canonical_name: -3 SHAP-Force-Plot
|
|
description: Das System muss für jedes generierte Vorhersageergebnis eine additive
|
|
Merkmalsbeitragsanalyse bereitstellen, die die Abweichung vom Basiswert quantifiziert.
|
|
Diese Darstellung ist so zu gestalten, dass der Einfluss einzelner Eingangsvariablen
|
|
auf die finale Klassifikation durch farblich kodierte Segmente visuell hervorgehoben
|
|
wird. Die Plausibilität der dargestellten Datenbeiträge ist durch einen automatisierten
|
|
Validierungsprozess auf Konsistenz mit den Trainingsdaten zu prüfen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-54
|
|
title_original_de: QM-54-3 SHAP-Force-Plot
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-54-3_SHAP-Force-Plot.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-54-charttypes
|
|
canonical_name: ChartTypes
|
|
description: Das System muss eine validierte Bibliothek an Visualisierungstypen
|
|
bereitstellen, die spezifisch auf die Erkennung von Mustern und Trends in KI-Trainingsdaten
|
|
ausgelegt ist. Es ist sicherzustellen, dass jede grafische Darstellung die strukturelle
|
|
Integrität der zugrundeliegenden Datenqualität bewahrt und keine Verzerrungen
|
|
erzeugt. Die Eignung der gewählten Charttypen für die jeweilige Datenstruktur
|
|
ist vor der Ausgabe durch eine automatisierte Prüfung zu verifizieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids:
|
|
- QM-20
|
|
- QM-24
|
|
- QM-42
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-54
|
|
title_original_de: QM-54 ChartTypes
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-54_ChartTypes.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-53-1-logistische-regression
|
|
canonical_name: -1 Logistische Regression
|
|
description: Für KI-Modelle mit binärer oder multiklassiger Klassifikation ist sicherzustellen,
|
|
dass die zugrundeliegende logistische Regression Wahrscheinlichkeiten basierend
|
|
auf definierten Eingangsvariablen korrekt berechnet. Die Gültigkeit des Modells
|
|
ist durch die Prüfung nachzuweisen, ob der ermittelte Schwellenwert eine zuverlässige
|
|
Trennung der Ergebnisgruppen gewährleistet. Eine fehlerhafte Kalibrierung der
|
|
Wahrscheinlichkeiten ist als Qualitätsmangel zu bewerten und muss durch Validierung
|
|
der Trainingsdaten ausgeschlossen werden.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-53
|
|
title_original_de: QM-53-1 Logistische Regression
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-53_Regression-Methoden/QM-53-1_LogisticRegression.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-53-2-lineare-regression
|
|
canonical_name: -2 Lineare Regression
|
|
description: Für KI-Trainingsdatensätze ist sicherzustellen, dass eine lineare Abhängigkeit
|
|
zwischen den Eingabe- und Zielvariablen durch statistische Regressionsanalysen
|
|
quantifiziert wird. Die Güte der Anpassung ist mittels geeigneter Kennzahlen zu
|
|
prüfen, um die Vorhersagequalität des Modells valide zu bewerten. Eine signifikante
|
|
lineare Korrelation muss nachgewiesen werden, bevor das Modell für den Einsatz
|
|
in der Produktion freigegeben wird.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-53
|
|
title_original_de: QM-53-2 Lineare Regression
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-53_Regression-Methoden/QM-53-2_LinearRegression.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-53-regression-methoden
|
|
canonical_name: Regression Methoden
|
|
description: Das System muss statistische Regressionsverfahren anwenden, um den
|
|
funktionalen Zusammenhang zwischen den Eingabevariablen und den Zielwerten im
|
|
KI-Trainingsdatensatz zu quantifizieren. Die Güte der Modellanpassung ist durch
|
|
die Analyse der Residualfehler systematisch zu validieren, um Abweichungen von
|
|
der theoretischen Abhängigkeit zu identifizieren. Eine vollständige Dokumentation
|
|
der identifizierten Prädiktoren und der resultierenden Fehlerverteilung ist als
|
|
Nachweis der Datenqualität sicherzustellen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-53
|
|
title_original_de: QM-53 Regression Methoden
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-53_Regression-Methoden/QM-53_Regression%20Methods.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-55-bestimmtheitsmass
|
|
canonical_name: Bestimmtheitsmaß
|
|
description: Für KI-Trainingsdatensätze ist ein quantitatives Maß zur Bewertung
|
|
der Varianzaufklärung durch die gewählten Eingangsmerkmale sicherzustellen. Dieser
|
|
Indikator muss den prozentualen Anteil der Gesamtvarianz der Zielvariable erfassen,
|
|
der durch das Modell erklärt werden kann. Die Prüfung ist ausschließlich für lineare
|
|
Abhängigkeitsstrukturen zulässig und erfordert die Berechnung des Koeffizienten
|
|
der Determination.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids:
|
|
- QM-19
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-55
|
|
title_original_de: QM-55 Bestimmtheitsmaß
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-55_Coefficient%20of%20determination%20(PCA).md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-56-1-min-max-skalierung
|
|
canonical_name: -1 Min/Max Skalierung
|
|
description: Für das Training von KI-Modellen ist sicherzustellen, dass alle numerischen
|
|
Eingabevariablen mittels Min-Max-Normalisierung auf einen definierten Wertebereich
|
|
transformiert werden. Diese Skalierung muss die Extremwerte jedes Features berücksichtigen,
|
|
um eine Verzerrung durch unterschiedliche Maßstäbe zu verhindern. Die korrekte
|
|
Anwendung dieser Transformation ist vor jedem Trainingslauf zu prüfen, um die
|
|
Stabilität und Konvergenz des Modells zu gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-56
|
|
title_original_de: QM-56-1 Min/Max Skalierung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56-1_MinMaxDatascaling.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-56-2-z-score-normalization
|
|
canonical_name: -2 Z-Score Normalization
|
|
description: Das System muss vor dem Training eine Standardisierung der Eingabemerkmale
|
|
durchführen, um einen Erwartungswert von null und eine Varianz von eins zu erreichen.
|
|
Diese Transformation ist zwingend erforderlich, um numerische Verzerrungen durch
|
|
unterschiedliche Skalierungen zu eliminieren und die Stabilität von Regularisierungsverfahren
|
|
zu gewährleisten. Die korrekte Anwendung der Normalisierung ist durch automatische
|
|
Prüfungen auf statistische Kennwerte nach der Verarbeitung zu verifizieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-56
|
|
title_original_de: QM-56-2 Z-Score Normalization
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56-2_Z-Score%20Normalization.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-56-3-l1-normalization
|
|
canonical_name: -3 L1-Normalization
|
|
description: Für KI-Trainingsdaten ist sicherzustellen, dass Vektoren mittels L1-Normalisierung
|
|
skaliert werden, sodass die Summe der absoluten Komponentenwerte exakt eins ergibt.
|
|
Diese Maßnahme gewährleistet die Vergleichbarkeit von Merkmalen unterschiedlicher
|
|
Wertebereiche und ermöglicht die Interpretation als gewichtete Verteilung. Die
|
|
Einhaltung dieser Normierung ist durch eine automatisierte Prüfprozedur vor jedem
|
|
Trainingslauf zu verifizieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-56
|
|
title_original_de: QM-56-3 L1-Normalization
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56-3_L1-Normalization.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0208
|
|
- id: MET-AI-DATA-QM-56-4-logarithmische-transformation
|
|
canonical_name: -4 Logarithmische Transformation
|
|
description: Für KI-Trainingsdatensätze mit positiver Schiefe oder heteroskedastischer
|
|
Varianz ist eine logarithmische Skalierung der numerischen Merkmale zwingend vorzusehen.
|
|
Diese Transformation muss so angewendet werden, dass die Datenverteilung annähernd
|
|
normalisiert und der Einfluss extremer Ausreißer signifikant reduziert wird. Die
|
|
Wirksamkeit der Maßnahme ist durch statistische Tests auf Varianzstabilität und
|
|
Verteilungsform vor dem Training zu validieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-56
|
|
title_original_de: QM-56-4 Logarithmische Transformation
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56-4_LogarithmicTransformation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-56-5-l2-normalisierung
|
|
canonical_name: -5 L2-Normalisierung
|
|
description: Die Eingabevektoren des KI-Trainingsdatensatzes sind vor der Verarbeitung
|
|
so zu skalieren, dass ihre euklidische Norm exakt den Wert eins annimmt. Diese
|
|
Maßnahme stellt sicher, dass die geometrische Distanzberechnung nicht durch unterschiedliche
|
|
Wertebereiche der einzelnen Merkmale verzerrt wird. Die Einhaltung dieser Normierung
|
|
ist durch eine automatisierte Validierung der Vektorlängen nach jedem Normalisierungsschritt
|
|
zu prüfen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-56
|
|
title_original_de: QM-56-5 L2-Normalisierung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56-5_L2-Normalization.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-56-6-batch-normalization
|
|
canonical_name: -6 Batch Normalization
|
|
description: Für neuronale Netze ist sicherzustellen, dass Aktivierungswerte pro
|
|
Schicht durch eine statistische Normalisierung über Mini-Batches stabilisiert
|
|
werden, um die Verteilungseigenschaften zu konsolidieren. Die Berechnung von Mittelwert
|
|
und Standardabweichung muss so erfolgen, dass systematische Verzerrungen durch
|
|
Regularisierungsmaßnahmen ausgeschlossen werden. Die Einhaltung dieser Verfahren
|
|
ist durch eine Prüfung der Datenverteilung während des Trainings zu verifizieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-56
|
|
title_original_de: QM-56-6 Batch Normalization
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56-6_Batch%20Normalization.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-56-normalisierung
|
|
canonical_name: Normalisierung
|
|
description: Für KI-Trainingsdaten ist eine statistische Normalisierung durchzuführen,
|
|
um numerische Werte auf einen einheitlichen Skalierungsbereich oder eine definierte
|
|
Verteilung zu transformieren. Diese Maßnahme ist sicherzustellen, um die Konsistenz
|
|
der Eingabedaten und die Vergleichbarkeit von Merkmalen über verschiedene Datensätze
|
|
hinweg zu gewährleisten. Die Einhaltung der definierten statistischen Parameter
|
|
ist vor jedem Trainingslauf durch einen automatisierten Validierungsprozess zu
|
|
prüfen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-56
|
|
title_original_de: QM-56 Normalisierung
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56_Normalization.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-57-1-synthetic-minority-over-sampling-techn
|
|
canonical_name: -1 Synthetic Minority Over-sampling Technique
|
|
description: Das KI-Trainingsdatenset muss durch synthetische Generierung von Minderheitsklassen-Instanzen
|
|
ausgeglichen werden, um eine Verzerrung zugunsten der Mehrheitsklasse zu vermeiden.
|
|
Die Erzeugung neuer Datenpunkte ist durch Interpolation zwischen existierenden
|
|
Beispielen und deren k-nächsten Nachbarn im Merkmalsraum sicherzustellen. Eine
|
|
Validierung der resultierenden Klassenverteilung ist vor dem Training des Modells
|
|
durchzuführen, um die statistische Repräsentativität der Minderheit zu gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-57
|
|
title_original_de: QM-57-1 Synthetic Minority Over-sampling Technique
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-57_Fairness-Methoden/QM-57-1_SMOTE.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-57-2-lfr
|
|
canonical_name: -2 LFR
|
|
description: Das System muss während des Trainingsprozesses eine repräsentative
|
|
Merkmalsabbildung generieren, die sensible Attribute von den eigentlichen Vorhersagefeatures
|
|
entkoppelt. Dies ist sicherzustellen, indem die Datenpunkte auf eine Menge von
|
|
Prototypen projiziert werden, wobei Bias-Reduktion und Vorhersagegenauigkeit simultan
|
|
optimiert werden. Die Wirksamkeit dieser Entkopplung ist durch quantitative Metriken
|
|
zur Fairness im latenten Raum zu prüfen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-57
|
|
title_original_de: QM-57-2 LFR
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-57_Fairness-Methoden/QM-57-2_LFR.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0196
|
|
- id: MET-AI-DATA-QM-58-1-laplacescher-mechanismus
|
|
canonical_name: -1 Laplacescher Mechanismus
|
|
description: Das KI-Trainingsmodell muss bei der Generierung von Ergebnissen aus
|
|
sensiblen Datensätzen ein stochastisches Rauschen gemäß einer Laplace-Verteilung
|
|
hinzufügen, um differentielle Privatsphäre zu gewährleisten. Die Amplitude dieses
|
|
Rauschens ist dynamisch an den definierten Datenschutzparameter zu koppeln, wobei
|
|
eine Erhöhung des Parameters zwingend eine proportionale Steigerung der Störgröße
|
|
erfordert. Die Wirksamkeit dieser Maßnahme ist durch eine Prüfung der Datenqualität
|
|
zu verifizieren, die sicherstellt, dass der Schutz individueller Datenpunkte trotz
|
|
der hinzugefügten Unsicherheit die statistische Nützlichkeit der aggregierten
|
|
Ergebnisse nicht vollständig kompromittiert.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-58
|
|
title_original_de: QM-58-1 Laplacescher Mechanismus
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-58_DiffentialPrivacyMethods/QM-58-1_Laplacescher%20Mechanismus.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-58-2-exponentialmechanismus
|
|
canonical_name: -2 Exponentialmechanismus
|
|
description: Das System muss bei der Auswahl von Ergebnissen aus KI-Trainingsdaten
|
|
einen Wahrscheinlichkeitsmechanismus anwenden, der die Ausgabe basierend auf einem
|
|
Nutzenwert steuert. Die Verteilung der Wahrscheinlichkeiten ist so zu gestalten,
|
|
dass Ergebnisse mit hohem Risiko für die Offenlegung individueller Datenpunkte
|
|
signifikant seltener generiert werden. Eine Prüfung ist sicherzustellen, ob die
|
|
gewählte Ausgabe die Privatsphäre der einzelnen Datensätze unter Einhaltung definierter
|
|
Grenzen effektiv schützt.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-58
|
|
title_original_de: QM-58-2 Exponentialmechanismus
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-58_DiffentialPrivacyMethods/QM-58-2_Exponentialmechanismus.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-58-3-lokale-differentielle-privatsphaere
|
|
canonical_name: -3 Lokale differentielle Privatsphäre
|
|
description: Die Integrität der KI-Trainingsdaten ist sicherzustellen, indem jedes
|
|
individuelle Datenelement vor der Übermittlung an den zentralen Server durch einen
|
|
lokal auf dem Endgerät ausgeführten Rauschalgorithmus anonymisiert wird. Es ist
|
|
zu prüfen, dass die Aggregation der Daten erst nach dieser lokalen Störung erfolgt,
|
|
um eine Rekonstruktion der Rohdaten auf Serverseite auszuschließen. Dieser Prozess
|
|
gewährleistet, dass die Differenzialprivatsphäre bereits auf der Ebene des Nutzers
|
|
implementiert ist und keine vertraulichen Informationen ungeschützt das Gerät
|
|
verlassen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-58
|
|
title_original_de: QM-58-3 Lokale differentielle Privatsphäre
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-58_DiffentialPrivacyMethods/QM-58-3_LokaleDifferentiellePrivatsphäre.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0143
|
|
- id: MET-AI-DATA-QM-58-methoden-der-differential-privacy
|
|
canonical_name: Methoden der "Differential Privacy"
|
|
description: Das KI-Trainingsverfahren muss einen mathematisch fundierten Mechanismus
|
|
zur Hinzufügung von kontrolliertem Rauschen implementieren, um die Rekonstruierbarkeit
|
|
individueller Datensätze im Ergebnis zu verhindern. Die Sensitivität der verwendeten
|
|
Abfragen ist vor der Datenverarbeitung zu ermitteln, um die Rauschstärke entsprechend
|
|
der Datenschutzanforderungen zu dimensionieren. Eine Validierung ist durchzuführen,
|
|
um sicherzustellen, dass die generierten Modelle keine Rückschlüsse auf einzelne
|
|
Trainingsbeispiele zulassen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-58
|
|
title_original_de: QM-58 Methoden der "Differential Privacy"
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-58_DiffentialPrivacyMethods/QM-58_DifferentialPrivacyMethods.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-59-1-metadatenkataloge
|
|
canonical_name: -1 Metadatenkataloge
|
|
description: Für alle im Rahmen von KI-Trainingsprozessen genutzten Datensätze ist
|
|
ein zentraler Metadatenkatalog als verbindliche Referenzinstanz zu etablieren.
|
|
Dieser Katalog muss strukturelle Merkmale, Herkunftsinformationen sowie Qualitätsmetriken
|
|
jeder einzelnen Datenquelle eindeutig dokumentieren und für autorisierte Prüfer
|
|
abrufbar halten. Die Vollständigkeit und Konsistenz der gespeicherten Metadaten
|
|
sind vor jedem Trainingslauf systematisch zu validieren, um eine nachvollziehbare
|
|
Datenherkunft sicherzustellen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-59
|
|
title_original_de: QM-59-1 Metadatenkataloge
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-59%20Metadaten/QM-59-1_Metadatenkataloge.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-59-2-integration-von-metadaten
|
|
canonical_name: -2 Integration von Metadaten
|
|
description: Der Trainingsdatensatz muss um strukturelle Metadaten erweitert werden,
|
|
um dem Modell kontextuelle Parameter wie Zeitstempel oder räumliche Zuordnungen
|
|
bereitzustellen. Diese Zusatzinformationen sind so zu kodieren, dass sie die Erkennung
|
|
von Mustern ermöglichen, welche in den reinen Rohdaten nicht identifizierbar sind.
|
|
Die Wirksamkeit dieser Erweiterung ist durch einen Vergleich der Modellgenauigkeit
|
|
vor und nach der Integration zu verifizieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-59
|
|
title_original_de: QM-59-2 Integration von Metadaten
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-59%20Metadaten/QM-59-2_Integration%20von%20Metadaten.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-59-3-metadaten-vollstaendigkeit
|
|
canonical_name: -3_Metadaten-Vollständigkeit
|
|
description: Für KI-Trainingsdatensätze muss der Anteil der Einträge mit vollständig
|
|
dokumentierten Herkunftsinformationen quantifiziert werden. Es ist sicherzustellen,
|
|
dass für jeden Datensatz die Ursprungsquelle, der Erfassungszeitpunkt und die
|
|
verantwortliche Instanz lückenlos erfasst sind. Diese Vollständigkeit ist zwingend
|
|
zu prüfen, um die Rückverfolgbarkeit der Datenherkunft im gesamten Datenbestand
|
|
nachzuweisen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-59
|
|
title_original_de: QM-59-3_Metadaten-Vollständigkeit
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-59%20Metadaten/QM-59-3_Metadaten-Vollständigkeit.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-59-metadatenmanagement
|
|
canonical_name: Metadatenmanagement
|
|
description: Für KI-Trainingsdatensätze ist ein automatisiertes Metadatenmanagement
|
|
durchzuführen, das Klassifizierung und Extraktion zur strukturierten Erfassung
|
|
von Datenmerkmalen nutzt. Die Integrität der Metadaten ist kontinuierlich auf
|
|
Vollständigkeit, Konsistenz und Genauigkeit zu prüfen, um deren Eignung für spezifische
|
|
Lernziele sicherzustellen. Eine valide Nutzung der Metadaten erfordert deren Nachweisbarkeit
|
|
in einem zentralen Katalog, der den Zugriff auf die Qualitätskriterien für alle
|
|
Anwendungsfälle gewährleistet.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-59
|
|
title_original_de: QM-59 Metadatenmanagement
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-59%20Metadaten/QM-59_Metadatenmanagement.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0175
|
|
- id: MET-AI-DATA-QM-60-provinienztracking-blockchain
|
|
canonical_name: Provinienztracking-Blockchain
|
|
description: Das System muss für jede KI-Trainingsinstanz einen unveränderlichen
|
|
Lebenszyklus-Eintrag in einer dezentralen Ledger-Struktur generieren, der Ursprung,
|
|
Verarbeitungsschritte und Weitergabe dokumentiert. Diese Einträge sind so zu gestalten,
|
|
dass eine lückenlose und fälschungssichere Rückverfolgung der Datenherkunft jederzeit
|
|
möglich ist. Die Integrität der gespeicherten Metadaten ist durch kryptografische
|
|
Verfahren gegen nachträgliche Manipulationen zu schützen. Eine Prüfung der Vollständigkeit
|
|
dieser Provenienzketten ist vor jedem Trainingsschritt durchzuführen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-60
|
|
title_original_de: QM-60 Provinienztracking-Blockchain
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-60_Provinienztracking-Blockchain.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-61-1-marginal-contribution-approach
|
|
canonical_name: -1 Marginal Contribution Approach
|
|
description: Für die Validierung von KI-Trainingsdaten ist der marginale Einfluss
|
|
einzelner Datensätze auf die Modellleistung durch systematisches Hinzufügen oder
|
|
Entfernen zu quantifizieren. Es ist sicherzustellen, dass dieser Beitrag als messbare
|
|
Veränderung der Gesamtnote des Systems bewertet wird, um die Datenqualität zu
|
|
verifizieren. Die Prüfung muss nachweisen, dass relevante Datenpunkte einen signifikanten
|
|
positiven Effekt auf die Performance aufweisen oder bei Ausschluss eine Verschlechterung
|
|
verursachen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-61
|
|
title_original_de: QM-61-1 Marginal Contribution Approach
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-61_Datenbewertungsmethoden/QM-61-1_Marginal%20Contribution%20Importance.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-61-2-data-re-weighting-strategies
|
|
canonical_name: -2 Data Re-weighting Strategies
|
|
description: Das System muss Mechanismen implementieren, um die Gewichtung von Trainingsdatenpunkten
|
|
dynamisch anzupassen, um Verzerrungen auszugleichen und die Modellleistung zu
|
|
optimieren. Es ist sicherzustellen, dass die Re-Weighting-Strategie explizit dokumentiert
|
|
und auf ihre Wirksamkeit zur Sicherstellung der Fairness überprüft wird. Die Anpassung
|
|
der Datenprioritäten ist so zu konfigurieren, dass sie die Zielkonflikte zwischen
|
|
Genauigkeit und Gleichbehandlung adressiert.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-61
|
|
title_original_de: QM-61-2 Data Re-weighting Strategies
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-61_Datenbewertungsmethoden/QM-61-2_Data%20Re-weighting%20Strategies.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0185
|
|
- id: MET-AI-DATA-QM-61-3-neural-dynamic-data-valuation
|
|
canonical_name: -3 Neural Dynamic Data Valuation
|
|
description: Das System muss eine dynamische Bewertungsfunktion implementieren,
|
|
die den Beitrag einzelner Trainingsdatenpunkte im Kontext der aktuellen Inferenzleistung
|
|
quantifiziert. Dabei ist sicherzustellen, dass die Sensitivität der Ausgabe gegenüber
|
|
Datenänderungen kontinuierlich analysiert wird, um eine adaptive Gewichtung der
|
|
Datensätze zu ermöglichen. Die Validierung dieser Mechanismen erfolgt durch den
|
|
Nachweis einer zeitabhängigen Anpassung der Datenprioritäten basierend auf den
|
|
aktuellen Modellzuständen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-61
|
|
title_original_de: QM-61-3 Neural Dynamic Data Valuation
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-61_Datenbewertungsmethoden/QM-61-3_Neural%20Dynamic%20Data%20Valuation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-61-datenpunkt-einflussanalyse
|
|
canonical_name: Datenpunkt-Einflussanalyse
|
|
description: Das System muss die individuelle Gewichtung jedes Trainingsdatums auf
|
|
die finale Modellperformance quantifizieren, um kritische Ausreißer oder redundante
|
|
Einträge zu identifizieren. Es ist sicherzustellen, dass Datenpunkte mit hohem
|
|
Informationsgehalt oder signifikanter Wirkung auf die Robustheit explizit nachvollziehbar
|
|
gekennzeichnet werden. Eine Prüfung muss validieren, dass die Entfernung weniger
|
|
relevanter Samples die allgemeine Vorhersagegenauigkeit nicht unerlaubt mindert.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-61
|
|
title_original_de: QM-61 Datenpunkt-Einflussanalyse
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-61_Datenbewertungsmethoden/QM-61_Datenpunkteinflussanalyse.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-62-verzeichnis-von-verarbeitungstaetigkeit
|
|
canonical_name: Verzeichnis von Verarbeitungstätigkeit
|
|
description: Das System muss eine durchgängige Dokumentation aller KI-Datenverarbeitungsprozesse
|
|
bereitstellen, die Zweck, Datenkategorien und Empfänger explizit definiert. Die
|
|
Aktualisierung dieser Metadaten ist vor jedem Trainingsschritt sicherzustellen,
|
|
um die Datenherkunft und Löschzyklen nachvollziehbar zu machen. Die Gültigkeit
|
|
der dokumentierten Sicherheitsmaßnahmen ist regelmäßig zu prüfen, um die Integrität
|
|
der Trainingsdaten zu gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs:
|
|
- framework: EU GDPR
|
|
citation: Artikel 32
|
|
- framework: EU GDPR
|
|
citation: null
|
|
- framework: EU GDPR
|
|
citation: Art. 49
|
|
- framework: BSI AIC4
|
|
citation: null
|
|
- framework: AI Act
|
|
citation: Artikel 10
|
|
- framework: BSI Grundschutz
|
|
citation: null
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-62
|
|
title_original_de: QM-62 Verzeichnis von Verarbeitungstätigkeit
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-62_Verzeichnis%20von%20Verarbeitungstätigkeit.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-63-1-horizontal-federated-learning
|
|
canonical_name: -1 Horizontal Federated Learning
|
|
description: Das System muss horizontale Federated-Learning-Verfahren implementieren,
|
|
bei denen Modell-Updates aggregiert werden, ohne dass Rohdaten die lokalen Speicherorte
|
|
der beteiligten Parteien verlassen. Es ist sicherzustellen, dass alle Knoten identische
|
|
Merkmalsvektoren nutzen, während die zugrundeliegenden Datensätze ausschließlich
|
|
aus unterschiedlichen Individuen bestehen. Die Datenintegrität ist durch eine
|
|
Prüfung zu verifizieren, die bestätigt, dass keine direkten Datenaustausche zwischen
|
|
den Partnern während des Trainingsprozesses stattfinden.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs:
|
|
- framework: EU GDPR
|
|
citation: null
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-63
|
|
title_original_de: QM-63-1 Horizontal Federated Learning
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-63_FederatedLearning/QM-63-1_Horizontal%20Federated%20Learning.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-63-2-vertical-federated-learning
|
|
canonical_name: -2 Vertical Federated Learning
|
|
description: Das System muss die Integrität von vertikal federierten KI-Trainingsprozessen
|
|
sicherstellen, bei denen mehrere Parteien komplementäre Merkmalsvektoren für identische
|
|
Entitäten beisteuern. Es ist zu prüfen, ob die Datenfusion ausschließlich auf
|
|
nicht-dekodierbaren Modellparametern basiert, um die Originaldaten der einzelnen
|
|
Instanzen während des gemeinsamen Lernvorgangs zu schützen. Die Validierung muss
|
|
nachweisen, dass keine direkten Rohdaten zwischen den Knoten ausgetauscht werden,
|
|
bevor ein aggregiertes Modell aktualisiert wird.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-63
|
|
title_original_de: QM-63-2 Vertical Federated Learning
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-63_FederatedLearning/QM-63-2_Vertical%20Federated%20Learning.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-63-3-federated-transfer-learning
|
|
canonical_name: -3 Federated Transfer Learning
|
|
description: Das System muss die Fähigkeit zur Übertragung von Modellwissen zwischen
|
|
heterogenen Datenquellen bereitstellen, um bei nicht vollständiger Merkmals- oder
|
|
Proben-Überschneidung eine gemeinsame Modellbildung zu ermöglichen. Es ist sicherzustellen,
|
|
dass Transfermechanismen explizit implementiert sind, um Wissenslücken bei unterschiedlichen
|
|
Datenvolumina und -strukturen zu schließen. Die Wirksamkeit dieser Mechanismen
|
|
ist durch Prüfung der Modellkonvergenz über die beteiligten Parteien hinweg zu
|
|
validieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-63
|
|
title_original_de: QM-63-3 Federated Transfer Learning
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-63_FederatedLearning/QM-63-3_Federated%20Transfer%20Learning.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-63-federated-learning
|
|
canonical_name: Federated Learning
|
|
description: Für KI-Trainingsprozesse mit dezentralen Architekturen ist sicherzustellen,
|
|
dass Rohdaten niemals den lokalen Speicherort der Datenbesitzer verlassen. Stattdessen
|
|
müssen Modellparameter ausschließlich auf den Endgeräten oder lokalen Servern
|
|
aktualisiert und anschließend aggregiert werden, um den Datenschutz zu gewährleisten.
|
|
Die Integrität des Federated-Learning-Verfahrens ist durch Prüfung der Datenlokalisierung
|
|
und des Parametertransfers zu verifizieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-63
|
|
title_original_de: QM-63 Federated Learning
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-63_FederatedLearning/QM-63_Federated%20Learning.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-64-similarity-scores
|
|
canonical_name: Similarity Scores
|
|
description: Für die Validierung der KI-Trainingsdaten ist eine kontextspezifische
|
|
Auswahl eines geeigneten Ähnlichkeitsmaßes zwingend erforderlich. Bei vektorisierten
|
|
Daten sind metrische Verfahren wie die Kosinus-Ähnlichkeit anzuwenden, während
|
|
bei sparse Darstellungen Distanzmaße wie der Jaccard-Koeffizient vorzuziehen sind.
|
|
In Szenarien mit hoher semantischer Komplexität sind fortgeschrittene Verfahren
|
|
wie BERTScore zur Sicherstellung der Datenqualität einzusetzen. Die Eignung des
|
|
gewählten Algorithmus ist vor der Nutzung nachzuweisen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-64
|
|
title_original_de: QM-64 Similarity Scores
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-64_Similarity%20Scores.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0167
|
|
- id: MET-AI-DATA-QM-65-ai-or-s-bom
|
|
canonical_name: AI or S-Bom
|
|
description: Das System muss eine vollständige Inventarisierung aller Trainingsdaten,
|
|
Modelle und externen Abhängigkeiten als strukturierte KI-Bill-of-Materials dokumentieren.
|
|
Diese Dokumentation ist sicherzustellen, um Lizenzkonflikte, Sicherheitslücken
|
|
und ethische Risiken in der Lieferkette frühzeitig zu identifizieren. Die Prüfung
|
|
muss nachweisen, dass alle Komponenten sowie deren Versionsstände und Qualitätsmetriken
|
|
lückenlos erfasst sind.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs:
|
|
- framework: AI Act
|
|
citation: null
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-65
|
|
title_original_de: QM-65 AI or S-Bom
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-65_AI_or_S_Bom.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-67-provenienz-vollstaendigkeitsrate
|
|
canonical_name: Provenienz-Vollständigkeitsrate
|
|
description: Die Provenienz-Vollständigkeit ist als messbarer Indikator für die
|
|
Qualität von KI-Trainingsdaten zu definieren und muss den Anteil der Datensätze
|
|
quantifizieren, bei denen sämtliche Herkunftsdetails lückenlos dokumentiert sind.
|
|
Es ist sicherzustellen, dass für jeden Dateneintrag alle relevanten Transformationen,
|
|
Erhebungsmethoden und Ursprungsinformationen vollständig in den Metadaten erfasst
|
|
wurden. Die Prüfung erfolgt durch Berechnung des Quotienten aus vollständig dokumentierten
|
|
Datensätzen und der Gesamtmenge aller Trainingsdaten, wobei das Ergebnis als Prozentsatz
|
|
auszudrücken ist.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-67
|
|
title_original_de: QM-67 Provenienz-Vollständigkeitsrate
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-67_Provenienz_Vollständigkeitsrate.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0147
|
|
- id: MET-AI-DATA-QM-68-1-shannon-index
|
|
canonical_name: -1 Shannon-Index
|
|
description: Das System muss die Entropie der Verteilung von KI-Trainingsdaten quantifizieren,
|
|
um die Diversität der enthaltenen Klassen zu bewerten. Es ist sicherzustellen,
|
|
dass der berechnete Shannon-Index als messbarer Indikator für die Informationsunsicherheit
|
|
in den Datensätzen dient. Die Prüfung erfolgt durch Analyse der Häufigkeitsverteilung,
|
|
um eine ausreichende Varianz der Eingabemuster zu garantieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-68
|
|
title_original_de: QM-68-1 Shannon-Index
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-68_Diversity%20Indices%20Metrics/QM-68-1_Shannon-Index.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-68-2-simpson-index
|
|
canonical_name: -2 Simpson-Index
|
|
description: Die Verteilung der Trainingsdaten hinsichtlich relevanter Klassenmerkmale
|
|
ist durch einen statistischen Diversitätsindikator zu quantifizieren, der die
|
|
Wahrscheinlichkeit für eine zufällige Übereinstimmung zweier ausgewählter Instanzen
|
|
misst. Ein niedriger berechneter Wert ist als Indikator für eine hohe Klassenbalance
|
|
und damit für eine robuste Datenqualität zu werten. Die Einhaltung dieses Qualitätsziels
|
|
ist durch regelmäßige Berechnung und Dokumentation des Indexwertes während des
|
|
gesamten Trainingsprozesses sicherzustellen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-68
|
|
title_original_de: QM-68-2 Simpson-Index
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-68_Diversity%20Indices%20Metrics/QM-68-2_Simpson-Index.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-68-3-pielous-eveness-index
|
|
canonical_name: -3 Pielous Eveness Index
|
|
description: Das System muss die Verteilung von Trainingsinstanzen über alle Zielklassen
|
|
quantifizieren, um eine signifikante Verzerrung zu vermeiden. Der errechnete Gleichmäßigkeitsindikator
|
|
ist als Maß für die Datenqualität heranzuziehen und muss einen Wert nahe dem Idealzustand
|
|
aufweisen. Eine Abweichung von der gleichmäßigen Verteilung ist durch eine automatische
|
|
Prüfung zu validieren, bevor das Modell trainiert wird.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-68
|
|
title_original_de: QM-68-3 Pielous Eveness Index
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-68_Diversity%20Indices%20Metrics/QM-68-3_Pielous%20Eveness%20Index.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-68-4-berger-parker-index
|
|
canonical_name: -4 Berger-Parker Index
|
|
description: Das System muss sicherstellen, dass die Verteilung der Kategorien in
|
|
den KI-Trainingsdaten eine ausgewogene Vielfalt aufweist und keine einzelne Klasse
|
|
übermäßig dominiert. Es ist zu prüfen, ob der Anteil der häufigsten Kategorie
|
|
einen definierten Schwellenwert unterschreitet, um eine Verzerrung der Datenqualität
|
|
auszuschließen. Eine unzureichende Heterogenität der Labels ist als Defekt zu
|
|
bewerten, der die Modellleistung negativ beeinflusst.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-68
|
|
title_original_de: QM-68-4 Berger-Parker Index
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-68_Diversity%20Indices%20Metrics/QM-68-4_Berger%20Parker%20Index.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-68-5-margalefs-richness-index
|
|
canonical_name: -5 Margalefs Richness Index
|
|
description: Die Qualität der KI-Trainingsdaten ist durch einen Diversitätsindikator
|
|
zu quantifizieren, der das Verhältnis der Anzahl einzigartiger Entitäten zur Gesamtmenge
|
|
der verarbeiteten Instanzen ermittelt. Dieser Kennwert muss sicherstellen, dass
|
|
die Datengrundlage eine hinreichende Heterogenität aufweist, um eine einseitige
|
|
Verzerrung des Modells zu verhindern. Die Prüfung erfolgt durch die Berechnung
|
|
des Index und den Abgleich mit definierten Mindestschwellenwerten für die Datenrepräsentativität.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-68
|
|
title_original_de: QM-68-5 Margalefs Richness Index
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-68_Diversity%20Indices%20Metrics/QM-68-5_Margalefs%20Richness%20Index.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-68-6-menhinicks-index
|
|
canonical_name: -6 Menhinicks Index
|
|
description: Die Qualität der KI-Trainingsdaten ist durch einen normalisierten Diversitätsindex
|
|
zu bewerten, der das Verhältnis der unique Token-Klassen zur Gesamtmenge der Token
|
|
erfasst. Dieser Kennwert muss die Vergleichbarkeit von Datensätzen unterschiedlicher
|
|
Volumina sicherstellen, indem er den Artenreichtum der Datenstruktur unabhängig
|
|
von der absoluten Stichprobengröße quantifiziert. Die Berechnung ist bei jedem
|
|
Validierungslauf durchzuführen, um eine objektive Messung der Datenheterogenität
|
|
zu gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-68
|
|
title_original_de: QM-68-6 Menhinicks Index
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-68_Diversity%20Indices%20Metrics/QM-68-6_Menhinicks%20Index.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-69-1-hold-out
|
|
canonical_name: -1 Hold Out
|
|
description: Die Datenbasis für das KI-Modell ist vorab in strikt getrennte, nicht
|
|
überlappende Teilmengen zur Modellbildung, Parameteroptimierung und abschließenden
|
|
Evaluation zu zerlegen. Eine Nutzung der Evaluationsdaten während des Trainingsprozesses
|
|
ist zwingend auszuschließen, um Verzerrungen der Leistungsmessung zu verhindern.
|
|
Die Einhaltung dieser Trennung ist durch eine nachvollziehbare Protokollierung
|
|
der Aufteilungsratios und der Datenpfade zu verifizieren.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-69
|
|
title_original_de: QM-69-1 Hold Out
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-69_DataSplitting/QM-69-1_Hold%20Out.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-69-2-k-fold-cross-validation
|
|
canonical_name: -2 K-Fold Cross Validation
|
|
description: Das KI-Modell ist mittels K-Fold-Verfahren zu validieren, wobei der
|
|
Datensatz in K disjunkte Teilmengen zu zerlegen ist. In jedem Iterationslauf muss
|
|
eine Teilmenge als Testdatensatz dienen, während die verbleibenden Mengen zum
|
|
Training herangezogen werden. Die Wiederholung dieses Prozesses über alle K Kombinationen
|
|
ist sicherzustellen, um eine robuste Schätzung der Modellgüte zu gewährleisten.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-69
|
|
title_original_de: QM-69-2 K-Fold Cross Validation
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-69_DataSplitting/QM-69-2_K-Fold%20Cross%20Validation.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-70-datasheet
|
|
canonical_name: Datasheet
|
|
description: Es ist sicherzustellen, dass für alle KI-Trainingsdatensätze ein strukturiertes
|
|
Begleitdokument existiert, welches den vollständigen Lebenszyklus der Daten transparent
|
|
abbildet. Dieses Dokument muss zwingend Metriken zur Vollständigkeit enthalten
|
|
und spezifische Anwendungsempfehlungen sowie Wartungsanforderungen definieren.
|
|
Durch diese Dokumentation ist nachweislich zu prüfen, ob der Datensatz für den
|
|
vorgesehenen Einsatzzweck geeignet ist und Missbrauchspotenziale ausgeschlossen
|
|
werden.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-70
|
|
title_original_de: QM-70 Datasheet
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-70_Datasheet.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0
|
|
- id: MET-AI-DATA-QM-71-polynomiale-features
|
|
canonical_name: Polynomiale Features
|
|
description: Das System muss bei der Verarbeitung von Trainingsdaten nicht-lineare
|
|
Beziehungen durch die Generierung höherer Potenzen und Kreuzterme aus den Eingangsvariablen
|
|
abbilden. Es ist sicherzustellen, dass diese transformierten Merkmale explizit
|
|
zur Erfassung komplexer Muster in linearen Modellen verwendet werden. Die Qualität
|
|
der Daten ist zu prüfen, indem verifiziert wird, ob die Basis-Expansion korrekt
|
|
implementiert ist und keine unbeabsichtigten Datenlecks entstehen.
|
|
kind: metric
|
|
regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI)
|
|
related_quaidal_ids: []
|
|
external_refs: []
|
|
source:
|
|
framework: BSI QUAIDAL
|
|
section: QM-71
|
|
title_original_de: QM-71 Polynomiale Features
|
|
url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-71%20Polynomiale%20Features.md
|
|
commit_sha: c39b75369841b359c6bf56d6588e3768c722842f
|
|
license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung.
|
|
plagiarism_score_at_generation: 0.0345
|