source: Derived from BSI QUAIDAL (Clean-Room) source_url: https://github.com/BSI-Bund/QUAIDAL commit_sha: c39b75369841b359c6bf56d6588e3768c722842f plagiarism_limit_4gram: 0.2 generated_by_model: qwen3.5:35b-a3b controls: - id: MET-AI-DATA-QM-01-meanabsoluteerror canonical_name: MeanAbsoluteError description: Das System muss die mittlere absolute Abweichung zwischen den tatsächlichen und den imputierten Werten in den Trainingsdatensätzen berechnen. Diese Kennzahl dient als objektiver Indikator zur Validierung der Plausibilität von Datenlückenfüllungen. Die Einhaltung definierter Schwellenwerte ist zwingend erforderlich, um die Datenqualität vor dem Modelltraining sicherzustellen. Eine Abweichung, die diesen Grenzwert überschreitet, muss als kritischer Fehler protokolliert werden. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-01 title_original_de: QM-01 MeanAbsoluteError url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-01_MeanAbsoluteError.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0377 - id: MET-AI-DATA-QM-02-mittlerer-quadratischer-fehler canonical_name: Mittlerer quadratischer Fehler description: Das System muss den mittleren quadratischen Fehler berechnen, um die Abweichung zwischen den generierten KI-Ausgaben und den Referenzdaten quantitativ zu erfassen. Diese Metrik ist sicherzustellen, da sie größere Diskrepanzen im Datensatz stärker gewichtet als lineare Fehlermaße. Die Prüfung erfolgt durch den automatisierten Abgleich von Vorhersagewerten mit den tatsächlichen Zielgrößen im Trainings- und Validierungsdatensatz. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-02 title_original_de: QM-02 Mittlerer quadratischer Fehler url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-02_RootMeanSquareError.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-03-f-mass canonical_name: F-Maß description: Das System muss einen harmonischen Mittelwert aus der Trefferquote und dem positiven Vorhersagewert für binäre Klassifizierungsaufgaben berechnen, um die Vorhersagegüte zu quantifizieren. Dieser Qualitätsindikator ist als F-Maß zu definieren und muss während des gesamten Trainingsprozesses kontinuierlich überwacht werden. Die Einhaltung der definierten Schwellenwerte ist durch automatisierte Prüfungen sicherzustellen, um die Zuverlässigkeit der KI-Modelle zu garantieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-03 title_original_de: QM-03 F-Maß url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-03_F-Measure.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-04-genauigkeit canonical_name: Genauigkeit description: Das System muss sicherstellen, dass der Anteil der korrekt klassifizierten Instanzen im Validierungsdatensatz einen definierten Schwellenwert überschreitet. Diese Metrik ist als primäres Maß für die Vorhersagegenauigkeit bei ausgewogenen Datensätzen zu prüfen. Abweichungen von der Soll-Genauigkeit sind durch eine Analyse der Trainingsdatenqualität zu untersuchen. Die Einhaltung dieser Vorgabe ist vor jedem Deployment nachzuweisen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-04 title_original_de: QM-04 Genauigkeit url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-04_Accuracy.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-05-praezision canonical_name: Präzision description: Die Genauigkeit positiver Klassifizierungen im KI-Modell ist als Verhältnis der korrekt identifizierten positiven Instanzen zur Gesamtzahl aller als positiv bewerteten Fälle zu quantifizieren. Dieser Qualitätsindikator muss insbesondere dann überwacht werden, wenn die Konsequenzen von Fehlalarmen signifikant sind. Eine Abweichung unter dem definierten Schwellenwert ist als Verstoß gegen die Datenqualitätsanforderungen zu werten und erfordert eine sofortige Überprüfung des Trainingsdatensatzes. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-05 title_original_de: QM-05 Präzision url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-05_Precision.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0179 - id: MET-AI-DATA-QM-06-recall canonical_name: Recall description: Das System muss die Fähigkeit nachweisen, alle tatsächlich vorhandenen Defekte in den Trainingsdaten korrekt zu identifizieren, wobei der Anteil der erkannten Fälle an der Gesamtzahl der Defekte einen definierten Mindestwert erreichen muss. Diese Kennzahl ist als primärer Qualitätsindikator für die Vollständigkeit der Erkennungsleistung zu etablieren und regelmäßig zu validieren. Eine unzureichende Abdeckung positiver Fälle ist als kritischer Mangel an der Datenqualität zu bewerten, der sofortige Korrekturmaßnahmen auslöst. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-06 title_original_de: QM-06 Recall url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-06_Recall.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0156 - id: MET-AI-DATA-QM-07-spezifizitaet canonical_name: Spezifizität description: Das KI-Modell muss in der Lage sein, nicht-zutreffende Eingaben mit hoher Zuverlässigkeit als negativ zu klassifizieren, um Fehlalarme bei kritischen Prozessen zu minimieren. Die Spezifität ist als quantitativer Indikator zu ermitteln und muss einen definierten Schwellenwert überschreiten, um die Datenqualität des Trainingssets zu validieren. Eine Prüfung ist durchzuführen, um sicherzustellen, dass das System irrelevante Muster korrekt ausschließt und keine unnötigen Interventionen auslöst. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-07 title_original_de: QM-07 Spezifizität url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-07_Specificity.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0164 - id: MET-AI-DATA-QM-08-lernkurven canonical_name: Lernkurven description: Es ist sicherzustellen, dass die Entwicklung des KI-Modells durch eine Analyse der Modellgüte in Abhängigkeit von der Trainingsdatengröße begleitet wird. Diese Untersuchung muss nachweisen, ob eine weitere Vergrößerung des Datensatzes zu einer signifikanten Verbesserung der Validierungsleistung führt oder ob ein Sättigungseffekt eingetreten ist. Die Prüfung erfolgt durch die Auswertung der Metrikverläufe während des Trainings, um die Angemessenheit der gewählten Datenmenge zu validieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-08 title_original_de: QM-08 Lernkurven url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-08_LearningCurve.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-09-konfidenzniveau canonical_name: KonfidenzNiveau description: Das System muss eine statistische Schätzung der Datenqualität für KI-Trainingsdaten bereitstellen, die mit einer definierten Wahrscheinlichkeit den wahren Wert der zugrundeliegenden Population abdeckt. Es ist sicherzustellen, dass das berechnete Konfidenzniveau die Gültigkeit von Stichprobenstatistiken auf die Gesamtheit der Daten validiert. Die Einhaltung dieses Parameters ist durch regelmäßige Prüfungen der Intervallgrenzen nachzuweisen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-09 title_original_de: QM-09 KonfidenzNiveau url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-09_KonfidenzNiveau.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-10-1-principal-component-analysis canonical_name: -1 Principal Component Analysis description: Für die Validierung der KI-Trainingsdaten ist eine dimensionsreduzierende Analyse durchzuführen, um redundante Merkmalskorrelationen zu identifizieren und die Datenstruktur zu komprimieren. Es ist sicherzustellen, dass die ursprünglichen Variablen in eine reduzierte Menge orthogonaler Hauptkomponenten transformiert werden, wobei der Informationsverlust minimiert wird. Die Effektivität dieses Prozesses ist durch den Nachweis einer signifikanten Reduktion der Datenkomplexität bei gleichzeitiger Wahrung der interpretierbaren Informationsdichte zu prüfen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-10 title_original_de: QM-10-1 Principal Component Analysis url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-10_Dimension%20Reduction/QM-10-1_PrincipalComponentAnalysis.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-10-2-clustergraph-analysisqm-10-2-clustergr canonical_name: -2_Clustergraph AnalysisQM-10-2 Clustergraph Analysis description: Das System muss eine topologische Analyse der KI-Trainingsdaten durchführen, um die globale Struktur und relative Distanz zwischen identifizierten Datenclustern explizit abzubilden. Es ist sicherzustellen, dass bei der Dimensionsreduktion die strukturellen Beziehungen zwischen den Clustern erhalten bleiben und nicht durch lokale Verzerrungen verfälscht werden. Die Korrektheit dieser Darstellung ist durch einen automatisierten Validierungsprozess zu prüfen, der Abweichungen von der ursprünglichen multidimensionalen Verteilung quantifiziert. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-10 title_original_de: QM-10-2_Clustergraph AnalysisQM-10-2 Clustergraph Analysis url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-10_Dimension%20Reduction/QM-10-2_Clustergraph%20Analysis.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0333 - id: MET-AI-DATA-QM-10-3-robustprincipalcomponentanalysis canonical_name: -3 RobustPrincipalComponentAnalysis description: Das System muss zur Sicherstellung der Datenintegrität ein Verfahren zur Trennung von Grundmustern und Anomalien implementieren, das über klassische Hauptkomponentenanalysen hinausgeht. Durch die Zerlegung der Eingabedatenmatrix in eine niedrigrangige Strukturkomponente und eine spärliche Störkomponente ist eine robuste Filterung von Ausreißern im Trainingsdatensatz sicherzustellen. Diese Methode ist zwingend erforderlich, um die Modellgenauigkeit bei verrauschten oder fehlerbehafteten Eingaben zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-10 title_original_de: QM-10-3 RobustPrincipalComponentAnalysis url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-10_Dimension%20Reduction/QM-10-3_RobustPrincipalComponentAnalysis.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-10-dimensionsreduktion canonical_name: Dimensionsreduktion description: Das System muss Verfahren zur Reduktion der Merkmalsdimensionalität in KI-Trainingsdatensätzen anwenden, um redundante Variablen zu eliminieren und den Informationsgehalt zu maximieren. Es ist sicherzustellen, dass die Anzahl der verbleibenden Merkmale strikt unter der ursprünglichen Dimensionalität liegt, während die wesentlichen Datenstrukturen erhalten bleiben. Die Eignung der eingesetzten Algorithmen ist durch technische Prüfungen nachzuweisen, um die Interpretierbarkeit der Ergebnisse zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-10 title_original_de: QM-10 Dimensionsreduktion url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-10_Dimension%20Reduction/QM-10_Dimension%20Reduction.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-11-1-pearson-korrelationskoeffizient canonical_name: -1 Pearson-Korrelationskoeffizient description: Für kontinuierliche Trainingsdaten ist sicherzustellen, dass die lineare Abhängigkeit zwischen zwei Variablen durch den Bravais-Pearson-Koeffizienten quantifiziert wird. Der berechnete Wert muss im Intervall von -1 bis 1 liegen, um die Stärke und Richtung des Zusammenhangs eindeutig zu bewerten. Eine Prüfung ist durchzuführen, ob die Daten auf einer Intervall- oder Verhältnisskala vorliegen, bevor die Metrik angewendet wird. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-11 title_original_de: QM-11-1 Pearson-Korrelationskoeffizient url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-11_Korrelationskoeffizienten/QM-11-1_Pearson-Korrelationskoeffizient.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.1273 - id: MET-AI-DATA-QM-11-2-spearman-rangkorrelationskoeffizient canonical_name: -2 Spearman-Rangkorrelationskoeffizient description: Das System muss den Spearman-Rangkorrelationskoeffizienten zur Validierung der monotonen Abhängigkeit zwischen KI-Trainingsvariablen berechnen. Diese Kennzahl ist als nichtparametrisches Maß zwingend einzusetzen, um Zusammenhänge bei nicht-normalverteilten Daten oder Vorhandensein von Ausreißern zu quantifizieren. Die Prüfung ist erfolgreich, wenn der ermittelte Wert im definierten Intervall von -1 bis 1 liegt und die Richtung der Beziehung eindeutig identifiziert wird. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-11 title_original_de: QM-11-2 Spearman-Rangkorrelationskoeffizient url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-11_Korrelationskoeffizienten/QM-11-2_Spearman-Rangkorrelationskoeffizient.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-11-3-kendalls-tau canonical_name: -3 Kendalls Tau description: Die Korrelation zwischen den Rangfolgen von KI-Vorhersagen und manuell verifizierten Qualitätslabels ist mittels des Kendall-Tau-Koeffizienten zu ermitteln. Dieses nichtparametrische Verfahren ist zwingend anzuwenden, um monotone Zusammenhänge auch bei nichtlinearen Mustern oder vorhandenen Ausreißern robust zu validieren. Die Prüfung muss sicherstellen, dass die berechnete Stärke der Assoziation die Datenqualität der Trainingsdaten unabhängig von der Verteilungsform bestätigt. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-11 title_original_de: QM-11-3 Kendalls Tau url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-11_Korrelationskoeffizienten/QM-11-3_Kendalls%20Tau.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-11-4-punktbiserialer-korrelationskoeffizien canonical_name: -4 Punktbiserialer Korrelationskoeffizient description: Für die Validierung von KI-Trainingsdaten ist der punktbiseriale Korrelationskoeffizient zwingend anzuwenden, um die Abhängigkeit zwischen binären Klassifikationsmerkmalen und kontinuierlichen Wertefeldern quantitativ zu bewerten. Diese Kennzahl muss die Stärke und Richtung des linearen Zusammenhangs exakt erfassen, wobei sie als spezialisierte Form der Pearson-Korrelation für den Fall einer dichotomen und einer metrischen Variable fungiert. Die Berechnung ist vor dem finalen Modelltraining durchzuführen, um sicherzustellen, dass relevante Einflussfaktoren auf die Datenqualität hinreichend identifiziert werden. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-11 title_original_de: QM-11-4 Punktbiserialer Korrelationskoeffizient url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-11_Korrelationskoeffizienten/QM-11-4_Koeffizient%20der%20punktbiserialen%20Korrelation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0286 - id: MET-AI-DATA-QM-11-5-phi-koeffizient canonical_name: -5 Phi-Koeffizient description: Für die Validierung von KI-Trainingsdaten ist der Phi-Koeffizient als statistisches Maß zur Quantifizierung der Assoziationsstärke zwischen zwei binären Variablen anzuwenden. Die Berechnung basiert ausschließlich auf den Häufigkeitsverteilungen einer 2x2-Kontingenztafel, um die Korrelation zwischen den Ausprägungen zu ermitteln. Es ist sicherzustellen, dass dieses Verfahren nur bei Daten mit genau zwei diskreten Kategorien eingesetzt wird, um die Datenqualität objektiv zu prüfen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-11 title_original_de: QM-11-5 Phi-Koeffizient url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-11_Korrelationskoeffizienten/QM-11-5_Phi-Koeffizient.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-11-korrelationskoeffizient-diverse canonical_name: Korrelationskoeffizient(diverse) description: Für die Validierung von KI-Trainingsdatensätzen ist der lineare Zusammenhang zwischen relevanten Eingangsvariablen durch den Korrelationskoeffizienten quantitativ zu ermitteln. Es ist sicherzustellen, dass die berechneten Werte im Intervall von -1 bis +1 liegen und die Stärke sowie Richtung der Abhängigkeit eindeutig identifizieren. Abweichungen von definierten Schwellenwerten für signifikante Korrelationen sind als Qualitätsmangel zu protokollieren und zu analysieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-11 title_original_de: QM-11 Korrelationskoeffizient(diverse) url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-11_Korrelationskoeffizienten/QM-11_Korrelationskoeffizient(diverse).md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-12-prozent-fehl-variablen canonical_name: Prozent fehl. Variablen description: Der Anteil nicht verfügbarer Werte innerhalb definierter Eingabemerkmale ist als prozentualer Indikator für die Datenintegrität zu ermitteln. Diese Kennzahl muss den relativen Umfang von Lücken im Trainingskorpus quantifizieren, um die Zuverlässigkeit der KI-Modelle zu bewerten. Die Berechnung ist auf Basis des Gesamtvolumens des Datensatzes durchzuführen und regelmäßig zu validieren, um Datenbereinigungsmaßnahmen einzuleiten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-12 title_original_de: QM-12 Prozent fehl. Variablen url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-12_Prozentsatz%20auf%20Daten.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-13-lineare-diskriminanzanalyse canonical_name: Lineare Diskriminanzanalyse description: Das KI-Modell muss ein lineares Diskriminanzverfahren implementieren, um Trainingsdatenpunkte basierend auf definierten Merkmalsvektoren optimal in vorab festgelegte Klassen zu segmentieren. Es ist sicherzustellen, dass die Trennhyperflächen so berechnet werden, dass der Abstand zwischen den Klassenmittelwerten maximiert und die Varianz innerhalb jeder Klasse gleichzeitig minimiert wird. Die Güte der Klassifizierung ist durch die Prüfung der Normalverteilungsannahme der Eingabedaten sowie der Homogenität der Kovarianzmatrizen vor dem Training zu validieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-13 title_original_de: QM-13 Lineare Diskriminanzanalyse url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-13%20Linear%20Discriminant%20Analysis.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-15-sixsigmaprocess canonical_name: SixSigmaProcess description: Das System muss die statistische Prozessfähigkeit von KI-Trainingsdatensätzen kontinuierlich überwachen, um die Standardabweichung der Qualitätsmerkmale auf maximal sechs Sigma zu begrenzen. Es ist sicherzustellen, dass die Fehlerrate bei der Datenerstellung und -verarbeitung unter 3,4 Defekte pro Million Möglichkeiten bleibt. Jede Abweichung von diesem Zielwert ist durch automatische Ausreißererkennung zu identifizieren und innerhalb definierter Toleranzgrenzen zu korrigieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-15 title_original_de: QM-15 SixSigmaProcess url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-15_SixSigmaProcess.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0182 - id: MET-AI-DATA-QM-16-1-interrater-reliabilitaet canonical_name: -1 Interrater-Reliabilität description: Für die Validierung der KI-Trainingsdaten ist die Konsistenz zwischen mehreren unabhängigen annotierenden Instanzen quantifizativ zu prüfen. Dabei ist ein statistisches Maß zur Berechnung der Übereinstimmung unter Berücksichtigung des Zufallseinflusses anzuwenden. Die resultierende Kennzahl muss einen definierten Mindestwert überschreiten, um die Datenqualität als gesichert zu bewerten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-16 title_original_de: QM-16-1 Interrater-Reliabilität url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-16_Reliability/QM-16-1_Inter%20Rater%20Reliability.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-16-2-test-retest-reliabilitaet canonical_name: -2 Test-Retest-Reliabilität description: Das System muss die Stabilität der KI-Ausgaben über die Zeit quantifizieren, indem es identische Eingabedaten zu zwei separaten Zeitpunkten verarbeitet. Die daraus resultierenden Ergebnisse sind durch einen statistischen Korrelationskoeffizienten zu verknüpfen, um die Konsistenz der Modellleistung zu validieren. Eine Abweichung unterhalb des definierten Schwellenwerts ist als Qualitätsmangel zu protokollieren und zu untersuchen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-16 title_original_de: QM-16-2 Test-Retest-Reliabilität url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-16_Reliability/QM-16-2_Test-Retest-Reliability.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-16-3-split-half-reliability canonical_name: -3 Split-Half-Reliability description: Das System muss die Konsistenz der KI-Entscheidungen durch eine Aufteilung der Trainingsdaten in zwei unabhängige Teilmengen verifizieren. Die Korrelation der Ergebnisse beider Teilmengen ist zu ermitteln und mittels einer statistischen Korrekturformel auf die Gesamtreliabilität hochzurechnen. Diese Kennzahl ist als messbarer Indikator für die Datenqualität bei der Modellvalidierung heranzuziehen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-16 title_original_de: QM-16-3 Split-Half-Reliability url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-16_Reliability/QM-16-3_Split-Half-Reliability.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-16-4-cronsbachsches-alpha canonical_name: -4 Cronsbachsches Alpha description: Das System muss einen quantitativen Indikator zur Bewertung der internen Konsistenz der zugrundeliegenden Trainingsdaten implementieren. Dieser Koeffizient ist so zu berechnen, dass er die Korrelation zwischen einzelnen Datenelementen einer Messskala präzise abbildet. Eine Einhaltung der definierten Schwellenwerte ist zwingend erforderlich, um die Zuverlässigkeit der KI-Modellierung sicherzustellen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-16 title_original_de: QM-16-4 Cronsbachsches Alpha url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-16_Reliability/QM-16-4_Cronsbach%20Alpha.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-16-zuverlaessigkeit canonical_name: Zuverlässigkeit description: Der Anteil der im Trainingskorpus verifizierten und qualitätsgeprüften Datensätze muss einen definierten Mindestwert überschreiten, um die statistische Verlässlichkeit des Modells zu gewährleisten. Diese Kennzahl ist ausschließlich auf Daten anzuwenden, deren Herkunft und Integrität durch autorisierte Quellen bestätigt wurden. Eine regelmäßige Prüfung der Datenherkunft ist zwingend erforderlich, um Abweichungen von der festgelegten Qualitätsbasis frühzeitig zu identifizieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-16 title_original_de: QM-16 Zuverlässigkeit url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-16_Reliability/QM-16_Reliability.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-17-abdeckungsgrad-von-auditmassnahmen canonical_name: Abdeckungsgrad von Auditmaßnahmen description: Der Erfassungsgrad der Audit-Logs muss quantifiziert werden, um die Vollständigkeit der protokollierten Systemereignisse im Kontext spezifischer KI-Trainingsprozesse zu verifizieren. Es ist sicherzustellen, dass mindestens 100 % der definierten kritischen Aktionen und Datenqualitätsänderungen lückenlos in den Aufzeichnungen nachvollziehbar sind. Abweichungen von dieser Vollständigkeit sind als Defekt zu bewerten und müssen durch eine detaillierte Analyse der fehlenden Einträge identifiziert werden. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-17 title_original_de: QM-17 Abdeckungsgrad von Auditmaßnahmen url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-17_CoverageLevel.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-18-haeufigkeits-und-gewichtungsfeldern canonical_name: Häufigkeits- und Gewichtungsfeldern description: Für die Validierung von KI-Modellen ist sicherzustellen, dass Trainingsdatensätze explizite Metadaten zur Repräsentativität und Relevanz enthalten. Diese Attribute müssen numerische Werte zur Häufigkeit und zur semantischen Gewichtung der einzelnen Instanzen definieren, wobei die Gewichtung nicht auf Ganzzahlen beschränkt sein darf. Während diese Parameter den Lernprozess steuern, sind sie bei der finalen Leistungsbewertung auf repräsentativen Testsets zu ignorieren, um eine unverzerrte Vergleichbarkeit zwischen verschiedenen Modellen zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-18 title_original_de: QM-18 Häufigkeits- und Gewichtungsfeldern url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-18_Frequency%20and%20weighting%20fields.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-19-erklaerte-varianz canonical_name: Erklärte Varianz description: Das System muss den Anteil der durch das Modell erklärten Varianz der Zielvariable in den Trainingsdaten quantifizieren, um die Reduktionsqualität zu validieren. Dieser Wert ist als normierter Indikator zwischen null und eins sicherzustellen und muss bei jeder Validierung der Datenqualität explizit berechnet werden. Eine Abweichung von definierten Schwellenwerten ist als Qualitätsmangel zu protokollieren, da sie auf eine unzureichende Merkmalsextraktion hinweist. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-19 title_original_de: QM-19 Erklärte Varianz url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-19_Explained%20Variance.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-21-kumulative-erklaerte-varianz canonical_name: Kumulative erklärte Varianz description: Das System muss einen quantitativen Indikator zur kumulativen Erklärung der Datenvarianz implementieren, der den Anteil der durch gewählte Merkmale abgedeckten Gesamtvariation erfasst. Dieser Wert ist bei jeder Validierung des Trainingsdatensatzes zu berechnen, um die Angemessenheit der Dimensionsreduktion zu verifizieren. Die Auswertung dient dazu, die minimale Anzahl an Features zu bestimmen, die für eine repräsentative Datenabbildung erforderlich ist. Eine Unterschreitung des definierten Schwellenwerts ist als Qualitätsabweichung zu protokollieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-21 title_original_de: QM-21 Kumulative erklärte Varianz url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-21_Cummulative_explained_variance.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-22-rekonstruktionsfehler canonical_name: Rekonstruktionsfehler description: Das System muss die Qualität der KI-Trainingsdaten durch den Vergleich von Eingabevektoren mit deren rekonstruierten Versionen quantifizieren. Zur Sicherstellung der Datenintegrität ist der mittlere quadratische Fehler als primäres Maß für die Rekonstruktionsgenauigkeit zu ermitteln. Ein niedriger Abweichungswert bestätigt, dass die extrahierten Merkmalsdimensionen die ursprünglichen Datenstrukturen hinreichend abbilden. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-22 title_original_de: QM-22 Rekonstruktionsfehler url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-22_ReconstructionError.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-23-mittlerer-quadratischer-abweichung canonical_name: Mittlerer quadratischer Abweichung description: Das System muss einen metrischen Qualitätsindikator implementieren, der die durchschnittliche quadrierte Abweichung zwischen den von der KI generierten Vorhersagen und den referenzierten Sollwerten berechnet. Diese Kennzahl ist als primäres Maß für die Modellgenauigkeit zu werten, wobei ein Wert nahe Null eine hohe Übereinstimmung der Trainingsdatenqualität anzeigt. Die Berechnung muss sowohl zufällige Schwankungen als auch systematische Verzerrungen in den Daten erfassen, um eine valide Bewertung der Vorhersagegüte sicherzustellen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-23 title_original_de: QM-23 Mittlerer quadratischer Abweichung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-23_MeanSquaredError.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-25-1-variance-treshold canonical_name: -1 Variance-Treshold description: Für jedes Eingangsmerkmal ist die statistische Varianz zu ermitteln und mit einem definierten Grenzwert zu vergleichen. Merkmale, deren Varianz diesen Schwellenwert unterschreiten, sind als irrelevant für die Zielvariablen-Unterscheidung zu klassifizieren und aus dem Trainingsdatensatz zu entfernen. Diese Maßnahme ist zwingend erforderlich, um konstante oder nahezu konstante Merkmale zu eliminieren, die keinen Beitrag zur Modellgenauigkeit leisten. Die Einhaltung dieses Filters ist vor jedem Trainingsschritt durch einen automatisierten Validierungslauf zu prüfen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-25 title_original_de: QM-25-1 Variance-Treshold url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-25_Feature%20Importance%20Scores/QM-25-1_Variance-Treshold.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-25-feature-importance-scores-diverse canonical_name: Feature Importance Scores (diverse) description: Das System muss für jedes trainierte Modell quantifizierbare Metriken zur Relevanz der Eingangsmerkmale berechnen, um den Einfluss einzelner Variablen auf die Vorhersageergebnisse zu bewerten. Es ist sicherzustellen, dass diese Kennzahlen eine diverse Verteilung aufweisen, um eine einseitige Abhängigkeit von wenigen Merkmalen auszuschließen. Die Validierung dieser Scores ist durch einen automatisierten Prüfprozess nachzuweisen, bevor das Modell in den produktiven Einsatz überführt wird. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: - QM-26 - QM-27 - QM-28 - QM-29 external_refs: [] source: framework: BSI QUAIDAL section: QM-25 title_original_de: QM-25 Feature Importance Scores (diverse) url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-25_Feature%20Importance%20Scores/QM-25_Feature%20Importance%20Scores.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-26-gini-importance canonical_name: Gini-Importance description: Für jedes im Modell eingesetzte Feature ist der Beitrag zur Reduktion der Gini-Unreinheit über alle Baumstrukturen zu quantifizieren. Die relative Wichtigkeit der Eingangsvariablen muss durch die Aggregation der Impurity-Reduktionen an allen Splits bestimmt werden. Eine Validierung ist sicherzustellen, um die korrekte Berechnung der Feature-Bedeutung für die Datenqualitätsbewertung nachzuweisen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-26 title_original_de: QM-26 Gini-Importance url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-25_Feature%20Importance%20Scores/QM-26_Gini%20Importance%20Score.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0625 - id: MET-AI-DATA-QM-27-permutation-feature-importance canonical_name: Permutation Feature Importance description: Das System muss die Relevanz einzelner Eingangsvariablen für die Vorhersagegüte quantifizieren, indem zufällig vertauschte Datenwerte mit dem ursprünglichen Modellverhalten verglichen werden. Diese Prüfung ist sicherzustellen, um nachzuweisen, dass die gewählten Merkmale einen signifikanten Beitrag zur Modellleistung leisten und keine irrelevante Datenqualität die Ergebnisse verfälscht. Die Validierung erfolgt durch den Vergleich der Metriken vor und nach der Permutation jedes einzelnen Merkmals im Trainingsdatensatz. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-27 title_original_de: QM-27 Permutation Feature Importance url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-25_Feature%20Importance%20Scores/QM-27_Permutation%20Feature%20Importance.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-28-koeffizienten-linearer-modelle canonical_name: Koeffizienten linearer Modelle description: Für lineare Regressionsmodelle ist sicherzustellen, dass die absoluten Werte der Merkmalskoeffizienten als primärer Indikator für die relative Bedeutung der Eingangsvariablen dienen. Ein höherer Koeffizientenwert muss zwingend eine stärkere Gewichtung des jeweiligen Merkmals im Trainingsdatensatz widerspiegeln. Die Validierung dieser Korrelation ist vor der Modellfreigabe durchzuführen, um die Datenqualität der Feature-Importanz zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-28 title_original_de: QM-28 Koeffizienten linearer Modelle url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-25_Feature%20Importance%20Scores/QM-28_Koeffizienten%20linearer%20Modelle.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-29-shap-feature-importance canonical_name: SHAP Feature Importance description: Das KI-System muss die individuelle Gewichtung aller Eingangsvariablen für jede einzelne Vorhersage mittels Shapley-Werten quantifizieren. Es ist sicherzustellen, dass diese Berechnung sowohl positive als auch negative Einflussfaktoren auf das Endergebnis konsistent abbildet. Die Validierung der Datenqualität erfolgt durch die Prüfung der Aggregation dieser Beiträge über alle möglichen Feature-Kombinationen hinweg. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: - QM-57 external_refs: [] source: framework: BSI QUAIDAL section: QM-29 title_original_de: QM-29 SHAP Feature Importance url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-25_Feature%20Importance%20Scores/QM-29_SHAP%20Feature%20Importance.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0408 - id: MET-AI-DATA-QM-30-literatur-recherche canonical_name: Literatur Recherche description: Das System muss vor dem Training eine systematische Analyse des aktuellen Forschungsstands durchführen, um relevante Datenqualitätsstandards zu identifizieren. Es ist sicherzustellen, dass etablierte Methoden zur Erkennung von Mustern in wissenschaftlichen Publikationen und Datenbanken angewendet werden. Die Qualität der Trainingsdaten ist durch den Abgleich mit diesen ermittelten Referenzwerten zu validieren, bevor ein Modell initiiert wird. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-30 title_original_de: QM-30 Literatur Recherche url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-30_LiteraturRecherche.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-31-prozessanalysemetriken canonical_name: Prozessanalysemetriken description: Für die Validierung des KI-Trainingsprozesses ist ein quantitatives Maß zur Erfassung der Datenqualität pro Use-Case zu definieren. Es ist sicherzustellen, dass Indikatoren zur Effizienz, Zuverlässigkeit und Compliance regelmäßig ausgewertet werden, um die Prozesswirksamkeit objektiv zu bewerten. Die Prüfung muss nachweisen, dass definierte Qualitätsziele im gesamten Lebenszyklus des Modells erreicht werden. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: - framework: EU GDPR citation: null source: framework: BSI QUAIDAL section: QM-31 title_original_de: QM-31 Prozessanalysemetriken url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-31_ProcessAnalysis.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-32-regulaere-ausdruecke canonical_name: Reguläre Ausdrücke description: Das System muss die Validierung von KI-Trainingsdaten durch algorithmische Mustererkennung sicherstellen, um strukturelle Integrität zu gewährleisten. Es ist zu prüfen, ob spezifische Datenqualitätsmerkmale mittels definierter Suchlogiken identifiziert und transformiert werden können. Diese Mechanismen sind erforderlich, um ungültige oder fehlerhafte Dateneinträge in den Trainingskorpora zuverlässig zu filtern. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-32 title_original_de: QM-32 Reguläre Ausdrücke url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-32_RegularExpression.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-34-validierung-der-feldgroesse canonical_name: Validierung der Feldgröße description: Die Länge aller in KI-Trainingsdatensätzen enthaltenen Textfelder muss innerhalb definierter, domänenspezifischer Grenzen liegen. Es ist sicherzustellen, dass Abweichungen von diesen Grenzen durch automatisierte Prüfmechanismen oder Expertenanalysen identifiziert werden, um Datenqualitätsmängel auszuschließen. Die Validierung muss nachweisbar dokumentieren, ob die Feldgrößen den erwarteten Spezifikationen entsprechen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-34 title_original_de: QM-34 Validierung der Feldgröße url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-34_FieldSizeValidation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-35-confusionmatrix canonical_name: ConfusionMatrix description: Das System muss eine matrixbasierte Auswertung der Klassifikationsleistung bereitstellen, die wahre und falsche Positive sowie Negative nach tatsächlichen und prognostizierten Klassen differenziert. Diese Aufschlüsselung ist zwingend erforderlich, um die Datenqualität der Trainingsdaten und die Zuverlässigkeit der KI-Entscheidungen objektiv zu bewerten. Die Genauigkeit der Vorhersagen ist durch den Vergleich der Kreuztabellenwerte gegen definierte Schwellenwerte zu validieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-35 title_original_de: QM-35 ConfusionMatrix url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-35_ConfusionMatrix.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-36-area-under-curce-auc canonical_name: Area Under Curce (AUC) description: Das System muss die Diskriminierungsfähigkeit des Klassifikators durch Berechnung der Fläche unter der ROC-Kurve quantifizieren, um die Trennschärfe zwischen positiven und negativen Instanzen über alle Entscheidungsschwellen hinweg zu bewerten. Es ist sicherzustellen, dass dieser Indikator als aggregierter Qualitätsmaßstab dient, der eine Leistungsfähigkeit deutlich über dem Zufallsniveau von 0,5 nachweist. Die Validierung erfolgt durch Prüfung der berechneten Metrik gegen definierte Mindestgrenzwerte im Rahmen des Datenqualitätsmonitorings. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-36 title_original_de: QM-36 Area Under Curce (AUC) url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-36_AreaUnderCurce-ReceiverOperatingCharacteristic%20(AUC-ROC).md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-37-area-under-precision-recall-curve-auprc canonical_name: Area Under Precision-Recall Curve (AUPRC) description: Das System muss die Flächengröße unter der Präzision-Recall-Kurve als zentralen Qualitätsindikator für Klassifikationsmodelle ermitteln. Diese Metrik ist zwingend zu nutzen, um die Modellgüte bei stark unausgewogenen Datensätzen zu quantifizieren, bei denen seltene positive Ereignisse dominieren. Die Einhaltung dieses Kriteriums ist durch automatische Auswertung der Trainings- und Validierungsdaten sicherzustellen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-37 title_original_de: QM-37 Area Under Precision-Recall Curve (AUPRC) url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-37_Area%20Under%20Precision-Recall%20Curve%20(AUPRC).md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-38-gewichtete-metriken canonical_name: Gewichtete Metriken description: Das System muss die Berechnung von Klassifikationsmetriken so implementieren, dass die Bedeutung einzelner Klassen und Stichproben durch individuelle Gewichtungsfaktoren berücksichtigt wird. Es ist sicherzustellen, dass aggregierte Kennzahlen wie die gewichtete F1-Score oder die gewichtete Genauigkeit auf Basis dieser Faktoren ermittelt werden, um Verzerrungen in den Trainingsdaten auszugleichen. Die Korrektheit dieser gewichteten Berechnungen ist bei jeder Validierung der KI-Datenqualität explizit zu prüfen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-38 title_original_de: QM-38 Gewichtete Metriken url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-38_WeightedMetrics.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-39-power-analyse canonical_name: Power Analyse description: Vor Beginn des KI-Trainings ist eine statistische Poweranalyse durchzuführen, um die erforderliche Datenmenge für die Erkennung signifikanter Effekte zu quantifizieren. Die Berechnung muss auf Basis definierter Effektgrößen, des Signifikanzniveaus und der erwarteten Populationsvarianz erfolgen, um eine ausreichende Teststärke sicherzustellen. Eine valide Ableitung der Stichprobengröße setzt zwingend voraus, dass relevante Parameter der Zielpopulation im Vorfeld bekannt sind und in das Modell eingehen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-39 title_original_de: QM-39 Power Analyse url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-39_PowerAnalysis.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-40-chi-quadrat-test canonical_name: Chi-Quadrat Test description: Die Qualität der KI-Trainingsdaten ist durch einen statistischen Unabhängigkeitstest zu validieren, um systematische Verzerrungen in kategorialen Merkmalen zu identifizieren. Es ist sicherzustellen, dass die beobachteten Häufigkeitsverteilungen signifikant von den theoretisch erwarteten Werten abweichen, sofern keine Unabhängigkeit zwischen den Variablen besteht. Diese Prüfung muss für alle nominal skalierten Eingangsattribute durchgeführt werden, um die statistische Integrität des Datensatzes vor dem Training zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-40 title_original_de: QM-40 Chi-Quadrat Test url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-40_Chi-Quadrat%20Test.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-41-konfidenzintervall canonical_name: KonfidenzIntervall description: Für jede statistische Schätzung der KI-Datenqualität ist ein Konfidenzintervall zu berechnen, das die Unsicherheit des Parameters quantifiziert. Dieses Intervall muss so definiert sein, dass der wahre Wert mit dem festgelegten Konfidenzniveau mit hoher Wahrscheinlichkeit darin enthalten ist. Die Einhaltung dieser statistischen Grenzen ist durch automatische Prüfungen bei jedem Trainingsschritt sicherzustellen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-41 title_original_de: QM-41 KonfidenzIntervall url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-41_KonfidenzIntervalle.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-43-kreuzabgleich canonical_name: Kreuzabgleich description: Für die Validierung von KI-Trainingsdaten ist ein quellenübergreifender Konsistenzcheck zwingend erforderlich, bei dem die zu verarbeitenden Informationen mit unabhängigen Referenzdatensätzen abgeglichen werden. Vor Beginn des Abgleichs sind definierte Toleranzgrenzen festzulegen, um Abweichungen objektiv zu bewerten. Die Prüfung muss sicherstellen, dass signifikante Diskrepanzen zwischen den Datensätzen identifiziert und dokumentiert werden, um die Datenintegrität für das Training zu garantieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-43 title_original_de: QM-43 Kreuzabgleich url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-43_Kreuzabgleich.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-44-1-mittelwert-imputation canonical_name: -1 Mittelwert Imputation description: Für den Umgang mit fehlenden Werten in KI-Trainingsdatensätzen ist die Imputation durch den arithmetischen Mittelwert als alleinige Maßnahme unzulässig, da sie die natürliche Varianz der Daten ignoriert und systematische Verzerrungen erzeugt. Es ist sicherzustellen, dass bei der Behandlung von Lücken in den Datenelementen alternative Verfahren zur Anwendung kommen, welche die Streuung der beobachteten Werte berücksichtigen. Die Einhaltung dieser Vorgabe ist durch eine technische Prüfung der Imputationslogik vor dem Training zu verifizieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-44 title_original_de: QM-44-1 Mittelwert Imputation url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-1_Mittelwert%20Imputation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-44-2-median-imputation canonical_name: -2 Median Imputation description: Fehlende Werte in numerischen Trainingsdatensätzen sind durch den Median der vorhandenen Beobachtungen zu ersetzen, um die Robustheit gegenüber Ausreißern zu gewährleisten. Diese Maßnahme ist zwingend vor dem Training anzuwenden, wobei die Varianz der ursprünglichen Verteilung bewusst nicht rekonstruiert wird. Die Anwendung dieses Verfahrens ist ausschließlich für metrische Merkmale zulässig und für kategoriale Daten explizit ausgeschlossen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-44 title_original_de: QM-44-2 Median Imputation url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-2_Median%20Imputation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0192 - id: MET-AI-DATA-QM-44-3-modus-imputation canonical_name: -3 Modus Imputation description: Für kategoriale Merkmale ist eine Imputation mittels des häufigsten Auftretens zulässig, sofern der Anteil fehlender Werte fünf Prozent nicht überschreitet. Diese Methode ist nur anzuwenden, wenn die Varianz der Daten als vernachlässigbar eingestuft wird, um systematische Verzerrungen zu vermeiden. Die Einhaltung dieser Schwelle ist vor jeder Trainingsdatenaufbereitung durch eine quantitative Prüfung sicherzustellen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-44 title_original_de: QM-44-3 Modus Imputation url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-3_Modus%20Imputation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-44-4-multiple-imputation canonical_name: -4 Multiple Imputation description: Das System muss bei der Aufbereitung von KI-Trainingsdaten mit unvollständigen Einträgen stochastische Verfahren anwenden, um mehrere plausible Varianten der fehlenden Werte zu generieren. Diese Mehrfach-Imputationen sind erforderlich, um die inhärente Unsicherheit der Datenvollständigkeit quantitativ abzubilden. Die finale Datenqualität ist durch die Aggregation der Ergebnisse aus allen simulierten Datensätzen zu validieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-44 title_original_de: QM-44-4 Multiple Imputation url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-4_Multiple%20Imputation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-44-5-knn-imputation canonical_name: -5 KNN Imputation description: Für den Umgang mit fehlenden Werten im KI-Trainingsdatensatz ist die K-Nearest-Neighbors-Methode als Imputationsverfahren zwingend vorzusehen, sofern die Datenstruktur signifikante Ähnlichkeitsmuster aufweist. Das System muss für jeden fehlenden Eintrag die k-ähnlichsten Referenzpunkte identifizieren und deren Merkmalswerte zur Rekonstruktion heranziehen. Eine Anwendung einfacher statistischer Mittelwerte ist bei Vorliegen dieser Nachbarschaftsabhängigkeiten unzulässig, da sie die Datenintegrität gefährden würde. Die Korrektheit dieses Algorithmus ist vor dem Training durch Validierung der Rekonstruktionsgüte zu prüfen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-44 title_original_de: QM-44-5 KNN Imputation url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-5_KNN%20Imputation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-44-6-hot-deck-imputation canonical_name: -6 Hot Deck Imputation description: Für den Einsatz in KI-Trainingsdatensätzen ist sicherzustellen, dass fehlende Attributwerte durch Imputation aus statistisch ähnlichen Referenzfällen ersetzt werden. Die Auswahl der Ersatzwerte muss auf einer definierten Ähnlichkeitsmetrik basieren, um die Datenintegrität und Verteilungseigenschaften des Modells zu wahren. Eine Validierung ist durchzuführen, um nachzuweisen, dass die generierten Werte keine systematischen Verzerrungen in die Trainingsdaten引入. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-44 title_original_de: QM-44-6 Hot Deck Imputation url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-6_Hot%20Deck%20Imputation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-44-7-llm-basierte-imputation canonical_name: -7 LLM-basierte Imputation description: Das System muss bei der Verarbeitung von Datensätzen mit fehlenden Werten auf KI-Modelle zurückgreifen, um diese basierend auf kontextuellen Zusammenhängen und Umgebungsvariablen zu rekonstruieren. Die Qualität der generierten Ersatzwerte ist durch Plausibilitätsprüfungen sicherzustellen, um die Integrität des Gesamtdatensatzes zu wahren. Eine Validierung der Imputationsergebnisse ist vor der weiteren Datenverarbeitung durchzuführen, um systematische Fehler auszuschließen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-44 title_original_de: QM-44-7 LLM-basierte Imputation url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-7_LLM-Based%20Imputation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-44-8-regression-imputation canonical_name: -8 Regression Imputation description: Das System muss fehlende Werte in KI-Trainingsdatensätzen durch statistische Regressionsmodelle schätzen, wobei vorhandene Merkmale als Prädiktoren zur Vorhersage der Zielvariable genutzt werden. Es ist sicherzustellen, dass die gewählte Regressionsmethode linear oder nicht-linear ist und die Vorhersagegenauigkeit durch Validierung mit verbleibenden Datenpunkten quantifiziert wird. Die Plausibilität der imputierten Werte ist vor der weiteren Datenverarbeitung auf Konsistenz mit den identifizierten Variablenbeziehungen zu prüfen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-44 title_original_de: QM-44-8 Regression Imputation url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-8_Regression%20Imputation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-44-9-diffusion-imputation-augmentation canonical_name: -9 Diffusion Imputation/Augmentation description: Das System muss fehlende Werte in Trainingsdatensätzen durch stochastische Rekonstruktionsverfahren auf Basis gelerntter Datenverteilungen ergänzen. Es ist sicherzustellen, dass der Imputationsprozess den zugrundeliegenden Datenraum durch schrittweise Rauschprozesse modelliert, um plausible Ergänzungen zu generieren. Die Qualität der rekonstruierten Daten ist durch Prüfung auf statistische Plausibilität im Kontext der vorhandenen Merkmale zu validieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-44 title_original_de: QM-44-9 Diffusion Imputation/Augmentation url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44-9_Diffusion%20Imputation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0208 - id: MET-AI-DATA-QM-44-data-imputation-methoden canonical_name: Data Imputation Methoden description: Für KI-Trainingsdatensätze ist ein automatisiertes Verfahren zur Behandlung fehlender Werte zwingend vorzusehen, das auf den spezifischen Datenmerkmalen und dem Anwendungskontext basiert. Die eingesetzten Imputationsalgorithmen müssen so konfiguriert werden, dass sie die statistische Integrität des Datensatzes wahren und Verzerrungen in den Analyseergebnissen ausschließen. Eine Prüfung der Datenqualität ist erforderlich, um sicherzustellen, dass die vervollständigten Werte die Aussagekraft der nachfolgenden Modelle nicht beeinträchtigen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-44 title_original_de: QM-44 Data Imputation Methoden url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-44_DataImputation-Methoden/QM-44_Data%20Imputation%20Methods.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-45-prior-ermittlung canonical_name: Prior Ermittlung description: Vor Beginn der statistischen Auswertung von KI-Trainingsdaten ist systematisch Expertenwissen zu ermitteln, um fundierte Vorannahmen über Parameterverteilungen zu definieren. Dieser Prozess muss subjektive Unsicherheiten quantifizieren und in die Modellbildung einfließen, um die Datenqualität vor der eigentlichen Analyse zu sichern. Die gewonnenen Prior-Verteilungen sind durch dokumentierte Befragungsmethoden oder historische Datenquellen nachvollziehbar zu begründen. Eine Validierung der abgeleiteten Annahmen ist vor der ersten Datenverarbeitung zwingend durchzuführen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-45 title_original_de: QM-45 Prior Ermittlung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-45_Prior%20Elicitation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-46-daten-standardisierung canonical_name: Daten Standardisierung description: Für KI-Trainingsdatensätze ist eine Normalisierung auf eine Standardverteilung sicherzustellen, bei der der Mittelwert Null und die Standardabweichung Eins beträgt. Diese Transformation muss vor dem Training durchgeführt werden, um unterschiedliche Skalierungen der Eingabevariablen zu vereinheitlichen und die Konvergenz der Optimierungsalgorithmen zu beschleunigen. Die Einhaltung dieser statistischen Parameter ist durch automatische Prüfungen vor jedem Training zu verifizieren, um die Modellgenauigkeit zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-46 title_original_de: QM-46 Daten Standardisierung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-46_DataStandardizing.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-47-kovarianz-matrix canonical_name: Kovarianz Matrix description: Das System muss eine Kovarianzmatrix der Eingangsmerkmale generieren, um statistische Abhängigkeiten im Trainingsdatensatz quantitativ zu erfassen. Die Diagonalelemente dieser Matrix sind zwingend als Varianzen der einzelnen Merkmale zu berechnen, während die Off-Diagonalen die linearen Zusammenhänge zwischen Merkmalspaaren abbilden. Diese Metriken sind vor jedem Trainingslauf zu validieren, um eine stabile Datenstruktur für multivariate Lernverfahren sicherzustellen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-47 title_original_de: QM-47 Kovarianz Matrix url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-47_KovarianzMatrix.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0192 - id: MET-AI-DATA-QM-48-eigenvektoren canonical_name: Eigenvektoren description: Das KI-Trainingsdatenset muss so strukturiert sein, dass die dominanten latenten Merkmale bei der Modellverarbeitung ihre relative Ausrichtung beibehalten, während sich lediglich ihre Intensität skaliert. Es ist sicherzustellen, dass die Identifizierung dieser invarianten Richtungsvektoren durch quantitative Analyse der Datenmatrix validiert wird. Die Skalierungsfaktoren dieser Merkmale sind als messbare Qualitätsindikatoren für die Stabilität des Trainingsprozesses zu dokumentieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-48 title_original_de: QM-48 Eigenvektoren url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-48_Eigenwerte_Vektoren.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-49-wasserstein-distanz canonical_name: Wasserstein Distanz description: Die Qualität von KI-Trainingsdaten ist durch die Wasserstein-Distanz zu quantifizieren, welche den minimalen Transformationsaufwand zwischen der Trainings- und der Referenzverteilung misst. Es ist sicherzustellen, dass dieser metrische Wert unterhalb eines definierten Schwellenwerts bleibt, um signifikante Verteilungsverschiebungen auszuschließen. Die Prüfung erfolgt durch den Vergleich der empirischen Verteilungsdaten mittels des Earth-Mover-Ansatzes. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-49 title_original_de: QM-49 Wasserstein Distanz url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-49_Wasserstein%20Distance.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-50-little-s-mcar-test canonical_name: Little's MCAR Test description: Das System muss den statistischen Little-Test anwenden, um zu validieren, ob fehlende Werte in den KI-Trainingsdaten vollständig zufällig verteilt sind. Es ist sicherzustellen, dass keine systematischen Abhängigkeiten zwischen den Ausfallmustern und den verbleibenden Datenwerten bestehen. Eine signifikante Abweichung von der Zufälligkeit ist als Qualitätsmangel zu dokumentieren und zu melden. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-50 title_original_de: QM-50 Little's MCAR Test url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-50_Little's%20MCAR%20Test.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0208 - id: MET-AI-DATA-QM-33-falsepositiverate canonical_name: _FalsePositiveRate description: Die Rate falsch positiver Klassifizierungen ist als Verhältnis der fälschlich als positiv bewerteten negativen Instanzen zu allen tatsächlich negativen Instanzen im Trainingsdatensatz zu ermitteln. Es ist sicherzustellen, dass dieser Anteil einen definierten Schwellenwert nicht überschreitet, um die Datenqualität und Modellzuverlässigkeit zu gewährleisten. Die Prüfung erfolgt durch statistische Analyse der Ausgabeverteilung bei bekannten negativen Referenzdaten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-33 title_original_de: QM-33_FalsePositiveRate url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-33_FalsePositiveRate.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0196 - id: MET-AI-DATA-QM-51-10-kolmogorov-smirnov-test canonical_name: -10 Kolmogorov-Smirnov-Test description: Die Verteilung der KI-Trainingsdaten ist mittels eines nichtparametrischen Tests auf signifikante Abweichungen von der Referenzverteilung zu prüfen. Dabei ist die maximale Distanz zwischen der empirischen und der theoretischen kumulativen Verteilungsfunktion zu ermitteln. Ein Abweichungswert, der einen definierten Schwellenwert überschreitet, invalidiert die Datenqualität für den Trainingsprozess. Diese Prüfung ist vor jedem Trainingsschritt durchzuführen, um die statistische Homogenität sicherzustellen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-51 title_original_de: QM-51-10 Kolmogorov-Smirnov-Test url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-10_Kolmogorov%20Smirnov%20Test.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-51-11-radon-kolmogorov-smirnov-test-rks canonical_name: -11 Radon-Kolmogorov-Smirnov Test (RKS) description: Die Verteilung der KI-Trainingsdaten muss mittels des Radon-Kolmogorov-Smirnov-Tests auf signifikante Abweichungen in höherdimensionalen Merkmalsräumen geprüft werden. Es ist sicherzustellen, dass die statistische Signifikanz zwischen Referenz- und Testverteilungen unterhalb eines definierten Schwellenwerts liegt, um Datenqualitätsverluste zu vermeiden. Eine positive Abweichung ist als kritischer Fehler zu klassifizieren und erfordert eine sofortige Datenbereinigung. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-51 title_original_de: QM-51-11 Radon-Kolmogorov-Smirnov Test (RKS) url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-11_Radon-Kolmogorov-Smirnov%20Test%20(RKS).md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-51-1-normalverteilung canonical_name: -1 Normalverteilung description: Die Verteilung der relevanten Qualitätsindikatoren im KI-Trainingsdatensatz muss eine symmetrische, glockenförmige Struktur um den arithmetischen Mittelwert aufweisen. Es ist sicherzustellen, dass die Datenpunkte in der Nähe des Erwartungswerts signifikant dichter konzentriert sind als in den Randbereichen. Diese Eigenschaft ist durch statistische Tests auf Normalverteilung zu verifizieren, bevor das Modell in den produktiven Einsatz überführt wird. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-51 title_original_de: QM-51-1 Normalverteilung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-1_Normalverteilung.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-51-2-binomialverteilung canonical_name: -2 Binomialverteilung description: Die Qualität des KI-Trainingsdatensatzes ist durch die Analyse der Fehlerraten bei binär klassifizierten Stichproben zu validieren. Es ist sicherzustellen, dass die Verteilung der korrekten Vorhersagen dem statistischen Modell einer Binomialverteilung entspricht, wobei jede Prüfung als unabhängiges Bernoulli-Experiment mit definiertem Erfolgswahrscheinlichkeitswert betrachtet wird. Die Abweichung zwischen der beobachteten Trefferquote und dem theoretischen Erwartungswert ist innerhalb eines festgelegten Konfidenzintervalls zu prüfen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-51 title_original_de: QM-51-2 Binomialverteilung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-2_Binomialverteilung.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-51-3-exponentialverteilung canonical_name: -3 Exponentialverteilung description: Das System muss sicherstellen, dass die Zeitintervalle zwischen aufeinanderfolgenden Störereignissen im Trainingsdatensatz einer Exponentialverteilung folgen. Diese Verteilung ist erforderlich, um Prozesse mit konstanter Ausfallrate und unabhängigen Ereignissen korrekt abzubilden. Die Einhaltung dieser statistischen Eigenschaft ist durch eine formale Verteilungsanalyse bei der Datenqualitätsprüfung zu verifizieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-51 title_original_de: QM-51-3 Exponentialverteilung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-3_Exponentialverteilung.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-51-4-gleichverteilung canonical_name: -4 Gleichverteilung description: Die Verteilung der generierten Trainingsdaten muss innerhalb des definierten Wertebereichs eine gleichmäßige Wahrscheinlichkeitsdichte aufweisen, sodass kein einzelner Subbereich gegenüber anderen bevorzugt wird. Es ist sicherzustellen, dass jede mögliche Ausprägung im zulässigen Intervall statistisch gleich häufig vorkommt. Diese Gleichverteilung ist durch eine systematische Prüfung der Datenverteilung auf Abweichungen von der Idealform zu validieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-51 title_original_de: QM-51-4 Gleichverteilung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-4_Gleichverteilung.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-51-5-chi-quadrat-verteilung canonical_name: -5 Chi-Quadrat Verteilung description: Das System muss die Verteilung der Abweichungen zwischen den KI-Trainingsdaten und den erwarteten Modellen mittels einer Chi-Quadrat-Prüfung quantifizieren. Es ist sicherzustellen, dass die berechneten Teststatistiken signifikante Abweichungen in den Varianzen der Eingabedaten identifizieren, um Datenqualitätsmängel zu validieren. Eine regelmäßige Überprüfung dieser Kennzahlen ist erforderlich, um die statistische Konsistenz des Datensatzes nachzuweisen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-51 title_original_de: QM-51-5 Chi-Quadrat Verteilung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-5_Chi-Quadrat%20Verteilung.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-51-6-t-verteilung canonical_name: -6 t-Verteilung description: Für die Validierung von KI-Modellen auf Basis kleiner Datensätze muss die Unsicherheit der Stichprobenmittelwerte mittels einer t-Verteilung quantifiziert werden. Es ist sicherzustellen, dass die berechneten Konfidenzintervalle die erhöhte Varianz bei geringen Fallzahlen durch dickere Verteilungsschwänze adäquat abbilden. Die Prüfung erfolgt durch den Vergleich der empirischen Datenverteilung mit dem theoretischen Modell, um Ausreißereffekte robust zu erfassen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-51 title_original_de: QM-51-6 t-Verteilung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-6_t-Verteilung.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-51-7-f-verteilung canonical_name: -7 F-Verteilung description: Die Verteilung der Varianzquotienten aus den KI-Trainingsdaten muss statistisch auf Homogenität geprüft werden, um signifikante Abweichungen zwischen den Subgruppen zu identifizieren. Es ist sicherzustellen, dass die Varianzunterschiede durch eine F-Verteilung-basierte Signifikanzanalyse quantifiziert werden, bevor Daten für das Modelltraining freigegeben werden. Diese Prüfung ist zwingend erforderlich, um die Datenqualität und die statistische Validität der Trainingspopulation zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-51 title_original_de: QM-51-7 F-Verteilung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-7_F-Verteilung.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-51-8-gamma-verteilung canonical_name: -8 Gamma Verteilung description: Das System muss die statistische Verteilung von Wartezeiten zwischen unabhängigen Ereignissen im Trainingsdatensatz auf Konformität mit der Gamma-Verteilung prüfen. Dabei sind die Form- und Skalenparameter der Daten explizit zu extrahieren und mit den theoretischen Erwartungswerten abzugleichen. Eine Abweichung der empirischen Dichtefunktion von dem modellierten Gamma-Verlauf ist als Qualitätsmangel zu dokumentieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-51 title_original_de: QM-51-8 Gamma Verteilung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-8_Gamma%20Verteilung.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-51-9-weibull-verteilung canonical_name: -9 Weibull Verteilung description: Die Verteilung der KI-Trainingsdaten muss mittels eines parametrischen Modells analysiert werden, das die Zuverlässigkeit von Datenpunkten über deren Lebensdauer abbildet. Es ist sicherzustellen, dass die Formparameter des Modells flexibel an die spezifischen Ausfallmuster der verwendeten Datensätze angepasst werden, um eine realistische Qualitätsbewertung zu ermöglichen. Die Einhaltung dieser Verteilungsannahmen ist bei der Validierung der Datenqualität durchzuführen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-51 title_original_de: QM-51-9 Weibull Verteilung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51-9_Weibull%20Verteilung.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-51-verteilungstypen canonical_name: Verteilungstypen description: Das System muss die statistische Verteilung von Trainingsdaten quantifizieren, um diskrete und stetige Zufallsvariablen korrekt zu modellieren. Es ist sicherzustellen, dass für jeden Datentyp die passende Wahrscheinlichkeitsfunktion identifiziert und validiert wird. Die Analyseverfahren müssen nachweislich die Wahrscheinlichkeit spezifischer Ereignisse im probabilistischen System erfassen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-51 title_original_de: QM-51 Verteilungstypen url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-51_DistributionAnalysis/QM-51_DistributionTypes.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-52-01-durchschnittswert canonical_name: -01 Durchschnittswert description: Die durchschnittliche Abweichung eines definierten Merkmals innerhalb des KI-Trainingsdatensatzes ist als zentraler Qualitätsindikator zu berechnen. Diese Kennzahl muss aus der Summe aller Einzelwerte dividiert durch die Gesamtanzahl der Datapunkte ermittelt werden. Eine Prüfung auf die Stabilität des Ergebnisses gegenüber Ausreißern ist zwingend erforderlich, da der Mittelwert bei Extremwerten verzerrt sein kann. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-52 title_original_de: QM-52-01 Durchschnittswert url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-01_Average%20Value.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-52-02-median canonical_name: -02 Median description: Die Verteilung der KI-Trainingsdaten muss so analysiert werden, dass der Median als robustes Maß für die zentrale Tendenz ermittelt wird. Diese Kennzahl ist sicherzustellen, um den Einfluss von Ausreißern auf die Datenqualität zu minimieren. Eine Prüfung muss nachweisen, dass der berechnete Wert die Mitte der sortierten Datenmenge repräsentiert. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-52 title_original_de: QM-52-02 Median url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-02_Median.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-52-03-modus canonical_name: -03_Modus description: Die Verteilung der Trainingsdaten ist auf den häufigsten Wert oder die häufigsten Werte zu analysieren, um den Modus der Datenqualität zu bestimmen. Es ist sicherzustellen, dass die Identifikation dieser dominanten Werte durch einen validierten Zählprozess erfolgt, wobei auch das gleichzeitige Auftreten mehrerer Modi zu berücksichtigen ist. Die Prüfung muss nachweisen, dass die ermittelten Modalwerte die tatsächliche Häufigkeitsverteilung im Datensatz korrekt abbilden. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-52 title_original_de: QM-52-03_Modus url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-03_Modus.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-52-04-standardabweichung canonical_name: -04 Standardabweichung description: Die Variabilität der KI-Trainingsdaten ist durch die Berechnung der Standardabweichung um den arithmetischen Mittelwert quantitativ zu erfassen. Ein zulässiger Grenzwert für diese Streuung muss vor dem Start des Trainingsprozesses definiert und im laufenden Betrieb kontinuierlich überwacht werden. Abweichungen, die diesen definierten Schwellenwert überschreiten, sind als Qualitätsmangel zu klassifizieren und auszuwerten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-52 title_original_de: QM-52-04 Standardabweichung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-04_StandardDeviation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-52-05-streuung canonical_name: -05 Streuung description: Das System muss die statistische Variabilität der Trainingsdaten quantifizieren, um die Homogenität der Eingabedaten zu validieren. Es ist sicherzustellen, dass Kennzahlen wie Standardabweichung oder Interquartilsabstand berechnet werden, um Abweichungen vom Mittelwert zu erfassen. Die Einhaltung definierter Schwellenwerte für diese Streuungsmaße ist vor jedem Training zu prüfen und bei Überschreitung zu melden. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-52 title_original_de: QM-52-05 Streuung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-05_Streuung.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-52-06-spannweite canonical_name: -06 Spannweite description: Die Spannweite der Trainingsdaten ist als Differenz zwischen dem maximalen und minimalen Wert eines Merkmals zu berechnen, um den gesamten Wertebereich zu quantifizieren. Es ist sicherzustellen, dass dieser Indikator regelmäßig auf Ausreißer und Datenlücken überprüft wird, da er besonders empfindlich gegenüber Extremwerten reagiert. Die Einhaltung definierter Grenzwerte ist zwingend erforderlich, um die Stabilität des KI-Modells während des Trainings zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-52 title_original_de: QM-52-06 Spannweite url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-06_Spannweite.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-52-07-interquartilsabstand canonical_name: -07 Interquartilsabstand description: Die Spannweite des mittleren Datenbereichs muss durch die Differenz zwischen dem oberen und unteren Quartil quantifiziert werden, um die Variabilität der Trainingsdaten zu bewerten. Dieser Indikator ist sicherzustellen, um Ausreißer in den Eingabedaten zu identifizieren und die Datenqualität für das KI-Modell zu validieren. Die Berechnung ist bei jedem Daten-Update durchzuführen und muss dokumentiert werden, um die Konsistenz der Verteilung nachzuweisen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-52 title_original_de: QM-52-07 Interquartilsabstand url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-07_Interquartilsabstand.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0339 - id: MET-AI-DATA-QM-52-08-visualisierungsmethoden canonical_name: -08 Visualisierungsmethoden description: Die Qualität der KI-Trainingsdaten ist durch automatisierte Visualisierungsverfahren zu validieren, um Anomalien und Verteilungsabweichungen in Echtzeit zu identifizieren. Es ist sicherzustellen, dass grafische Repräsentationen statistischer Kennzahlen genutzt werden, um komplexe Muster und Korrelationen zwischen Variablen effizient zu analysieren. Die Prüfung erfolgt durch den Abgleich der visuellen Ergebnisse mit definierten Qualitätskriterien, um die Eignung der Datenbasis für den Trainingsprozess nachzuweisen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-52 title_original_de: QM-52-08 Visualisierungsmethoden url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52-08_VisualizationTypes.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-52-techniken-der-deskriptiven-statistik canonical_name: Techniken der deskriptiven Statistik description: Das System muss vor dem Training einer KI-Modellierung deskriptive Kennwerte wie Mittelwert, Standardabweichung und Verteilungsform der Eingabedaten berechnen, um systematische Verzerrungen oder Ausreißer zu identifizieren. Diese statistischen Analysen sind zwingend erforderlich, um die Datenqualität zu validieren und als Basis für nachfolgende Modellierungsentscheidungen zu dienen. Eine Prüfung der Ergebnisse ist sicherzustellen, bevor der Trainingsprozess initiiert wird. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-52 title_original_de: QM-52 Techniken der deskriptiven Statistik url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-52_Descriptive-Statistics.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-20-scree-plot canonical_name: Scree-Plot description: Für die Validierung von KI-Trainingsdaten ist ein Scree-Plot zur Visualisierung der Eigenwerte in absteigender Reihenfolge zwingend erforderlich. Dieser Plot dient dazu, die optimale Anzahl an Hauptkomponenten für die Dimensionsreduktion durch Identifikation des charakteristischen Knickpunkts zu ermitteln. Ist die Kurve nach diesem Punkt signifikant abgeflacht, sind weitere Komponenten als irrelevant für die Varianzaufklärung zu betrachten und auszuschließen. Die Einhaltung dieses Kriteriums ist vor jedem Training zu prüfen, um eine Überdimensionierung des Modells zu verhindern. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-20 title_original_de: QM-20 Scree-Plot url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-20_Scree-Plot.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-24-bi-plot canonical_name: Bi-Plot description: Das System muss ein zweidimensionales Visualisierungstool implementieren, das die Ergebnisse einer Hauptkomponentenanalyse simultan mit den ursprünglichen Variablenvektoren darstellt. Die Qualität der KI-Trainingsdaten ist durch die korrekte Projektion aller relevanten Merkmale auf die ersten beiden Hauptkomponenten sicherzustellen. Eine Prüfung ist durchzuführen, um zu verifizieren, dass sowohl die Datenpunkte als auch die Variablenladungen in einem einzigen Diagramm konsistent und ohne Informationsverlust abgebildet werden. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-24 title_original_de: QM-24 Bi-Plot url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-24_Biplot.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0169 - id: MET-AI-DATA-QM-42-qq-diagramm canonical_name: QQ-Diagramm description: Es ist sicherzustellen, dass die Verteilung der KI-Trainingsdaten durch einen quantilenbasierten Plot mit der Referenzverteilung verglichen wird, um Abweichungen in den Datenqualitätsparametern zu identifizieren. Die grafische Gegenüberstellung der Quantilwerte muss eine visuelle Prüfung auf Normalverteilung und Ausreißer ermöglichen. Diese Analyse ist vor jedem Trainingsschritt durchzuführen und muss dokumentiert werden, um die statistische Integrität der Eingabedaten zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-42 title_original_de: QM-42 QQ-Diagramm url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-42_QQ-Diagramm.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-54-1-shap-summaryplot canonical_name: -1 SHAP-Summaryplot description: Das System muss für jedes trainierte Modell einen aggregierten Feature-Importance-Plot generieren, der den Beitrag einzelner Eingangsvariablen zur Vorhersageabweichung quantifiziert. Die Darstellung ist so zu gestalten, dass die Rangfolge der Merkmale und deren Einflussrichtung (positiv oder negativ) auf die Ergebnisverteilung eindeutig identifizierbar sind. Eine manuelle Prüfung ist sicherzustellen, um die Plausibilität der abgeleiteten Shapley-Werte gegenüber den Rohdaten zu validieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-54 title_original_de: QM-54-1 SHAP-Summaryplot url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-54-1_SHAP-Summaryplot.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-54-2-shap-dependence-plot canonical_name: -2 SHAP-Dependence-Plot description: Das System muss die Sensitivität einzelner Eingabevariablen gegenüber den Modellvorhersagen durch additive Erklärungsansätze quantifizieren. Es ist sicherzustellen, dass die grafische Darstellung die nichtlineare Beziehung zwischen Merkmalswerten und deren Beitrag zur Ausgabe eindeutig abbildet. Diese Analyse ist vor der Freigabe des Modells zu prüfen, um die Nachvollziehbarkeit der Datenqualität und der Feature-Wirkung zu validieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-54 title_original_de: QM-54-2 SHAP-Dependence-Plot url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-54-2_SHAP-Dependence-Plot.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-54-3-shap-force-plot canonical_name: -3 SHAP-Force-Plot description: Das System muss für jedes generierte Vorhersageergebnis eine additive Merkmalsbeitragsanalyse bereitstellen, die die Abweichung vom Basiswert quantifiziert. Diese Darstellung ist so zu gestalten, dass der Einfluss einzelner Eingangsvariablen auf die finale Klassifikation durch farblich kodierte Segmente visuell hervorgehoben wird. Die Plausibilität der dargestellten Datenbeiträge ist durch einen automatisierten Validierungsprozess auf Konsistenz mit den Trainingsdaten zu prüfen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-54 title_original_de: QM-54-3 SHAP-Force-Plot url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-54-3_SHAP-Force-Plot.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-54-charttypes canonical_name: ChartTypes description: Das System muss eine validierte Bibliothek an Visualisierungstypen bereitstellen, die spezifisch auf die Erkennung von Mustern und Trends in KI-Trainingsdaten ausgelegt ist. Es ist sicherzustellen, dass jede grafische Darstellung die strukturelle Integrität der zugrundeliegenden Datenqualität bewahrt und keine Verzerrungen erzeugt. Die Eignung der gewählten Charttypen für die jeweilige Datenstruktur ist vor der Ausgabe durch eine automatisierte Prüfung zu verifizieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: - QM-20 - QM-24 - QM-42 external_refs: [] source: framework: BSI QUAIDAL section: QM-54 title_original_de: QM-54 ChartTypes url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-52_Descriptive%20Statistics/QM-54_ChartTypes/QM-54_ChartTypes.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-53-1-logistische-regression canonical_name: -1 Logistische Regression description: Für KI-Modelle mit binärer oder multiklassiger Klassifikation ist sicherzustellen, dass die zugrundeliegende logistische Regression Wahrscheinlichkeiten basierend auf definierten Eingangsvariablen korrekt berechnet. Die Gültigkeit des Modells ist durch die Prüfung nachzuweisen, ob der ermittelte Schwellenwert eine zuverlässige Trennung der Ergebnisgruppen gewährleistet. Eine fehlerhafte Kalibrierung der Wahrscheinlichkeiten ist als Qualitätsmangel zu bewerten und muss durch Validierung der Trainingsdaten ausgeschlossen werden. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-53 title_original_de: QM-53-1 Logistische Regression url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-53_Regression-Methoden/QM-53-1_LogisticRegression.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-53-2-lineare-regression canonical_name: -2 Lineare Regression description: Für KI-Trainingsdatensätze ist sicherzustellen, dass eine lineare Abhängigkeit zwischen den Eingabe- und Zielvariablen durch statistische Regressionsanalysen quantifiziert wird. Die Güte der Anpassung ist mittels geeigneter Kennzahlen zu prüfen, um die Vorhersagequalität des Modells valide zu bewerten. Eine signifikante lineare Korrelation muss nachgewiesen werden, bevor das Modell für den Einsatz in der Produktion freigegeben wird. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-53 title_original_de: QM-53-2 Lineare Regression url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-53_Regression-Methoden/QM-53-2_LinearRegression.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-53-regression-methoden canonical_name: Regression Methoden description: Das System muss statistische Regressionsverfahren anwenden, um den funktionalen Zusammenhang zwischen den Eingabevariablen und den Zielwerten im KI-Trainingsdatensatz zu quantifizieren. Die Güte der Modellanpassung ist durch die Analyse der Residualfehler systematisch zu validieren, um Abweichungen von der theoretischen Abhängigkeit zu identifizieren. Eine vollständige Dokumentation der identifizierten Prädiktoren und der resultierenden Fehlerverteilung ist als Nachweis der Datenqualität sicherzustellen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-53 title_original_de: QM-53 Regression Methoden url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-53_Regression-Methoden/QM-53_Regression%20Methods.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-55-bestimmtheitsmass canonical_name: Bestimmtheitsmaß description: Für KI-Trainingsdatensätze ist ein quantitatives Maß zur Bewertung der Varianzaufklärung durch die gewählten Eingangsmerkmale sicherzustellen. Dieser Indikator muss den prozentualen Anteil der Gesamtvarianz der Zielvariable erfassen, der durch das Modell erklärt werden kann. Die Prüfung ist ausschließlich für lineare Abhängigkeitsstrukturen zulässig und erfordert die Berechnung des Koeffizienten der Determination. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: - QM-19 external_refs: [] source: framework: BSI QUAIDAL section: QM-55 title_original_de: QM-55 Bestimmtheitsmaß url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-55_Coefficient%20of%20determination%20(PCA).md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-56-1-min-max-skalierung canonical_name: -1 Min/Max Skalierung description: Für das Training von KI-Modellen ist sicherzustellen, dass alle numerischen Eingabevariablen mittels Min-Max-Normalisierung auf einen definierten Wertebereich transformiert werden. Diese Skalierung muss die Extremwerte jedes Features berücksichtigen, um eine Verzerrung durch unterschiedliche Maßstäbe zu verhindern. Die korrekte Anwendung dieser Transformation ist vor jedem Trainingslauf zu prüfen, um die Stabilität und Konvergenz des Modells zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-56 title_original_de: QM-56-1 Min/Max Skalierung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56-1_MinMaxDatascaling.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-56-2-z-score-normalization canonical_name: -2 Z-Score Normalization description: Das System muss vor dem Training eine Standardisierung der Eingabemerkmale durchführen, um einen Erwartungswert von null und eine Varianz von eins zu erreichen. Diese Transformation ist zwingend erforderlich, um numerische Verzerrungen durch unterschiedliche Skalierungen zu eliminieren und die Stabilität von Regularisierungsverfahren zu gewährleisten. Die korrekte Anwendung der Normalisierung ist durch automatische Prüfungen auf statistische Kennwerte nach der Verarbeitung zu verifizieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-56 title_original_de: QM-56-2 Z-Score Normalization url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56-2_Z-Score%20Normalization.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-56-3-l1-normalization canonical_name: -3 L1-Normalization description: Für KI-Trainingsdaten ist sicherzustellen, dass Vektoren mittels L1-Normalisierung skaliert werden, sodass die Summe der absoluten Komponentenwerte exakt eins ergibt. Diese Maßnahme gewährleistet die Vergleichbarkeit von Merkmalen unterschiedlicher Wertebereiche und ermöglicht die Interpretation als gewichtete Verteilung. Die Einhaltung dieser Normierung ist durch eine automatisierte Prüfprozedur vor jedem Trainingslauf zu verifizieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-56 title_original_de: QM-56-3 L1-Normalization url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56-3_L1-Normalization.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0208 - id: MET-AI-DATA-QM-56-4-logarithmische-transformation canonical_name: -4 Logarithmische Transformation description: Für KI-Trainingsdatensätze mit positiver Schiefe oder heteroskedastischer Varianz ist eine logarithmische Skalierung der numerischen Merkmale zwingend vorzusehen. Diese Transformation muss so angewendet werden, dass die Datenverteilung annähernd normalisiert und der Einfluss extremer Ausreißer signifikant reduziert wird. Die Wirksamkeit der Maßnahme ist durch statistische Tests auf Varianzstabilität und Verteilungsform vor dem Training zu validieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-56 title_original_de: QM-56-4 Logarithmische Transformation url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56-4_LogarithmicTransformation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-56-5-l2-normalisierung canonical_name: -5 L2-Normalisierung description: Die Eingabevektoren des KI-Trainingsdatensatzes sind vor der Verarbeitung so zu skalieren, dass ihre euklidische Norm exakt den Wert eins annimmt. Diese Maßnahme stellt sicher, dass die geometrische Distanzberechnung nicht durch unterschiedliche Wertebereiche der einzelnen Merkmale verzerrt wird. Die Einhaltung dieser Normierung ist durch eine automatisierte Validierung der Vektorlängen nach jedem Normalisierungsschritt zu prüfen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-56 title_original_de: QM-56-5 L2-Normalisierung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56-5_L2-Normalization.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-56-6-batch-normalization canonical_name: -6 Batch Normalization description: Für neuronale Netze ist sicherzustellen, dass Aktivierungswerte pro Schicht durch eine statistische Normalisierung über Mini-Batches stabilisiert werden, um die Verteilungseigenschaften zu konsolidieren. Die Berechnung von Mittelwert und Standardabweichung muss so erfolgen, dass systematische Verzerrungen durch Regularisierungsmaßnahmen ausgeschlossen werden. Die Einhaltung dieser Verfahren ist durch eine Prüfung der Datenverteilung während des Trainings zu verifizieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-56 title_original_de: QM-56-6 Batch Normalization url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56-6_Batch%20Normalization.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-56-normalisierung canonical_name: Normalisierung description: Für KI-Trainingsdaten ist eine statistische Normalisierung durchzuführen, um numerische Werte auf einen einheitlichen Skalierungsbereich oder eine definierte Verteilung zu transformieren. Diese Maßnahme ist sicherzustellen, um die Konsistenz der Eingabedaten und die Vergleichbarkeit von Merkmalen über verschiedene Datensätze hinweg zu gewährleisten. Die Einhaltung der definierten statistischen Parameter ist vor jedem Trainingslauf durch einen automatisierten Validierungsprozess zu prüfen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-56 title_original_de: QM-56 Normalisierung url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-56_Normalization/QM-56_Normalization.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-57-1-synthetic-minority-over-sampling-techn canonical_name: -1 Synthetic Minority Over-sampling Technique description: Das KI-Trainingsdatenset muss durch synthetische Generierung von Minderheitsklassen-Instanzen ausgeglichen werden, um eine Verzerrung zugunsten der Mehrheitsklasse zu vermeiden. Die Erzeugung neuer Datenpunkte ist durch Interpolation zwischen existierenden Beispielen und deren k-nächsten Nachbarn im Merkmalsraum sicherzustellen. Eine Validierung der resultierenden Klassenverteilung ist vor dem Training des Modells durchzuführen, um die statistische Repräsentativität der Minderheit zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-57 title_original_de: QM-57-1 Synthetic Minority Over-sampling Technique url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-57_Fairness-Methoden/QM-57-1_SMOTE.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-57-2-lfr canonical_name: -2 LFR description: Das System muss während des Trainingsprozesses eine repräsentative Merkmalsabbildung generieren, die sensible Attribute von den eigentlichen Vorhersagefeatures entkoppelt. Dies ist sicherzustellen, indem die Datenpunkte auf eine Menge von Prototypen projiziert werden, wobei Bias-Reduktion und Vorhersagegenauigkeit simultan optimiert werden. Die Wirksamkeit dieser Entkopplung ist durch quantitative Metriken zur Fairness im latenten Raum zu prüfen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-57 title_original_de: QM-57-2 LFR url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-57_Fairness-Methoden/QM-57-2_LFR.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0196 - id: MET-AI-DATA-QM-58-1-laplacescher-mechanismus canonical_name: -1 Laplacescher Mechanismus description: Das KI-Trainingsmodell muss bei der Generierung von Ergebnissen aus sensiblen Datensätzen ein stochastisches Rauschen gemäß einer Laplace-Verteilung hinzufügen, um differentielle Privatsphäre zu gewährleisten. Die Amplitude dieses Rauschens ist dynamisch an den definierten Datenschutzparameter zu koppeln, wobei eine Erhöhung des Parameters zwingend eine proportionale Steigerung der Störgröße erfordert. Die Wirksamkeit dieser Maßnahme ist durch eine Prüfung der Datenqualität zu verifizieren, die sicherstellt, dass der Schutz individueller Datenpunkte trotz der hinzugefügten Unsicherheit die statistische Nützlichkeit der aggregierten Ergebnisse nicht vollständig kompromittiert. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-58 title_original_de: QM-58-1 Laplacescher Mechanismus url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-58_DiffentialPrivacyMethods/QM-58-1_Laplacescher%20Mechanismus.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-58-2-exponentialmechanismus canonical_name: -2 Exponentialmechanismus description: Das System muss bei der Auswahl von Ergebnissen aus KI-Trainingsdaten einen Wahrscheinlichkeitsmechanismus anwenden, der die Ausgabe basierend auf einem Nutzenwert steuert. Die Verteilung der Wahrscheinlichkeiten ist so zu gestalten, dass Ergebnisse mit hohem Risiko für die Offenlegung individueller Datenpunkte signifikant seltener generiert werden. Eine Prüfung ist sicherzustellen, ob die gewählte Ausgabe die Privatsphäre der einzelnen Datensätze unter Einhaltung definierter Grenzen effektiv schützt. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-58 title_original_de: QM-58-2 Exponentialmechanismus url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-58_DiffentialPrivacyMethods/QM-58-2_Exponentialmechanismus.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-58-3-lokale-differentielle-privatsphaere canonical_name: -3 Lokale differentielle Privatsphäre description: Die Integrität der KI-Trainingsdaten ist sicherzustellen, indem jedes individuelle Datenelement vor der Übermittlung an den zentralen Server durch einen lokal auf dem Endgerät ausgeführten Rauschalgorithmus anonymisiert wird. Es ist zu prüfen, dass die Aggregation der Daten erst nach dieser lokalen Störung erfolgt, um eine Rekonstruktion der Rohdaten auf Serverseite auszuschließen. Dieser Prozess gewährleistet, dass die Differenzialprivatsphäre bereits auf der Ebene des Nutzers implementiert ist und keine vertraulichen Informationen ungeschützt das Gerät verlassen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-58 title_original_de: QM-58-3 Lokale differentielle Privatsphäre url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-58_DiffentialPrivacyMethods/QM-58-3_LokaleDifferentiellePrivatsphäre.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0143 - id: MET-AI-DATA-QM-58-methoden-der-differential-privacy canonical_name: Methoden der "Differential Privacy" description: Das KI-Trainingsverfahren muss einen mathematisch fundierten Mechanismus zur Hinzufügung von kontrolliertem Rauschen implementieren, um die Rekonstruierbarkeit individueller Datensätze im Ergebnis zu verhindern. Die Sensitivität der verwendeten Abfragen ist vor der Datenverarbeitung zu ermitteln, um die Rauschstärke entsprechend der Datenschutzanforderungen zu dimensionieren. Eine Validierung ist durchzuführen, um sicherzustellen, dass die generierten Modelle keine Rückschlüsse auf einzelne Trainingsbeispiele zulassen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-58 title_original_de: QM-58 Methoden der "Differential Privacy" url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-58_DiffentialPrivacyMethods/QM-58_DifferentialPrivacyMethods.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-59-1-metadatenkataloge canonical_name: -1 Metadatenkataloge description: Für alle im Rahmen von KI-Trainingsprozessen genutzten Datensätze ist ein zentraler Metadatenkatalog als verbindliche Referenzinstanz zu etablieren. Dieser Katalog muss strukturelle Merkmale, Herkunftsinformationen sowie Qualitätsmetriken jeder einzelnen Datenquelle eindeutig dokumentieren und für autorisierte Prüfer abrufbar halten. Die Vollständigkeit und Konsistenz der gespeicherten Metadaten sind vor jedem Trainingslauf systematisch zu validieren, um eine nachvollziehbare Datenherkunft sicherzustellen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-59 title_original_de: QM-59-1 Metadatenkataloge url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-59%20Metadaten/QM-59-1_Metadatenkataloge.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-59-2-integration-von-metadaten canonical_name: -2 Integration von Metadaten description: Der Trainingsdatensatz muss um strukturelle Metadaten erweitert werden, um dem Modell kontextuelle Parameter wie Zeitstempel oder räumliche Zuordnungen bereitzustellen. Diese Zusatzinformationen sind so zu kodieren, dass sie die Erkennung von Mustern ermöglichen, welche in den reinen Rohdaten nicht identifizierbar sind. Die Wirksamkeit dieser Erweiterung ist durch einen Vergleich der Modellgenauigkeit vor und nach der Integration zu verifizieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-59 title_original_de: QM-59-2 Integration von Metadaten url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-59%20Metadaten/QM-59-2_Integration%20von%20Metadaten.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-59-3-metadaten-vollstaendigkeit canonical_name: -3_Metadaten-Vollständigkeit description: Für KI-Trainingsdatensätze muss der Anteil der Einträge mit vollständig dokumentierten Herkunftsinformationen quantifiziert werden. Es ist sicherzustellen, dass für jeden Datensatz die Ursprungsquelle, der Erfassungszeitpunkt und die verantwortliche Instanz lückenlos erfasst sind. Diese Vollständigkeit ist zwingend zu prüfen, um die Rückverfolgbarkeit der Datenherkunft im gesamten Datenbestand nachzuweisen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-59 title_original_de: QM-59-3_Metadaten-Vollständigkeit url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-59%20Metadaten/QM-59-3_Metadaten-Vollständigkeit.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-59-metadatenmanagement canonical_name: Metadatenmanagement description: Für KI-Trainingsdatensätze ist ein automatisiertes Metadatenmanagement durchzuführen, das Klassifizierung und Extraktion zur strukturierten Erfassung von Datenmerkmalen nutzt. Die Integrität der Metadaten ist kontinuierlich auf Vollständigkeit, Konsistenz und Genauigkeit zu prüfen, um deren Eignung für spezifische Lernziele sicherzustellen. Eine valide Nutzung der Metadaten erfordert deren Nachweisbarkeit in einem zentralen Katalog, der den Zugriff auf die Qualitätskriterien für alle Anwendungsfälle gewährleistet. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-59 title_original_de: QM-59 Metadatenmanagement url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-59%20Metadaten/QM-59_Metadatenmanagement.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0175 - id: MET-AI-DATA-QM-60-provinienztracking-blockchain canonical_name: Provinienztracking-Blockchain description: Das System muss für jede KI-Trainingsinstanz einen unveränderlichen Lebenszyklus-Eintrag in einer dezentralen Ledger-Struktur generieren, der Ursprung, Verarbeitungsschritte und Weitergabe dokumentiert. Diese Einträge sind so zu gestalten, dass eine lückenlose und fälschungssichere Rückverfolgung der Datenherkunft jederzeit möglich ist. Die Integrität der gespeicherten Metadaten ist durch kryptografische Verfahren gegen nachträgliche Manipulationen zu schützen. Eine Prüfung der Vollständigkeit dieser Provenienzketten ist vor jedem Trainingsschritt durchzuführen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-60 title_original_de: QM-60 Provinienztracking-Blockchain url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-60_Provinienztracking-Blockchain.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-61-1-marginal-contribution-approach canonical_name: -1 Marginal Contribution Approach description: Für die Validierung von KI-Trainingsdaten ist der marginale Einfluss einzelner Datensätze auf die Modellleistung durch systematisches Hinzufügen oder Entfernen zu quantifizieren. Es ist sicherzustellen, dass dieser Beitrag als messbare Veränderung der Gesamtnote des Systems bewertet wird, um die Datenqualität zu verifizieren. Die Prüfung muss nachweisen, dass relevante Datenpunkte einen signifikanten positiven Effekt auf die Performance aufweisen oder bei Ausschluss eine Verschlechterung verursachen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-61 title_original_de: QM-61-1 Marginal Contribution Approach url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-61_Datenbewertungsmethoden/QM-61-1_Marginal%20Contribution%20Importance.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-61-2-data-re-weighting-strategies canonical_name: -2 Data Re-weighting Strategies description: Das System muss Mechanismen implementieren, um die Gewichtung von Trainingsdatenpunkten dynamisch anzupassen, um Verzerrungen auszugleichen und die Modellleistung zu optimieren. Es ist sicherzustellen, dass die Re-Weighting-Strategie explizit dokumentiert und auf ihre Wirksamkeit zur Sicherstellung der Fairness überprüft wird. Die Anpassung der Datenprioritäten ist so zu konfigurieren, dass sie die Zielkonflikte zwischen Genauigkeit und Gleichbehandlung adressiert. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-61 title_original_de: QM-61-2 Data Re-weighting Strategies url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-61_Datenbewertungsmethoden/QM-61-2_Data%20Re-weighting%20Strategies.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0185 - id: MET-AI-DATA-QM-61-3-neural-dynamic-data-valuation canonical_name: -3 Neural Dynamic Data Valuation description: Das System muss eine dynamische Bewertungsfunktion implementieren, die den Beitrag einzelner Trainingsdatenpunkte im Kontext der aktuellen Inferenzleistung quantifiziert. Dabei ist sicherzustellen, dass die Sensitivität der Ausgabe gegenüber Datenänderungen kontinuierlich analysiert wird, um eine adaptive Gewichtung der Datensätze zu ermöglichen. Die Validierung dieser Mechanismen erfolgt durch den Nachweis einer zeitabhängigen Anpassung der Datenprioritäten basierend auf den aktuellen Modellzuständen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-61 title_original_de: QM-61-3 Neural Dynamic Data Valuation url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-61_Datenbewertungsmethoden/QM-61-3_Neural%20Dynamic%20Data%20Valuation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-61-datenpunkt-einflussanalyse canonical_name: Datenpunkt-Einflussanalyse description: Das System muss die individuelle Gewichtung jedes Trainingsdatums auf die finale Modellperformance quantifizieren, um kritische Ausreißer oder redundante Einträge zu identifizieren. Es ist sicherzustellen, dass Datenpunkte mit hohem Informationsgehalt oder signifikanter Wirkung auf die Robustheit explizit nachvollziehbar gekennzeichnet werden. Eine Prüfung muss validieren, dass die Entfernung weniger relevanter Samples die allgemeine Vorhersagegenauigkeit nicht unerlaubt mindert. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-61 title_original_de: QM-61 Datenpunkt-Einflussanalyse url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-61_Datenbewertungsmethoden/QM-61_Datenpunkteinflussanalyse.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-62-verzeichnis-von-verarbeitungstaetigkeit canonical_name: Verzeichnis von Verarbeitungstätigkeit description: Das System muss eine durchgängige Dokumentation aller KI-Datenverarbeitungsprozesse bereitstellen, die Zweck, Datenkategorien und Empfänger explizit definiert. Die Aktualisierung dieser Metadaten ist vor jedem Trainingsschritt sicherzustellen, um die Datenherkunft und Löschzyklen nachvollziehbar zu machen. Die Gültigkeit der dokumentierten Sicherheitsmaßnahmen ist regelmäßig zu prüfen, um die Integrität der Trainingsdaten zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: - framework: EU GDPR citation: Artikel 32 - framework: EU GDPR citation: null - framework: EU GDPR citation: Art. 49 - framework: BSI AIC4 citation: null - framework: AI Act citation: Artikel 10 - framework: BSI Grundschutz citation: null source: framework: BSI QUAIDAL section: QM-62 title_original_de: QM-62 Verzeichnis von Verarbeitungstätigkeit url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-62_Verzeichnis%20von%20Verarbeitungstätigkeit.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-63-1-horizontal-federated-learning canonical_name: -1 Horizontal Federated Learning description: Das System muss horizontale Federated-Learning-Verfahren implementieren, bei denen Modell-Updates aggregiert werden, ohne dass Rohdaten die lokalen Speicherorte der beteiligten Parteien verlassen. Es ist sicherzustellen, dass alle Knoten identische Merkmalsvektoren nutzen, während die zugrundeliegenden Datensätze ausschließlich aus unterschiedlichen Individuen bestehen. Die Datenintegrität ist durch eine Prüfung zu verifizieren, die bestätigt, dass keine direkten Datenaustausche zwischen den Partnern während des Trainingsprozesses stattfinden. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: - framework: EU GDPR citation: null source: framework: BSI QUAIDAL section: QM-63 title_original_de: QM-63-1 Horizontal Federated Learning url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-63_FederatedLearning/QM-63-1_Horizontal%20Federated%20Learning.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-63-2-vertical-federated-learning canonical_name: -2 Vertical Federated Learning description: Das System muss die Integrität von vertikal federierten KI-Trainingsprozessen sicherstellen, bei denen mehrere Parteien komplementäre Merkmalsvektoren für identische Entitäten beisteuern. Es ist zu prüfen, ob die Datenfusion ausschließlich auf nicht-dekodierbaren Modellparametern basiert, um die Originaldaten der einzelnen Instanzen während des gemeinsamen Lernvorgangs zu schützen. Die Validierung muss nachweisen, dass keine direkten Rohdaten zwischen den Knoten ausgetauscht werden, bevor ein aggregiertes Modell aktualisiert wird. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-63 title_original_de: QM-63-2 Vertical Federated Learning url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-63_FederatedLearning/QM-63-2_Vertical%20Federated%20Learning.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-63-3-federated-transfer-learning canonical_name: -3 Federated Transfer Learning description: Das System muss die Fähigkeit zur Übertragung von Modellwissen zwischen heterogenen Datenquellen bereitstellen, um bei nicht vollständiger Merkmals- oder Proben-Überschneidung eine gemeinsame Modellbildung zu ermöglichen. Es ist sicherzustellen, dass Transfermechanismen explizit implementiert sind, um Wissenslücken bei unterschiedlichen Datenvolumina und -strukturen zu schließen. Die Wirksamkeit dieser Mechanismen ist durch Prüfung der Modellkonvergenz über die beteiligten Parteien hinweg zu validieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-63 title_original_de: QM-63-3 Federated Transfer Learning url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-63_FederatedLearning/QM-63-3_Federated%20Transfer%20Learning.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-63-federated-learning canonical_name: Federated Learning description: Für KI-Trainingsprozesse mit dezentralen Architekturen ist sicherzustellen, dass Rohdaten niemals den lokalen Speicherort der Datenbesitzer verlassen. Stattdessen müssen Modellparameter ausschließlich auf den Endgeräten oder lokalen Servern aktualisiert und anschließend aggregiert werden, um den Datenschutz zu gewährleisten. Die Integrität des Federated-Learning-Verfahrens ist durch Prüfung der Datenlokalisierung und des Parametertransfers zu verifizieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-63 title_original_de: QM-63 Federated Learning url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-63_FederatedLearning/QM-63_Federated%20Learning.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-64-similarity-scores canonical_name: Similarity Scores description: Für die Validierung der KI-Trainingsdaten ist eine kontextspezifische Auswahl eines geeigneten Ähnlichkeitsmaßes zwingend erforderlich. Bei vektorisierten Daten sind metrische Verfahren wie die Kosinus-Ähnlichkeit anzuwenden, während bei sparse Darstellungen Distanzmaße wie der Jaccard-Koeffizient vorzuziehen sind. In Szenarien mit hoher semantischer Komplexität sind fortgeschrittene Verfahren wie BERTScore zur Sicherstellung der Datenqualität einzusetzen. Die Eignung des gewählten Algorithmus ist vor der Nutzung nachzuweisen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-64 title_original_de: QM-64 Similarity Scores url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-64_Similarity%20Scores.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0167 - id: MET-AI-DATA-QM-65-ai-or-s-bom canonical_name: AI or S-Bom description: Das System muss eine vollständige Inventarisierung aller Trainingsdaten, Modelle und externen Abhängigkeiten als strukturierte KI-Bill-of-Materials dokumentieren. Diese Dokumentation ist sicherzustellen, um Lizenzkonflikte, Sicherheitslücken und ethische Risiken in der Lieferkette frühzeitig zu identifizieren. Die Prüfung muss nachweisen, dass alle Komponenten sowie deren Versionsstände und Qualitätsmetriken lückenlos erfasst sind. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: - framework: AI Act citation: null source: framework: BSI QUAIDAL section: QM-65 title_original_de: QM-65 AI or S-Bom url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-65_AI_or_S_Bom.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-67-provenienz-vollstaendigkeitsrate canonical_name: Provenienz-Vollständigkeitsrate description: Die Provenienz-Vollständigkeit ist als messbarer Indikator für die Qualität von KI-Trainingsdaten zu definieren und muss den Anteil der Datensätze quantifizieren, bei denen sämtliche Herkunftsdetails lückenlos dokumentiert sind. Es ist sicherzustellen, dass für jeden Dateneintrag alle relevanten Transformationen, Erhebungsmethoden und Ursprungsinformationen vollständig in den Metadaten erfasst wurden. Die Prüfung erfolgt durch Berechnung des Quotienten aus vollständig dokumentierten Datensätzen und der Gesamtmenge aller Trainingsdaten, wobei das Ergebnis als Prozentsatz auszudrücken ist. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-67 title_original_de: QM-67 Provenienz-Vollständigkeitsrate url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-67_Provenienz_Vollständigkeitsrate.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0147 - id: MET-AI-DATA-QM-68-1-shannon-index canonical_name: -1 Shannon-Index description: Das System muss die Entropie der Verteilung von KI-Trainingsdaten quantifizieren, um die Diversität der enthaltenen Klassen zu bewerten. Es ist sicherzustellen, dass der berechnete Shannon-Index als messbarer Indikator für die Informationsunsicherheit in den Datensätzen dient. Die Prüfung erfolgt durch Analyse der Häufigkeitsverteilung, um eine ausreichende Varianz der Eingabemuster zu garantieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-68 title_original_de: QM-68-1 Shannon-Index url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-68_Diversity%20Indices%20Metrics/QM-68-1_Shannon-Index.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-68-2-simpson-index canonical_name: -2 Simpson-Index description: Die Verteilung der Trainingsdaten hinsichtlich relevanter Klassenmerkmale ist durch einen statistischen Diversitätsindikator zu quantifizieren, der die Wahrscheinlichkeit für eine zufällige Übereinstimmung zweier ausgewählter Instanzen misst. Ein niedriger berechneter Wert ist als Indikator für eine hohe Klassenbalance und damit für eine robuste Datenqualität zu werten. Die Einhaltung dieses Qualitätsziels ist durch regelmäßige Berechnung und Dokumentation des Indexwertes während des gesamten Trainingsprozesses sicherzustellen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-68 title_original_de: QM-68-2 Simpson-Index url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-68_Diversity%20Indices%20Metrics/QM-68-2_Simpson-Index.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-68-3-pielous-eveness-index canonical_name: -3 Pielous Eveness Index description: Das System muss die Verteilung von Trainingsinstanzen über alle Zielklassen quantifizieren, um eine signifikante Verzerrung zu vermeiden. Der errechnete Gleichmäßigkeitsindikator ist als Maß für die Datenqualität heranzuziehen und muss einen Wert nahe dem Idealzustand aufweisen. Eine Abweichung von der gleichmäßigen Verteilung ist durch eine automatische Prüfung zu validieren, bevor das Modell trainiert wird. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-68 title_original_de: QM-68-3 Pielous Eveness Index url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-68_Diversity%20Indices%20Metrics/QM-68-3_Pielous%20Eveness%20Index.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-68-4-berger-parker-index canonical_name: -4 Berger-Parker Index description: Das System muss sicherstellen, dass die Verteilung der Kategorien in den KI-Trainingsdaten eine ausgewogene Vielfalt aufweist und keine einzelne Klasse übermäßig dominiert. Es ist zu prüfen, ob der Anteil der häufigsten Kategorie einen definierten Schwellenwert unterschreitet, um eine Verzerrung der Datenqualität auszuschließen. Eine unzureichende Heterogenität der Labels ist als Defekt zu bewerten, der die Modellleistung negativ beeinflusst. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-68 title_original_de: QM-68-4 Berger-Parker Index url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-68_Diversity%20Indices%20Metrics/QM-68-4_Berger%20Parker%20Index.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-68-5-margalefs-richness-index canonical_name: -5 Margalefs Richness Index description: Die Qualität der KI-Trainingsdaten ist durch einen Diversitätsindikator zu quantifizieren, der das Verhältnis der Anzahl einzigartiger Entitäten zur Gesamtmenge der verarbeiteten Instanzen ermittelt. Dieser Kennwert muss sicherstellen, dass die Datengrundlage eine hinreichende Heterogenität aufweist, um eine einseitige Verzerrung des Modells zu verhindern. Die Prüfung erfolgt durch die Berechnung des Index und den Abgleich mit definierten Mindestschwellenwerten für die Datenrepräsentativität. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-68 title_original_de: QM-68-5 Margalefs Richness Index url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-68_Diversity%20Indices%20Metrics/QM-68-5_Margalefs%20Richness%20Index.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-68-6-menhinicks-index canonical_name: -6 Menhinicks Index description: Die Qualität der KI-Trainingsdaten ist durch einen normalisierten Diversitätsindex zu bewerten, der das Verhältnis der unique Token-Klassen zur Gesamtmenge der Token erfasst. Dieser Kennwert muss die Vergleichbarkeit von Datensätzen unterschiedlicher Volumina sicherstellen, indem er den Artenreichtum der Datenstruktur unabhängig von der absoluten Stichprobengröße quantifiziert. Die Berechnung ist bei jedem Validierungslauf durchzuführen, um eine objektive Messung der Datenheterogenität zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-68 title_original_de: QM-68-6 Menhinicks Index url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-68_Diversity%20Indices%20Metrics/QM-68-6_Menhinicks%20Index.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-69-1-hold-out canonical_name: -1 Hold Out description: Die Datenbasis für das KI-Modell ist vorab in strikt getrennte, nicht überlappende Teilmengen zur Modellbildung, Parameteroptimierung und abschließenden Evaluation zu zerlegen. Eine Nutzung der Evaluationsdaten während des Trainingsprozesses ist zwingend auszuschließen, um Verzerrungen der Leistungsmessung zu verhindern. Die Einhaltung dieser Trennung ist durch eine nachvollziehbare Protokollierung der Aufteilungsratios und der Datenpfade zu verifizieren. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-69 title_original_de: QM-69-1 Hold Out url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-69_DataSplitting/QM-69-1_Hold%20Out.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-69-2-k-fold-cross-validation canonical_name: -2 K-Fold Cross Validation description: Das KI-Modell ist mittels K-Fold-Verfahren zu validieren, wobei der Datensatz in K disjunkte Teilmengen zu zerlegen ist. In jedem Iterationslauf muss eine Teilmenge als Testdatensatz dienen, während die verbleibenden Mengen zum Training herangezogen werden. Die Wiederholung dieses Prozesses über alle K Kombinationen ist sicherzustellen, um eine robuste Schätzung der Modellgüte zu gewährleisten. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-69 title_original_de: QM-69-2 K-Fold Cross Validation url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-69_DataSplitting/QM-69-2_K-Fold%20Cross%20Validation.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-70-datasheet canonical_name: Datasheet description: Es ist sicherzustellen, dass für alle KI-Trainingsdatensätze ein strukturiertes Begleitdokument existiert, welches den vollständigen Lebenszyklus der Daten transparent abbildet. Dieses Dokument muss zwingend Metriken zur Vollständigkeit enthalten und spezifische Anwendungsempfehlungen sowie Wartungsanforderungen definieren. Durch diese Dokumentation ist nachweislich zu prüfen, ob der Datensatz für den vorgesehenen Einsatzzweck geeignet ist und Missbrauchspotenziale ausgeschlossen werden. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-70 title_original_de: QM-70 Datasheet url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-70_Datasheet.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0 - id: MET-AI-DATA-QM-71-polynomiale-features canonical_name: Polynomiale Features description: Das System muss bei der Verarbeitung von Trainingsdaten nicht-lineare Beziehungen durch die Generierung höherer Potenzen und Kreuzterme aus den Eingangsvariablen abbilden. Es ist sicherzustellen, dass diese transformierten Merkmale explizit zur Erfassung komplexer Muster in linearen Modellen verwendet werden. Die Qualität der Daten ist zu prüfen, indem verifiziert wird, ob die Basis-Expansion korrekt implementiert ist und keine unbeabsichtigten Datenlecks entstehen. kind: metric regulation_anchor: EU AI Act Art. 10 (Datenqualität für Hochrisiko-KI) related_quaidal_ids: [] external_refs: [] source: framework: BSI QUAIDAL section: QM-71 title_original_de: QM-71 Polynomiale Features url: https://github.com/BSI-Bund/QUAIDAL/blob/main/0000_Markdown/0001_Criteria,Measurements,Metrics/0003_Qualitätsmetriken_methoden/QM-71%20Polynomiale%20Features.md commit_sha: c39b75369841b359c6bf56d6588e3768c722842f license_note: § 5 UrhG anwendbar; share:true im Frontmatter; Clean-Room-Ableitung. plagiarism_score_at_generation: 0.0345