From 1b5c6bd340a5dfce982f92b9a90f0d97f96104b2 Mon Sep 17 00:00:00 2001 From: Benjamin Admin Date: Fri, 8 May 2026 00:41:28 +0200 Subject: [PATCH] docs: Batch test results for 9 websites + EUIPO analysis MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Tested BMW, Stadt Koeln, BfDI, Sparkasse, Caritas, TUEV Sued, Spiegel, ETO Gruppe, EUIPO. Key findings: - Stadt Koeln + ETO Gruppe best (95% correctness) - BMW, Sparkasse, Spiegel genuinely deficient (verified) - EUIPO uses EU Regulation 2018/1725, not GDPR — needs separate checklist - ~0-2 false positives per website after LLM verification 7 regex fixes emerged from batch testing (soft hyphens, word insertions, numbered headings, German section names, etc.) Co-Authored-By: Claude Opus 4.6 (1M context) --- .../docs/batch-test-results-2026-05-08.md | 41 +++++++++++++++++++ 1 file changed, 41 insertions(+) create mode 100644 zeroclaw/docs/batch-test-results-2026-05-08.md diff --git a/zeroclaw/docs/batch-test-results-2026-05-08.md b/zeroclaw/docs/batch-test-results-2026-05-08.md new file mode 100644 index 0000000..229fca1 --- /dev/null +++ b/zeroclaw/docs/batch-test-results-2026-05-08.md @@ -0,0 +1,41 @@ +# Batch-Test Ergebnisse (2026-05-08) + +## 9 Websites getestet + +| # | Website | Typ | L1 | L2 | Vollst. | Korr. | Woerter | Bewertung | +|---|---------|-----|----|----|---------|-------|---------|-----------| +| 1 | Stadt Koeln | Kommune | 9/9 | 21/22 | 100% | 95% | 5910 | Vorbildlich | +| 2 | Caritas | Nonprofit | 9/9 | 19/22 | 100% | 86% | 9447 | Gut | +| 3 | ETO Gruppe | Mittelstand | 9/9 | 21/22 | 100% | 95% | 7312 | Vorbildlich | +| 4 | BfDI | Bundesbehoerde | 9/9 | 16/22 | 100% | 73% | 2014 | OK (kurz) | +| 5 | TUEV Sued | Prueforg. | 8/9 | 15/21 | 89% | 71% | 9467 | Luecken | +| 6 | IHK Konstanz | Kammer | 9/9 | 18/22 | 100% | 82% | 6353 | Gut | +| 7 | BMW | Konzern | 8/9 | 10/21 | 89% | 48% | 7207 | Mangelhaft | +| 8 | Sparkasse | Finanz | 7/9 | 10/20 | 78% | 50% | 12183 | Mangelhaft | +| 9 | Spiegel | Medien | 6/9 | 10/13 | 67% | 77% | 13698 | Mangelhaft | + +### Sonderfaelle +- **EUIPO** (EU-Behoerde): 6/9 L1, 5/13 L2 — unterliegt Verordnung 2018/1725, nicht DSGVO. Separate Checkliste noetig. +- **dm, Zalando, HWK**: Text-Extraktion scheitert (JS-heavy SPAs, Consent-Wall blockiert) + +## Verifizierte True Positives + +BMW, Sparkasse und Spiegel haben **tatsaechlich lueckenhafte DSEs** — verifiziert gegen Originaltexte: +- BMW: Keine E-Mail, kein Art. 77 Beschwerderecht, keine Art.-Referenzen fuer Rechte +- Sparkasse: Kein DSB, kein Art. 77 +- Spiegel: Kein DSB, kein Art. 77, keine Betroffenenrechte + +## False-Positive-Rate + +Ueber alle 9 Websites: **~0-2 FP pro Website** nach LLM-Verifikation. +Hauptursache verbleibender FP: Ungewoehnliche Formulierungen die weder Regex noch LLM erkennen. + +## Regex-Fixes die aus dem Batch-Test entstanden + +1. Soft-Hyphen Stripping (\xad) — etogruppe +2. "Recht auf [Adjektiv] Auskunft" — Wort-Einschub +3. "nach Fortfall" neben "nach Ablauf" — Loeschkonzept +4. DSB-Kontakt ueber Zeilenumbrueche — [\s\S]{0,300} +5. Nummerierte Headings ("5. Soziale Medien") — isdigit() +6. Section-Splitter nur bei klassifizierten Headings +7. "Soziale Medien/Netzwerke" als Social-Media-Heading