131 Commits

Author	SHA1	Message	Date
Benjamin Admin	dca7740d8c	feat(use-cases): Fundament — Use-Case-Register + n:m-Mapping-Migration + Seed [migration-approved] ... Layer 1+2 (Fundament) des Use-Case-Mapping-Systems (Plan genehmigt): - compliance/data/use_case_registry.py: Single Source of Truth fuer 14 Use Cases x Verifikations-Methoden (Doku/Source-Code/Netzwerk/IT-Prozess). Erweiterbar (neuer UC = 1 Eintrag). code_security/network_security als Uebergabe-Punkte fuers Security-Team (SBOM/SAST/DAST/Pentest). - migrations/149_mc_use_case_mappings.sql: add-only n:m mc_use_case_mappings + mc_verification (1/MC) + sync_state. use_case ohne SQL-CHECK (erweiterbar). - scripts/classify_mc_use_cases.py: Seed-Stufe (deterministisch, kein LLM). LLM-Stufe (Phase 3) folgt. - Tests: test_use_case_registry.py (14 gruen). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-06-09 15:30:34 +02:00
Benjamin Admin	bc78ddd3e5	fix(impressum): Findings aus 12 §5-TMG-Pattern-MCs statt verunreinigtem DB-Set ... Der Agent lieferte "alles gruen": _load_controls gab auf macmini nur 3 von 75 doc_type='impressum'-MCs zurueck (Sidecar mc_classification.db hat nur 4/75 als text-matchbar klassifiziert). Tiefere Ursache: die 75 doc_type='impressum'-MCs sind fehl-klassifiziert (60/75 canonical_scope='other'; Prefixes TRD/SEC/GOV = Geschaeftsbriefe/Marktplatz/Bestellung, NICHT §5 TMG Website-Impressum). Fix: Der Impressum-Agent erzeugt Findings jetzt aus seinen 12 autoritativen §5-TMG/DDG-Pattern-MCs (mcs.py) statt aus dem verunreinigten DB-Set — deterministisch, scope-aware, field_id = semantisches Feld. Semantic-Validator- Demote + Massnahmen + Rollup bleiben. Die 5-Impressum-GT-Tests laufen jetzt echt durch: 0 Falsch-Positive. DB-Master-Controls fuer Impressum deaktiviert bis zum MC-Re-Filtering (separate Aufgabe: die doc_type-Klassifizierung der Vorgaenger-Session muss bereinigt werden). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-06-09 13:15:34 +02:00
Benjamin Admin	08c08fcba2	feat(crawl): Vollstaendigkeit — Shadow-DOM/versteckte Links + Interaktions-Fixpunkt + Wayback-CDX-Orphans ... Damit die Specialist-Agents auf vollstaendigem Website-Content arbeiten: A — _find_dsi_links pierct jetzt Shadow-DOM (Web-Components wie Usercentrics/ Mercedes) rekursiv; versteckte (display:none) Links werden erfasst + als Coverage-Metadatum geflaggt. B — _expand_to_fixpoint klappt Akkordeons/Tabs/Hover-Menues in einer Schleife auf, bis das DOM stabil ist (statt 1 Pass); erweiterte Selektoren; Coverage-Telemetrie (Runden, expandierte Elemente, DOM-Wachstum, Shadow-/ versteckte Links) → Response + Backend-Log. C — legacy_url_cdx.cdx_enumerate listet via Wayback-CDX-API ALLE je archivierten URLs der Domain → findet Orphan-/Legacy-Seiten, die nie im Slug-Raster standen (z.B. nicht mehr verlinktes /datenschutz, per Direkt- URL noch erreichbar). Fliesst durch das bestehende Legacy-URL-Inventar. Tests: test_legacy_url_cdx.py (6) + consent-tester/tests/test_dsi_discovery.py (Pure-Helper + Real-Browser-Integration). Alle gruen, LOC-Gate gruen. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-06-09 12:33:34 +02:00
Benjamin Admin	389e6de0c7	fix(agents): Impressum+Cookie delegieren MC-Laden ans Main Tool — Scope-Filter + Maßnahmen ... Regression: Der v3-Agent-Pfad baute eine parallele MC-Pipeline (_load_impressum_mcs / _load_cookie_mcs, Roh-SELECT) und lief damit an allen Schutzmechanismen der Engine vorbei → GOV/Branchen-MCs als HIGH bei OEM/Zulieferer, fremde MCs (Bestellbestätigung), und action=check_question (Fragen statt Maßnahmen im Frontend). - Agent delegiert MC-Laden an rag_document_checker._load_controls (P72-Scope, check_type='text', fits_doc_type/scope_requires). - Subtraktives Sektor-Gate (SECTOR_PREFIXES) + Themen-Gate am Agent-Rand. - action = konkrete Maßnahme (Imperativ) statt check_question. - rag_document_checker: from __future__ import annotations (3.9-Import). - mcs: Name-Pattern erkennt "Aktiengesellschaft" (OEM-Impressums). - Tote GT-/Semantic-/Routes-Tests wiederbelebt (v3-Mismatch + agent.cascade-Patch-Target). Alle 72 Specialist-Tests grün. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-06-09 11:30:16 +02:00
Benjamin Admin	bd4882e143	feat(agents): Sprint 1.12 Phase 2 — Cookie-Policy v3 + ImpressumAgent v3 finetune ... ImpressumAgent v3 (Refactor): - v3_engine: laedt direkt alle 75 doc_check_controls['impressum'] ohne Sidecar-Filter (Sidecar war zu streng, lieferte nur 3 von 75 MCs). - Layer 0 Boost prueft pass+fail_criteria gegen meine 12 Patterns mit erweiterten Initial-Seeds (User-Vorgabe 2026-06-09: manuelle Initial-Seeds OK, Auto-Learning erweitert zur Laufzeit). - ETO-Smoke: 75 DB-MCs · 7 Pattern-Boosts · 24 Boost-Overrides (versus 3 DB-MCs vorher). CookiePolicyAgent v3 (Refactor): - cookie_policy/v3_engine.py + cookie_policy/regex_boost.py - Laedt direkt alle 381 Cookie-MCs aus doc_check_controls - Layer 0 mit 12 eigenen Patterns als Initial-Seed - KB-Layer (CMP-Vendor-Cross-Check) bleibt erhalten - agent_version='3.0' Tests: 27/27 gruen (12 v3-impressum, 6 cookie-policy, 9 cross-placement). Alte v2-cookie-tests umgeschrieben auf v3-Pipeline-Mock. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-09 09:23:12 +02:00
Benjamin Admin	d3ac33d53a	feat(impressum): v3 — Layer-Architektur auf doc_check_controls (75 DB-MCs) ... Sprint 1.12 Phase 1 (User-Vorgabe 2026-06-09): Statt eigener 12 hartgepatchter Patterns nutzt der Impressum-Agent jetzt die 75 echten Master-Controls aus compliance.doc_check_controls. Pipeline: Layer 0 — Regex-Boost (meine 12 Patterns aus mcs.py / regex_boost.py) → wenn Pattern hits, MC wird zu PASS überschrieben Layer 1 — Keyword-Match aus pass_criteria der 75 DB-MCs (rag_document_checker.check_document_with_controls) Layer 2 — BGE-M3 Embedding-Match (in rag_document_checker integriert) Layer 3 — Semantic-Validator (LLM) für übriggebliebene HIGH/MEDIUM + Auto-Learning-Pattern-Library Output-Layer bleibt unverändert: Disclaimer-Linter + Rollup-Dedup + Methodik-First-UI. Neue Dateien: - impressum/v3_engine.py — Pipeline-Orchestrator - impressum/regex_boost.py — meine 12 Patterns + Boost-Mapping Refactored: - impressum/agent.py — komplett umgeschrieben, agent_version=3.0 255 LOC (unter 500-Cap) Tests: test_impressum_v3.py mit 10 neuen Tests, alle gruen. Mockt run_v3_pipeline für offline-Lauf. Bestaetigt: - Layer-0 erkennt Tesla-typische Felder - Boost matched DB-MC nur bei ≥2 Keyword-Treffern in pass_criteria - 12 Pattern-Boost-Slots + N DB-MCs in coverage - Notes enthalten Telemetrie (v3-pipeline, Boost-Overrides) Telemetrie wird in AgentOutput.notes ausgegeben, damit Frontend sehen kann: 75 DB-MCs geprueft · 5 Pattern-Boosts · 3 Boost-Overrides. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-09 08:58:53 +02:00
Benjamin Admin	154e8c293b	feat(agents): Cross-Placement-Agent (deplatzierter Content) ... Sprint 1.9 (User-Vorgabe 2026-06-09): Erkennt im Impressum Inhalts-Sektionen die thematisch besser in einen Footer-Reiter 'Legal' gehoeren: - Urheberrecht / Copyright -> LOW (Footer 'Legal') - Bilder & Lizenzen -> LOW (Seite 'Bildquellen') - Haftungsausschluss / Disclaimer -> LOW (Seite 'Disclaimer') - Nutzungsbedingungen -> LOW (Seite 'AGB') - Aenderungsvorbehalt -> LOW - ElektroG / WEEE-Reg -> MEDIUM (Produktinfo) - VerpackG / LUCID -> MEDIUM - BattG -> MEDIUM Each Finding empfiehlt konkret den 'Legal'-Footer-Reiter einzufuehren als Best Practice ('Impressum bleibt schlank und enthaelt ausschliesslich die Pflichtangaben nach § 5 TMG/DDG'). Tests gegen die 5 GT-Impressums: - Safetykon: 3 Findings (Urheberrecht, Bilder/Lizenzen, Haftungsausschluss) - Hectronic: 3 Findings (WEEE-MEDIUM, Copyright, Haftung) - ETO/BMW/Elli: 0 Findings (sauber) - 9/9 Tests gruen. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-09 08:19:57 +02:00
Benjamin Admin	ca8c388f37	feat(agents): Semantic-Validator + Auto-Learning-Pattern-Library ... Sprint 1.10 — Semantic-Validator (User-Vorgabe 2026-06-09): - Statt unendlich Regex-Pattern fuer jede Schreibweise zu pflegen (Tel/Telefon/Telefonnr/Phone/Fon/Funkanschluss/…), nutzen wir bei MC-MISS einen LLM-Call: 'Ist die Pflichtangabe semantisch doch da, nur unter abweichendem Label?' - Bei LLM-Treffer: HIGH/MEDIUM-Finding wird zu LOW demoted, Empfehlung wird zu 'Best-Practice Umbenennung: Management -> Geschaeftsfuehrer' (mit STANDARD_LABELS-Mapping). - 1 LLM-Call pro Slot statt N: cost-effizient. Sprint 1.11 — Auto-Learning-Pattern-Library: - Jedes Label das SVL findet wird in JSON persistiert: /tmp/breakpilot/agent_learned_patterns.json - Beim naechsten Run prueft der Agent zuerst gelernte Patterns BEVOR er das HIGH-Finding emittiert -> kein LLM-Call mehr. - Asymptotisch 0 LLM-Calls fuer haeufige Edge-Cases. - Halluzinations-Schutz: prune_low_confidence() loescht Patterns mit <0.5 Avg-Confidence nach 100 Beobachtungen. - Idempotent: gleicher (field_id, label, agent) -> Counter +1. Tests: 40/40 gruen (10 Pattern-Library + 7 SVL + 13 GT + 11 v2). STANDARD_LABELS-Map deckt Impressum + Cookie-Policy. Spaeter erweiterbar fuer DSE, AGB, Widerrufs-Agenten. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-09 08:16:21 +02:00
Benjamin Admin	882e4f9798	test(impressum): GT-Fixtures + Fix 'Telefonnummer' Pattern ... Ground-Truth-Fixtures fuer 5 echte Impressums (ETO, Safetykon, BMW, Elli, Hectronic). Pro Impressum: - text (User-eingegeben) - expected_clean (Felder die da sind → keine Findings) - business_scope - placement_concerns (Texte die deplatziert sind — fuer kommenden Cross-Placement-Agent) 13 GT-Tests + 11 Specialist-Tests = 24/24 gruen. Bug-Fix: Elli schreibt 'Telefonnummer:' (kein 'Telefon:'), mein Pattern matched nur Tel/Telefon. Erweitert: 'Tel(?:efon(?:nummer)?)?|Phone|Fon' Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-09 08:07:11 +02:00
Benjamin Admin	702e7a6333	fix(impressum): Pattern fasst Geschäftsführung/Vorstand/Inhaber ... Safetykon-Bug: 'Geschäftsführung:' (Sammelbegriff für GF einer GmbH) matched das alte Pattern 'Geschäftsführer' nicht — False-Positive IMPRESSUM-AGENT-VERTRETUNGSBERECHTIGTE_LABEL_KORREKT. Pattern erweitert: Geschäftsführer|Geschäftsführung|Geschäftsführerin + Vorstand|Vorstandsvorsitzender + Inhaber|persönlich haftend. Test test_safetykon_geschaeftsfuehrung_passes ergänzt (11/11 grün). frontend: SlotCard zeigt jetzt Badge bei 0/0/0-Slots ('Dokument konnte nicht geladen werden') statt silent-fail, + bei 0 Findings ein 'alle MCs OK'-Badge. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-08 18:24:01 +02:00
Benjamin Admin	3ae4e60c9d	feat(agents): SSE-Endpoint + Agent-Test-Tab (5-URL parallel) ... Backend: - specialist_agent_routes.py: GET /agents, POST /test/start (run_id), GET /test/stream/{run_id} (SSE), GET /run/{run_id}/result, GET /run/{run_id}/artifacts, GET /run/{run_id}/artifact/{path}, DELETE /run/{run_id}, GET /runs. - Per-URL async orchestrator: text fetch via consent-tester dsi-discovery → agent.evaluate() → vault.put_json + stream events. - Tests: 7/7 grün. Frontend: - /api/sdk/v1/specialist-agent proxy mit SSE-passthrough. - AgentTestTab.tsx: Agent-Wähler + 5 URL-Slots + Live-Events + Speedometer (OK/N-A/HIGH/MEDIUM/LOW) + Findings + Recommendations + Eskalations-Log + Artefakt-Link pro Slot. - Neuer Tab "Agent-Test" in /sdk/agent. User-Wunsch 2026-06-08: pro Agent isoliert testen, 5 URLs gleichzeitig, Live-Updates statt Polling-Wartespiel. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-08 17:47:05 +02:00
Benjamin Admin	f4357a2e9b	feat(agents): Specialist-Agents Phase 2 Foundation + Cookie-Policy-Agent ... Sprint 1 — Foundation (User-Vorgabe 2026-06-08): Foundation: - _base.py: BaseSpecialistAgent ABC + Pydantic Contract (AgentInput/AgentOutput/Finding/Recommendation/McCoverage/EscalationLog). - _base.lint_output(): Disclaimer-Linter verbietet "rechtssicher" / "garantiert" / "gesetzeskonform" — scrubbed inline + Log in notes. - _registry.py: AgentRegistry mit MC-Owner-Mapping (verhindert Doppel-Ownership). - _escalation.py: cascade(local → ovh). qwen2.5:7b default, OVH 120b als Stage-2 (deaktiviert wenn OVH_URL leer). - _rollup.py: deterministisches Dedup ähnlicher actions zu Recommendations mit related_finding_ids[]. - _evidence_vault.py: Pro-Run File-Vault für Playwright-Videos, Screenshots, CSV. SHA256 + manifest.json. DSR-tauglich (delete_run). Agenten: - ImpressumAgent v2 (impressum/agent.py + mcs.py) — konsolidiert v1-Pattern-Match + v2-LLM-MVP unter dem neuen Contract. 12 MCs. - CookiePolicyAgent v1 (cookie_policy/agent.py + mcs.py) — 12 MCs zu Cookie-Richtlinie-Vollständigkeit + KB-Layer für CMP-Vendor-Cross-Check. Tests: 25/25 grün (10 Impressum + 9 Vault + 6 Cookie-Policy). Roadmap: SSE-Test-Endpoint + Frontend-Tab → DSE/AGB-Agents → Cookie-Banner-Themen-Agent → Cross-Doc-Konsistenz-Agent. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-08 17:40:05 +02:00
Benjamin Admin	d208a2bde2	feat: Mail-Restrukturierung + B22 Cross-Domain-Doc-Detector ... User-Feedback BMW v5: "740 Cookies verschwunden auf 31, Übersicht verloren". Drei Anpassungen: Mail-Restrukturierung (_executive_summary.py + _compose.py): - render_executive_summary(): Top-of-mail TL;DR mit Compliance-Score (gross + farbig), Top-3-Findings nach Severity, Cookie-Statistik (deklariert/Browser/Drittland), Severity-Verteilungs-Chips. - collapsible(): wrapt jeden Block in <details>/<summary>. Mailpit + alle modernen Mail-Clients rendern das nativ. - _compose.py: alle 18+ B-Blöcke + per_doc + per_theme + legacy_html in Akkordeons. NUR Critical-Findings + Sofort- massnahmen sind immer offen — Reviewer sieht ~15 Zeilen Übersicht und klappt selektiv auf. - Cookie-Inventar (742) hat jetzt eigene Sektion ganz oben (Akkordeon "🍪 Cookie-Inventar"), Vendor-Karten parallel. B22 Cross-Domain-Legal-Doc-Detector (cross_domain_doc_check.py): Real-Beispiel User-Feedback: Elli's AGB liegt auf docs.logpay.de statt elli.eco. Detektor erkennt SLD-Mismatch: - HIGH bei agb / widerruf (vertragsrelevant) - MEDIUM bei dse / nutzungsbedingungen - INFO bei cookie / impressum (Best-Practice) Norm: DSGVO Art. 28 (AVV-Pflicht für Hosting) + Art. 13 Abs. 1 lit. e (Empfänger) + § 312i BGB (Cool-URLs). 9/9 Tests grün inkl. Elli/LogPay Pattern. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-08 11:35:55 +02:00
Benjamin Admin	c908fcd5eb	feat(b19): Cookie-Coherence — 3-Layer-Lookup + Vendor-Karten + CSV ... Adressiert das BMW-Beispiel (740 Cookies, Salesforce als "essential" mit 1-Jahres-Lifetime, Pseudo-Zwecke wie "Siehe dazugehörige Datenverarbeitung"). User-Konzept "Regulation als Code". Step 1 — cookie_library_lookup.py (3 Layer): 1. Override = cookie_knowledge_db.py + extended (74) für Schrems-II / EUGH / EU-Alternative — BreakPilot-juristische-IP. 2. Truth-Base = compliance.cookie_library (2287 aus Open Cookie Database, CC0). actual_category als Wahrheit. 3. Auto-Learning = cookie_behavior_audits — Cross-Site-Konsens wenn ≥3 Sites denselben Cookie melden. Match: exact > prefix (mit Separator-Check) > wildcard. Kurze Library-Namen ("c", "ID") brauchen exact-match — verhindert False-Positive auf "completely_unknown". Trailing-Underscore in OCD ("guest_uuid_essential_") wird als implicit-wildcard interpretiert. Step 2 — cookie_coherence_check.py (B19, 6 Finding-Typen): - MARKETING_AS_ESSENTIAL (HIGH): KB sagt actual=marketing, Site deklariert essential/erforderlich → Einwilligung wird umgangen - LIFETIME_TOO_LONG_FOR_ESSENTIAL (MED): essential + >90d - PSEUDO_PURPOSE (LOW): "Siehe dazugehörige Datenverarbeitung" / <4 Wörter (suppressed wenn Vendor-Purpose substantial ist) - MISSING_COUNTRY (LOW): vendor_country leer trotz KB-Hit - UNKNOWN_VENDOR (LOW): nicht in KB → Auto-Learning-Kandidat - DUPLICATE_VENDOR (MED): selber Vendor in N Kategorien = Stack-Aufspaltung um Marketing unter "essential" zu schmuggeln Jedes Finding mit recommended_action ("Cookie X aus 'erforderlich' raus und in 'Marketing' setzen"). Step 3 — cookie_observation_logger.py: Loggt nach jedem Audit alle (cookie, site, declared_purpose) in compliance.cookie_behavior_audits → Basis für Cross-Site-Konsens in Layer 3. Step 4 — cookie_csv_exporter.py: cookies-full-{check_id}.csv mit 21 Spalten (Name, Vendor decl/KB, Cat decl/KB, Lifetime decl/KB, Country, Opt-Out, 8x FIND_* flags, recommended_action). UTF-8 BOM für Excel. ZIP-Attachment: erweitert audit_walk_zip_builder um extra_files= parameter; phase_e ruft mit cookies-full-...csv auf. Step 5 — mail_render_v2/_vendor_cards.py: Statt 740 Cookie-Rows: Aggregation pro Vendor mit Cookie-Count + Issue-Count + 1-2 Beispiel-Cookies + Issue-Type-Tags. Top 30 Vendoren in der Mail, Rest nur in CSV. Sortiert nach Issue-Score. Step 6 — render_info_box_rechtsrahmen(): Generic Header-Info-Box mit Art. 13 DSGVO + § 25 TDDDG + Art. 5 + § 5 UWG + § 30/130 OWiG. Immer angezeigt, kein explicit- finding-mapping (User-mündigkeit). Orchestrator + _compose: run_b19 + render_vendor_cards + render_info_box_rechtsrahmen ins V2-Layout. Tests: 28/28 grün (15 lookup + 13 coherence). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-07 23:48:04 +02:00
Benjamin Admin	0b29d1fada	fix(cookie-inventory): fuzzy prefix-match + BMW-GT-File ... BMW-Mail zeigte 738 deklariert / 31 Browser / **0 OK** — alle Browser-Cookies landeten als UNDOC, alle deklarierten als ORPH. Ursache: exact-string-match scheitert bei Suffix-Cookies. _norm_for_match() + _matches() Helper: - Strippt Wildcards (`*`, `.*`, `<id>`, `{var}`) + Lower-Case - Erhält führende Underscores (`__cf_bm`, `_ga` sind meaningful) - Prefix-Match in BEIDE Richtungen, min 3 Chars (kein "_"-Garbage) build_cookie_inventory(): - Für jeden Browser-Cookie: längster Prefix-Match in declared wählen - browser-to-decl Index + decl-match-Index für O(N×M) → O(N+M) - matched browser-keys werden aus all_keys entfernt → kein Double-Count (vorher: ORPH + UNDOC parallel) Realistischer BMW-Match-Test: declared=[_ga, _gid, __cf_bm, AMP_TOKEN, _fbp, intercom-session, _pk_id.*, OptanonConsent] browser= [_ga_K8YL3M9T, _gid_xyz, __cf_bm_actual_hash, AMP_TOKEN_runtime, _fbp_123, intercom-session-2026, _pk_id.5.7d8, OptanonConsent] → 8 OK (vorher 0) BMW-GT-File (zeroclaw/docs/ground-truth/bmw_de_2026-06-07.json): - OneTrust CMP + 14 erwartete Vendoren - Cookie-Count-Ranges (browser 80-250, deklariert 300-800) - 7 expected findings inkl. neuem COOKIE-INVENTORY-MATCH-001 als Benchmark gegen den Fuzzy-Match-Bug Tests: 14/14 grün (4 _norm_for_match + 5 _matches + 5 build_cookie_inventory inkl. realistic_bmw_pattern). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-07 21:29:21 +02:00
Benjamin Admin	e8ff75cbfe	feat: Backlog 1-5 — soft-hints, chatbot-discovery, API-payload, LLM-Agent ... 5 Backlog-Items aus dem Multi-Site-Briefing in einem Sprint: 1. B13 B2C-Soft-Hints — Versicherungs/Tarif/Buchungs-Marker _B2C_WEAK erweitert um "Reiseversicherung", "Tarifrechner", "Online-Antrag", "Flug buchen", "Stromtarif" etc. Fängt Allianz-Reise-Chatbot (vorher False-Negative). 2. Chatbot-Policy-Discovery (chatbot_policy_discovery.py) Probt 14 Standard-Slugs (privacypolicychatbot, chatbot-datenschutz, ai-policy, ki-datenschutz, ...) × 5 Lang-Prefixe auf jeder submitted Origin. Successful >300-Wort-Findings werden in doc_texts['dse'] gemerged. Audit-Trail über doc_entries[dse].chatbot_policy_sources. Hebt Westfield-iAdvize-Lücke. 3. API-Response-Payload erweitert phase_f_persist.response um extra_findings, audit_walk und html_blocks erweitert. B-Wiring-Output (B1, B3-B18) ist nicht mehr nur im Mail-HTML versteckt — externe Aufrufer sehen jeden Finding. Schema additiv, legacy clients ignorieren neue Felder. 4. Plausibility-LLM Empty-Response-Fix Resilienz-Strategie A→B→C→D: A) format='json' (strict, default) B) format='' (loose, _try_extract_json mit ```json-fence + prose- wrap-Unterstützung) C) Split-Batch-Recursion (vorhanden) D) Give up, leeres dict (callers behandeln als skipped) Plus _post_llm() als isolierter LLM-Call-Helper, catched Network-Errors. 5. Specialist-Agents Phase 2 LLM (MVP) — Impressum-Agent impressum_agent_llm.py: qwen3:30b-a3b mit § 5 TMG System-Prompt, business_scope-hints aus profile_dict. Output identisches Schema wie pattern-agent für ein Merge ohne API-Bruch. _b18_wiring.py orchestriert beide Agents + deduplet nach field_id, rendert lila V2-Block mit KB/LLM-Tags pro Finding. Pattern-first im Dedup (deterministisch + stable). Tests: 107/107 grün (7 Test-Suites + chatbot-discovery + b18). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-07 18:41:54 +02:00
Benjamin Admin	c7d2038ad9	feat(b17): DSMS-CID-Anchor für Audit-Walk-Video (Stufe 3, #7) ... Video + walk.json werden nach Aufnahme zu DSMS-IPFS hochgeladen. Die zurückgegebenen CIDs sind manipulationssichere Audit-Anker — Reviewer können das Walk-Video Monate später noch verifizieren und auf Unverändertheit prüfen. consent-tester: - _upload_to_dsms(): Best-Effort-Upload zu /api/v1/documents (Bearer-Token, document_type=audit_walk_video|meta). DSMS-Down bricht den Walk nicht ab — CID fehlt einfach im result. - record_audit_walk(): nach video.webm + walk.json erzeugt, beide hochladen. walk.json wird re-written sodass es BEIDE CIDs selbstreferenziell enthält. - ENV: DSMS_GATEWAY_URL + DSMS_BEARER konfigurierbar. backend: - _b17_wiring._publicize_gateway_url(): DSMS gibt intern http://dsms-node:8080/ipfs/{cid} zurück. Für die Audit-Mail wird das via env DSMS_PUBLIC_GATEWAY (default https://dsms-dev.breakpilot.ai) durch eine extern erreichbare URL ersetzt. - Render-Block: gelber DSMS-Anchor-Hinweis mit Video-CID + walk.json-CID, beide als klickbare Links zur public Gateway. Real-World-Smoke gegen Elli: - Video-CID: QmbdFwtSymPuWGYYdC6eNZ1eEvVLsTYmoRRxEo5L6BXgwt - walk.json-CID: QmWaTqwZq4KVd5wYFVAKB12uZtAosPqoG1X4m1azysXYJi - DSMS-Upload erfolgreich, gateway_url im response Tests: 12/12 grün (+2 für DSMS-Anchor-Render-Pfade inkl. Internal-Host → Public-Gateway-Rewrite). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-07 17:32:34 +02:00
Benjamin Admin	80c4778017	feat(b17): Akkordeon-Expansion im Audit-Walk (Stufe 2, #7) ... Nach jedem Compliance-Doc-Aufruf werden alle Akkordeons / <details> / [aria-expanded=false] / Trigger-Patterns geklickt und im Video aufgenommen. - _expand_accordions(): 7 Selektor-Patterns, max 25 Expansionen pro Seite, Dedup nach inner_text (verhindert Endlos-Loops bei nesteten Strukturen). Scroll-into-view + click + 400ms warten sicher dass das Klick-Result im Video erfasst wird. - _visit_link(): Returns (nav_event, expand_event) Tuple. Expand läuft nur bei HTTP 2xx + ohne nav-error. - 1500ms post-expand wait gibt der Kamera Zeit, den finalen Zustand mitzuschneiden. Backend B17 render: "expand_accordions" Action wird als "5 Akkordeon/Details-Sektion(en) entfaltet" gerendert. Bei 0: "Keine Akkordeons gefunden" (neutraler Hinweis, kein Fehler). Real-World-Smoke gegen Elli: Impressum: 0 Akkordeons (keine) Datenschutzerkl: 5 Akkordeons aufgeklappt Nutzungsbeding: 0 Akkordeons Video-Größe verdoppelt sich (581 KB → 1.14 MB) — Reviewer sieht jetzt den vollen DSE-Vendor-Tabellen-Inhalt im Video. Tests: 10/10 grün (+2 für Akkordeon-Render-Pfade). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-07 17:23:55 +02:00
Benjamin Admin	cb4b352846	feat(b17): Playwright Audit-Walk-Video (Stufe 1, #7) ... Nimmt einen kompletten Site-Walk als WebKit-Browser-Session inkl. Video auf. Reviewer kann nachträglich exakt nachvollziehen, wie die Engine zum Befund kam. consent-tester: - services/audit_walk_recorder.py: Playwright record_video_dir, iPhone-Viewport-free 1280×800. Goto homepage → Banner-Accept (Best-Effort: 12 Text-Phrasen + 5 CMP-Fallback-Selektoren) → Footer-Links sammeln (compliance-relevant gefiltert) → pro Link navigate + Dwell-Time → JSON-Action-Index mit UTC-Timestamps + SHA-256 vom Video als Manipulation-Schutz. - routes_audit_walk.py: POST /scan-audit-walk; statische Serves für /audit-walks/{walk_id}/video.webm + walk.json. - main.py: Router registriert. backend: - _b17_wiring.py: Triggert /scan-audit-walk, speichert Walk-Metadata in state["audit_walk"]. Render-Block mit HTML-Tabelle aller Actions (HH:MM:SS + Aktion + Detail) + Links zu Video und walk.json. - _orchestrator.py: run_b17 nach run_b16, async-aufgerufen. - mail_render_v2/_compose.py: audit_walk_html im V2-Layout. - test_b17_audit_walk.py: 8 Tests (Render-Pfade + Wiring). Stufe-2 (Akkordeon-Expansion) und Stufe-3 (DSMS-CID-Anchor) folgen separat. Real-World-Smoke gegen Elli: - 581 KB Video, SHA-256 verifizierbar - 3 Footer-Links besucht (Impressum, Datenschutzerkl., Nutzungs-) - 6 Actions im JSON-Index Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-07 17:20:13 +02:00
Benjamin Admin	529c032641	fix(b9+b14): Real-World-Smoke-Befunde aus Elli-Audit (2026-06-07) ... Smoke gegen www.elli.eco hat 3 Bugs offengelegt, die in den synthetischen Tests nicht greifbar waren — Real-Texte haben Abkürzungen, HTML-Stripping-Artefakte, andere Formulierungen. B9 Multi-Entity-Impressum — vorher: 13 "Entities" statt 2. - Block-Boundary jetzt HRB-Anker-basiert (jeder HRB-Eintrag markiert eine Entity). Robuster als Legal-Form-Anker, der bei "Programmierung der Webseite Acme GmbH" über-matchte. - _NAME_BLOCKLIST gegen 11 typische False-Positives (programmierung, webseite, umsatzsteueridentifik, ...). - _LEADING_NOISE_RE strippt Email-TLD-Artefakte ("eco "), deutsche Artikel ("Die "), URL-Fragmente. - _USTID_PAT fängt jetzt auch die Vollform ("Umsatzsteueridentifikationsnummer der … ist DE…") über eine zweite Pattern-Alternative mit [\s\S]{0,80}? Bridge. - Dedup gleicher Entity-Namen — Mehrfacherwähnung in einem Doc zählt als EINE Entity. - Fallback auf alten Legal-Form-Anker wenn keine HRBs vorhanden (z.B. e.V. ohne HR-Pflicht). B14 Retention-Conflict — Anchor-Liste erweitert: - "protokolldat" / "protokollierung der zugriffe" / "zugriffsdat" / "zugriffsprotokoll" als zusätzliche Logfile-Anchors (Elli's reale DSE-Wortwahl statt "Logfile"). B15 AI-Legal-Basis — kein Code-Fix. Elli's aktuelle DSE enthält keine LLM-Provider-Erwähnung mehr; der GT-Anker (2026-06-06) ist seither veraltet. 0 Findings ist korrekt für den aktuellen Stand. Tests: 3 neue Real-World-Regression-Tests in test_impressum_multi_entity_check.py::TestRealWorldElliPattern. Combined: 75/75 grün. Real-World-Smoke gegen Elli (HTTP→Text via crude strip): B9: Entities 13→2 ✓, IMPRESSUM-MULTI-UST_ID → VW ✓ B13: 1 Finding (b2c_strong) ✓ B14: 0 (Elli hat aktuell nur EINEN Retention-Wert für Logs) B15: 0 (LLM nicht erwähnt, korrekt) B16: 3 Findings (impressum/dse/cookie Standard-Slug-Brüche) ✓ Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-07 08:50:46 +02:00
Benjamin Admin	8e3d05f172	test(elli-gt): GT-Coverage-Integration-Test + Sprint-Briefing ... - tests/test_elli_gt_coverage.py: 7 Charakterisierungstests die einen synthetischen Elli-State konstruieren und sicherstellen, dass die 5 neuen Detektoren (B13-B16 + B9-Cleanup) genau die erwarteten GT-IDs fangen. Regressionsschutz. - zeroclaw/docs/audits/2026-06-06-elli-gt-coverage-sprint.md: Sprint-Zusammenfassung mit GT-Bilanz (12/13 voll, 1/13 wartet auf #7), Commit-Liste und Morgen-Agenda-Kandidaten. Combined Sprint-Test-Run: 72/72 grün. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-07 00:28:29 +02:00
Benjamin Admin	65e8bb9d42	feat(b16): Footer-Label-vs-URL-Slug-Drift-Check (GT URL-STRUCTURE-001) ... Erkennt: gängige Footer-Labels / Bookmark- + SEO-Erwartungs-Slugs (z.B. "Cookie-Richtlinie", "AGB", "Datenschutzerklärung") liefern 404, während das Doc tatsächlich unter einem abweichenden Slug ausgeliefert wird. GT-Anker (Elli URL-STRUCTURE-001): Footer-Label "Cookie-Richtlinie" → /cookie-richtlinie 404 Real: /de/cookies → externe Bookmarks und Google-Treffer brechen. Heuristik: - Aus auto-discovered URLs Origin + Sprach-Prefix extrahieren (z.B. /de, /de-de) - Pro doc_type 2-4 kanonische Standard-Slugs probieren (parallel via ThreadPoolExecutor, 2s Timeout, HEAD → GET fallback bei 405) - Wenn alternative Slug 404/410 → LOW Finding pro doc_type - Probe-Cap auf 18 Requests gesamt (Network-Noise-Schutz) - Abschaltbar via URL_SLUG_PROBE_DISABLED=1 Severity: LOW (Best-Practice, kein juristisches Hardfail). Tests: 13/13 grün (Strip-Helper 4 + Origin-Helper 3 + Check-Pfade 6 inkl. mocked _head_status). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-07 00:23:25 +02:00
Benjamin Admin	b0b7f80914	feat(b15): AI-Act Rechtsgrundlage-Check (GT AI-ACT-RISK-001) ... Erkennt: LLM/GPAI-System (Vertex AI, OpenAI/GPT, Claude) wird in DSE oder Cookie-Doc auf Art. 6 Abs. 1 lit. f (berechtigtes Interesse) gestützt — statt auf lit. a (Einwilligung). GT-Anker (Elli AI-ACT-RISK-001): Vertex-AI-Chatbot mit lit. f deklariert. Bei LLM-Prompt/Output-Logging + US-Transfer + Profiling-Ähnlichkeit ist Interessenabwägung fragwürdig. Heuristik: - KB-basiert (chat_providers.json filter: ai_capable + LLM-Type-Hint) - LLM-Vendor-Aliases inkl. Marken-Familien (PaLM, Gemini, GPT-4, ChatGPT, Claude 3, Azure OpenAI) - Absatz-Boundary-Scope: Provider + lit. f im selben Absatz - Negativ-Filter: wenn lit. a / Einwilligung ebenfalls im Absatz → kein Finding (Side-Purpose-Erwähnung) - Dedup pro (doc_type, provider_id) Severity: MEDIUM. Norm: DSGVO Art. 6 Abs. 1 lit. a vs lit. f + AI Act Art. 50 + 51. Tests: 17/17 grün. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-07 00:15:08 +02:00
Benjamin Admin	6aad774fc1	feat(b14): widersprüchliche Speicherdauer im selben Doc (GT TH-RETENTION-001) ... Erkennt: in derselben DSE / Cookie-Richtlinie nennt der Anbieter für DIESELBE Datenkategorie mehrere unterschiedliche Speicherdauern. GT-Anker (Elli): Logfiles "7 Tage" + "30 Tage" im selben DSE → eine Angabe ist falsch oder veraltet. Heuristik: - Satz-Boundary-Scope (kein ±N-Zeichen-Fenster) verhindert Cross-Category-Leakage - Pro Satz: Kategorie-Anchor + Retention-Werte beide drin - Tag-Cluster mit ±20 %-Toleranz: "30 Tage" und "1 Monat" = 1 Cluster; "7 Tage" und "30 Tage" = 2 Cluster → Finding Kategorien (Phase 1): - logfile, contact_form, application, newsletter, invoice, session_cookie Severity: MEDIUM (DSGVO Art. 5 Abs. 1 lit. a + Art. 13 Abs. 2 lit. a). Tests: 11/11 grün (Cluster-Logik 5, Check-Pfade 6, inkl. Cross- Category-Leakage-Regression). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-07 00:12:00 +02:00
Benjamin Admin	8b9cad88ae	fix(b9): clean entity names in multi-entity-impressum (GT IMPRESSUM-001) ... Der Multi-Entity-Check fängt Elli's USt-IdNr-Lücke (VW Group Charging GmbH hat keine, Elli Mobility GmbH hat eine), aber Entity-Namen waren mit Header-Noise verunreinigt: 'Impressum\n\nVolkswagen Group Charging GmbH' 'eco\n\nElli Mobility GmbH' Behoben: - _ENTITY_PAT lässt nur Space im Namen zu (kein \s/\n mehr) - _clean_entity_name() trimmt Header-Worte (Impressum, Anbieter, ...) und nimmt nur die letzte Zeile vor Legal-Form-Suffix - 11 neue Tests, davon einer mit Elli-like Impressum als Charakterisierungs-Test Damit ist die finale Finding-Ausgabe für Audit-Reports lesbar ('Fehlt bei: Volkswagen Group Charging GmbH') statt verunreinigt. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-07 00:08:18 +02:00
Benjamin Admin	b9baa8c603	feat(b13): Widerrufsbelehrung-Reachability-Check (GT WIDERRUFSBELEHRUNG-001) ... Erkennt B2C-Shop ohne öffentlich erreichbare Widerrufsbelehrung. Schließt eine der offenen GT-Lücken aus dem Elli-Audit. Signale: - doc_entries[widerruf]: discovery_attempted=True + Text leer - kein Footer-Link auf Widerruf/cancellation/rückgabe - B2C-Scope: Warenkorb/Kasse/Bestellung/MwSt/Wallbox/Tarif (strong) vs Shop/Produkt/Rechnung (weak, ≥2 = likely) - B2B-only-Override: "ausschließlich an Unternehmer" etc. Severity: - HIGH bei b2c_strong - MEDIUM bei b2c_likely - kein Finding bei b2b_only / unknown (False-Positive-Schutz) Norm: Art. 246a § 1 Abs. 2 Nr. 1 EGBGB i.V.m. § 312d BGB. Wiring: - widerrufsbelehrung_reachability_check.py — Check + Scope-Detection - _b13_wiring.py — Render + state-Anschluss - _orchestrator.py — run_b13 nach run_b12 - mail_render_v2/_compose.py — widerruf_reach_html-Block Tests: 13/13 grün (Scope-Detection 5 + Check-Logik 8). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-07 00:04:41 +02:00
Benjamin Admin	bcf1bfa038	test(template-rules): pytest suite for backend foundation (Phase 1.6) ... Adds tests/test_template_rule_routes.py with: - Schema tests (Pydantic validation: condition, clause, version create, submit-for-review change_summary, override create, recommendation request) - Clause evaluator (eq, neq, in, not_in, gte with string buckets, exists, truthy) - Condition evaluator (all/any kinds, empty clauses always pass) - Recommendation profile tests (table-driven): * AI-Startup with 2 employees gets ai_usage_policy but not whistleblower * 1000+ employee corporate gets whistleblower * Always-rules (impressum) apply to anyone * Third-country transfer triggers TIA unless DPF/adequate - Tenant override tests: * Override changes classification (required → optional with override_applied flag) * NULL override disables rule completely Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-06 23:19:22 +02:00
Benjamin Admin	d0e3621192	feat(audit): V2 mail render + 5 new findings (B4/B5/B6/B7/B8) + LLM-Plausibility-Phase ... Mail Render V2 (compliance/services/mail_render_v2/) — 11-Modul-Subpackage das einen einheitlichen Audit-Mail-Output erzeugt mit: - Header + KPI-Kacheln (Score / Findings / Docs / Vendors) - TOC + Sprung-Links - 3-Bucket-Trennung: Kritische Befunde / Manuelle Prüfung / Interne Reminder - Cookie-Inventar (Name·Vendor·Kategorie·Speicherdauer·Löschfrist·Sitzland·Quelle·Status) - Sofortmaßnahmen-Aggregator ("Sitzland ergänzen für 11 Cookies") - 24 Legacy-Wrappers — alle alten build_*_html in V2-Sections - Scope-Filter: FIN/GOV/MED/INS/EDU/LEG aus Berichten wenn nicht relevant - Hint/Action-Dedup: keine doppelten Sätze pro Card mehr Aktiviert via env MAIL_RENDER_V2=true (Default: legacy renderer). 5 neue deterministische Findings als Phase D-2b/B4/B5/B6/B7/B8: B4 vendor_consistency_check — Cross-Doc-Provider-Widerspruch (Elli: DSE nennt Vertex AI für Chatbot, /de/cookies nennt Iadvize → HIGH). 6 Service-Types: chatbot/analytics/tag_manager/pixel/cdn/cmp. B5 ai_act_transparency_check — AI Act Art. 50 Transparenzpflicht (Elli: Vertex AI vorhanden ohne Pre-Chat-Disclosure → HIGH). Plus B5-Erweiterung: Rechtsgrundlage Art-6-Abs-1-lit-f bei AI → MED (Einwilligung empfehlen). B6 cross_doc_dpo_check — DPO in DSE genannt, nicht im Impressum (LOW). B7 doc_staleness_check — Datum-Extraktion aus DSE/AGB/Nutzungsbedingungen. Cap: AGB/NB 3y, DSE 2y. Älter → MEDIUM (Elli NB Stand 2018 → HIGH). B8 cmp_fingerprint_check — Banner detected, aber CMP-Provider generic (kein Usercentrics/OneTrust/Cookiebot/etc → MED). B3-Erweiterung detect_intra_doc_contradictions — Widersprüchliche Speicherdauer im SELBEN Doc (Elli: Logfile 7d vs 30d → HIGH). LLM-Plausibility-Phase (Phase D-2b, finding_plausibility_check.py): - Läuft AFTER MC pipeline, BEFORE D3 render - Prompt mit Beispiel-IDs + 3-Phase-Mapping: exact-ID / position-fallback / fuzzy-tail-match - Stempelt llm_title / llm_severity / llm_recommendation / llm_drop auf jeden FAIL CheckItem - V2-Render zeigt "🤖 LLM-Plausibility:" Box pro Finding wenn gestempelt - KNOWN ISSUE: qwen3:30b-a3b liefert oft empty content auf format='json' + 8000-char-excerpt prompts. Pipeline läuft mit stamped=0 weiter. Task #16. Coverage gegen Elli Ground Truth (zeroclaw/docs/ground-truth/elli_eco_2026-06-06.json, 13 expected findings via WebFetch-Agent-Crawl): - 4/4 HIGH-Findings ✓ (COOKIE-CONSENT-UX-001 + WIDERRUFSBELEHRUNG-001 + VENDOR-CONSISTENCY-001 + AI-ACT-TRANSPARENCY-001) - 4/6 MEDIUM ✓ - 2/3 LOW ✓ - Total: 10/13 = 77% (Sprung von 4/13 = 31%) Restliche 3 Gaps als Task #17: IMPRESSUM-001 (multi-entity USt-IdNr), TRANSFER-001 (Vendor-Mechanismus DPF/SCC), TH-RETENTION-002 (AI-Retention pro Datenkategorie). V2-Mail-Preview in Mailpit: 'v2all@local.test' Subject '[V2 ALL] ELLI'. Backend healthy, B1+B3+B4+B5+B6+B7+B8 alle live im Orchestrator. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-06 21:19:49 +02:00
Benjamin Admin	c2c8783fee	refactor(agent-check): split routes file (2692→347 LOC) + wire B1/B3/A1 [guardrail-change] ... Phase-5 split of agent_compliance_check_routes.py — the 2700-line monolith was decomposed into 19 modules in compliance/api/agent_check/: - Phase A-F: resolve / profile+check / banner+TCF / vendors raw+finalize / HTML blocks top+mid+bot / email / persist - Helpers: _constants, _helpers, _fetch, _discovery, _single_check - Schemas + State + thin _orchestrator A1 ZIP-Anhang nativ in _phase_e_email: evidence_zip_builder.py bundles slices + manifest.json + audit_metadata.json (SHA256 per slice + build_sha + source_url). smtp_sender.py erweitert um attachments-Parameter. B1 COOKIE-CONSENT-UX-001 (Mobile Reachability): consent_reachability_check.py parses footer anchors, classifies intent (reopen_cmp / info_only / browser_deflect) + target (same_page_cmp / new_tab / external). _b1_wiring.py fetches homepage with iPhone-UA + renders Art-7-Abs-3 severity-coloured block. B3 TH-RETENTION (Cross-Doc Speicherdauer): retention_comparator.py compares DSI claim ↔ cookie-table duration ↔ actual Max-Age/expires with 5% tolerance + severity hierarchy (dsi_under_actual HIGH, table_under_actual HIGH, dsi_vs_table MEDIUM, actual_under_table LOW Safari-ITP-Hint). _b3_wiring.py + Top-10 mismatches table in mail. Side-effects: - Fixed silent UnboundLocalError in original Step 5 (gf_one_pager used audit_quality_findings before declaration, caught by surrounding except → block never rendered). New _phase_d3_blocks_bot.py runs audit-quality FIRST. - agent_compliance_check_routes.py removed from loc-exceptions.txt ("Phase 5 split target" — done). Tests: 55/55 grün (B1 22 + B3 27 + saving_scan 6). E2E: smoke against Elli DSE+Cookie produced HIGH/missing B1 finding, TH-RETENTION table (17 cookies / 3 ✓ / 3 ✗ / 11 ?), evidence-zip with 2 slices + manifest + audit_metadata (12089B, SHA256-chained, source verified), email sent (attachments=1). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-06-06 14:47:25 +02:00
Benjamin Admin	6baf44ac84	fix(mc-audit): TOM/AVV case-mismatch + Ausnahmen-Pattern Wortabstand ... - _PROCESS_INTERNAL_PATTERNS: Patterns wurden gegen lowercased Blob geprueft, aber Case-sensitive geschrieben (TOM/AVV/SCC). Matchen nie. Auf lowercase normalisiert. - "Ausnahmen ... dokumentieren": Pattern war zu eng, verlangte direkte Adjazenz. Jetzt bis zu 60 Zeichen Wortabstand. - Test-Suite mit 22 kuratierten DSGVO/AI-Act/eCall-MC-Labels. Alle gruen (vorher 2/22 FAIL — beide vom User explizit als Beispiele genannt: TOM, Ausnahmen). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-22 11:51:03 +02:00
Benjamin Admin	8cbb513e2c	feat(audit): Phase 1 Quick-Wins (P81 + P85 + P70 + P83) + TCF DELETE/INSERT-Fix ... P81 — tests/fixtures/golden_truth/vw_de.json: GT-Fixture mit must_find_cookies (47 VW-Cookies) + expected_vendors (Google, Adobe, Trade Desk, ...). Basis fuer kuenftige Regression-Tests. P85 — banner_screenshot_block.py + consent_scanner.py + main.py: consent-tester macht beim Banner-Detect einen base64-PNG-Screenshot (< 1.5MB). Backend rendert ihn als <img src="data:..."> direkt nach dem GF-1-Pager. Visueller Beweis 'so sah das Banner aus' fuer Dispute mit Marketing/DSB. P70 — rag_provenance.py: classify_finding_provenance() klassifiziert ein Finding als 'rag' (Norm + Quelle), 'mixed' (Norm ohne Quelle) oder 'heuristic' (eigene Interpretation). provenance_badge_html() rendert kleine Badges (✓ RAG / NORM / ⚠ HEURISTIK). Modul ist generisch, kann bei jedem Finding-Renderer einklinkt werden. P83 — scripts/check-rebuild-needed.sh: Prueft ob die im Container deployten BUILD_SHA mit local HEAD uebereinstimmen. Bei Mismatch exit 1 mit 'REBUILD REQUIRED'-Hinweis. Verhindert das 'alter Code im Container'-Problem das uns mehrfach erwischt hat (Frontend-Tabs sichtbar, Backend ohne neuen Service). TCF-Fix — tcf_vendor_authority.py: cookie_library hat keinen UNIQUE-Index auf cookie_name → ON CONFLICT war unmoeglich. Loesung: vor Insert DELETE WHERE source_name='iab_tcf_v2'. Idempotent. + per-Vendor-Commit damit ein Fail die naechsten nicht blockt. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-22 08:24:46 +02:00
Benjamin Admin	081e4f057a	feat(audit): Cookie-Compliance-Audit (3-Quellen-Vergleich) + Vendor-Dedup + Block-Parser ... ZENTRALER USP: cookie_compliance_audit.py vergleicht 3 Quellen * DEKLARIERT in Cookie-Richtlinie (parse_cookie_table + parse_flat) * TATSAECHLICH im Browser geladen (banner_result.phases.after_accept) * LIBRARY-Metadaten (cookie_library lookup) Liefert 3 Listen mit Compliance-Verdict: * compliant (deklariert UND geladen) — gruener Block * undeclared_in_browser (geladen NICHT deklariert) — ROTER HIGH-Block → Art. 13(1)(c) DSGVO + § 25 TDDDG Verstoss * declared_not_loaded (deklariert NICHT geladen) — gelber Hinweis → Tabelle moeglicherweise veraltet parse_cookie_table erweitert um Block-Format (5 Zeilen pro Cookie wie beim User-Copy aus VW). Findet 35+ Cookies aus Copy-Paste statt 0. vendor_normalizer.py: 50+ Aliases (Google-Familie, Adobe-Familie, Trade Desk, AdForm, ...) + Garbage-Filter (URLs, leere Strings, 'click to select', 'Mehrere OEMs'). Mergt cookies-Listen beim Dedup. _guess_vendor erweitert: Adobe-Familie (s_ecid/AMCV/demdex/mbox/...), Trade Desk (TDID/TDCPM/TTDOptOut), AdForm (uid/cid/otsid), Salesforce LiveAgent, etracker, Akamai, EDAA. audit_quality_checks: vendor-thin-Threshold jetzt dynamisch nach Cookie-Doc-Wörter (3k→10 / 6k→20 / 10k→30 / 15k+→40). VW-Test-Fixture: tests/fixtures/cookie_gt/vw_cookie_richtlinie.txt (36-Cookie-Sample fuer Regression-Tests). Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-21 23:36:45 +02:00
Benjamin Admin	7335f64f4f	feat(founding-wizard): Per-Person IP-Assignment + Prefill + E2E-Tests ... Wizard unterstuetzt jetzt 2-4 Gesellschafter mit individuellem IP-Bereich: - Pro Gruender ein IP-Assignment-Vertrag (z.B. Benjamin: Compliance+RAG; Sharang: Security+Infrastruktur). Pro GF ein eigener Dienstvertrag. - Step 1: Prefill-Button aus Unternehmensprofil + Felder Registergericht und HRB-Nr. - Step 2: Rollen-Dropdown (CEO/CTO/CFO/COO/CPO/GF/Sonstige) statt freie Texteingabe, IP-Bereiche-Textarea pro Person. Backend: - generate_documents() iteriert pro Person fuer PER_PERSON_DOCS. - _build_person_context() injiziert ASSIGNOR_*, GF_*, IP_LIST_DETAILS aus person.ip_areas. - base_context() propagiert basics.register_court und basics.hrb_number. Tests: - 30/30 Pytest gruen (6 neue: Per-Person-Context, Slug-Helper, Registergericht-Propagation). - 4 neue Playwright-E2E-Specs (hermetisch via route.fulfill, mit Console-/Page-Error-Traps): kompletter 8-Step-Flow, Prefill-Fehlerpfad, Step-Navigation/Reset, Rollen-Dropdown + IP-Areas. - Spec setzt 'bp-sdk-cookie-consent' im addInitScript damit der CookieBannerOverlay nicht die Wizard-Buttons ueberlagert. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-21 18:49:10 +02:00
Benjamin Admin	badb356740	fix(founding-wizard): nested IF-Bloecke korrekt aufloesen (innermost-first)	2026-05-20 19:21:08 +02:00
Benjamin Admin	7a5f1e48dd	feat(founding-wizard): Gründungs-Wizard für 2-Mann GmbH + 14 Notar-Templates ... [migration-approved] Templates (Migrations 123-136): - 123 GO-GF (Geschäftsordnung Geschäftsführung) - 124 SHA (Shareholders' Agreement, 56 Platzhalter) - 125 Satzung (Articles of Association mit UG-Variante) - 126 GF-Dienstvertrag (Trennungsprinzip Organ/Anstellung) - 127 Arbeitsvertrag (AGG-neutral, NachwG, eAU) - 128 Gesellschafterliste (§ 40 GmbHG) - 129 GF-Bestellungsbeschluss (mit § 6 Abs. 2 Versicherung) - 130 HRB-Anmeldung (§§ 7, 8, 39 GmbHG, § 12 HGB) - 131 IP-Assignment Agreement (Gründer→GmbH) - 132 Term Sheet (Pre-Seed/Seed VC-Standard) - 133 Wandeldarlehensvertrag (Convertible Loan) - 134 Beteiligungsvertrag (Subscription Agreement) - 135 ESOP/VSOP-Plan (3 Varianten) - 136 Cap Table Kategorisierung (Migrations 137-138): - ALTER TABLE compliance_legal_templates ADD lifecycle_stage TEXT[], functional_category TEXT (mit CHECK Constraints + GIN-Index) - Backfill aller 105 Templates: lifecycle_stage (pre_founding|founding| startup|kmu|konzern) + functional_category (founding_legal|employment| investor_funding|...) Backend Founding-Wizard Service: - template_renderer.py: Handlebars-light ({{VAR}}, {{#IF FLAG}}...{{/IF}}) - wizard_to_context.py: Mapping Wizard-State → SCREAMING_SNAKE_CASE Vars - markdown_to_docx.py: Markdown → DOCX via python-docx - founding_wizard_routes.py: POST /v1/founding-wizard/generate → liefert base64-DOCX-Files für ausgewählte Templates Frontend Founding-Wizard (/sdk/founding-wizard): - 8-Step Wizard (Basics, Gesellschafter, GF, Kapital, Notar, SHA, GF-Verträge, Generate) - useFoundingWizardForm Hook mit localStorage-Persistenz - TypeScript Code-Registry (template-categories.ts) als Backup zur DB - Word-Download via data:URLs (base64) Tests: - 20 Unit-Tests grün (Renderer, Context-Mapping, DOCX-Conversion) - Playwright E2E-Test mit 2-Mann GmbH (Benjamin + Sharang) Test-Daten	2026-05-20 09:30:51 +02:00
Benjamin Admin	6c223c7c9b	feat(compliance-check): exec-summary + voll-audit + TDM-respect + cookie-KB-extended + saving-scan-funnel ... P1 — Exec-Summary oben im Email-Report (4 KPIs + 2 CTAs, dunkler Gradient) P3 — no_direct_sales-Flag fuer OEM-Konfigurator-Sites; AGB/Widerruf/AGB als "NICHT ANWENDBAR" (grau) statt "NICHT GEFUNDEN" (rot) P5 — Voll-Audit Unification: alle Findings (MC + Pflichtangaben + Vendor + Redundanz) in /data/compliance_audits.db.unified_findings; neuer /api/compliance/agent/findings/<id> Endpoint + FindingsTab im Audit-UI mit Filter + CSV-Export P7 — Crawl-Hardening: TDM-Reservation-Check (robots.txt / ai.txt / Header / Meta) vor jedem Run mit 24h-Cache; HeadlessChrome-UA (Firma noch nicht gegruendet — Switch via BREAKPILOT_BRANDED_UA env); per-Domain Rate-Limit 1 req/s + max 2 concurrent P2 — Cookie-Knowledge-DB additiv erweitert (35 -> 74 Cookies): Adobe, Meta, Microsoft, LinkedIn, TikTok, HubSpot, Marketo, Salesforce, Hotjar, FullStory, Mouseflow, Intercom, Drift, Zendesk, Cloudflare, Stripe, OneTrust/Cookiebot/Usercentrics, Matomo, Pinterest, Snapchat, X/Twitter, YouTube, Vimeo, Klaviyo, Mailchimp, Mixpanel, Segment, Amplitude, Optimizely, Datadog; Wire-in in cookie_function_classifier liefert compliance_risk-Label (kritisch/hoch/mittel/gering) pro Vendor A — k-Anonymitaets-Helper (benchmark_k_anonymity) fuer P6-Vorbereitung B — Cross-Tenant-Domain-Assertion im /findings-Endpoint (expected_domain Query-Param -> 403 bei Mismatch) C — Saving-Scan-Funnel: /api/compliance/agent/saving-scan/start mit Validierung + 24h-Rate-Limit pro Domain + Lead-Persistenz in saving_scan_leads + Auto-Discovery via _run_compliance_check; 6 Tests D — Risk-Badge im Email-Vendor-Row Rechtliche Leitplanken (Memory feedback_oem_data_legal.md): nur eigene Knapp-Bewertungen + Source-Pointer, keine 1:1-Kopien fremder CMP-Texte. TDM-Opt-Out-Respect nach § 44b UrhG. KEINE Schema-Aenderungen — alles in Sidecar-SQLite. Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-18 23:48:34 +02:00
Benjamin Admin	df7d83134b	feat(agent): migrate compliance-check results to banner + documents (M1-M5) ... After a compliance-check run finishes, the user can now apply the extracted vendor inventory directly to their own: - CookieBanner config (admin /sdk/einwilligungen) - Cookie-Policy / VVT-Register / Privacy-Policy templates (admin /sdk/document-generator) Backend: - migration_to_banner.py: vendor list -> CookieBannerConfig with ESSENTIAL/PERFORMANCE/PERSONALIZATION/EXTERNAL_MEDIA buckets + review flags (broken opt-out URLs, missing expiry, no cookies listed) - migration_to_document.py: vendor list -> pre-fills for 3 doc templates, recipient-type aware (INTERNAL/GROUP/PROCESSOR/CONTROLLER) - agent_migration_routes.py: GET /banner-preview, /document-preview, /summary keyed on check_id - compliance_audit_log: new check_payloads table persists cmp_vendors + extracted_profile so the preview survives an app restart - tests: 9 mapper units + 4 endpoint integration tests Frontend: - MigrationPanel.tsx: modal showing banner-config diff + document pre-fills, plus links into the existing editors - ComplianceCheckTab.tsx: replaces standalone audit link with the panel; net -3 lines, stays at the 500-cap Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>	2026-05-17 14:06:28 +02:00
Benjamin Admin	17c67b4f25	feat: Cookie-Banner ↔ Backend Integration (DSR, Retention, Consent Proof) ... Phase 1: Vendor sync from service registry (82+ services → banner vendors) Phase 2: Category-based retention (marketing=90d, statistics=790d, not hardcoded 365d) Phase 3: DSR ↔ Banner email linking (link-email, by-email, Art.17 erasure, Art.15/20 export) Phase 4: Consent sync (Banner → Einwilligungen bridge) Phase 6: Consent proof (SHA256 config hash + config_version in audit log, Art. 7(1) DSGVO) New files: - banner_dsr_service.py — email linking + DSR integration - vendor_banner_sync.py — service registry → vendor configs - migration 106 — linked_email, banner_config_hash, consent_version columns Tests: 20+ new backend tests + 2 Playwright E2E test suites (API + UI) Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>	2026-05-02 19:41:22 +02:00
Benjamin Admin	0f3ba9c207	test: Lit-Mapping validation — Dict vs Control Library comparison ... 8 test cases with deliberately wrong legal basis assignments: - Cookie tracking on lit. f (should be lit. a) - Analytics on lit. b (should be lit. a) - Newsletter on lit. f (should be lit. a) - Klarna without Art. 22 - Session recording on lit. f - 2 correct cases (should NOT trigger findings) Runs both hardcoded dict AND Control Library query, compares results. If Control Library passes all → dict can be removed. Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>	2026-04-29 16:56:38 +02:00
Benjamin Admin	0c0dd4e3a6	feat: ZeroClaw compliance agent — document analysis + role assignment + email ... Add autonomous compliance agent that fetches web documents (cookie banners, privacy policies), classifies them via Qwen/Ollama, assesses DSGVO compliance, assigns to the responsible role, and sends notification emails. Components: - ZeroClaw SOP (6-step workflow: fetch, classify, assess, summarize, assign, notify) - Backend: /api/compliance/agent/analyze (combined endpoint) - Backend: /api/compliance/agent/notify (standalone email) - Frontend: /sdk/agent page (Manager UI with URL input + results) - Helper scripts + E2E test Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>	2026-04-27 23:28:21 +02:00
Sharang Parnerkar	c43d9da6d0	merge: sync with origin/main, take upstream on conflicts ... # Conflicts: # admin-compliance/lib/sdk/types.ts # admin-compliance/lib/sdk/vendor-compliance/types.ts	2026-04-16 16:26:48 +02:00
Sharang Parnerkar	7344e5806e	refactor(backend/isms): split isms_assessment_service.py to stay under 500 LOC ... The previous commit (32e121f) left isms_assessment_service.py at 639 LOC, exceeding the 500-line hard cap. This follow-up extracts ReadinessCheckService and OverviewService into a new isms_readiness_service.py (400 LOC), leaving isms_assessment_service.py at 257 LOC (Management Reviews, Internal Audits, Audit Trail only). Updated isms_routes.py imports to reference the new service file. File sizes after split: - isms_routes.py: 446 LOC (thin handlers) - isms_governance_service.py: 416 LOC (scope, context, policy, objectives, SoA) - isms_findings_service.py: 276 LOC (findings, CAPA) - isms_assessment_service.py: 257 LOC (mgmt reviews, internal audits, audit trail) - isms_readiness_service.py: 400 LOC (readiness check, ISO 27001 overview) All 58 integration tests + 173 unit/contract tests pass. Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>	2026-04-09 20:50:30 +02:00
Sharang Parnerkar	ae008d7d25	refactor(backend/api): extract DSFA schemas + services (Step 4 — file 14 of 18) ... - Create compliance/schemas/dsfa.py (161 LOC) — extract DSFACreate, DSFAUpdate, DSFAStatusUpdate, DSFASectionUpdate, DSFAApproveRequest - Create compliance/services/dsfa_service.py (386 LOC) — CRUD + helpers + stats + audit-log + CSV export; uses domain errors - Create compliance/services/dsfa_workflow_service.py (347 LOC) — status update, section update, submit-for-review, approve, export JSON, versions - Rewrite compliance/api/dsfa_routes.py (339 LOC) as thin handlers with Depends + translate_domain_errors(); re-export legacy symbols via __all__ - Add [mypy-compliance.api.dsfa_routes] ignore_errors = False to mypy.ini - Update tests: 422 -> 400 for domain ValidationError (6 assertions) - Regenerate OpenAPI baseline (360 paths / 484 operations — unchanged) Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>	2026-04-09 19:20:48 +02:00
Sharang Parnerkar	d2c94619d8	refactor(backend/api): extract LegalDocumentConsentService (Step 4 — file 12 of 18) ... Extract consent, audit log, cookie category, and consent stats endpoints from legal_document_routes into LegalDocumentConsentService. The route file is now a thin handler layer delegating to LegalDocumentService and LegalDocumentConsentService with translate_domain_errors(). Legacy helpers (_doc_to_response, _version_to_response, _transition, _log_approval) and schemas are re-exported for existing tests. Two transition tests updated to expect domain errors instead of HTTPException. Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>	2026-04-09 08:47:56 +02:00
Sharang Parnerkar	cc1c61947d	refactor(backend/api): extract Incident services (Step 4 — file 11 of 18) ... compliance/api/incident_routes.py (916 LOC) -> 280 LOC thin routes + two services + 95-line schemas file. Two-service split for DSGVO Art. 33/34 Datenpannen-Management: incident_service.py (460 LOC): - CRUD (create, list, get, update, delete) - Stats, status update, timeline append, close - Module-level helpers: _calculate_risk_level, _is_notification_required, _calculate_72h_deadline, _incident_to_response, _measure_to_response, _parse_jsonb, _append_timeline, DEFAULT_TENANT_ID incident_workflow_service.py (329 LOC): - Risk assessment (likelihood x impact -> risk_level) - Art. 33 authority notification (with 72h deadline tracking) - Art. 34 data subject notification - Corrective measures CRUD Both services use raw SQL via sqlalchemy.text() — no ORM models for incident_incidents / incident_measures tables. Migrated from the Go ai-compliance-sdk; Python backend is Source of Truth. Legacy test compat: tests/test_incident_routes.py imports _calculate_risk_level, _is_notification_required, _calculate_72h_deadline, _incident_to_response, _measure_to_response, _parse_jsonb, DEFAULT_TENANT_ID directly from compliance.api.incident_routes — all re-exported via __all__. Verified: - 223/223 pytest pass (173 core + 50 incident) - OpenAPI 360/484 unchanged - mypy compliance/ -> Success on 141 source files - incident_routes.py 916 -> 280 LOC - Hard-cap violations: 8 -> 7 Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>	2026-04-09 08:35:57 +02:00
Sharang Parnerkar	0c2e03f294	refactor(backend/api): extract Email Template services (Step 4 — file 10 of 18) ... compliance/api/email_template_routes.py (823 LOC) -> 295 LOC thin routes + 402-line EmailTemplateService + 241-line EmailTemplateVersionService + 61-line schemas file. Two-service split along natural responsibility seam: email_template_service.py (402 LOC): - Template type catalog (TEMPLATE_TYPES constant) - Template CRUD (list, create, get) - Stats, settings, send logs, initialization, default content - Shared _template_to_dict / _version_to_dict / _render_template helpers email_template_version_service.py (241 LOC): - Version CRUD (create, list, get, update) - Workflow transitions (submit, approve, reject, publish) - Preview and test-send TEMPLATE_TYPES, VALID_CATEGORIES, VALID_STATUSES re-exported from the route module for any legacy consumers. State-transition errors use ValidationError (-> HTTPException 400) to preserve the original handler's 400 status for "Only draft/review versions can be ..." checks, since the existing TestClient integration tests (47 tests) assert status_code == 400. Verified: - 47/47 tests/test_email_template_routes.py pass - OpenAPI 360/484 unchanged - mypy compliance/ -> Success on 138 source files - email_template_routes.py 823 -> 295 LOC - Hard-cap violations: 9 -> 8 Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>	2026-04-08 22:39:19 +02:00
Sharang Parnerkar	a638d0e527	refactor(backend/api): extract EvidenceService (Step 4 — file 9 of 18) ... compliance/api/evidence_routes.py (641 LOC) -> 240 LOC thin routes + 460-line EvidenceService. Manages evidence CRUD, file upload, CI/CD evidence collection (SAST/dependency/SBOM/container scans), and CI status dashboard. Service injection pattern: EvidenceService takes the EvidenceRepository, ControlRepository, and AutoRiskUpdater classes as constructor parameters. The route's get_evidence_service factory reads these class references from its own module namespace so tests that ``patch("compliance.api.evidence_routes.EvidenceRepository", ...)`` still take effect through the factory. The `_store_evidence` and `_update_risks` helpers stay as module-level callables in evidence_service and are re-exported from the route module. The collect_ci_evidence handler remains inline (not delegated to a service method) so tests can patch `compliance.api.evidence_routes._store_evidence` and have the patch take effect at the handler's call site. Legacy re-exports via __all__: SOURCE_CONTROL_MAP, EvidenceRepository, ControlRepository, AutoRiskUpdater, _parse_ci_evidence, _extract_findings_detail, _store_evidence, _update_risks. Verified: - 208/208 pytest (core + 35 evidence tests) pass - OpenAPI 360/484 unchanged - mypy compliance/ -> Success on 135 source files - evidence_routes.py 641 -> 240 LOC - Hard-cap violations: 10 -> 9 Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>	2026-04-08 21:59:03 +02:00
Sharang Parnerkar	7107a31496	refactor(backend/api): extract SourcePolicyService (Step 4 — file 7 of 18) ... compliance/api/source_policy_router.py (580 LOC) -> 253 LOC thin routes + 453-line SourcePolicyService + 83-line schemas file. Manages allowed data sources, operations matrix, PII rules, blocked-content log, audit trail, and dashboard stats/report. Single-service split. ORM-based (uses compliance.db.source_policy_models). Date-string parsing extracted to a module-level _parse_iso_optional helper so the audit + blocked-content list endpoints share it instead of duplicating try/except blocks. Legacy test compat: SourceCreate, SourceUpdate, SourceResponse, PIIRuleCreate, PIIRuleUpdate, OperationUpdate, _log_audit re-exported from compliance.api.source_policy_router via __all__. Verified: - 208/208 pytest pass (173 core + 35 source policy) - OpenAPI 360/484 unchanged - mypy compliance/ -> Success on 132 source files - source_policy_router.py 580 -> 253 LOC - Hard-cap violations: 12 -> 11 Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>	2026-04-07 19:58:02 +02:00
Sharang Parnerkar	b850368ec9	refactor(backend/api): extract CanonicalControlService (Step 4 — file 6 of 18) ... compliance/api/canonical_control_routes.py (514 LOC) -> 192 LOC thin routes + 316-line CanonicalControlService + 105-line schemas file. Canonical Control Library manages OWASP/NIST/ENISA-anchored security control frameworks and controls. Like company_profile_routes, this file uses raw SQL via sqlalchemy.text() because there are no SQLAlchemy models for canonical_control_frameworks or canonical_controls. Single-service split. Session management moved from bespoke `with SessionLocal() as db:` blocks to Depends(get_db) for consistency. Legacy test imports preserved via re-export (FrameworkResponse, ControlResponse, SimilarityCheckRequest, SimilarityCheckResponse, _control_row). Validation extracted to a module-level `_validate_control_input` helper so both create and update share the same checks. ValidationError (from compliance.domain) replaces raw HTTPException(400) raises. Verified: - 187/187 pytest (173 core + 14 canonical) pass - OpenAPI 360/484 unchanged - mypy compliance/ -> Success on 130 source files - canonical_control_routes.py 514 -> 192 LOC - Hard-cap violations: 13 -> 12 Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>	2026-04-07 19:53:55 +02:00
Sharang Parnerkar	4fa0dd6f6d	refactor(backend/api): extract VVTService (Step 4 — file 5 of 18) ... compliance/api/vvt_routes.py (550 LOC) -> 225 LOC thin routes + 475-line VVTService. Covers the organization header, processing activities CRUD, audit log, JSON/CSV export, stats, and version lookups for the Art. 30 DSGVO Verzeichnis. Single-service split: organization + activities + audit + stats all revolve around the same tenant's VVT document, and the existing test suite (tests/test_vvt_routes.py — 768 LOC, tests/test_vvt_tenant_isolation.py — 205 LOC) exercises them together. Module-level helpers (_activity_to_response, _log_audit, _export_csv) stay module-level in compliance.services.vvt_service and are re-exported from compliance.api.vvt_routes so the two test files keep importing from the old path. Pydantic schemas already live in compliance.schemas.vvt from Step 3 — no new schema file needed this round. mypy.ini flips compliance.api.vvt_routes from ignore_errors=True to False. Two SQLAlchemy Column[str] vs str dict-index errors fixed with explicit str() casts on status/business_function in the stats loop. Verified: - 242/242 pytest (173 core + 69 VVT integration) pass - OpenAPI 360/484 unchanged - mypy compliance/ -> Success on 128 source files - vvt_routes.py 550 -> 225 LOC - vvt_service.py 475 LOC (under 500 hard cap) - Hard-cap violations: 14 -> 13 Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>	2026-04-07 19:50:40 +02:00