c7fde93061
feat(backend): On-demand Browser-Verhaltens-Matrix + Snapshot-Persistenz (Phase 2)
...
- check_snapshot: update_browser_matrix/load_browser_matrix — migrationsfrei
in banner_result.browser_matrix (JSONB jsonb_set, eigener scanned_at)
- snapshot_check_routes: POST /snapshots/{id}/browser-behavior/run laeuft
/scan-matrix LIVE (Re-Crawl je Engine, nur live messbar), persistiert das
Ergebnis; GET /snapshots/{id}/browser-behavior liefert die gespeicherte
Matrix ohne Re-Crawl. Profil-Set = 4 Default-Engines + Brave/Chrome/Edge.
- consent-tester multi_browser_scanner: Semaphore(2) gegen OOM (7 Browser
parallel sprengten das 2g-mem_limit)
- Pydantic-Modell mit Optional[List[...]] (nicht `| None`) → Py3.9-sicher
- Tests: _snapshot_scan_url + Request-Defaults (5)
Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com >
2026-06-12 23:03:28 +02:00
881e9c28de
feat(consent-tester): /scan-matrix echt — Profil je Engine + Per-Engine-Summary (Phase 1.2)
...
- _scanner_run reicht browser_profile an run_consent_test durch (statt Single-Chromium-Shim)
- neue scan_matrix_summary.matrix_scan_dict: ConsentTestResult -> schlanke
Matrix-dict-Form (phases fuer _extract_dimensions + kompakter `summary`:
cookies_before_consent/after_reject, reject_respected-Heuristik [keine
Verstoesse UND kein neuer Tracker], surface, screenshot)
- multi_browser_scanner._run_one hebt summary + engine + is_mobile an die
Zeile, verwirft die vollen Cookie-Listen (JSONB-Persistenz schlank)
- consent_scanner: _ctx_base mit Mobile-Device-Emulation (iPhone-Profil ->
echtes Mobile-Viewport/Touch), alle 5 new_context auf **_ctx_base
- Tests: test_scan_matrix_summary (6) inkl. _extract_dimensions-Vertrag
Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com >
2026-06-12 22:46:42 +02:00
e1dadc8027
feat: Browser-Matrix Stufe 1.a + 2 weitere GT-Findings + Plausibility-LLM-Härtung
...
Stage 1.a Browser-Matrix (Task #15 ) — Multi-Engine Scaffolding:
- consent-tester/Dockerfile: firefox + webkit + Xvfb deps
- playwright install chromium firefox webkit
- services/browser_profiles.py: Registry mit DEFAULT_PROFILES
(Chromium-Headed/Firefox-Headed/WebKit-Headed/Mobile-Safari) +
EXTRA_PROFILES (Chrome-Channel, Edge, Brave)
- services/multi_browser_scanner.py: run_matrix() orchestriert N
parallele Scans + worst-of-Aggregation + 3 Sub-Scores
(Pre-Consent 50%, Reject-Respekt 30%, Banner-Design 20%) +
Hard-Fail-Cap auf <60% bei Pre-Consent/Reject-Verstoß
- routes_matrix.py: POST /scan-matrix Endpoint (eigenes Modul,
damit main.py unter 500 LOC bleibt)
KNOWN: Stage 1.a-Shim ruft alle Profile auf demselben Chromium,
echte Engine-Diversität in Stage 1.b (consent_scanner.py Param)
Coverage-Gap 3 (Task #17 ): 2/3 verbleibende GT-Lücken geschlossen:
- B9 impressum_multi_entity_check (IMPRESSUM-001): erkennt
USt-IdNr/HR/GF-Fehlen pro Entity bei multi-entity Impressen
(Elli: USt-IdNr nur bei Elli Mobility, fehlt bei VW Group Charging)
- B10 transfer_mechanism_check (TRANSFER-001): pro Non-EU-Vendor
in cmp_vendors prüft DSE auf DPF/SCCs/BCRs/Einwilligung im
±400-char-Window. Findet Vendors ohne benannten Mechanismus.
- TH-RETENTION-002 (AI-Datenkategorie-Differenzierung) bleibt
semantisch-tief, vorgesehen für Specialist-Agents Task #18 .
Plausibility-LLM Empty-Response-Härtung (Task #16 ):
- BATCH_SIZE 8 → 4, EXCERPT 4000 → 1500 chars, TIMEOUT 60 → 45s
- Single-retry mit halbierter Batch wenn LLM empty content
zurückgibt — qwen3:30b-a3b rejektiert manchmal ≥6-Item-Prompts
unter format='json'. Falls auch Half-Batch empty: log + skip.
- Pipeline läuft jetzt nicht mehr 10min in Timeouts.
GT-Coverage Sprung: 10/13 → 11/13 (85%). 4/4 HIGH ✓, 5/6 MEDIUM ✓,
2/3 LOW ✓.
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com >
2026-06-06 21:42:27 +02:00
Benjamin Admin