Files
breakpilot-lehrer/admin-lehrer/app/(admin)/ai/test-quality/_components/GuideTab.tsx
Benjamin Admin 9ba420fa91
Some checks failed
CI / go-lint (push) Has been skipped
CI / python-lint (push) Has been skipped
CI / nodejs-lint (push) Has been skipped
CI / test-go-school (push) Successful in 42s
CI / test-go-edu-search (push) Successful in 34s
CI / test-python-klausur (push) Failing after 2m51s
CI / test-python-agent-core (push) Successful in 21s
CI / test-nodejs-website (push) Successful in 29s
Fix: Remove broken getKlausurApiUrl and clean up empty lines
sed replacement left orphaned hostname references in story page
and empty lines in getApiBase functions.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
2026-04-24 16:02:04 +02:00

280 lines
16 KiB
TypeScript

'use client'
import Link from 'next/link'
export function GuideTab() {
return (
<div className="space-y-8">
{/* Introduction */}
<div className="bg-gradient-to-r from-teal-50 to-emerald-50 rounded-xl border border-teal-200 p-6">
<h2 className="text-xl font-bold text-slate-900 mb-4 flex items-center gap-2">
<svg className="w-6 h-6 text-teal-600" fill="none" stroke="currentColor" viewBox="0 0 24 24">
<path strokeLinecap="round" strokeLinejoin="round" strokeWidth={2} d="M9.663 17h4.673M12 3v1m6.364 1.636l-.707.707M21 12h-1M4 12H3m3.343-5.657l-.707-.707m2.828 9.9a5 5 0 117.072 0l-.548.547A3.374 3.374 0 0014 18.469V19a2 2 0 11-4 0v-.531c0-.895-.356-1.754-.988-2.386l-.548-.547z" />
</svg>
Was ist BQAS?
</h2>
<p className="text-slate-700 leading-relaxed">
Das <strong>Breakpilot Quality Assurance System (BQAS)</strong> ist unser automatisiertes Test-Framework
zur kontinuierlichen Qualitaetssicherung der KI-Komponenten. Es stellt sicher, dass Aenderungen am
Voice-Service, den Prompts oder den RAG-Pipelines keine Regressionen verursachen.
</p>
</div>
{/* For Whom */}
<div className="bg-white rounded-xl border border-slate-200 p-6">
<h3 className="text-lg font-semibold text-slate-900 mb-4">Fuer wen ist dieses Dashboard?</h3>
<div className="grid grid-cols-1 md:grid-cols-3 gap-4">
<div className="p-4 bg-blue-50 rounded-lg border border-blue-200">
<h4 className="font-medium text-blue-800 flex items-center gap-2">
<svg className="w-5 h-5" fill="none" stroke="currentColor" viewBox="0 0 24 24">
<path strokeLinecap="round" strokeLinejoin="round" strokeWidth={2} d="M10 20l4-16m4 4l4 4-4 4M6 16l-4-4 4-4" />
</svg>
Entwickler
</h4>
<p className="text-sm text-blue-700 mt-2">
Pruefen Sie nach Code-Aenderungen ob alle Tests noch bestehen. Analysieren Sie fehlgeschlagene Tests
und implementieren Sie Fixes.
</p>
</div>
<div className="p-4 bg-purple-50 rounded-lg border border-purple-200">
<h4 className="font-medium text-purple-800 flex items-center gap-2">
<svg className="w-5 h-5" fill="none" stroke="currentColor" viewBox="0 0 24 24">
<path strokeLinecap="round" strokeLinejoin="round" strokeWidth={2} d="M9 19v-6a2 2 0 00-2-2H5a2 2 0 00-2 2v6a2 2 0 002 2h2a2 2 0 002-2zm0 0V9a2 2 0 012-2h2a2 2 0 012 2v10m-6 0a2 2 0 002 2h2a2 2 0 002-2m0 0V5a2 2 0 012-2h2a2 2 0 012 2v14a2 2 0 01-2 2h-2a2 2 0 01-2-2z" />
</svg>
Data Scientists
</h4>
<p className="text-sm text-purple-700 mt-2">
Analysieren Sie Intent-Scores, Faithfulness und Relevance. Identifizieren Sie Schwachstellen
in den ML-Modellen und RAG-Pipelines.
</p>
</div>
<div className="p-4 bg-amber-50 rounded-lg border border-amber-200">
<h4 className="font-medium text-amber-800 flex items-center gap-2">
<svg className="w-5 h-5" fill="none" stroke="currentColor" viewBox="0 0 24 24">
<path strokeLinecap="round" strokeLinejoin="round" strokeWidth={2} d="M9 12l2 2 4-4m5.618-4.016A11.955 11.955 0 0112 2.944a11.955 11.955 0 01-8.618 3.04A12.02 12.02 0 003 9c0 5.591 3.824 10.29 9 11.622 5.176-1.332 9-6.03 9-11.622 0-1.042-.133-2.052-.382-3.016z" />
</svg>
Auditoren / QA
</h4>
<p className="text-sm text-amber-700 mt-2">
Dokumentieren Sie die Testabdeckung und Qualitaetsmetriken. Nutzen Sie die Historie
fuer Audit-Trails und Compliance-Nachweise.
</p>
</div>
</div>
</div>
{/* Test Suites Explained */}
<div className="bg-white rounded-xl border border-slate-200 p-6">
<h3 className="text-lg font-semibold text-slate-900 mb-4">Die drei Test-Suites</h3>
<div className="space-y-6">
<div className="flex gap-4">
<div className="flex-shrink-0 w-12 h-12 rounded-full bg-blue-100 flex items-center justify-center">
<span className="text-xl font-bold text-blue-600">1</span>
</div>
<div>
<h4 className="font-semibold text-slate-900">Golden Suite (97 Tests)</h4>
<p className="text-sm text-slate-600 mt-1">
<strong>Was:</strong> Manuell validierte Referenz-Tests mit definierten Erwartungen. Jeder Test
hat eine Eingabe, eine erwartete Ausgabe und Bewertungskriterien.
</p>
<p className="text-sm text-slate-600 mt-1">
<strong>Wann ausfuehren:</strong> Nach jeder Aenderung am Voice-Service oder den Prompts.
Automatisch taeglich um 07:00 Uhr via launchd.
</p>
<p className="text-sm text-slate-600 mt-1">
<strong>Ziel-Score:</strong> {'>'}= 4.0 (von 5.0)
</p>
</div>
</div>
<div className="flex gap-4">
<div className="flex-shrink-0 w-12 h-12 rounded-full bg-purple-100 flex items-center justify-center">
<span className="text-xl font-bold text-purple-600">2</span>
</div>
<div>
<h4 className="font-semibold text-slate-900">RAG/Korrektur Tests</h4>
<p className="text-sm text-slate-600 mt-1">
<strong>Was:</strong> Tests fuer das Retrieval-Augmented Generation System. Pruefen ob der richtige
Erwartungshorizont gefunden wird und ob Antworten korrekt zitiert werden.
</p>
<p className="text-sm text-slate-600 mt-1">
<strong>Wann ausfuehren:</strong> Nach Aenderungen an Qdrant, Chunking-Strategien oder EH-Uploads.
</p>
<p className="text-sm text-slate-600 mt-1">
<strong>Kategorien:</strong> EH-Retrieval, Operator-Alignment, Hallucination-Control, Citation-Enforcement,
Privacy-Compliance, Namespace-Isolation
</p>
</div>
</div>
<div className="flex gap-4">
<div className="flex-shrink-0 w-12 h-12 rounded-full bg-amber-100 flex items-center justify-center">
<span className="text-xl font-bold text-amber-600">3</span>
</div>
<div>
<h4 className="font-semibold text-slate-900">Synthetic Tests</h4>
<p className="text-sm text-slate-600 mt-1">
<strong>Was:</strong> LLM-generierte Variationen der Golden-Tests. Testet Robustheit gegenueber
Umformulierungen, Tippfehlern, Dialekt und Edge-Cases.
</p>
<p className="text-sm text-slate-600 mt-1">
<strong>Wann ausfuehren:</strong> Woechentlich oder vor Major-Releases.
</p>
<p className="text-sm text-slate-600 mt-1">
<strong>Hinweis:</strong> Generierung dauert laenger da LLM-Calls benoetigt werden.
</p>
</div>
</div>
</div>
</div>
{/* Metrics Explained */}
<div className="bg-white rounded-xl border border-slate-200 p-6">
<h3 className="text-lg font-semibold text-slate-900 mb-4">Metriken verstehen</h3>
<div className="overflow-x-auto">
<table className="w-full text-sm">
<thead>
<tr className="border-b border-slate-200 bg-slate-50">
<th className="text-left py-3 px-4 font-medium text-slate-700">Metrik</th>
<th className="text-left py-3 px-4 font-medium text-slate-700">Beschreibung</th>
<th className="text-center py-3 px-4 font-medium text-slate-700">Zielwert</th>
</tr>
</thead>
<tbody>
<tr className="border-b border-slate-100">
<td className="py-3 px-4 font-medium">Composite Score</td>
<td className="py-3 px-4 text-slate-600">Gewichteter Durchschnitt aller Einzelmetriken (1-5)</td>
<td className="py-3 px-4 text-center"><span className="px-2 py-1 bg-emerald-100 text-emerald-700 rounded text-xs">{'>'}= 4.0</span></td>
</tr>
<tr className="border-b border-slate-100">
<td className="py-3 px-4 font-medium">Intent Accuracy</td>
<td className="py-3 px-4 text-slate-600">Wie oft wird die richtige Nutzerabsicht erkannt?</td>
<td className="py-3 px-4 text-center"><span className="px-2 py-1 bg-emerald-100 text-emerald-700 rounded text-xs">{'>'}= 90%</span></td>
</tr>
<tr className="border-b border-slate-100">
<td className="py-3 px-4 font-medium">Faithfulness</td>
<td className="py-3 px-4 text-slate-600">Ist die Antwort dem EH treu? Keine Halluzinationen?</td>
<td className="py-3 px-4 text-center"><span className="px-2 py-1 bg-emerald-100 text-emerald-700 rounded text-xs">{'>'}= 4.0</span></td>
</tr>
<tr className="border-b border-slate-100">
<td className="py-3 px-4 font-medium">Relevance</td>
<td className="py-3 px-4 text-slate-600">Beantwortet die Antwort die Frage des Nutzers?</td>
<td className="py-3 px-4 text-center"><span className="px-2 py-1 bg-emerald-100 text-emerald-700 rounded text-xs">{'>'}= 4.0</span></td>
</tr>
<tr className="border-b border-slate-100">
<td className="py-3 px-4 font-medium">Coherence</td>
<td className="py-3 px-4 text-slate-600">Ist die Antwort logisch aufgebaut und verstaendlich?</td>
<td className="py-3 px-4 text-center"><span className="px-2 py-1 bg-emerald-100 text-emerald-700 rounded text-xs">{'>'}= 4.0</span></td>
</tr>
<tr>
<td className="py-3 px-4 font-medium">Safety Pass Rate</td>
<td className="py-3 px-4 text-slate-600">Werden kritische Inhalte korrekt gefiltert?</td>
<td className="py-3 px-4 text-center"><span className="px-2 py-1 bg-emerald-100 text-emerald-700 rounded text-xs">100%</span></td>
</tr>
</tbody>
</table>
</div>
</div>
{/* Workflow */}
<div className="bg-white rounded-xl border border-slate-200 p-6">
<h3 className="text-lg font-semibold text-slate-900 mb-4">Typischer Workflow</h3>
<div className="relative">
<div className="absolute left-4 top-0 bottom-0 w-0.5 bg-slate-200"></div>
<div className="space-y-6">
{[
{ step: 1, title: 'Tests starten', desc: 'Klicken Sie auf "Tests starten" bei der gewuenschten Suite. Eine Benachrichtigung zeigt den Status.' },
{ step: 2, title: 'Ergebnisse pruefen', desc: 'Nach Abschluss werden Pass Rate und Score angezeigt. Pruefen Sie ob der Zielwert erreicht wurde.' },
{ step: 3, title: 'Fehlgeschlagene Tests analysieren', desc: 'Klicken Sie auf fehlgeschlagene Tests um Ursache und empfohlene Aktionen zu sehen.' },
{ step: 4, title: 'Fixes implementieren', desc: 'Beheben Sie die identifizierten Probleme im Code, Prompts oder Training-Daten.' },
{ step: 5, title: 'Erneut testen', desc: 'Fuehren Sie die Tests erneut aus um zu verifizieren dass die Fixes wirksam sind.' },
{ step: 6, title: 'Dokumentieren', desc: 'Nutzen Sie die Historie als Audit-Trail. Exportieren Sie Reports fuer Compliance-Nachweise.' },
].map((item) => (
<div key={item.step} className="flex gap-4 relative">
<div className="flex-shrink-0 w-8 h-8 rounded-full bg-teal-600 text-white flex items-center justify-center text-sm font-bold z-10">
{item.step}
</div>
<div className="pt-1">
<h4 className="font-medium text-slate-900">{item.title}</h4>
<p className="text-sm text-slate-600 mt-0.5">{item.desc}</p>
</div>
</div>
))}
</div>
</div>
</div>
{/* FAQ */}
<div className="bg-white rounded-xl border border-slate-200 p-6">
<h3 className="text-lg font-semibold text-slate-900 mb-4">Haeufige Fragen</h3>
<div className="space-y-4">
{[
{
q: 'Wie lange dauert ein Test-Lauf?',
a: 'Golden Suite: ca. 45 Sekunden. RAG Tests: ca. 60 Sekunden. Synthetic Tests: 2-5 Minuten (abhaengig von LLM-Verfuegbarkeit).',
},
{
q: 'Was passiert wenn Tests fehlschlagen?',
a: 'Fehlgeschlagene Tests werden rot markiert. Klicken Sie darauf um Details zu sehen. Bei kritischen Regressionen wird automatisch eine Desktop-Benachrichtigung gesendet.',
},
{
q: 'Wann werden Tests automatisch ausgefuehrt?',
a: 'Die Golden Suite laeuft taeglich um 07:00 Uhr via launchd. Zusaetzlich bei jedem Commit im voice-service via Git-Hook (Quick-Tests).',
},
{
q: 'Wie kann ich einen neuen Golden-Test hinzufuegen?',
a: 'Tests werden in /voice-service/bqas/golden_tests.json definiert. Jeder Test braucht: ID, Input, Expected Intent, Bewertungskriterien.',
},
{
q: 'Was bedeutet "Demo-Daten"?',
a: 'Wenn die Voice-Service API nicht erreichbar ist, werden Demo-Daten angezeigt. Dies ist normal in der Entwicklungsumgebung wenn der Service nicht laeuft.',
},
].map((faq, i) => (
<div key={i} className="border-b border-slate-100 pb-4 last:border-0 last:pb-0">
<p className="font-medium text-slate-900">{faq.q}</p>
<p className="text-sm text-slate-600 mt-1">{faq.a}</p>
</div>
))}
</div>
</div>
{/* Links */}
<div className="grid grid-cols-1 md:grid-cols-2 gap-4">
<Link
href="/infrastructure/ci-cd"
className="p-4 bg-slate-50 rounded-lg border border-slate-200 hover:border-teal-300 hover:bg-teal-50 transition-colors"
>
<div className="flex items-center gap-3">
<svg className="w-8 h-8 text-slate-400" fill="none" stroke="currentColor" viewBox="0 0 24 24">
<path strokeLinecap="round" strokeLinejoin="round" strokeWidth={1.5} d="M12 8v4l3 3m6-3a9 9 0 11-18 0 9 9 0 0118 0z" />
</svg>
<div>
<p className="font-medium text-slate-900">CI/CD Scheduler</p>
<p className="text-xs text-slate-500">Automatische Test-Planung konfigurieren</p>
</div>
</div>
</Link>
<Link
href="/ai/rag"
className="p-4 bg-slate-50 rounded-lg border border-slate-200 hover:border-teal-300 hover:bg-teal-50 transition-colors"
>
<div className="flex items-center gap-3">
<svg className="w-8 h-8 text-slate-400" fill="none" stroke="currentColor" viewBox="0 0 24 24">
<path strokeLinecap="round" strokeLinejoin="round" strokeWidth={1.5} d="M4 7v10c0 2.21 3.582 4 8 4s8-1.79 8-4V7M4 7c0 2.21 3.582 4 8 4s8-1.79 8-4M4 7c0-2.21 3.582-4 8-4s8 1.79 8 4" />
</svg>
<div>
<p className="font-medium text-slate-900">RAG Management</p>
<p className="text-xs text-slate-500">Erwartungshorizonte und Chunking verwalten</p>
</div>
</div>
</Link>
</div>
</div>
)
}