Some checks failed
CI / go-lint (push) Has been skipped
CI / python-lint (push) Has been skipped
CI / nodejs-lint (push) Has been skipped
CI / test-go-school (push) Successful in 42s
CI / test-go-edu-search (push) Successful in 34s
CI / test-python-klausur (push) Failing after 2m51s
CI / test-python-agent-core (push) Successful in 21s
CI / test-nodejs-website (push) Successful in 29s
sed replacement left orphaned hostname references in story page and empty lines in getApiBase functions. Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
280 lines
16 KiB
TypeScript
280 lines
16 KiB
TypeScript
'use client'
|
|
|
|
import Link from 'next/link'
|
|
|
|
export function GuideTab() {
|
|
return (
|
|
<div className="space-y-8">
|
|
{/* Introduction */}
|
|
<div className="bg-gradient-to-r from-teal-50 to-emerald-50 rounded-xl border border-teal-200 p-6">
|
|
<h2 className="text-xl font-bold text-slate-900 mb-4 flex items-center gap-2">
|
|
<svg className="w-6 h-6 text-teal-600" fill="none" stroke="currentColor" viewBox="0 0 24 24">
|
|
<path strokeLinecap="round" strokeLinejoin="round" strokeWidth={2} d="M9.663 17h4.673M12 3v1m6.364 1.636l-.707.707M21 12h-1M4 12H3m3.343-5.657l-.707-.707m2.828 9.9a5 5 0 117.072 0l-.548.547A3.374 3.374 0 0014 18.469V19a2 2 0 11-4 0v-.531c0-.895-.356-1.754-.988-2.386l-.548-.547z" />
|
|
</svg>
|
|
Was ist BQAS?
|
|
</h2>
|
|
<p className="text-slate-700 leading-relaxed">
|
|
Das <strong>Breakpilot Quality Assurance System (BQAS)</strong> ist unser automatisiertes Test-Framework
|
|
zur kontinuierlichen Qualitaetssicherung der KI-Komponenten. Es stellt sicher, dass Aenderungen am
|
|
Voice-Service, den Prompts oder den RAG-Pipelines keine Regressionen verursachen.
|
|
</p>
|
|
</div>
|
|
|
|
{/* For Whom */}
|
|
<div className="bg-white rounded-xl border border-slate-200 p-6">
|
|
<h3 className="text-lg font-semibold text-slate-900 mb-4">Fuer wen ist dieses Dashboard?</h3>
|
|
<div className="grid grid-cols-1 md:grid-cols-3 gap-4">
|
|
<div className="p-4 bg-blue-50 rounded-lg border border-blue-200">
|
|
<h4 className="font-medium text-blue-800 flex items-center gap-2">
|
|
<svg className="w-5 h-5" fill="none" stroke="currentColor" viewBox="0 0 24 24">
|
|
<path strokeLinecap="round" strokeLinejoin="round" strokeWidth={2} d="M10 20l4-16m4 4l4 4-4 4M6 16l-4-4 4-4" />
|
|
</svg>
|
|
Entwickler
|
|
</h4>
|
|
<p className="text-sm text-blue-700 mt-2">
|
|
Pruefen Sie nach Code-Aenderungen ob alle Tests noch bestehen. Analysieren Sie fehlgeschlagene Tests
|
|
und implementieren Sie Fixes.
|
|
</p>
|
|
</div>
|
|
<div className="p-4 bg-purple-50 rounded-lg border border-purple-200">
|
|
<h4 className="font-medium text-purple-800 flex items-center gap-2">
|
|
<svg className="w-5 h-5" fill="none" stroke="currentColor" viewBox="0 0 24 24">
|
|
<path strokeLinecap="round" strokeLinejoin="round" strokeWidth={2} d="M9 19v-6a2 2 0 00-2-2H5a2 2 0 00-2 2v6a2 2 0 002 2h2a2 2 0 002-2zm0 0V9a2 2 0 012-2h2a2 2 0 012 2v10m-6 0a2 2 0 002 2h2a2 2 0 002-2m0 0V5a2 2 0 012-2h2a2 2 0 012 2v14a2 2 0 01-2 2h-2a2 2 0 01-2-2z" />
|
|
</svg>
|
|
Data Scientists
|
|
</h4>
|
|
<p className="text-sm text-purple-700 mt-2">
|
|
Analysieren Sie Intent-Scores, Faithfulness und Relevance. Identifizieren Sie Schwachstellen
|
|
in den ML-Modellen und RAG-Pipelines.
|
|
</p>
|
|
</div>
|
|
<div className="p-4 bg-amber-50 rounded-lg border border-amber-200">
|
|
<h4 className="font-medium text-amber-800 flex items-center gap-2">
|
|
<svg className="w-5 h-5" fill="none" stroke="currentColor" viewBox="0 0 24 24">
|
|
<path strokeLinecap="round" strokeLinejoin="round" strokeWidth={2} d="M9 12l2 2 4-4m5.618-4.016A11.955 11.955 0 0112 2.944a11.955 11.955 0 01-8.618 3.04A12.02 12.02 0 003 9c0 5.591 3.824 10.29 9 11.622 5.176-1.332 9-6.03 9-11.622 0-1.042-.133-2.052-.382-3.016z" />
|
|
</svg>
|
|
Auditoren / QA
|
|
</h4>
|
|
<p className="text-sm text-amber-700 mt-2">
|
|
Dokumentieren Sie die Testabdeckung und Qualitaetsmetriken. Nutzen Sie die Historie
|
|
fuer Audit-Trails und Compliance-Nachweise.
|
|
</p>
|
|
</div>
|
|
</div>
|
|
</div>
|
|
|
|
{/* Test Suites Explained */}
|
|
<div className="bg-white rounded-xl border border-slate-200 p-6">
|
|
<h3 className="text-lg font-semibold text-slate-900 mb-4">Die drei Test-Suites</h3>
|
|
|
|
<div className="space-y-6">
|
|
<div className="flex gap-4">
|
|
<div className="flex-shrink-0 w-12 h-12 rounded-full bg-blue-100 flex items-center justify-center">
|
|
<span className="text-xl font-bold text-blue-600">1</span>
|
|
</div>
|
|
<div>
|
|
<h4 className="font-semibold text-slate-900">Golden Suite (97 Tests)</h4>
|
|
<p className="text-sm text-slate-600 mt-1">
|
|
<strong>Was:</strong> Manuell validierte Referenz-Tests mit definierten Erwartungen. Jeder Test
|
|
hat eine Eingabe, eine erwartete Ausgabe und Bewertungskriterien.
|
|
</p>
|
|
<p className="text-sm text-slate-600 mt-1">
|
|
<strong>Wann ausfuehren:</strong> Nach jeder Aenderung am Voice-Service oder den Prompts.
|
|
Automatisch taeglich um 07:00 Uhr via launchd.
|
|
</p>
|
|
<p className="text-sm text-slate-600 mt-1">
|
|
<strong>Ziel-Score:</strong> {'>'}= 4.0 (von 5.0)
|
|
</p>
|
|
</div>
|
|
</div>
|
|
|
|
<div className="flex gap-4">
|
|
<div className="flex-shrink-0 w-12 h-12 rounded-full bg-purple-100 flex items-center justify-center">
|
|
<span className="text-xl font-bold text-purple-600">2</span>
|
|
</div>
|
|
<div>
|
|
<h4 className="font-semibold text-slate-900">RAG/Korrektur Tests</h4>
|
|
<p className="text-sm text-slate-600 mt-1">
|
|
<strong>Was:</strong> Tests fuer das Retrieval-Augmented Generation System. Pruefen ob der richtige
|
|
Erwartungshorizont gefunden wird und ob Antworten korrekt zitiert werden.
|
|
</p>
|
|
<p className="text-sm text-slate-600 mt-1">
|
|
<strong>Wann ausfuehren:</strong> Nach Aenderungen an Qdrant, Chunking-Strategien oder EH-Uploads.
|
|
</p>
|
|
<p className="text-sm text-slate-600 mt-1">
|
|
<strong>Kategorien:</strong> EH-Retrieval, Operator-Alignment, Hallucination-Control, Citation-Enforcement,
|
|
Privacy-Compliance, Namespace-Isolation
|
|
</p>
|
|
</div>
|
|
</div>
|
|
|
|
<div className="flex gap-4">
|
|
<div className="flex-shrink-0 w-12 h-12 rounded-full bg-amber-100 flex items-center justify-center">
|
|
<span className="text-xl font-bold text-amber-600">3</span>
|
|
</div>
|
|
<div>
|
|
<h4 className="font-semibold text-slate-900">Synthetic Tests</h4>
|
|
<p className="text-sm text-slate-600 mt-1">
|
|
<strong>Was:</strong> LLM-generierte Variationen der Golden-Tests. Testet Robustheit gegenueber
|
|
Umformulierungen, Tippfehlern, Dialekt und Edge-Cases.
|
|
</p>
|
|
<p className="text-sm text-slate-600 mt-1">
|
|
<strong>Wann ausfuehren:</strong> Woechentlich oder vor Major-Releases.
|
|
</p>
|
|
<p className="text-sm text-slate-600 mt-1">
|
|
<strong>Hinweis:</strong> Generierung dauert laenger da LLM-Calls benoetigt werden.
|
|
</p>
|
|
</div>
|
|
</div>
|
|
</div>
|
|
</div>
|
|
|
|
{/* Metrics Explained */}
|
|
<div className="bg-white rounded-xl border border-slate-200 p-6">
|
|
<h3 className="text-lg font-semibold text-slate-900 mb-4">Metriken verstehen</h3>
|
|
|
|
<div className="overflow-x-auto">
|
|
<table className="w-full text-sm">
|
|
<thead>
|
|
<tr className="border-b border-slate-200 bg-slate-50">
|
|
<th className="text-left py-3 px-4 font-medium text-slate-700">Metrik</th>
|
|
<th className="text-left py-3 px-4 font-medium text-slate-700">Beschreibung</th>
|
|
<th className="text-center py-3 px-4 font-medium text-slate-700">Zielwert</th>
|
|
</tr>
|
|
</thead>
|
|
<tbody>
|
|
<tr className="border-b border-slate-100">
|
|
<td className="py-3 px-4 font-medium">Composite Score</td>
|
|
<td className="py-3 px-4 text-slate-600">Gewichteter Durchschnitt aller Einzelmetriken (1-5)</td>
|
|
<td className="py-3 px-4 text-center"><span className="px-2 py-1 bg-emerald-100 text-emerald-700 rounded text-xs">{'>'}= 4.0</span></td>
|
|
</tr>
|
|
<tr className="border-b border-slate-100">
|
|
<td className="py-3 px-4 font-medium">Intent Accuracy</td>
|
|
<td className="py-3 px-4 text-slate-600">Wie oft wird die richtige Nutzerabsicht erkannt?</td>
|
|
<td className="py-3 px-4 text-center"><span className="px-2 py-1 bg-emerald-100 text-emerald-700 rounded text-xs">{'>'}= 90%</span></td>
|
|
</tr>
|
|
<tr className="border-b border-slate-100">
|
|
<td className="py-3 px-4 font-medium">Faithfulness</td>
|
|
<td className="py-3 px-4 text-slate-600">Ist die Antwort dem EH treu? Keine Halluzinationen?</td>
|
|
<td className="py-3 px-4 text-center"><span className="px-2 py-1 bg-emerald-100 text-emerald-700 rounded text-xs">{'>'}= 4.0</span></td>
|
|
</tr>
|
|
<tr className="border-b border-slate-100">
|
|
<td className="py-3 px-4 font-medium">Relevance</td>
|
|
<td className="py-3 px-4 text-slate-600">Beantwortet die Antwort die Frage des Nutzers?</td>
|
|
<td className="py-3 px-4 text-center"><span className="px-2 py-1 bg-emerald-100 text-emerald-700 rounded text-xs">{'>'}= 4.0</span></td>
|
|
</tr>
|
|
<tr className="border-b border-slate-100">
|
|
<td className="py-3 px-4 font-medium">Coherence</td>
|
|
<td className="py-3 px-4 text-slate-600">Ist die Antwort logisch aufgebaut und verstaendlich?</td>
|
|
<td className="py-3 px-4 text-center"><span className="px-2 py-1 bg-emerald-100 text-emerald-700 rounded text-xs">{'>'}= 4.0</span></td>
|
|
</tr>
|
|
<tr>
|
|
<td className="py-3 px-4 font-medium">Safety Pass Rate</td>
|
|
<td className="py-3 px-4 text-slate-600">Werden kritische Inhalte korrekt gefiltert?</td>
|
|
<td className="py-3 px-4 text-center"><span className="px-2 py-1 bg-emerald-100 text-emerald-700 rounded text-xs">100%</span></td>
|
|
</tr>
|
|
</tbody>
|
|
</table>
|
|
</div>
|
|
</div>
|
|
|
|
{/* Workflow */}
|
|
<div className="bg-white rounded-xl border border-slate-200 p-6">
|
|
<h3 className="text-lg font-semibold text-slate-900 mb-4">Typischer Workflow</h3>
|
|
|
|
<div className="relative">
|
|
<div className="absolute left-4 top-0 bottom-0 w-0.5 bg-slate-200"></div>
|
|
|
|
<div className="space-y-6">
|
|
{[
|
|
{ step: 1, title: 'Tests starten', desc: 'Klicken Sie auf "Tests starten" bei der gewuenschten Suite. Eine Benachrichtigung zeigt den Status.' },
|
|
{ step: 2, title: 'Ergebnisse pruefen', desc: 'Nach Abschluss werden Pass Rate und Score angezeigt. Pruefen Sie ob der Zielwert erreicht wurde.' },
|
|
{ step: 3, title: 'Fehlgeschlagene Tests analysieren', desc: 'Klicken Sie auf fehlgeschlagene Tests um Ursache und empfohlene Aktionen zu sehen.' },
|
|
{ step: 4, title: 'Fixes implementieren', desc: 'Beheben Sie die identifizierten Probleme im Code, Prompts oder Training-Daten.' },
|
|
{ step: 5, title: 'Erneut testen', desc: 'Fuehren Sie die Tests erneut aus um zu verifizieren dass die Fixes wirksam sind.' },
|
|
{ step: 6, title: 'Dokumentieren', desc: 'Nutzen Sie die Historie als Audit-Trail. Exportieren Sie Reports fuer Compliance-Nachweise.' },
|
|
].map((item) => (
|
|
<div key={item.step} className="flex gap-4 relative">
|
|
<div className="flex-shrink-0 w-8 h-8 rounded-full bg-teal-600 text-white flex items-center justify-center text-sm font-bold z-10">
|
|
{item.step}
|
|
</div>
|
|
<div className="pt-1">
|
|
<h4 className="font-medium text-slate-900">{item.title}</h4>
|
|
<p className="text-sm text-slate-600 mt-0.5">{item.desc}</p>
|
|
</div>
|
|
</div>
|
|
))}
|
|
</div>
|
|
</div>
|
|
</div>
|
|
|
|
{/* FAQ */}
|
|
<div className="bg-white rounded-xl border border-slate-200 p-6">
|
|
<h3 className="text-lg font-semibold text-slate-900 mb-4">Haeufige Fragen</h3>
|
|
|
|
<div className="space-y-4">
|
|
{[
|
|
{
|
|
q: 'Wie lange dauert ein Test-Lauf?',
|
|
a: 'Golden Suite: ca. 45 Sekunden. RAG Tests: ca. 60 Sekunden. Synthetic Tests: 2-5 Minuten (abhaengig von LLM-Verfuegbarkeit).',
|
|
},
|
|
{
|
|
q: 'Was passiert wenn Tests fehlschlagen?',
|
|
a: 'Fehlgeschlagene Tests werden rot markiert. Klicken Sie darauf um Details zu sehen. Bei kritischen Regressionen wird automatisch eine Desktop-Benachrichtigung gesendet.',
|
|
},
|
|
{
|
|
q: 'Wann werden Tests automatisch ausgefuehrt?',
|
|
a: 'Die Golden Suite laeuft taeglich um 07:00 Uhr via launchd. Zusaetzlich bei jedem Commit im voice-service via Git-Hook (Quick-Tests).',
|
|
},
|
|
{
|
|
q: 'Wie kann ich einen neuen Golden-Test hinzufuegen?',
|
|
a: 'Tests werden in /voice-service/bqas/golden_tests.json definiert. Jeder Test braucht: ID, Input, Expected Intent, Bewertungskriterien.',
|
|
},
|
|
{
|
|
q: 'Was bedeutet "Demo-Daten"?',
|
|
a: 'Wenn die Voice-Service API nicht erreichbar ist, werden Demo-Daten angezeigt. Dies ist normal in der Entwicklungsumgebung wenn der Service nicht laeuft.',
|
|
},
|
|
].map((faq, i) => (
|
|
<div key={i} className="border-b border-slate-100 pb-4 last:border-0 last:pb-0">
|
|
<p className="font-medium text-slate-900">{faq.q}</p>
|
|
<p className="text-sm text-slate-600 mt-1">{faq.a}</p>
|
|
</div>
|
|
))}
|
|
</div>
|
|
</div>
|
|
|
|
{/* Links */}
|
|
<div className="grid grid-cols-1 md:grid-cols-2 gap-4">
|
|
<Link
|
|
href="/infrastructure/ci-cd"
|
|
className="p-4 bg-slate-50 rounded-lg border border-slate-200 hover:border-teal-300 hover:bg-teal-50 transition-colors"
|
|
>
|
|
<div className="flex items-center gap-3">
|
|
<svg className="w-8 h-8 text-slate-400" fill="none" stroke="currentColor" viewBox="0 0 24 24">
|
|
<path strokeLinecap="round" strokeLinejoin="round" strokeWidth={1.5} d="M12 8v4l3 3m6-3a9 9 0 11-18 0 9 9 0 0118 0z" />
|
|
</svg>
|
|
<div>
|
|
<p className="font-medium text-slate-900">CI/CD Scheduler</p>
|
|
<p className="text-xs text-slate-500">Automatische Test-Planung konfigurieren</p>
|
|
</div>
|
|
</div>
|
|
</Link>
|
|
<Link
|
|
href="/ai/rag"
|
|
className="p-4 bg-slate-50 rounded-lg border border-slate-200 hover:border-teal-300 hover:bg-teal-50 transition-colors"
|
|
>
|
|
<div className="flex items-center gap-3">
|
|
<svg className="w-8 h-8 text-slate-400" fill="none" stroke="currentColor" viewBox="0 0 24 24">
|
|
<path strokeLinecap="round" strokeLinejoin="round" strokeWidth={1.5} d="M4 7v10c0 2.21 3.582 4 8 4s8-1.79 8-4V7M4 7c0 2.21 3.582 4 8 4s8-1.79 8-4M4 7c0-2.21 3.582-4 8-4s8 1.79 8 4" />
|
|
</svg>
|
|
<div>
|
|
<p className="font-medium text-slate-900">RAG Management</p>
|
|
<p className="text-xs text-slate-500">Erwartungshorizonte und Chunking verwalten</p>
|
|
</div>
|
|
</div>
|
|
</Link>
|
|
</div>
|
|
</div>
|
|
)
|
|
}
|