Large Language Models - RAG-Tuning und Evaluation

Sie erfahren, wie Sie die Qualität von RAG-Systemen bewerten und verbessern. Der Kurs vermittelt Metriken, Tuning-Strategien und Evaluationsmethoden für robuste und nachvollziehbare LLM-Anwendungen im Unternehmen.
<br>
<br>Dieses Seminar ist ein Angebot der PC-COLLEGE Gruppe.
<br><br>
<b>Inhalt:</b>
<ul>
<li>Grundlagen von Retrieval-Qualität</li>
<li>- Metriken: Recall, Precision, nDCG</li>
<li>- Warum klassisches IR- und LLM-Tuning zusammengehören</li>
<li>Tuning-Strategien</li>
<li>- Chunking-Varianten (Overlaps, Semantik-basiert)</li>
<li>- Embedding-Modelle vergleichen</li>
<li>- Index-Parameter optimieren (z. B. k, Abstandsmessung)</li>
<li>Re-Ranking & Hybrid Search</li>
<li>- Lexikalische + semantische Suche kombinieren</li>
<li>- Einsatz von Cross-Encodern</li>
<li>- Trade-offs zwischen Qualität und Kosten</li>
<li>Evaluationstechniken</li>
<li>- Human-in-the-loop Verfahren</li>
<li>- Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval</li>
<li>- Benchmark-Sets aufbauen</li>
<li>Qualitätssicherung im Betrieb</li>
<li>- Bias-Checks, Halluzinationsanalyse</li>
<li>- Drift Detection bei Embeddings</li>
<li>- Canary-Tests für neue Pipelines</li>
<li>Monitoring & Reporting</li>
<li>- KPI-Tracking: Retrieval-Präzision, Factuality</li>
<li>- Dashboards für Stakeholder</li>
<li>- Feedback Loops und kontinuierliche Verbesserung</li>
</ul>

Grundkenntnisse in NLP oder Vektorsuche sowie erste Erfahrungen mit RAG, LangChain oder LLM-Entwicklung sind von Vorteil. Basiswissen in Python wird empfohlen.

Alle, die Retrieval-Systeme mit LLMs professionell betreuen oder evaluieren – z. B. in AI-Teams, QA, Produktentwicklung oder technischem Projektmanagement.

Im Preis enthalten sind PC-COLLEGE - Zertifikat, technische Beratung und Kursmaterial.

Weiterführende Informationen auf der Seite des Anbieters