Large Language Models - RAG-Tuning und Evaluation

Sie erfahren, wie Sie die Qualität von RAG-Systemen bewerten und verbessern. Der Kurs vermittelt Metriken, Tuning-Strategien und Evaluationsmethoden für robuste und nachvollziehbare LLM-Anwendungen im Unternehmen.

Dieses Seminar ist ein Angebot der PC-COLLEGE Gruppe.
Inhalte
Grundlagen von Retrieval-Qualität

Metriken: Recall, Precision, nDCG

Warum klassisches IR
und LLM-Tuning zusammengehören
Tuning-Strategien

Chunking-Varianten (Overlaps, Semantik-basiert)

Embedding-Modelle vergleichen

Index-Parameter optimieren (z. B. k, Abstandsmessung)
Re-Ranking & Hybrid Search

Lexikalische + semantische Suche kombinieren

Einsatz von Cross-Encodern

Trade-offs zwischen Qualität und Kosten
Evaluationstechniken

Human-in-the-loop Verfahren

Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval

Benchmark-Sets aufbauen
Qualitätssicherung im Betrieb

Bias-Checks, Halluzinationsanalyse

Drift Detection bei Embeddings

Canary-Tests für neue Pipelines
Monitoring & Reporting

KPI-Tracking: Retrieval-Präzision, Factuality

Dashboards für Stakeholder

Feedback Loops und kontinuierliche Verbesserung

Grundkenntnisse in NLP oder Vektorsuche sowie erste Erfahrungen mit RAG, LangChain oder LLM-Entwicklung sind von Vorteil. Basiswissen in Python wird empfohlen.

Alle, die Retrieval-Systeme mit LLMs professionell betreuen oder evaluieren – z. B. in AI-Teams, QA, Produktentwicklung oder technischem Projektmanagement.

Im Preis enthalten sind PC-COLLEGE - Zertifikat, Pausenverpflegung, Getränke und Kursmaterial.

PC-COLLEGE-Schulungshaus

Weiterführende Informationen auf der Seite des Anbieters