Question 1

Was ist der Unterschied zwischen Fine-Tuning und RAG?

Accepted Answer

RAG sucht nach relevanten Dokumenten und übergibt sie dem Modell als Kontext für die Beantwortung. Fine-Tuning hingegen ändert die Gewichte des Modells selbst, um ihm neue Schreibstile, Formatierungsregeln oder Fachbegriffe beizubringen.

Question 2

Was sind LoRA und QLoRA?

Accepted Answer

LoRA (Low-Rank Adaptation) und QLoRA (Quantized LoRA) sind effiziente Trainingsmethoden. Statt des gesamten Modells wird nur ein kleiner Teil der Gewichte trainiert, was den GPU-Speicherbedarf und die Trainingskosten um bis zu 90% senkt.

Question 3

Wo werden die trainierten Modelle gehostet?

Accepted Answer

Wir stellen die Modelle in Ihrer privaten Cloud (AWS, GCP, Azure) oder auf Ihren eigenen Servern mit Serving-Engines wie vLLM oder TGI bereit. Sie behalten die volle Kontrolle über Ihre Modelldateien.

Question 4

Wie viele Daten werden für das Fine-Tuning benötigt?

Accepted Answer

Für einfaches Instruction-Tuning oder das Anpassen der Tonalität reicht ein qualitativ hochwertiger Datensatz von 1.000 bis 5.000 Dialogpaaren. Domänenanpassungen erfordern meist größere Textmengen.

Question 5

Welche Basismodelle empfehlen Sie?

Accepted Answer

Wir empfehlen leistungsstarke Open-Source-Basismodelle wie Metas Llama 3, Mistral 7B oder Mixtral 8x7B, je nach Anwendungsfall und GPU-Budget.

Question 6

Können wir Modelle auf strukturierte Ausgaben trainieren?

Accepted Answer

Ja, wir trainieren Modelle speziell auf die Ausgabe von validem JSON, XML oder auf SQL-Abfragen, um eine nahtlose Integration in Ihre IT-Systeme zu ermöglichen.

Question 7

Wie bewerten Sie die Qualität der trainierten Modelle?

Accepted Answer

Wir nutzen Validierungsdaten und messen Kennzahlen wie Perplexity, Genauigkeit der Zielaufgaben und Formatkonformität. Zur Qualitätskontrolle setzen wir auch LLM-as-a-Judge-Konzepte ein.

Question 8

Welche Hardware wird für den Betrieb benötigt?

Accepted Answer

Ein quantisiertes 7B-Modell läuft auf einer einzelnen Grafikkarte (z. B. NVIDIA RTX 4090). Größere Modelle erfordern Multi-GPU-Systeme (z. B. A100- oder H100-Instanzen) für viele parallele Abfragen.

Wie können wir helfen?

LLM Fine-Tuning
FAQ

Hilfreiche
Informationen

Erste Schritte

Zeitplan

Preisgestaltung

Support

Noch Fragen?

LLM Fine-TuningFAQ

HilfreicheInformationen