LLM Grundlagen und Prompt Engineering

Large Language Models (LLMs) sind die Basis moderner KI-Anwendungen. Doch ein Modell allein liefert noch keine verlässlichen Ergebnisse. Erst durch gezieltes Prompt Engineering – das systematische Formulieren von Anweisungen, Kontexten und Ausgabeformaten – werden LLMs zu produktiven Werkzeugen.

Was sind Large Language Models?

LLMs sind neuronale Netze, die auf riesigen Textmengen trainiert wurden und Sprache verstehen sowie generieren können. Modelle wie GPT-4, Claude, Llama oder Gemini unterscheiden sich in Größe, Fähigkeiten und Kosten. Für die Praxis ist entscheidend, dass du das richtige Modell für deine Aufgabe wählst – nicht immer ist das größte Modell das beste.

Wichtige Konzepte sind: Token (die Grundeinheit der Textverarbeitung), Kontextfenster (wie viel Text das Modell gleichzeitig verarbeiten kann), Temperatur (Kreativität vs. Determinismus) und System-Prompts (dauerhafte Anweisungen).

Prompt Engineering in der Praxis

Prompt Engineering ist keine Kunst, sondern ein systematischer Prozess. Gute Prompts folgen bewährten Mustern und werden iterativ verbessert. Die wichtigsten Techniken:

Rollenanweisungen: Definiere klar, welche Rolle das Modell einnehmen soll und welche Expertise erwartet wird.
Aufgabenstruktur: Zerlege komplexe Aufgaben in Einzelschritte. Chain-of-Thought-Prompting verbessert die Qualität bei Reasoning-Aufgaben.
Ausgabeformat: Gib das gewünschte Format vor – JSON, Markdown, Tabelle. JSON Schema erzwingt strukturierte Outputs.
Few-Shot-Beispiele: Zeige dem Modell 2-3 Beispiele für Input und gewünschten Output.
Constraints: Definiere, was das Modell nicht tun soll – z.B. keine Vermutungen anstellen, wenn Informationen fehlen.

Beispiel: Strukturierter System-Prompt

            # System-Prompt für einen Dokumenten-Assistenten
             
            system_prompt = """
            Du bist ein Assistent für technische Dokumentation.
            Beantworte Fragen ausschließlich auf Basis der
            bereitgestellten Dokumente.
             
            Regeln:
            - Antworte auf Deutsch
            - Zitiere die Quelle mit [Dokument, Seite]
            - Wenn die Antwort nicht in den Dokumenten steht,
              sage: "Dazu liegen keine Informationen vor."
            - Keine Vermutungen oder erfundenen Fakten
            - Maximal 200 Wörter pro Antwort
            """
             
            response = client.chat.completions.create(
                model="gpt-4",
                messages=[
                    {"role": "system", "content": system_prompt},
                    {"role": "user", "content": user_query}
                ],
                temperature=0.2,
                max_tokens=500
            )
          

Häufige Fehler vermeiden

Die meisten Probleme mit LLMs entstehen nicht durch schlechte Modelle, sondern durch unklare Anweisungen. Typische Fehlerquellen:

Zu vage Prompts ohne klare Aufgabenstellung oder Ausgabeformat
Zu viel Kontext, der das Modell ablenkt – Relevanz schlägt Menge
Fehlende Fallback-Regeln für Fälle, in denen das Modell keine gute Antwort geben kann
Keine Validierung der Outputs – gerade bei JSON oder strukturierten Daten
Temperatur zu hoch für faktische Aufgaben oder zu niedrig für kreative

Passende Weiterbildung

Prompt Engineering für generative KI

Systematisch lernen, wie du KI-Modelle steuerst und zuverlässige Ergebnisse erzielst. Der ideale Einstieg in die Arbeit mit LLMs.

Kurs ansehen *

Python für Data Science & Machine Learning

Python ist die Grundlage für die meisten LLM-Integrationen. Dieser Kurs vermittelt die praktische Basis.