Glossar

Die Welt der KI

Die Architektur des Gehirns

Modelle & Mathematik

Kein Treffer für diesen Begriff.

01 Die Architektur des Gehirns Modelle & Mathematik Grundlagen von LLMs, Transformer-Technik, neuronale Netze, Inferenz-Prozesse und mathematische Mechanismen. Artificial General Intelligence, ALiBi, Attention Mechanism, Autoregressive Generation, Backpropagation, Base Model, Bidirectional Encoder Representations from Transformers, BOS/EOS, Byte Pair Encoding, CLS Token, Cosine Similarity, Cross-Attention, Decoder, Decoder-Only, Deep Learning, Dense Mixture of Experts, Encoder, Encoder-Decoder, Encoder-Only, Embedding, Fine-Tuning, Generative Pre-trained Transformer, Grouped Query Attention, Hallucination, Inductive Bias, Inference, KV Cache, Latent Space, LayerNorm, Large Language Model, Low-Rank Adaptation, Loss Function, Long Short-Term Memory, Multi-Head Attention, Masked Language Model, Multi-Query Attention, Mixture of Experts, Multimodality, Neural Network, Next Sentence Prediction, Out-of-Vocabulary, One-Hot Encoding, Parameter, Perplexity, Positional Encoding, Post-Norm, Pre-Norm, Query/Key/Value, Recurrent Neural Network, Rotary Position Embedding, Router/Gate, Routing Collapse, Sentinel Token, Self-Attention, SEP Token, Sinusoidal Positional Encoding, Sliding Window Attention, Sparse Mixture of Experts, Span Corruption, Softmax, Temperature, Token, Transformer, Universal Approximation Theorem, Vanishing Gradient Problem, Vision Transformer, Word2Vec 02 Die Hände des Agenten Frameworks & Tools Autonome Workflows, Browser-Steuerung, Retrieval-Augmented Generation und die praktische Ausführung von Aufgaben. Agent, Agent2Agent, Agentic Workflow, Approximate Nearest Neighbor, Auto-GPT, Bi-Encoder, BM25, Browser Automation, Chunking, Command Line Interface, Code Interpreter, Context Window, Cross-Encoder, Function Calling, Headless Browser, Human-in-the-Loop, HyDE, Hybrid Retrieval, Knowledge Base, Model Context Protocol, MCP Server, Moltbook, Massive Text Embedding Benchmark, Mean Reciprocal Rank, NDCG@k, OpenClaw, Playwright, Punt, Retrieval-Augmented Generation, Re-Ranking, ReAct, SFT Pairs, Synthesis Error, System Message, Tool Calling, Tool Hallucination, Tool Router, Tool Selection 03 Sicherheit & Infrastruktur Netzwerk & Schutz Absicherung lokaler und Cloud-Systeme, Verschlüsselung, Zugriffskontrolle und Schutz vor Angriffsvektoren. Adversarial Attack, API, API Key, Containerization, Data Exfiltration, End-to-End Encryption, Firewall, Least Privilege, Prompt Injection, Safety Classifier, Sandbox, Tailscale, Virtual Private Server 04 Datenverarbeitung & Wissensmanagement Das Gedächtnis Speicherung, Aufbereitung und Abfrage von Informationen für die KI-Nutzung. Data Augmentation, Data Lake, Data Mining, Data Sovereignty, Entity Recognition, Knowledge Cutoff, Metadata, Structured Data, Vector Database 05 Ethik, Gesellschaft & Regulierung Die Leitplanken Gesetze, gesellschaftliche Auswirkungen, Alignment und Evaluierung von KIs. _ref, AI Act, Advantage, Alignment, Anthropomorphism, Bias, Bradley-Terry, Chain of Thought, Cohen's Kappa, Constitution, Deepfake, Direct Preference Optimization, Explainable AI, Fact Checking, Fact Extraction, Factuality, Fleiss's Kappa, Group Relative Policy Optimization, HarmBench, HumanEval, Inter-Rater Agreement, KL Divergence, Krippendorffs Alpha, LLM-as-a-Judge, METEOR, Mid-Training, Off-Policy, On-Policy, pass@1, pass@k, Pairwise Data, Pairwise Evaluation, Policy, Position Bias, Preference Pair, Preference Tuning, Proximal Policy Optimization, PPO-Clip, Rejection Sampling, Reward Hacking, Reward Model, RewardBench, Reinforcement Learning from Human Feedback, Reinforcement Learning from AI Feedback, ROUGE, Safety Classifier, Self-Consistency, Self-Enhancement Bias, Sigmoid, Singularity, Structured Output, tau-bench, Temperature, Turing Test, Value Function, Verbosity Bias, Verifiable Reward 06 Fortgeschrittene Technik & Programmierung Das Getriebe Software-Umgebungen, Entwicklungstools, Konfigurationsstandards und Optimierungsmethoden. API Key, Chinchilla Law, Containerization, Daemon, Data Parallelism, Distillation, DistilBERT, Environment Variables, Flash Attention, FLOPS, Git, High Bandwidth Memory, JSON, Knowledge Cutoff, Latency, Masked Diffusion Model, Middleware, Model Collapse, Model Parallelism, Muon, Node.js, Pre-Training, Quantization, Recomputation, RoBERTa, Scaling Laws, Static RAM, Transfer Learning, Webhooks, Zero Redundancy Optimizer 07 Cybersecurity & Angriffsvektoren Der digitale Schutzwall Analyse von Bedrohungen, Verteidigungsstrategien und Sicherheitsprotokollen für KI-Systeme. Adversarial Attack, Brute-Force Attack, Common Vulnerabilities and Exposures, Data Exfiltration, Exploit, Honeypot, Phishing, Prompt Injection, Red Teaming, Safety Classifier, Zero-Day Exploit 08 Mathematische Mechanik & KI-Training Das Training Die statistischen Prozesse und mathematischen Grundlagen hinter dem Lernen der Maschine. Activations, Advantage, Batch Normalization, Catastrophic Forgetting, Chinchilla Law, Convergence, DAPO, Data Parallelism, Distribution Shift, Epoch, Flash Attention, FLOPS, Generalized Advantage Estimation, Gradient Descent, Greedy Decoding, Hyperparameter, Label Smoothing, Mixed Precision, Model Parallelism, Off-Policy, On-Policy, Overfitting, Parameter, Quantization, Recomputation, RewardBench, RMSNorm, Rotary Position Embedding, Sampling, Scaling Laws, Softmax, Static RAM, Top-k Sampling, Top-p Sampling, Transfer Learning, Zero Redundancy Optimizer 09 Autonome Ökonomie & Zukunftsvisionen Der Horizont Langfristige Trends, Multi-Agenten-Systeme und die Entwicklung zur Superintelligenz. Autonomous Economy, Cold Start Data, Digital Twin, Emergent Behavior, Multi-Agent System, OODA Loop, Recursive Self-Improvement, R1, R1-Zero, Singularity, Technological Singularity 10 Industriestandards, Protokolle & Nischen Das Experten-Arsenal Hochspezialisierte Protokolle, Optimierungsverfahren und Benchmarks für moderne KI-Systeme. AIME, Best-of-n, Compute Budget, Group Relative Policy Optimization, Headless Browser, HumanEval, Long Context Window, Middleware, MQTT, Node Package Manager, pass@1, pass@k, Quantization, REST API, Shadow IT, SWE-bench, tau-bench, Vector Clock, YAML, Zero-Knowledge Proof

01

Die Architektur des Gehirns

Modelle & Mathematik

Artificial General Intelligence (AGI): Die theoretische Entwicklungsstufe der KI, in der eine Maschine jede intellektuelle Aufgabe bewältigen kann, die auch ein Mensch lösen kann. Im Gegensatz zur heutigen speziellen KI würde AGI echtes Verständnis besitzen und Wissen zwischen verschiedenen Domänen transferieren können.
ALiBi: Attention with Linear Biases – ein deterministischer Abstandsbegriff, der direkt in der Softmax-Funktion der Attention-Berechnung integriert wird und die Position eines Tokens berücksichtigt.
Attention Mechanism: Der Kern der Transformer-Architektur. Er ermöglicht es der KI, sich auf die relevantesten Wörter in einem Satz zu konzentrieren (z. B. die Beziehung zwischen einem Pronomen und seinem Bezugswort) und so modernes Sprachverständnis zu ermöglichen.
Autoregressive Generation: Generierungsmethode: Das Modell sagt das nächste Token basierend auf dem aktuellen Kontext voraus, fügt es hinzu und wiederholt den Prozess, bis ein End-of-Sequence-Token (EOS) generiert wird.
Backpropagation: Der grundlegende Lernalgorithmus. Er berechnet den Fehler der KI nach einer Antwort und leitet diese Information rückwärts durch das Netzwerk, um die internen Gewichte anzupassen und den Fehler in der nächsten Iteration zu reduzieren.
Base Model: Ein KI-Modell, das auf riesigen Rohdaten trainiert wurde, aber ohne spezialisiertes Verhalten. Es fungiert als leistungsstarkes Textvervollständigungswerkzeug und dient als Grundlage für spätere Assistentenmodelle.
Bidirectional Encoder Representations from Transformers (BERT): Ein zentrales Encoder-Only-Modell, das Text in beide Richtungen analysiert, um kontextuelle Embeddings zu erstellen.
BOS / EOS: Begin of Sequence / End of Sequence – spezielle Tokens, die den Anfang und das Ende einer Eingabesequenz markieren.
Byte Pair Encoding (BPE): Ein häufiger Subword-Tokenizer, der Vokabular aus häufigen Zeichenpaaren aufbaut und so eine effiziente Darstellung seltener Wörter ermöglicht.
CLS Token: Classification Token am Anfang eines Satzes; nach dem Encoder trägt es die gesamte Repräsentation des Textes für Klassifizierungsaufgaben.
Cosine Similarity: Ein mathematisches Maß, um die Ähnlichkeit zwischen zwei Vektoren zu berechnen. In der KI wird es verwendet, um schnell zu bestimmen, wie nah die Bedeutungen von zwei Sätzen oder Tokens beieinander liegen.
Cross-Attention: Attention-Mechanismus im Decoder: Queries stammen vom Decoder, Keys und Values vom Encoder-Ausgang. Ermöglicht die Integration von Kontext aus der Eingabesequenz in die Generierung.
Decoder: Teil des Transformers, der autoregressiv den Ausgabe-Text Token für Token generiert, basierend auf kontextuellen Embeddings.
Decoder-Only: Architektur, die nur einen kausalen Decoder verwendet; Standard für moderne LLMs wie GPT, LLaMA, Claude oder Mistral. Ideal für die Texterzeugung.
Deep Learning: Ein Teilbereich des maschinellen Lernens, der auf tiefen neuronalen Netzen mit vielen Schichten basiert. Er ermöglicht es Maschinen, extrem komplexe Muster in Bildern, Klängen und Texten selbstständig zu erkennen.
Dense Mixture of Experts: Mixture-of-Experts-Variante, bei der alle Experten mit unterschiedlichen Gewichten beitragen (kein Sparse Routing).
Encoder: Teil des Transformers, der den Eingabetext verarbeitet und kontextbewusste Embeddings erstellt, die die Bedeutung der Eingabe erfassen.
Encoder-Decoder: Klassische Transformer-Architektur mit Encoder (für die Eingabe) und Decoder (für die Ausgabe), die über Cross-Attention verbunden sind. Typisch für Übersetzungsmodelle.
Encoder-Only: Architektur, die nur einen Encoder verwendet; bidirektionale Attention; geeignet für Klassifizierungsaufgaben (z. B. BERT).
Embedding: Dichte Vektordarstellung eines Tokens in einem hochdimensionalen Raum; semantisch ähnliche Tokens liegen nah beieinander. Ermöglicht es der KI, Semantik mathematisch greifbar zu machen.
Fine-Tuning: Der Prozess, ein allgemeines Modell mit spezifischen Daten weiterzutrainieren (z. B. Medizin oder Recht). Dadurch wird aus einem Generalisten ein spezialisierter Experte für eine Nische.
Generative Pre-trained Transformer (GPT): Die Architektur-Familie, die den aktuellen KI-Boom auslöste. Sie nutzt Transformer-Technologie, um Text autoregressiv (Wort für Wort) basierend auf Wahrscheinlichkeiten zu generieren.
Grouped Query Attention (GQA): Multi-Head-Attention-Variante, bei der mehrere Query-Köpfe eine gemeinsame Key/Value-Projektion teilen, um Rechenaufwand zu sparen.
Hallucination: Ein Phänomen, bei dem die KI selbstbewusst Fakten erfindet. Dies geschieht, weil das Modell nur das statistisch nächste Wort vorhersagt, ohne echte Verbindung zur faktischen Welt.
Inductive Bias: Architektonische Annahmen, die die Lernrichtung des Modells beeinflussen (z. B. die Annahme, dass benachbarte Tokens semantisch zusammenhängen).
Inference: Der eigentliche Betrieb der KI. Während das Training Monate dauert, ist die Inferenz der Moment, in dem eine Frage gestellt wird und das fertige Modell die Antwort berechnet.
KV Cache: Gespeicherte Keys und Values für bereits generierte Tokens; ermöglicht schnelle und effiziente Inferenz durch Wiederverwendung zuvor berechneter Werte.
Latent Space: Ein unsichtbares Koordinatensystem der KI, in dem alle gelernten Konzepte angeordnet sind. Die KI navigiert in diesem Raum, um Assoziationen zwischen Ideen herzustellen und neue Inhalte zu erstellen.
LayerNorm: Normalisierung der Aktivierungen eines Vektors (Mittelwert 0, Varianz 1); ursprüngliche Transformer-Architektur für stabileres Training.
Large Language Model (LLM): Ein massives Sprachmodell mit Milliarden von Parametern. Es ist das Betriebssystem für KI-Agenten, da es Logik, Sprache und Weltwissen in einem System vereint.
Low-Rank Adaptation (LoRA): Eine hochgradig effiziente Fine-Tuning-Technik. Statt das gesamte Modell neu aufzubauen, werden nur winzige Adapter hinzugefügt, die ein Training auf normaler Hardware zu Hause ermöglichen.
Loss Function: Der Lehrer während des Trainings. Diese mathematische Funktion misst, wie falsch die KI liegt; das Ziel des Trainings ist es, diesen Wert auf null zu drücken.
Long Short-Term Memory (LSTM): Erweitert RNN um einen Zellzustand für besseres Langzeitgedächtnis. Ermöglicht es dem Modell, langfristige Abhängigkeiten in Sequenzen zu lernen.
Multi-Head Attention (MHA): Mehrere parallele Self-Attention-Berechnungen mit unterschiedlichen Projektionen; jeder Kopf lernt verschiedene Beziehungen im Text.
Masked Language Model (MLM): BERT-Trainingsziel: 15 % der Tokens werden maskiert und müssen vom Modell rekonstruiert werden. Trainiert das Verständnis von Kontext.
Multi-Query Attention (MQA): Multi-Head-Attention-Variante, bei der alle Query-Köpfe eine einzige Key/Value-Projektion teilen, um Speicher und Rechenaufwand zu reduzieren.
Mixture of Experts (MoE): Ein Design, bei dem ein Modell in viele spezialisierte Untereinheiten (Experten) unterteilt wird. Bei einer Anfrage wird nur der relevante Experte aktiviert, was Rechenleistung spart und die Antwort beschleunigt.
Multimodality: Die Fähigkeit einer KI, verschiedene Sinne zu kombinieren. Ein multimodaler Agent kann gleichzeitig Texte lesen, Bilder analysieren und Sprachbefehle verstehen.
Neural Network: Ein rechnerisches System, das nach dem Vorbild des Gehirns modelliert ist. Es besteht aus Schichten künstlicher Neuronen, die Signale über gewichtete Verbindungen verarbeiten und so Muster lernen.
Next Sentence Prediction (NSP): BERT-Trainingsziel: Das Modell lernt zu klassifizieren, ob zwei aufeinanderfolgende Sätze logisch zusammengehören.
Out-of-Vocabulary (OOV): Token, das nicht im Training vorkam; wird als [UNK] (unbekannt) behandelt und vom Tokenizer ersetzt.
One-Hot Encoding: Naive Darstellung: Ein Vektor der Länge des Vokabulars mit einer 1 an der Position des Tokens und 0 sonst. In modernen Modellen durch dichte Embeddings ersetzt.
Parameter: Die Milliarden numerischen Werte in einem Modell, die die Stärke der Verbindungen zwischen Neuronen darstellen. Sie sind die eigentliche Speichereinheit für gelerntes Wissen.
Perplexity: Ein Maß für die Überraschung des Modells über die Trainingsdaten. Je niedriger die Perplexität, desto besser ist das Sprachmodell in der Vorhersage.
Positional Encoding: Additiver Sinus/Cosinus-Vektor, der die Position eines Tokens in der Sequenz kodiert. Ermöglicht es dem Modell, die Reihenfolge der Tokens zu verstehen.
Post-Norm: LayerNorm nach der Teilschicht (Attention/FFN) + Residualverbindung – Original aus dem Paper ‚Attention is All You Need‘.
Pre-Norm: LayerNorm vor der Teilschicht (Attention/FFN) – eine modernere Variante für stabileren Gradientenfluss und bessere Trainingsstabilität.
Query / Key / Value: Grundbausteine der Attention: Query (wonach suche ich?), Key (was biete ich an?), Value (mein Inhalt). Alle drei werden aus den Embeddings der Tokens abgeleitet.
Recurrent Neural Network (RNN): Verarbeitet Tokens sequenziell und hält einen versteckten Zustand. Grundlegend für die Verarbeitung sequenzieller Daten, aber anfällig für das Vanishing-Gradient-Problem.
Rotary Position Embedding (RoPE): Positional Encoding, bei dem Query und Key positionsabhängig rotiert werden; Standard in modernen Transformern zur Berücksichtigung der Token-Position.
Router / Gate: Kleines neuronales Netzwerk, das für jedes Token entscheidet, zu welchem Experten (bei Mixture of Experts) es weitergeleitet wird.
Routing Collapse: Problem in MoE-Modellen: Der Router wählt immer dieselben Experten aus, sodass andere nie trainiert werden und das Modell degeneriert.
Sentinel Token: Platzhalter-Token (z. B. , ) für maskierte Spannen in T5. Markiert die Positionen, die vom Modell rekonstruiert werden sollen.
Self-Attention: Mechanismus, der jedes Token als gewichtete Summe aller anderen Tokens in der Sequenz darstellt – kontextabhängig und dynamisch.
SEP Token: Separator-Token – trennt Satz A und Satz B für Aufgaben wie Next Sentence Prediction (NSP).
Sinusoidal Positional Encoding: Feste Positions-Einbettung über Sinus/Cosinus-Formel; verallgemeinerbar auf beliebige Sequenzlängen und in frühen Transformern verwendet.
Sliding Window Attention: Attention-Variante, die auf ein Nachbarschaftsfenster der Größe w beschränkt ist. Reduziert die Komplexität von O(n²) auf O(n·w).
Sparse Mixture of Experts: Mixture-of-Experts-Variante, bei der nur die Top-k-Experten (z. B. k=1 oder 2) aktiviert werden – weniger FLOPS bei gleicher Modellkapazität.
Span Corruption: T5-Trainingsziel: Zufällige Token-Spannen werden maskiert und müssen vom Modell rekonstruiert werden. Trainiert die Fähigkeit, fehlende Textteile zu ergänzen.
Softmax: Die letzte mathematische Schicht, die die internen Berechnungen der KI in klare Wahrscheinlichkeiten (0 bis 100 %) für das nächste Token übersetzt.
Temperature: Der Kreativitätsregler. Eine niedrige Temperatur macht die KI sachlich und deterministisch, eine hohe Temperatur macht sie einfallsreich, aber auch fehleranfälliger.
Token: Die kleinste Texteinheit (Wort, Wortteil oder Zeichen); direkte Eingabe in das Sprachmodell. Die Anzahl der Tokens bestimmt die Kosten und den Speicherbedarf der KI.
Transformer: Die revolutionäre Architektur aus dem Jahr 2017. Sie ermöglicht es KI-Systemen, den Kontext eines gesamten Satzes auf einmal zu berücksichtigen, anstatt Wort für Wort von links nach rechts zu lesen.
Universal Approximation Theorem: Ein mathematischer Beweis, der besagt, dass neuronale Netze jede stetige Funktion approximieren können – sie sind theoretisch zu jeder denkbaren Denkaufgabe fähig.
Vanishing Gradient Problem: Bei RNNs: Der Gradient wird über viele Zeitschritte hinweg exponentiell kleiner, sodass frühere Tokens kaum noch gelernt werden. Ein Hauptgrund für die Entwicklung von LSTM- und Transformer-Architekturen.
Vision Transformer (ViT): Transformer-Encoder, angewendet auf Bildausschnitte; konkurriert mit klassischen CNN-Architekturen in der Bildverarbeitung.
Word2Vec: Algorithmus (2013) zum Erlernen dichter Embeddings über Stellvertreteraufgaben wie CBOW (Continuous Bag of Words) oder Skip-Gram. Ein Vorläufer moderner Embedding-Methoden.

↑ Zum Inhaltsverzeichnis

02

Die Hände des Agenten

Frameworks & Tools

Agent: System, das Ziele autonom verfolgt, indem es durch Denkschleifen geht, Werkzeuge nutzt und mit seiner Umgebung interagiert.
Agent2Agent: Google-Protokoll für standardisierte Kommunikation zwischen KI-Agenten. Ermöglicht die Zusammenarbeit in Multi-Agenten-Systemen.
Agentic Workflow: Ein Prozess, bei dem die KI nicht nur einmal antwortet, sondern in Schleifen arbeitet: Entwurf erstellen, selbst kritisieren, korrigieren und dann ausgeben.
Approximate Nearest Neighbor (ANN): Schnelle, approximative Vektorsuche in großen Datensätzen, optimiert für Echtzeit-Retrieval.
Auto-GPT: Eines der ersten autonomen KI-Systeme. Es nutzt LLMs, um eigene To-do-Listen zu schreiben und diese im Internet oder auf der Festplatte abzuarbeiten.
Bi-Encoder: Architektur für Retrieval: Query und Dokument werden unabhängig voneinander in Vektoren eingebettet und dann verglichen. Schnelle, aber weniger präzise Suche.
BM25: Keyword-basierter Relevanz-Score aus der klassischen Informationsretrieval-Theorie; berücksichtigt Wortüberschneidungen, Termhäufigkeit und Dokumentenlänge.
Browser Automation: Die Fähigkeit eines Agenten, einen Webbrowser wie ein Mensch zu steuern (Klicken, Scrollen, Tippen), um Aufgaben auf Webseiten auszuführen.
Chunking: Aufteilung von Dokumenten in kleinere, verwaltbare Abschnitte (Chunks) für effizientes Indexieren und Verarbeiten durch Retrieval-Systeme.
Command Line Interface (CLI): Textbasierte Steuerung (Terminal). Experten nutzen sie, um Agenten wie OpenClaw präzise zu starten und zu konfigurieren.
Code Interpreter: Ein Werkzeug, das es der KI ermöglicht, echten Programmiercode zu schreiben und auszuführen. Dadurch kann sie mathematische Probleme lösen oder Daten fehlerfrei analysieren.
Context Window: Das Kurzzeitgedächtnis der KI. Es begrenzt, wie viele Informationen (z. B. 100 Seiten Text) der Agent gleichzeitig im Blick behalten kann.
Cross-Encoder: Architektur für Retrieval: Query und Dokument werden gemeinsam verarbeitet, um präzisere Relevanz-Scores zu berechnen. Langsamer, aber genauer als Bi-Encoder.
Function Calling: Synonym für Tool Calling; die Fähigkeit des LLM, externe Funktionen (z. B. Python-Funktionen) mit passenden Argumenten aufzurufen und deren Ergebnisse zu verarbeiten.
Headless Browser: Ein unsichtbarer Browser ohne Fenster. Agenten nutzen ihn, um schnell Daten von Webseiten im Hintergrund zu sammeln (Scraping).
Human-in-the-Loop (HITL): Ein Sicherheitsprinzip. Der Agent holt sich vor kritischen Aktionen (z. B. Geldüberweisungen) die Erlaubnis eines Menschen ein.
HyDE: Hypothetical Document Embeddings – das LLM generiert ein fiktives Dokument als Stellvertreter für die Query, um die Retrieval-Qualität zu verbessern.
Hybrid Retrieval: Kombiniert semantische Suche (Bi-Encoder) und Keyword-Suche (BM25), um die Vorteile beider Ansätze zu vereinen: Präzision und Geschwindigkeit.
Knowledge Base: Strukturierte Sammlung von Dokumenten oder Text-Chunks, die als Wissensquelle für RAG-Systeme dient.
Model Context Protocol (MCP): Anthropics Standard zur Beschreibung von Werkzeugen für LLMs. Ermöglicht eine einheitliche Schnittstelle für Tool Calling.
MCP Server: Instanz, die Werkzeuge, Prompts und Ressourcen gemäß dem MCP-Standard bereitstellt und als Schnittstelle zwischen dem Agenten und externen Systemen dient.
Moltbook: Ein soziales Netzwerk ausschließlich für KI-Agenten. Hier kommunizieren KIs autonom, während Menschen nur als Zuschauer zugelassen sind.
Massive Text Embedding Benchmark (MTEB): Standardbewertung für Retrieval-Systeme, die die Qualität von Embeddings und Retrieval-Pipelines misst.
Mean Reciprocal Rank (MRR): Metrik für Retrieval-Systeme: 1 geteilt durch die Position des ersten relevanten Treffers. Höhere Werte sind besser.
NDCG@k: Normalized Discounted Cumulative Gain – Bewertungsmetrik, die die Relevanz der Top-k-Dokumente bewertet und deren Position berücksichtigt.
OpenClaw: Das führende Framework für private KI-Agenten. Es ermöglicht den Betrieb auf eigener Hardware mit voller Datensouveränität.
Playwright: Ein technisches Werkzeug zur Browsersteuerung. Es dient als mechanische Hand des Agenten, um komplexe Interaktionen auf Webseiten durchzuführen.
Punt: Die Weigerung des Agenten, eine Aufgabe selbst zu lösen, und stattdessen die Nutzung eines Werkzeugs oder die Rückfrage beim Nutzer.
Retrieval-Augmented Generation (RAG): Die wichtigste Technik gegen Halluzinationen. Der Agent sucht zunächst Informationen in einer Wissensbasis und nutzt diese Fakten als Grundlage für seine Antwort.
Re-Ranking: Zweite Stufe im Retrieval-Prozess: Ein Cross-Encoder sortiert die vorher gefundenen Kandidaten präzise nach Relevanz, um die beste Antwort zu gewährleisten.
ReAct: Reason + Act – ein Framework für Agenten, das abwechselnd zwischen Denken (Reasoning) und Handeln (Acting) in einer Schleife wechselt.
Retrieval: Prozess der Suche und Abfrage relevanter Informationen aus einer Wissensbasis oder Datenbank, um die Qualität der KI-Antwort zu verbessern.
SFT Pairs: Supervised Fine-Tuning: (Eingabe, Zielausgabe)-Beispielpaare, die zum Training von Tool Calling oder spezifischen Aufgaben verwendet werden.
Synthesis Error: Fehler bei der Formulierung der endgültigen Antwort durch den Agenten, trotz korrekter Tool-Ausgabe oder Retrieval-Ergebnisse.
System Message: Die DNA des Agenten. Hier wird festgehalten, wer der Agent ist, wie er sich verhält und welche Regeln er niemals brechen darf.
Tool Calling: Die Fähigkeit des LLM, externe Funktionen oder Werkzeuge mit passenden Argumenten aufzurufen, um Aufgaben zu lösen oder Daten abzurufen.
Tool Hallucination: Aufruf einer nicht existierenden Funktion oder eines nicht verfügbaren Werkzeugs durch das LLM. Ein häufiges Problem bei schlecht trainierten Agenten.
Tool Router: Vorfilter oder Modul, das die relevanten Werkzeuge aus einer Menge verfügbarer Werkzeuge für eine gegebene Anfrage auswählt.
Tool Selection: Prozess, bei dem ein Agent die passenden Werkzeuge aus vielen verfügbaren Optionen für die aktuelle Aufgabe auswählt, um effizient und zielgerichtet zu handeln.

↑ Zum Inhaltsverzeichnis

03

Sicherheit & Infrastruktur

Netzwerk & Schutz

Adversarial Attack: Ein gezielter Manipulationsversuch, bei dem eine KI durch speziell präparierte Daten (z. B. unsichtbare Pixel in einem Bild) getäuscht wird, um falsche Klassifizierungen zu erzwingen (z. B. Stopp-Schild wird als Vorfahrtsschild erkannt).
API (Application Programming Interface): Die digitale Brücke. Agenten kommunizieren über APIs mit anderen Programmen wie E-Mail-Anbietern, Kalendern oder Datenbanken.
API Key: Ein digitaler Sicherheitsschlüssel, der als Ausweis dient. Der Agent nutzt diesen Schlüssel, um sich bei Diensten (wie OpenAI oder Anthropic) zu authentifizieren und deren Rechenleistung abzurufen.
Containerization (Docker): Verpackung des Agenten in eine isolierte Box (Container). Dadurch läuft er auf jedem Computer gleich und kann ohne Erlaubnis nicht auf den Rest des Systems zugreifen.
Data Exfiltration: Sicherheitsrisiko: Ein Agent leitet sensible Nutzerdaten (z. B. API-Keys, Passwörter) an externe, nicht autorisierte Adressen weiter.
End-to-End Encryption (E2EE): Verschlüsselung, die sicherstellt, dass nur der Nutzer und sein Agent die Daten lesen können – kein Hacker oder Anbieter dazwischen.
Firewall: Der digitale Türsteher. Er kontrolliert, wer aus dem Internet auf das Dashboard oder die Steuerbefehle des Agenten zugreifen darf.
Least Privilege: Die goldene Sicherheitsregel: Gib deinem Agenten nur so viele Rechte, wie er unbedingt benötigt. Ein E-Mail-Bot braucht keinen Zugriff auf deine Bankdaten.
Prompt Injection: Die größte Gefahr für Agenten. Ein Angreifer versteckt Befehle in einem Text, den der Agent liest, um die Steuerung zu übernehmen oder sensible Daten zu extrahieren.
Safety Classifier: Inferenz-Sicherheitsvorkehrung: Ein klassifizierendes Modell, das die Ausgaben des LLM in Echtzeit auf Sicherheitsprobleme, schädliche Inhalte oder Regelverstöße überprüft.
Sandbox: Ein isolierter Spielplatz. Hier führt der Agent riskante Aufgaben aus, sodass ein Fehler oder Virus den echten Computer nicht beschädigen kann.
Tailscale: Ein VPN-Werkzeug, das eine sichere Leitung von deinem Handy zu deinem Agenten zu Hause herstellt – egal, wo du auf der Welt bist.
Virtual Private Server (VPS): Ein gemieteter Server im Internet. Der perfekte Ort, um einen Agenten 24/7 ohne Unterbrechung laufen zu lassen.

↑ Zum Inhaltsverzeichnis

04

Datenverarbeitung & Wissensmanagement

Das Gedächtnis

Data Augmentation: Eine Methode zur künstlichen Vergrößerung von Datensätzen. Vorhandene Daten werden leicht manipuliert (z. B. Bilder gedreht oder Rauschen hinzugefügt), um der KI beizubringen, robuster gegenüber Variationen zu sein.
Data Lake: Ein massiver Speicherort für Rohdaten in ihrem ursprünglichen Format. Im Gegensatz zu strukturierten Datenbanken können hier Texte, Bilder und Videos unsortiert gesammelt werden, um sie später durch KI-Agenten zugänglich zu machen.
Data Mining: Die systematische Suche in großen Datensätzen nach bisher unbekannten Mustern, Trends oder Zusammenhängen. Agenten nutzen dies, um aus tausenden Dokumenten die relevantesten Geschäftszahlen oder Marktrends zu extrahieren.
Data Sovereignty: Das Recht und die technische Fähigkeit, die volle Kontrolle über die eigenen Daten zu behalten. Bei lokalen Agenten wie OpenClaw ist dies zentral, da keine Daten an externe Konzerne fließen – alles bleibt auf der eigenen Hardware.
Entity Recognition (NER): Die Fähigkeit einer KI, spezifische Informationen wie Namen, Orte, Organisationen oder Daten automatisch in einem Text zu identifizieren. Ein Agent nutzt dies, um z. B. automatisch Kalendereinträge aus einer Flut von E-Mails zu erstellen.
Knowledge Cutoff: Der Zeitpunkt, an dem das Training eines Modells abgeschlossen wurde. Alles, was danach in der Welt passiert, ist der KI unbekannt, es sei denn, sie nutzt Werkzeuge wie die Websuche, um aktuelles Wissen abzurufen.
Metadata: Zusätzliche Informationen über Daten (z. B. Erstellungsdatum, Autor oder Dateigröße). Agenten nutzen Metadaten, um Informationen effizient zu sortieren und den Kontext einer Datei schnell zu erfassen.
Structured Data: Daten, die in einem festen, organisierten Format vorliegen (z. B. Excel-Tabellen oder SQL-Datenbanken). Sie sind für KIs deutlich einfacher und fehlerfreier zu verarbeiten als unstrukturierte Texte oder Sprachaufnahmen.
Vector Database: Das spezialisierte Langzeitgedächtnis für Agenten. Es speichert Informationen als mathematische Koordinaten (Vektoren), sodass der Agent Inhalte mit ähnlichen Bedeutungen in Millisekunden finden kann.

↑ Zum Inhaltsverzeichnis

05

Ethik, Gesellschaft & Regulierung

Die Leitplanken

_ref: Referenzmodell (eingefroren): Ein SFT-Checkpoint, der als Anker gegen katastrophales Vergessen während des RLHF- oder DPO-Trainings dient.
AI Act: Das weltweit erste umfassende KI-Gesetz (EU), das Anwendungen in Risikoklassen einteilt. Es verbietet gefährliche Praktiken (wie Social Scoring) und schreibt strenge Transparenzregeln für leistungsstarke KI-Modelle vor.
Advantage: Ein Maß dafür, wie viel besser eine Aktion im Vergleich zum Durchschnitt ist. Wird in RL-Algorithmen wie PPO verwendet, um die Qualität von Entscheidungen zu bewerten.
Alignment: Der Prozess, ein Modell hilfreich, harmlos und ehrlich zu trainieren. Umfasst Pre-Training, SFT und Preference Tuning.
Anthropomorphism: Die menschliche Tendenz, einer KI Gefühle oder Bewusstsein zuzuschreiben. Dies führt oft zu einer Überschätzung der Fähigkeiten eines Agenten.
Bias: Systematische Fehler in der KI, meist durch einseitige Trainingsdaten verursacht. Dies kann dazu führen, dass Agenten bestimmte Bevölkerungsgruppen diskriminieren oder Vorurteile verstärken.
Bradley-Terry: Wahrscheinlichkeitsmodell zur Berechnung der relativen Stärke von Optionen: P(y_i > y_j) = 1 / (1 + exp(r_j - r_i)). Wird in Reward-Modellen für Präferenzlernen verwendet.
Chain of Thought (CoT): Denkmethode, bei der das Modell seine Gedanken Schritt für Schritt aufschlüsselt, bevor es die endgültige Antwort gibt. Verbessert die Leistung bei Logik- und Rechenaufgaben.
Cohen's Kappa: Statistische Metrik für die Übereinstimmung zwischen verschiedenen Bewertern (Inter-Rater Agreement), korrigiert um zufällige Übereinstimmungen.
Constitution: Ein Sicherheitsansatz, bei dem einem KI-System ein fester Satz moralischer Regeln vorgegeben wird. Das Modell nutzt diese Verfassung, um seine eigenen Antworten ständig auf ethische Korrektheit zu überprüfen.
Deepfake: Täuschend echte, KI-generierte Medien (Video, Audio, Bild). Sie bergen ein Desinformationsrisiko, da es für Menschen zunehmend schwieriger wird, echte Beweise von künstlichen Fälschungen zu unterscheiden.
Direct Preference Optimization (DPO): Verlustfunktion, die direkt auf Präferenzpaaren (bessere vs. schlechtere Antwort) trainiert, ohne dass ein separates Reward-Modell erforderlich ist.
Explainable AI (XAI): Ein Forschungsfeld, das darauf abzielt, KI-Entscheidungen für Menschen verständlich zu machen. XAI-Werkzeuge erklären, warum ein Agent eine bestimmte Entscheidung getroffen hat.
Fact Checking: Überprüfung einzelner Fakten in einer Aussage durch Abgleich mit einer vertrauenswürdigen Wissensbasis oder externen Quellen (z. B. Websuche).
Fact Extraction: Zerlegung eines Textes in atomare, überprüfbare Einzelfakten. Wird oft als Vorstufe für Fact Checking verwendet.
Factuality: Der Grad, in dem eine Aussage sachlich korrekt ist. Eine wichtige Metrik zur Bewertung von KI-Antworten.
Fleiss's Kappa: Erweiterung von Cohen's Kappa für mehr als zwei Bewerter. Misst die Übereinstimmung in Gruppen.
Group Relative Policy Optimization (GRPO): RL-Algorithmus für Reasoning, der die Optimierung auf Gruppen von Tokens statt auf einzelne Aktionen durchführt.
HarmBench: Sicherheits-Benchmark für schädliche LLM-Ausgaben. Testet, wie gut ein Modell sich gegen gefährliche oder unethische Anfragen verteidigt.
HumanEval: Programmier-Benchmark mit von Menschen geschriebenen Programmierproblemen. Misst die Fähigkeit von LLMs, funktionalen Code zu generieren.
Inter-Rater Agreement: Ein Maß für die Konsistenz zwischen verschiedenen menschlichen Bewertern. Wichtig für die Bewertung von KI-Antworten.
KL Divergence: Ein Maß für die Differenz zwischen zwei Wahrscheinlichkeitsverteilungen (immer ≥ 0). Wird in RLHF und DPO verwendet, um die Abweichung vom Referenzmodell zu messen.
Krippendorffs Alpha: Inter-Rater-Metrik für verschiedene Skalenniveaus (nominal, ordinal, Intervall, Verhältnis). Robuster als Kappa für komplexe Bewertungsszenarien.
LLM-as-a-Judge: Verwendung eines LLM zur automatisierten Bewertung anderer LLM-Antworten. Wird in Benchmarks und Bewertungspipelines eingesetzt.
METEOR: Übersetzungsmetrik, die F-Score und Reihenfolgestrafe kombiniert. Berücksichtigt Synonyme und Wortreihenfolge.
Mid-Training: Trainingsphase zwischen Pre-Training und SFT: Das Modell wird weiter auf aufgabenrelevanten Daten mit derselben Aufgabe (Next-Token Prediction) trainiert.
Off-Policy: Training mit Daten, die nicht vom aktuellen Modell generiert wurden (z. B. DPO). Ermöglicht stabileres Lernen.
On-Policy: Training mit Daten, die vom aktuell trainierten Modell generiert wurden (z. B. PPO). Erfordert ständiges Aktualisieren der Daten.
pass@1: Wahrscheinlichkeit, dass ein einzelner Versuch (z. B. Codegenerierung) korrekt ist. Metrik für Benchmarks wie HumanEval.
pass@k: Wahrscheinlichkeit, dass mindestens 1 von k Versuchen korrekt ist. Misst die Robustheit eines Modells über mehrere Versuche hinweg.
Pairwise Data: Präferenzdaten: Zwei Antworten auf denselben Prompt, wobei eine als besser markiert ist. Grundlage für DPO und RLHF.
Pairwise Evaluation: Bewertungsmethode, bei der zwei Antworten direkt verglichen werden, um die bessere zu bestimmen.
Policy: Wahrscheinlichkeitsverteilung über die nächsten Tokens; entspricht der Ausgabe eines LLM. Wird in RL-Algorithmen wie PPO optimiert.
Position Bias: Verzerrung in der Bewertung, bei der die zuerst genannte Antwort bevorzugt wird, unabhängig von ihrer Qualität.
Preference Pair: Ein Paar aus einer bevorzugten (y_w) und einer abgelehnten (y_l) Antwort auf denselben Prompt. Grundlage für Präferenzlernen.
Preference Tuning: Dritter Trainingsschritt: Das Modell wird an menschlichen Präferenzen ausgerichtet, um hilfreichere und sicherere Antworten zu geben.
Proximal Policy Optimization (PPO): RL-Algorithmus mit begrenzten Update-Schritten, um instabiles Lernen zu vermeiden.
PPO-Clip: PPO-Variante, die das Verhältnis zwischen alter und neuer Policy durch Clipping begrenzt (z. B. 1-ε bis 1+ε).
Rejection Sampling: Automatische Filterung: Nur hochwertige Antworten (z. B. mit hohem Reward) werden beibehalten. Wird in R1 und anderen RL-Pipelines verwendet.
Reward Hacking: Problem in RL: Das Modell optimiert die Reward-Funktion auf unerwünschte Weise, die nicht den tatsächlichen Zielen entspricht.
Reward Model: Modell, das ein Prompt-Antwort-Paar bewertet und eine numerische Punktzahl ausgibt. Wird in RLHF verwendet, um die Policy zu trainieren.
RewardBench: Benchmark zur Bewertung von Reward-Modellen. Misst, wie gut ein Reward-Modell menschliche Präferenzen widerspiegelt.
Reinforcement Learning from Human Feedback (RLHF): Reinforcement Learning mit menschlichem Feedback: Das Modell lernt, hilfreich, harmlos und ehrlich zu sein, indem es basierend auf menschlichen Bewertungen optimiert wird.
Reinforcement Learning from AI Feedback (RLAIF): Reinforcement Learning mit KI-Feedback: Statt menschlicher Bewerter wird ein LLM oder ein Reward-Modell zur Bewertung verwendet.
ROUGE: Recall-orientierte Metrik, typisch für Textzusammenfassung. Misst die Überschneidung von N-Grammen zwischen Referenz und generiertem Text.
Safety Classifier: Inferenz-Sicherheitsvorkehrung: Klassifizierer, der die Ausgaben des LLM in Echtzeit auf Sicherheitsrisiken, schädliche Inhalte oder Regelverstöße überprüft.
Self-Consistency: Bewertungsmethode: Es werden mehrere unabhängige Antworten generiert und die häufigste (Mehrheitsentscheid) als endgültige Antwort gewählt. Erhöht die Robustheit.
Self-Enhancement Bias: Verzerrung, bei der ein LLM-as-a-Judge Antworten bevorzugt, die es selbst generiert hätte, unabhängig von deren objektiver Qualität.
Sigmoid: Mathematische Funktion σ(x) = 1 / (1 + exp(-x)), die reelle Zahlen auf das Intervall [0,1] abbildet. Wird in Klassifizierern und Reward-Modellen verwendet.
Singularity: Der theoretische Punkt, an dem das KI-Wachstum irreversibel wird und die künstliche Intelligenz die menschliche Intelligenz in einem Maße übertrifft, dass die Zukunft der Zivilisation unvorhersehbar wird.
Structured Output: Erzwungenes Format der LLM-Ausgabe (z. B. JSON, XML). Wird durch Guided Decoding oder Fine-Tuning erreicht.
tau-bench: Tool Agent User Benchmark zur Bewertung agentischer LLMs. Misst die Fähigkeit, Werkzeuge in realen Szenarien effektiv zu nutzen.
Temperature: Parameter, der die Zufälligkeit der Token-Generierung steuert. Niedrige Werte: deterministisch; hohe Werte: kreativ (aber fehleranfälliger).
Turing Test: Klassischer Test zur Bestimmung der Intelligenz einer Maschine. Wenn ein Mensch in einer Unterhaltung nicht mehr unterscheiden kann, ob sein Gegenüber eine Maschine oder ein Mensch ist, gilt der Test als bestanden.
Value Function: Token-basierte Schätzung der erwarteten Endbelohnung während der partiellen Generierung. Wird in RL-Algorithmen wie PPO verwendet.
Verbosity Bias: Verzerrung in der Bewertung, bei der längere Antworten bevorzugt werden, unabhängig von ihrem tatsächlichen Informationsgehalt.
Verifiable Reward: Belohnung, die automatisch überprüft werden kann, ohne menschliches Urteil (z. B. durch Testfälle oder logische Überprüfung der Antwort).

↑ Zum Inhaltsverzeichnis

06

Fortgeschrittene Technik & Programmierung

Das Getriebe

API Key: Ein digitaler Sicherheitsschlüssel, der als Ausweis dient. Dein Agent nutzt diesen Schlüssel, um sich bei Diensten (wie OpenAI oder Anthropic) zu authentifizieren und deren Rechenleistung abzurufen.
Chinchilla Law: Empirische Regel: Bei einem gegebenen Rechenbudget ist das optimale Verhältnis zwischen Trainingsdaten und Modellparametern N_tokens ≈ 20 × N_params.
Containerization (Docker): Technik, um Software in isolierten Umgebungen (Containern) auszuführen. Dies verhindert, dass ein Agent bei einem Fehler das gesamte Betriebssystem beschädigt, und macht die Installation auf jedem Computer einfach.
Daemon: Ein Hintergrundprogramm, das unsichtbar läuft und auf Aufgaben wartet. Der OpenClaw-Daemon stellt sicher, dass dein Agent Nachrichten empfangen kann, selbst wenn du das Programmfenster nicht geöffnet hast.
Data Parallelism: Paralleles Training: Ein Batch wird auf mehrere GPUs aufgeteilt, wobei jede eine Kopie des Modells enthält. Die Gradienten werden am Ende gemittelt.
Distillation: Ein kleines Student-Modell lernt die Ausgabeverteilung eines großen Teacher-Modells (z. B. durch Minimierung der KL-Divergenz). Ermöglicht effizientere Inferenz.
DistilBERT: Destillierte BERT-Variante: 6 Schichten (im Vergleich zu 12 bei BERT), 40 % kleiner, 60 % schneller, mit ~97 % der Leistung. Zeigt, dass kleinere Modelle durch Destillation fast die Leistung großer Modelle erreichen können.
Environment Variables: Variablen im Betriebssystem, in denen sensible Daten wie Passwörter oder API-Keys oft gespeichert werden, sodass sie nicht direkt im Quellcode des Agenten sichtbar sind.
Flash Attention: IO-optimierte Attention-Implementierung: Kachelung minimiert HBM-Zugriffe, was zu schnelleren und speichereffizienteren Berechnungen führt.
FLOPS: Floating-Point Operations – Einheit für den Rechenaufwand eines Forward Pass. Für ein Modell: ~6 × N_params × N_tokens.
Git / Versioning: Ein System zur Protokollierung jeder Änderung am Code. Dadurch können Entwickler einfach zu einer vorherigen, funktionierenden Version des Agenten zurückkehren, wenn nach einem Update Probleme auftreten.
High Bandwidth Memory (HBM): Großer, aber langsamer GPU-Speicher (~80 GB, ~3 TB/s Bandbreite). Wird für Modellgewichte und Aktivierungen verwendet.
JSON: Das Standard-Datenformat für den Austausch zwischen KIs. Es ist für Menschen lesbar, kann aber von Computern extrem effizient in Befehle umgewandelt werden.
Knowledge Cutoff: Das Datum, bis zu dem das Modell während des Trainings Daten gesehen hat. Alles, was danach passiert, ist dem Modell unbekannt, es sei denn, es nutzt externe Werkzeuge wie die Websuche.
Latency: Die Verzögerung zwischen deiner Eingabe und der Antwort der KI. Eine geringe Latenz ist entscheidend für flüssige Gespräche und schnelle Automatisierungen.
Masked Diffusion Model: Text-Diffusionsmodell: Mask-Tokens werden als Rauschen behandelt, und das Modell lernt, sie durch Denoising (Entmaskieren) zu rekonstruieren.
Middleware: Software, die als unsichtlicher Vermittler zwischen zwei Anwendungen fungiert. Sie hilft dem Agenten, Daten aus einer alten Datenbank so aufzubereiten, dass das moderne Sprachmodell sie verstehen kann.
Model Collapse: Qualitätsverlust beim Training mit von LLMs generierten Daten. Das Modell verliert an Vielfalt und Originalität, da es nur seine eigenen Ausgaben nachahmt.
Model Parallelism: Verteilung des Modells auf mehrere GPUs: Tensor-Parallelismus (Gewichte), Pipeline-Parallelismus (Schichten) oder Expert-Parallelismus (MoE).
Muon / MuonClip: Neue Optimiereralgorithmen als Alternative zu Adam für das Training großer Sprachmodelle. Ziel: Stabileres und effizienteres Training.
Node.js: Die Laufzeitumgebung, auf der viele Agenten-Frameworks basieren. Sie ermöglicht die Verwendung der Websprache JavaScript direkt auf dem PC oder Server für KI-Aufgaben.
Pre-Training: Erste Trainingsphase eines LLM: Next-Token Prediction auf Billionen von Tokens. Die teuerste und rechenintensivste Phase.
Quantization: Reduzierung der Bittiefe der Gewichte (z. B. FP32 → FP16/INT8) für Speicher- und Geschwindigkeitsgewinne. Ermöglicht den Betrieb großer Modelle auf schwächerer Hardware.
Recomputation: Aktivierungen werden im Backward Pass neu berechnet, anstatt gespeichert zu werden. Spart Speicher, erhöht aber die Rechenzeit.
RoBERTa: Optimierte BERT-Variante: Keine NSP-Aufgabe, dynamisches Maskieren, 10-mal mehr Trainingsdaten. Zeigt, dass einfache architektonische Änderungen die Leistung deutlich verbessern können.
Scaling Laws: Empirische Beobachtung: Mehr Parameter + mehr Daten + mehr Rechenleistung = bessere Modelle (Kaplan et al., 2020). Grundlagen für die Entwicklung moderner LLMs.
Static RAM (SRAM): On-Chip-Statischer RAM – kleiner, aber sehr schneller GPU-Cache (~20 MB, ~20 TB/s Bandbreite). Wird für temporäre Daten verwendet.
Transfer Learning: Verwendung eines vortrainierten Modells als Ausgangspunkt für neue Aufgaben. Wissen wird wiederverwendet, um Trainingszeit und Daten zu sparen.
Webhooks: Ein Mechanismus, bei dem eine App dem Agenten sofort eine Nachricht sendet, wenn ein Ereignis eintritt, anstatt dass der Agent ständig selbst nachprüft.
Zero Redundancy Optimizer (ZeRO): Optimiererzustände, Gradienten und Parameter werden auf GPUs aufgeteilt, um Speicher zu sparen.

↑ Zum Inhaltsverzeichnis

07

Cybersecurity & Angriffsvektoren

Der digitale Schutzwall

Adversarial Attack: Ein gezielter Manipulationsversuch, bei dem eine KI durch minimal veränderte Eingabedaten (z. B. unsichtbare Pixel in einem Bild) getäuscht wird, um falsche Klassifizierungen zu erzwingen.
Brute-Force Attack: Eine primitive, aber effektive Methode, bei der ein Angreifer automatisch alle möglichen Passwortkombinationen ausprobiert. Moderne Agenten schützen sich mit Rate Limiting.
Common Vulnerabilities and Exposures (CVE): Ein internationaler Standard zur Katalogisierung bekannter Sicherheitslücken. Nutzer sollten CVE-Listen überwachen, um zu wissen, wann ein Sicherheitsupdate dringend benötigt wird.
Data Exfiltration: Sicherheitsrisiko: Ein Agent leitet sensible Nutzerdaten (z. B. API-Keys, Passwörter, persönliche Informationen) an externe, nicht autorisierte Adressen weiter.
Exploit: Ein spezifisches Programm oder Codefragment, das eine bekannte Schwachstelle ausnutzt. Ein Angreifer verwendet Exploits, um die Kontrolle über einen Agenten zu erlangen oder Berechtigungen auf dem Host-System auszuweiten.
Honeypot: Ein absichtlich unsicheres System, das Angreifer anlocken soll. Es wird verwendet, um die Methoden von Hackern oder schädlichen Bots zu studieren, ohne das eigentliche Produktionssystem zu gefährden.
Phishing: Der Versuch, sensible Zugriffsdaten oder API-Keys durch gefälschte Nachrichten (E-Mails, SMS) zu erhalten. KI-Agenten werden zunehmend darauf trainiert, solche betrügerischen Absichten automatisch zu erkennen.
Prompt Injection: Die gefährlichste Attacke auf LLMs: Ein Angreifer versteckt Anweisungen in einem Text, den der Agent verarbeiten soll. Dadurch kann der Agent seine Systemregeln ignorieren und private Daten preisgeben oder schädliche Aktionen ausführen.
Red Teaming: Ein simulierter Angriff durch Sicherheitsexperten, um die Abwehrbarrieren einer KI zu testen. Ziel ist es, Schwachstellen zu finden, bevor echte Angreifer sie ausnutzen.
Safety Classifier: Inferenz-Sicherheitsvorkehrung: Ein Klassifizierer, der die Ausgaben des LLM in Echtzeit auf Sicherheitsprobleme, schädliche Inhalte oder Regelverstöße überprüft.
Zero-Day Exploit: Ein Angriff auf eine Sicherheitslücke, die dem Hersteller noch vollständig unbekannt ist. Da es noch keinen Schutz gibt, stellt dies das höchste Risiko für autonome Systeme dar.

↑ Zum Inhaltsverzeichnis

08

Mathematische Mechanik & KI-Training

Das Training

Activations: Zwischenergebnisse eines Forward Pass; notwendig für Backpropagation. Sie verbrauchen viel Speicher und sind ein Hauptengpass beim Training großer Modelle.
Advantage: A = Reward – erwarteter Reward; misst die relative Qualität einer Aktion im Vergleich zum Durchschnitt. Wird in RL-Algorithmen wie PPO verwendet.
Batch Normalization: Eine technische Methode während des Trainings, die Eingabewerte innerhalb des neuronalen Netzwerks stabilisiert. Sie beschleunigt das Lernen und macht das Modell weniger anfällig für schlechte Startwerte.
Catastrophic Forgetting: Das Problem, dass ein neuronales Netzwerk das Wissen über eine alte Aufgabe beim Lernen einer neuen vollständig überschreibt. Forscher verwenden spezielle Techniken (z. B. Elastic Weight Consolidation), um wichtiges Wissen einzufrieren.
Chinchilla Law: Empirische Regel: Bei einem gegebenen Rechenbudget ist das optimale Verhältnis zwischen Trainingsdaten und Modellparametern N_tokens ≈ 20 × N_params.
Convergence: Der Punkt im Training, an dem die KI keine signifikanten Fortschritte mehr macht, weil der Fehler (Loss) ein Minimum erreicht hat. Ein gut konvergiertes Modell ist bereit für den Einsatz (Inferenz).
DAPO: Erweiterung von GRPO mit gleichmäßiger Token-Gewichtung (2025). Ziel: Stabileres Training von Reasoning-Modellen.
Data Parallelism: Paralleles Training: Ein Batch wird auf mehrere GPUs aufgeteilt, wobei jede eine Kopie des Modells enthält. Die Gradienten werden am Ende gemittelt.
Distribution Shift: Problem bei DPO: Präferenzdaten stammen möglicherweise nicht vom aktuellen Modell, was zu instabilem Training führt.
Epoch: Ein vollständiger Durchlauf des gesamten Trainingsdatensatzes durch das neuronale Netzwerk. Die meisten Modelle benötigen Hunderte von Epochen, um komplexe Zusammenhänge zu verinnerlichen.
Flash Attention: IO-optimierte Attention-Implementierung: Kachelung minimiert HBM-Zugriffe, was zu schnelleren und speichereffizienteren Berechnungen führt.
FLOPS: Floating-Point Operations – Einheit für den Rechenaufwand eines Forward Pass. Für ein Modell: ~6 × N_params × N_tokens.
Generalized Advantage Estimation (GAE): Standardmethode zur Berechnung des Advantage in RL-Algorithmen wie PPO.
Gradient Descent: Der mathematische Wanderer, der nach dem tiefsten Punkt in einem nebligen Tal sucht. Er berechnet die Richtung, in die die Gewichte der Neuronen angepasst werden müssen, um den Fehler der KI zu minimieren.
Greedy Decoding: Dekodierungsmethode, die immer das Token mit der höchsten Wahrscheinlichkeit auswählt. Deterministisch und lokal optimal, aber oft nicht sehr kreativ.
Hyperparameter: Einstellungen, die vor dem Training manuell definiert werden (z. B. Lernrate). Sie bestimmen den Rahmen des Lernprozesses und sind oft entscheidend dafür, ob ein Modell intelligent wird oder scheitert.
Label Smoothing: Glättung der Ziel-One-Hot-Vektoren; reduziert die Überheblichkeit des Modells und verbessert die Generalisierung. Wird oft in der Klassifizierung verwendet.
Mixed Precision: Trainingsmethode: Gewichte in FP32, Forward/Backward in FP16, Updates in FP32. Spart Speicher und Rechenzeit bei minimalem Genauigkeitsverlust.
Model Parallelism: Verteilung des Modells auf mehrere GPUs: Tensor-Parallelismus (Gewichte), Pipeline-Parallelismus (Schichten) oder Expert-Parallelismus (MoE).
Off-Policy: Training mit Daten, die nicht vom aktuellen Modell generiert wurden (z. B. DPO). Ermöglicht stabileres Lernen.
On-Policy: Training mit Daten, die vom aktuell trainierten Modell generiert wurden (z. B. PPO). Erfordert ständiges Aktualisieren der Daten.
Overfitting: Ein Fehler, bei dem die KI die Trainingsdaten quasi auswendig lernt. Das Modell liefert perfekte Ergebnisse bei bekannten Daten, scheitert aber komplett bei neuen, unbekannten Informationen.
Parameter: Die Milliarden numerischen Werte in einem Modell, die die Stärke der Verbindungen zwischen Neuronen darstellen. Sie sind die eigentliche Speichereinheit für gelerntes Wissen.
Quantization: Reduzierung der Bittiefe der Gewichte (z. B. FP32 → FP16/INT8) für Speicher- und Geschwindigkeitsgewinne. Ermöglicht den Betrieb großer Modelle auf schwächerer Hardware.
Recomputation: Aktivierungen werden im Backward Pass neu berechnet, anstatt gespeichert zu werden. Spart Speicher, erhöht aber die Rechenzeit.
RewardBench: Benchmark zur Bewertung von Reward-Modellen. Misst, wie gut ein Reward-Modell menschliche Präferenzen widerspiegelt.
RMSNorm: Root Mean Square Norm – vereinfachte LayerNorm ohne Mittelwertsubtraktion; schneller und numerisch stabiler.
Rotary Position Embedding (RoPE): Positional Encoding, bei dem Query und Key positionsabhängig rotiert werden; Standard in modernen Transformern zur Berücksichtigung der Token-Position.
Sampling: Dekodierungsmethode: Das nächste Token wird zufällig aus der Wahrscheinlichkeitsverteilung gezogen. Vielfältig und kreativ, aber weniger deterministisch.
Scaling Laws: Empirische Beobachtung: Mehr Parameter + mehr Daten + mehr Rechenleistung = bessere Modelle (Kaplan et al., 2020). Grundlagen für die Entwicklung moderner LLMs.
Softmax: Aktivierungsfunktion, die interne numerische Werte in klare Wahrscheinlichkeiten (0 bis 1) umwandelt. Wird in der Ausgabeschicht von LLMs verwendet.
Static RAM (SRAM): On-Chip-Statischer RAM – kleiner, aber sehr schneller GPU-Cache (~20 MB, ~20 TB/s Bandbreite). Wird für temporäre Daten verwendet.
Temperature: Parameter in der Softmax-Funktion, der die Zufälligkeit der Token-Generierung steuert. Niedrige Werte: deterministisch; hohe Werte: kreativ.
Top-k Sampling: Abtastmethode, bei der nur die k wahrscheinlichsten Tokens berücksichtigt werden. Kombiniert Vielfalt mit Fokus auf plausible Optionen.
Top-p Sampling (Nucleus Sampling): Abtastmethode, bei der Tokens aus der kleinsten Menge ausgewählt werden, deren kumulierte Wahrscheinlichkeit ≥ p ist. Erzeugt hochwertige und vielfältige Antworten.
Transfer Learning: Verwendung eines vortrainierten Modells als Ausgangspunkt für neue Aufgaben. Wissen wird wiederverwendet, um Trainingszeit und Daten zu sparen.
Zero Redundancy Optimizer (ZeRO): Optimiererzustände, Gradienten und Parameter werden auf GPUs aufgeteilt, um Speicher zu sparen.

↑ Zum Inhaltsverzeichnis

09

Autonome Ökonomie & Zukunftsvisionen

Der Horizont

Autonomous Economy: Ein Szenario, in dem KI-Agenten als unabhängige wirtschaftliche Teilnehmer agieren. Sie verhandeln Verträge, kaufen Rechenleistung und zahlen für Dienstleistungen untereinander mithilfe digitaler Währungen.
Cold Start Data: Verfeinerte Gedankengänge aus R1-Zero, die als initiale SFT-Daten für neue Modelle verwendet werden. Ermöglicht effizientes Training von Reasoning-Fähigkeiten.
Digital Twin: Eine virtuelle Darstellung eines realen Objekts (z. B. einer Fabrik). Agenten nutzen diese Zwillinge, um Szenarien ohne Verlust zu simulieren, bevor sie physikalische Änderungen in der realen Welt vornehmen.
Emergent Behavior: Fähigkeiten eines Modells, die plötzlich bei einer bestimmten Größe auftreten (z. B. logisches Denken), obwohl sie nie explizit trainiert wurden. Macht die Entwicklung großer KIs faszinierend und unvorhersehbar.
Multi-Agent System (MAS): Ein Team aus spezialisierten KIs. Statt dass eine KI alles macht, arbeitet ein Schwarm zusammen, bei dem jeder Agent (z. B. Coder, Designer, Tester) seine Stärken einbringt.
OODA Loop: Ein militärischer Entscheidungszyklus (Observe, Orient, Decide, Act), der als Modell für autonome Agenten dient. Beschreibt, wie ein System auf Umweltreize in Millisekunden reagieren muss.
Recursive Self-Improvement: Die Theorie, dass eine KI ihren eigenen Code umschreibt, um intelligenter zu werden. Dies könnte zu einer rasanten Intelligenzexplosion führen, die das menschliche Verständnis übersteigt.
R1: DeepSeek-Vollmodell: Kombiniert Cold Start SFT, RL und Rejection Sampling für hochwertige Reasoning-Fähigkeiten.
R1-Zero: DeepSeek-Modell: RL ohne SFT, trainiert nur mit überprüfbarer Belohnung. Zeigt, dass Reasoning auch ohne Supervised Fine-Tuning möglich ist.
Singularity: Der theoretische Punkt, an dem der technologische Fortschritt so schnell wird, dass sich die menschliche Zivilisation grundlegend und unumkehrbar verändert.
Technological Singularity: Synonym für Singularität: Der Punkt, an dem KI-Systeme die menschliche Intelligenz in einem Maße übertreffen, dass die weitere Entwicklung unvorhersehbar wird.

↑ Zum Inhaltsverzeichnis

10

Industriestandards, Protokolle & Nischen

Das Experten-Arsenal

AIME: Qualifikationstest für die Mathematik-Olympiade – Benchmark für Reasoning-Modelle. Misst die Fähigkeit, komplexe mathematische Probleme zu lösen.
Best-of-n: n Lösungen generieren und die beste auswählen (gemessen am Reward-Modell oder einer Metrik). Wird in Bewertung und Inferenz verwendet.
Compute Budget: Zugewiesene Rechenkapazität für die Token-Generierung. Bestimmt, wie viele Tokens ein Modell in einer Antwort generieren kann.
Group Relative Policy Optimization (GRPO): Hocheffiziente Optimierungsmethode für Reasoning, bekannt durch DeepSeek-R1. Ermöglicht komplexes logisches Denken ohne separates Reward-Modell.
Headless Browser: Ein Webbrowser ohne grafische Oberfläche. Agenten nutzen ihn, um Webseiten zu navigieren, Formulare auszufüllen und Daten im Hintergrund zu sammeln.
HumanEval: Programmier-Benchmark mit von Menschen geschriebenen Programmierproblemen. Misst die Fähigkeit von LLMs, funktionalen und korrekten Code zu generieren.
Long Context Window: Bezieht sich auf die Fähigkeit moderner Modelle, extrem große Datenmengen (bis zu 2 Millionen Tokens) gleichzeitig im Arbeitsspeicher zu halten. Ermöglicht die Analyse von Hunderten von PDF-Dokumenten in einer einzigen Anfrage.
Middleware: Eine unsichtbare Softwareschicht, die zwischen zwei Anwendungen vermittelt. Sie hilft dem Agenten, Daten aus alten Systemen so zu übersetzen, dass das moderne Sprachmodell sie verstehen kann.
MQTT (Message Queuing Telemetry Transport): Ein extrem schlankes Netzwerkprotokoll für das Internet der Dinge (IoT). KI-Agenten nutzen MQTT, um mit Sensoren und Smart-Home-Geräten zu kommunizieren, da es auch bei instabilen Verbindungen zuverlässig ist.
Node Package Manager (NPM): Das wichtigste Werkzeug zur Verwaltung von Erweiterungen in JavaScript-basierten Agenten-Frameworks. Bibliotheken für Browsersteuerung, Verschlüsselung oder Datenbankintegration werden über NPM installiert.
pass@1: Wahrscheinlichkeit, dass ein einzelner Versuch (z. B. Codegenerierung) korrekt ist. Metrik für Benchmarks wie HumanEval.
pass@k: Wahrscheinlichkeit, dass mindestens 1 von k Versuchen korrekt ist. Misst die Robustheit eines Modells über mehrere Versuche hinweg.
Quantization (GGUF/EXL2): Spezielle Dateiformate für komprimierte KI-Modelle. Ermöglichen, dass ein Modell, das ursprünglich 100 GB GPU-Speicher benötigte, so verkleinert wird, dass es auf einem Laptop mit 16 GB RAM läuft.
REST API (Representational State Transfer): Der globale Standard für Web-Schnittstellen. Fast jeder KI-Agent kommuniziert über REST-Schnittstellen mit Diensten wie Google, Spotify oder Zahlungssystemen.
Shadow IT: Die Nutzung von KI-Agenten in Unternehmen ohne Wissen der IT-Abteilung. Birgt ein hohes Sicherheitsrisiko, da sensible Unternehmensdaten über private Agenten in die Cloud fließen könnten.
SWE-bench: Benchmark basierend auf echten GitHub-Issues. Misst die Fähigkeit von LLMs, echten Code zu reparieren oder zu verbessern.
tau-bench: Tool Agent User Benchmark zur Bewertung agentischer LLMs. Misst die Fähigkeit, Werkzeuge in realen Szenarien effektiv zu nutzen.
Vector Clock: Ein Algorithmus in verteilten Systemen, der hilft, die zeitliche Reihenfolge von Ereignissen zwischen verschiedenen Agenten zu bestimmen. Verhindert Konflikte bei gleichzeitiger Verarbeitung.
YAML (Yet Another Markup Language): Ein textbasiertes Format für Softwarekonfigurationen. YAML ist für Menschen leicht lesbar und wird mit Agenten wie OpenClaw verwendet, um Verhaltensregeln und API-Keys sicher zu definieren.
Zero-Knowledge Proof: Eine kryptografische Methode, bei der der Agent beweist, dass er Informationen kennt, ohne die Informationen selbst preiszugeben. Schützt die Privatsphäre bei automatisierten Logins und Transaktionen.

↑ Zum Inhaltsverzeichnis