Wer sich mit lokal betriebenen KI-Modellen beschäftigt, begegnet schnell Begriffen wie Open Weight, Parameter, Gewichte und Quantisierung. Doch was bedeuten diese Begriffe eigentlich und worin unterscheiden sich Modelle wie Claude, Kimi, Mistral oder GPT?
Diese Dokumentation erklärt die grundlegenden Zusammenhänge, zeigt, wie sich Modellgrößen und Trainingsvarianten unterscheiden und welche Rolle die Quantisierung für Speicherbedarf, Hardwareanforderungen und Leistungsfähigkeit spielt. Damit entsteht eine verständliche Grundlage, um geeignete KI-Modelle auszuwählen und auf eigener Hardware zu betreiben.
1. Hersteller und Modellfamilien
Der Hersteller entwickelt eine oder mehrere KI-Modellfamilien. Diese unterscheiden sich hinsichtlich Fähigkeiten, Architektur und Leistungsfähigkeit.
| Hersteller | Modellfamilien / Beispiele |
|---|---|
| Anthropic | Claude Opus, Sonnet, Haiku |
| OpenAI | GPT |
| Moonshot AI | Kimi |
| Mistral AI | Mistral |
| DeepSeek | DeepSeek |
2. Modellvarianten
Innerhalb einer Modellfamilie gibt es unterschiedliche Varianten mit verschiedenen Schwerpunkten.
| Variante | Zweck |
|---|---|
| Base | Grundmodell, vortrainiert |
| Instruct | Anweisungen verstehen und befolgen |
| Coder | Programmierung und Codeanalyse |
| Fine-Tuned | Auf bestimmte Aufgaben spezialisiert |
| Reasoning | Komplexe logische Schlussfolgerungen |
3. Parameter und Gewichte (Weights)
Ein KI-Modell besteht aus Millionen bis Milliarden trainierbarer Zahlenwerte.
- Parameter: Die trainierbaren numerischen Werte eines neuronalen Netzwerks.
- Gewichte (Weights): Die wichtigsten dieser Werte. Sie bestimmen die Stärke der Verbindungen zwischen künstlichen Neuronen.
- Training: Dabei werden die Gewichte angepasst, wodurch das Modell seine Fähigkeiten erlernt.
- Modellgröße: Wird üblicherweise anhand der Parameteranzahl angegeben.
Beispiele:
| Modellgröße | Parameter |
|---|---|
| 7B | 7 Milliarden |
| 14B | 14 Milliarden |
| 32B | 32 Milliarden |
| 70B | 70 Milliarden |
Bei MoE-Modellen (Mixture of Experts) gibt es zusätzlich aktive Parameter. Das sind die Parameter, die bei einer Berechnung tatsächlich verwendet werden.
4. Open-Weight-Modelle
Open-Weight bedeutet, dass die trainierten Modellgewichte öffentlich heruntergeladen werden können.
Vorteile:
- Lokal auf eigener Hardware betreibbar.
- Keine permanente Verbindung zum KI-Anbieter erforderlich.
- Unabhängig von externen KI-APIs.
- Je nach Lizenz veränderbar und weitertrainierbar.
Download-Plattformen:
Wichtig: Open Weight ist nicht automatisch Open Source. Auch die Lizenzbedingungen müssen beachtet werden.
5. Quantisierung
Quantisierung beschreibt, mit welcher numerischen Genauigkeit die Gewichte gespeichert werden.
Sie reduziert den Speicherbedarf, kann aber die Modellqualität geringfügig beeinflussen.
Beispiel für ein Modell mit 14 Milliarden Parametern:
| Format | Bits pro Gewicht | Speicherbedarf |
|---|---|---|
| FP32 | 32 | ca. 56 GB |
| FP16 | 16 | ca. 28 GB |
| Q8 | 8 | ca. 14 GB |
| Q5 | 5 | ca. 9–10 GB |
| Q4 | 4 | ca. 7–8 GB |
Je weniger Bits verwendet werden, desto kompakter wird das Modell. Die tatsächlichen Werte hängen vom Format und zusätzlichen Speicherbestandteilen ab.
6. Modellformate
| Format | Verwendung |
|---|---|
| GGUF | Ollama, llama.cpp, LM Studio |
| Safetensors | Transformers, PyTorch |
| GPTQ / AWQ | Quantisierte Modelle, insbesondere GPU-Inferenz |
7. Wie hängen alle Begriffe zusammen?
KI-Hersteller
Anthropic, OpenAI, Mistral, Moonshot
Modellfamilie
Claude, GPT, Kimi, Mistral
Modellvariante und Version
Instruct, Coder, Reasoning, Base
Parameter und Gewichte
Gelernte mathematische Werte
Quantisierung
FP16, Q8, Q5, Q4
Lokaler Betrieb
Ollama, LM Studio, llama.cpp
8. Worauf kommt es beim lokalen KI-Betrieb an?
Für die Auswahl eines geeigneten Modells sind vier Faktoren entscheidend:
- Modellqualität: Wie gut kann das Modell komplexe Aufgaben lösen?
- Modellgröße: Wie viele Parameter besitzt es?
- Quantisierung: Wie viel Speicher benötigt es?
- Hardware: Wie viel RAM und VRAM stehen zur Verfügung?
Das Modell bestimmt die grundlegenden Fähigkeiten, das Training prägt sein Verhalten, die Gewichte enthalten das Gelernte und die Quantisierung bestimmt, wie speichereffizient dieses Wissen abgelegt wird.
Tutorials, Konfigurationen und Open-Source-Projekte sind mit regelmäßigem Aufwand für Tests, Pflege und Dokumentation verbunden. Wer unsere Arbeit unterstützen möchte, trägt dazu bei, dass neue Inhalte entstehen. Wir danken dafür.
by Speefak
