Ab 20 $ pro Monat🇺🇸
Desktop-App zum Herunterladen und lokalen Ausführen offener Sprachmodelle über llama.cpp und MLX, mit Agent und Kommandozeile.
llama.cpp Überblick und Eckdaten (Oktober 2026)
Quelloffene C/C++-Bibliothek, die Sprach- und Vision-Modelle im GGUF-Format auf CPU und vielen GPU-Typen ausführt.
Kostenlos
Was ist llama.cpp?
llama.cpp ist eine quelloffene Inferenz-Bibliothek in C und C++, die große Sprach- und Vision-Modelle auf gewöhnlicher Hardware ausführt, vom Laptop bis zum Server. Viele lokale KI-Werkzeuge nutzen sie als Motor.
Das Projekt liegt in der Organisation ggml-org auf GitHub und baut auf der Tensor-Bibliothek ggml auf. Es definiert das Modellformat GGUF, liefert ein Kommandozeilenwerkzeug und llama-server und unterstützt CPU, Apple Metal, NVIDIA CUDA, AMD HIP, Vulkan und Intel SYCL. Laut ggml.ai wurde die Firma hinter dem Projekt 2026 von Hugging Face übernommen. Die GitHub-API zeigte rund 130.000 Sterne und eine Änderung am 28. September 2026.
KI-Funktionen von llama.cpp und ihr Nutzen
- Betreibt Modelle ohne Rechenzentrums-GPUllama.cpp kombiniert CPU- und GPU-Inferenz und verkleinert Modelle auf wenige Bit je Gewicht. IT-Teams betreiben so brauchbare Modelle auf vorhandenen Workstations oder kleinen Servern. Das senkt die Einstiegskosten für interne KI-Piloten.
- Stellt Modelle über eine OpenAI-artige API bereitllama-server bietet eine zu OpenAI kompatible Schnittstelle. Interne Werkzeuge, die für eine Cloud-API geschrieben wurden, sprechen dann ein selbst betriebenes Modell an. Dokumente und Eingaben bleiben im Firmennetz.
- Verarbeitet Bilder und TextDie Projektbeschreibung zeigt Sitzungen mit Vision-Sprachmodellen, die Fragen zu Bildern beantworten. Teams können so das Verstehen von Dokumenten oder Screenshots lokal testen, bevor sie einen Cloud-Dienst wählen.
Was llama.cpp besonders macht
- Definiert GGUF, das Modellformat, das viele lokale Laufzeiten und Desktop-Apps verwenden.
- Unterstützt in einer Codebasis viele Hardware-Plattformen, von Apple Silicon bis zu GPUs von AMD und Intel.
Wo llama.cpp am stärksten ist
USA International verfügbar
Quelloffene Software ohne Länderbindung, die auf eigener Hardware in jedem Land läuft.
Vor dem Kauf von llama.cpp klären
llama.cpp ist Bibliothek und Server, kein fertiges Produkt mit Support. Klären Sie, wer es baut, aktualisiert und überwacht, denn das Projekt veröffentlicht fast täglich Änderungen. Prüfen Sie die Lizenz jedes geladenen Modells, die MIT-Lizenz gilt nur für den Code. Für den Produktivbetrieb lohnt ein Vergleich des Durchsatzes mit spezialisierten Inferenz-Servern.
llama.cpp in Deutschland und der EU: Datenschutz und AI Act
- DatenhaltungVom Anbieter nicht veröffentlicht.
- AuftragsverarbeitungsvertragVom Anbieter nicht veröffentlicht: anfordern (Art. 28 DSGVO).
- EU AI ActPrüfen, ob die KI Entscheidungen über Menschen vorbereitet. Wenn nicht, greifen die Hochrisiko-Regeln meist nicht. Die Hochrisiko-Pflichten gelten ab dem 2. Dezember 2027 (Digital-Omnibus).
Allgemeine Information mit Quellen, keine Rechtsberatung.
Bewertungen zu llama.cpp
Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.
Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen
Häufige Fragen zu llama.cpp
Darf ich llama.cpp kommerziell nutzen?
Ja, der Code steht unter MIT-Lizenz. Modellgewichte haben eigene Lizenzen, die Sie gesondert prüfen müssen.
Welche Hardware unterstützt llama.cpp?
Laut Projektbeschreibung läuft es auf CPUs mit AVX-Befehlen sowie auf Apple Metal, NVIDIA CUDA, AMD HIP, Vulkan und Intel SYCL, auch gemischt aus CPU und GPU.
Wer pflegt llama.cpp?
Das Projekt liegt in der Organisation ggml-org auf GitHub und hat viele Beitragende. Laut ggml.ai wurde die Firma, die das Projekt unterstützt, 2026 von Hugging Face übernommen.
Updatearchiv zu llama.cppnoch keine Updates
Für llama.cpp sind noch keine Änderungen erfasst.
Änderungen beim Anbieter und bestätigte Hinweise aus Nutzermeldungen, jeweils an den Seiten des Anbieters geprüft. Wir prüfen jedes Tool monatlich.
Alternativen zu llama.cpp
Tools aus derselben Kategorie (Modell-Runner) mit den meisten gemeinsamen Märkten.
Ab 20 $ pro Monat🇺🇸
Modell-Runner für offene Sprachmodelle auf dem eigenen Rechner, mit lokaler API und optionalen Cloud-Modellen.
Kostenlos🇺🇸
Projekt von Mozilla.ai, das ein Sprachmodell samt Laufzeit in eine einzige ausführbare Datei ohne Installation packt.
Kostenlos🇺🇸
Python-Paket von Apples ML-Forschung, das Sprachmodelle auf Apple Silicon ausführt, quantisiert und feinabstimmt.