Ab 49 $ pro Monat🇺🇸
Prompt-Registry aus New York zum Bearbeiten und Versionieren von Prompts ohne Code-Release, mit Evaluierungen und Monitoring.
promptfoo Überblick und Eckdaten (Oktober 2026)
Open-Source-Werkzeug zum Testen von Prompts, Modellen und RAG-Pipelines und für Red Teaming in CI/CD, seit 2026 Teil von OpenAI.
Kostenlos
Was ist promptfoo?
promptfoo ist ein Open-Source-Werkzeug für Kommandozeile und Code, mit dem Teams Prompts, Modelle und RAG-Pipelines testen und KI-Anwendungen per Red Teaming angreifen. Entwicklerteams finden so Verschlechterungen und Sicherheitslücken, bevor eine Änderung live geht.
Die CLI läuft lokal: Testfälle und Prüfungen werden in YAML geschrieben, Ergebnisse erscheinen in einer lokalen Ansicht, und Red-Team-Scans decken über 50 Schwachstellentypen ab, darunter Prompt Injection, Jailbreaks, PII-Lecks und Verstöße gegen Geschäftsregeln, für Agenten, RAG-Systeme und Integrationen. Die Enterprise-Plattform ergänzt laufende Überwachung. Das Repository steht unter MIT-Lizenz und hatte rund 25.500 Sterne mit Commits am 28. September 2026. promptfoo gehört inzwischen zu OpenAI, laut README bleibt das Projekt Open Source unter MIT-Lizenz.
KI-Funktionen von promptfoo und ihr Nutzen
- Vergleicht Prompts und ModelleTestfälle laufen gegen mehrere Prompt-Versionen und Modelle, Prüfregeln kontrollieren die Ausgaben. Teams wählen die beste Kombination anhand wiederholbarer Ergebnisse.
- Greift die eigene Anwendung anRed Teaming erzeugt feindselige Eingaben wie Prompt-Injection und Jailbreak-Versuche. Sicherheitslücken zeigen sich im Test, nicht im Betrieb.
- Sichert jede Code-Änderung abDie Tests laufen in CI/CD-Pipelines und melden Befunde mit Hinweisen zur Behebung im Pull Request. Verschlechterungen bei Prompts oder RAG fallen schon im Review auf.
Was promptfoo besonders macht
- Verbindet Prompt-Evaluierung und Red Teaming für Sicherheit in einem Open-Source-Werkzeug.
- Läuft lokal und in CI ohne gehostetes Konto.
- Gehört seit 2026 zu OpenAI, bleibt laut Projekt aber für beliebige Modelle nutzbar.
Wo promptfoo am stärksten ist
USA International verfügbar
promptfoo hat seinen Sitz in San Francisco und gehört inzwischen zu OpenAI.
Vor dem Kauf von promptfoo klären
promptfoo gehört inzwischen zu OpenAI. Fragen Sie daher nach Fahrplan, Vertragspartner und Bedingungen, bevor Sie die Enterprise-Plattform langfristig einplanen. Die CLI unter MIT-Lizenz bleibt unabhängig nutzbar. Scans rufen die getesteten Modelle auf, verursachen API-Kosten und schicken Test-Prompts an deren Anbieter.
promptfoo in Deutschland und der EU: Datenschutz und AI Act
- DatenhaltungVom Anbieter nicht veröffentlicht.
- AuftragsverarbeitungsvertragVom Anbieter nicht veröffentlicht: anfordern (Art. 28 DSGVO).
- EU AI ActPrüfen, ob die KI Entscheidungen über Menschen vorbereitet. Wenn nicht, greifen die Hochrisiko-Regeln meist nicht. Die Hochrisiko-Pflichten gelten ab dem 2. Dezember 2027 (Digital-Omnibus).
Allgemeine Information mit Quellen, keine Rechtsberatung.
Bewertungen zu promptfoo
Noch keine Bewertung. Erzählen Sie als Erste:r, wie Ihr Team es nutzt.
Jede Bewertung zeigt ihre Prüfstufe. Wir lesen jede vor der Veröffentlichung. So prüfen wir Bewertungen
Häufige Fragen zu promptfoo
Ist promptfoo kostenlos?
Die CLI ist Open Source unter MIT-Lizenz und kostenlos. Die Enterprise-Plattform gibt es auf Anfrage.
Wem gehört promptfoo?
promptfoo gehört zu OpenAI. Den Schritt gab das Projekt am 9. März 2026 bekannt, laut README bleibt es Open Source unter MIT-Lizenz.
Was kann promptfoo testen?
Prompts, Modelle, Agenten und RAG-Systeme, mit Evaluierungen und Red-Team-Scans für über 50 Schwachstellentypen.
Updatearchiv zu promptfoonoch keine Updates
Für promptfoo sind noch keine Änderungen erfasst.
Änderungen beim Anbieter und bestätigte Hinweise aus Nutzermeldungen, jeweils an den Seiten des Anbieters geprüft. Wir prüfen jedes Tool monatlich.
Alternativen zu promptfoo
Tools aus derselben Kategorie (Prompt-Tests) mit den meisten gemeinsamen Märkten.
Ab 249 $ pro Monat🇺🇸
Plattform für Evaluierung und Observability von KI-Agenten mit Experimenten, Scorern, Trace-Analyse und dem Assistenten Loop.
Ab 39 $ je Nutzer:in/Monat · Gratis-Tarif🇺🇸
Prompt & Context Hub mit Versionen, Playground und KI-Chat, dazu Tracing und Evaluierung für LLM-Agenten, als Cloud oder selbst gehostet.
Ab 19 $ pro Monat · Gratis-Test🇺🇸
Open-Source-Plattform von Comet für LLM-Observability und Evaluierung mit Prompt-Bibliothek, LLM-as-Judge-Metriken und Prompt-Optimierer.