KI Red Teaming: Welches Werkzeug zu welchem Team passt, was es prüft und was es kostet (Oktober 2026)

So habe ich die sechs gelesen

Jede Aussage unten stammt von einer Seite des Anbieters oder Projekts. Keine Zahl habe ich aus Vergleichsblogs oder Bewertungsportalen übernommen, und jede Aussage, ein Werkzeug finde mehr Schwachstellen als ein anderes, habe ich gestrichen, weil ich keinen Anbieter-Benchmark und keine Studie gefunden habe, die ich prüfen konnte.

Einige Seiten haben mir nichts geliefert. Die Dokumentationsadressen von Mindgard führten auf die Startseite, das Trust Center von Giskard zeigte nur einen Titel, und die Preisseite von Lakera war leer. EUR-Lex lieferte für KI-Verordnung und DSGVO keinen lesbaren Text, deshalb nenne ich keine Artikelnummern. Microsofts PyRIT habe ich weggelassen: Es steht nicht in unserem Verzeichnis, das ursprüngliche Repository wurde am 27. März 2026 archiviert und verweist auf microsoft/PyRIT, und die Dokumentation habe ich nicht gelesen.

Belege: [1][2][3]

Wer die Angriffe fährt, entscheidet über die halbe Auswahl

Für die Firma mit 25 Personen lautet die erste Entscheidung: Wer führt die Angriffe aus, eine Entwicklerin mit einem Paket oder ein Anbieter mit Oberfläche? Der Helfer unten stellt vier kurze Fragen und endet bei den Werkzeugen, deren Seiten ich gelesen habe. Er grenzt eine Liste nach veröffentlichten Bedingungen ein und rangiert keine Qualität. Was das für Sie heißt: Schon die erste Antwort streicht etwa die Hälfte der Liste.

Belege: [4][5][6]

Fünf nennen Prompt Injection, Jailbreaks und Abfluss, vier die Halluzination

garak, promptfoo, Giskard, DeepTeam und Lakera nennen Prompt Injection, Jailbreaks und den Abfluss von Daten oder System-Prompts auf einer Primärseite. Bei Mindgard nennen Startseite und Preisseite nichts davon. Sie beschreiben Stufen (Recon, Attack, Remediate, Assure) und was untersucht wird, etwa Schutzmechanismen, Agenten und Werkzeuge, eine Kategorienliste habe ich nicht gelesen. Lakera Red hat 23 Standardziele, und Jailbreaks sind keines davon. Sie zählen dort als Angriffsstrategie neben Prompt Injection, Mehrsprachigkeit und mehrstufigen Gesprächen.

Die Halluzination wird seltener genannt. garak führt sie auf, mit einem Probe namens packagehallucination. promptfoo nennt sie als Risiko auf Modellebene, der Hub von Giskard nennt Halluzinationen, und Lakera Red hat sie unter seinen 11 Zielen der Gruppe Responsible. In der Schwachstellenliste von DeepTeam steht Misinformation, nicht Halluzination, und Mindgard nennt keines von beiden. Wenn Ihr Support-Bot eine falsche Erstattungsregel nennt, lesen Sie diese Zeile zuerst.

Als gemeinsamer Maßstab dient die OWASP Top 10 für LLM-Anwendungen 2025: Prompt Injection ist LLM01, Offenlegung sensibler Informationen LLM02, Abfluss des System-Prompts LLM07 und Falschinformation LLM09. Giskard, promptfoo und DeepTeam verweisen alle auf die OWASP-Listen. Was das für Sie heißt: Wählen Sie das Werkzeug, in dessen Liste der Fehler steht, den Sie fürchten, und lassen Sie es gegen Ihre eigene Anwendung laufen, denn die Nennung einer Kategorie sagt nichts über die Tiefe der Abdeckung.

Belege: [7][8][9][10][11][12]

Vier Werkzeuge kosten für 5 oder 25 Personen 0 US-Dollar, nichts wächst mit den Plätzen

Die Tabelle ist meine eigene Messung: Lizenz, Listenpreis für 5 und für 25 Personen über ein Jahr, wo das Werkzeug läuft und wie der Bericht aussieht, gelesen auf den Seiten der Anbieter und Projekte am 30. Oktober 2026. Alle Preise, die ich gefunden habe, stehen in US-Dollar. Euro-Preise habe ich auf keiner der gelesenen Seiten gesehen. Ein Klick auf eine Spalte sortiert.

Die Kosten entstehen woanders. Ein Sprachmodell erzeugt und bewertet die Angriffe, und die Doku von promptfoo beziffert einen einzelnen Lauf je nach Strategie auf wenige Cent bis hunderte Dollar. Die Doku von DeepTeam beschreibt dasselbe Prinzip: Sprachmodelle erzeugen die Angriffe und bewerten die Ausgaben, und das Standard-Setup verlangt einen OpenAI-Schlüssel.

Der Community-Tarif von promptfoo begrenzt Red Teaming auf 10.000 Probes im Monat, wobei ein Probe eine einzelne Anfrage an Ihr Zielsystem ist. Schickt ein Lauf 500 Anfragen (meine Annahme, die Doku nennt keine Zahl), reicht das Limit für 20 Läufe.

Den einen Preis je Organisation unter den kostenlosen Werkzeugen habe ich bei Confident AI gefunden, der Plattform hinter DeepEval und DeepTeam. Starter kostet 200 US-Dollar im Monat und Team 2.000 US-Dollar, beide mit unbegrenzten Plätzen. Für 5 oder 25 Personen ist der Preis also gleich: 2.400 US-Dollar im Jahr für Starter zum Monatspreis. Das Modul für AI Red Teaming steht auf der Preisseite unter Enterprise++, nicht bei Starter oder Team.

Zur Eigentümerfrage: Im README von promptfoo steht "Promptfoo is now part of OpenAI", und das Projekt bleibt unter MIT-Lizenz. Die Ankündigung von OpenAI selbst lieferte einen 403, den ich nicht umgangen habe, daher stütze ich mich auf diesen README-Wortlaut. Was das für Sie heißt: Die Lizenzkosten selbst betriebener Werkzeuge sind bei jeder Teamgröße null, planen Sie also die API-Kosten des Angreifermodells und Arbeitszeit ein, und behandeln Sie Mindgard und Lakera als Angebot auf Anfrage.

Belege: [7][6][8][13][14][5][15][16][17][18]

Wohin Ihre Testprompts und Antworten gehen

garak läuft als Python auf Ihrem Rechner und schickt Prompts an das Modell, auf das Sie es richten. Das README nennt keinen weiteren Datenfluss. Der Open-Source-Scan von Giskard braucht einen LLM-Anbieter zum Erzeugen und Bewerten, und die Doku sagt nicht, wohin Daten gehen. Die Startseite sagt, der Hub lasse sich in der EU oder den USA hosten oder On-Premise installieren, und nennt eine 0-Training-Richtlinie.

promptfoo hat als einziges eine dokumentierte Trennung. Die Auswertung Ihres Ziels läuft lokal. Die Telemetrie ist standardmäßig an und schließt Prompts, Ausgaben und Testfälle aus, und mit PROMPTFOO_DISABLE_TELEMETRY=1 schalten Sie sie ab. Bei der Angriffserzeugung ist es anders. Die Konfigurationsseite sagt, ein Remote-Dienst erzeuge die Angriffe standardmäßig, ohne OpenAI-Schlüssel würden Anfragen an die API von Promptfoo weitergeleitet, und PROMPTFOO_DISABLE_REDTEAM_REMOTE_GENERATION=true schalte das ab, mit schwächeren Angriffen aus einem lokalen Modell als Preis.

Dieselbe Seite sagt auch, Erzeugung und Bewertung nutzten standardmäßig Ihren eigenen OpenAI-Schlüssel. Ich lese das so: Schlüssel gesetzt, Ihr Schlüssel; kein Schlüssel, die API von Promptfoo. Keine Seite sagt es an einer Stelle.

Die Doku von DeepTeam sagt, das Framework laufe lokal, aber auch, dass Sprachmodelle die Angriffe erzeugen und die Antworten bewerten, im Standard-Setup mit OPENAI_API_KEY. Prompts und Antworten erreichen also diesen Anbieter. Nach deepteam login gehen die Ergebnisse automatisch an Confident AI, und die Seite beschreibt keine Aufbewahrung. Lakera Red ist ein SaaS. Die Netzwerkseite sagt, das Backend laufe auf Convex in AWS us-east-1, rufe Ihr Ziel per ausgehendem HTTPS auf, brauche ein aus dem öffentlichen Internet erreichbares Ziel und unterstütze weder PrivateLink noch VPC-Peering noch Betrieb im eigenen VPC. Ein voller Scan schickt Tausende Prompts, oft parallel, prüfen Sie daher zuerst Ratenbegrenzungen. Mein Artikel zu LLM-Gateways behandelt, was Gateways begrenzen. Die Regionen EU, USA und Singapur bei Lakera gelten nur für AI Guardrails, nicht für Red.

Mindgards Seiten sagen nichts zu Datenhaltung oder Betrieb. Was das für Sie heißt: Das Backend von Lakera Red liegt in den USA, bei promptfoo kann die Angriffserzeugung über die API von Promptfoo laufen (ihren Standort nennen die Seiten nicht), und bei DeepTeam gehen Prompts an den gewählten LLM-Anbieter, standardmäßig OpenAI. Wenn Prompts Kundendaten enthalten könnten, nehmen Sie synthetische Testdaten und fragen Sie die beiden Anbieter auf Anfrage schriftlich, wo Scans laufen und was sie speichern. Artikelnummern aus der KI-Verordnung und der DSGVO nenne ich bewusst nicht, weil ich sie nicht am Gesetzestext prüfen konnte. Beziehen Sie Ihre Datenschutzbeauftragten ein.

Belege: [7][19][20][21][22][13][15][4][23]

Aufwand bis zum ersten Lauf: ein Befehl oder ein Vertriebsgespräch

Ich habe gezählt, was jedes Werkzeug vor dem ersten Scan verlangt, nicht wie lange es dauert, denn keine Seite nennt eine Dauer. Was das für Sie heißt: Die vier Open-Source-Werkzeuge brauchen eine Paketinstallation, die beiden gehosteten Dienste erst ein Gespräch mit dem Vertrieb oder ein Check-Point-Konto.

Belege: [24][13][15][9][25][17]

Wo die Quellen sich widersprachen

Unser Verzeichniseintrag zu Lakera beschreibt einen kostenlosen Einstieg über die Plattform. Die Startseite hat zwar einen Knopf "Start for free", der zur Plattform führt, aber der Preislink geht ins Leere, die Doku zum Red Teaming verlangt ein Check-Point-Konto mit Red-Zugang, und keine Seite nennt einen kostenlosen Tarif für Red. Ich habe den Eintrag korrigiert, er nennt jetzt keinen veröffentlichten Preis. Außerdem habe ich die Hosting-Angabe ergänzt. Red läuft auf AWS us-east-1, die EU-Region gilt für Guardrails.

Zwei weitere Einträge brauchten eine Zeile: Beim Eintrag zu DeepEval fehlt, dass Red Teaming im separaten Paket DeepTeam steckt, und beim Eintrag zu promptfoo fehlt die Grenze von 10.000 Probes. Auch DeepTeams eigene Quellen widersprechen sich: GitHub nennt über 50 Schwachstellen und über 20 Angriffsmethoden, die Doku über 40 und über 10. Ich nenne beide Angaben und werte keine als Qualitätsmerkmal.

Belege: [26][25][16][10][15]

Für wen welches Werkzeug nicht passt

Für die Firma mit 25 Personen in meinem Beispiel, und als Liste von Grenzen statt als Rangfolge, lautet meine Regel kurz: Ist der Chatbot aus dem Internet erreichbar und können Sie eine Person freistellen, lassen Sie zuerst garak oder promptfoo mit synthetischen Daten laufen und lesen das Trefferprotokoll, bevor Sie bei einem Anbieter ein Angebot anfragen.

Belege: [22][7][9][4]