Screen a Prompt
Sende Text, ein Bild oder beides und erhalte ein Urteil.
Get Moderation Usage
Sieh deine abrechenbaren Prüfungen und deine nächste Belastung ein.
Überblick
Die Moderation API prüft Benutzereingaben, bevor dein AI-Produkt daraus Inhalte generiert. Du sendest den Text eines Prompts, ein Bild oder beides, und Dodo Payments gibt zusammen mit einem Score für jede Inhaltskategorie ein Urteil zurück:allow, flag oder deny.
Verwende sie vor jedem Modell zur Bild-, Video- oder Textgenerierung, das Eingaben deiner Benutzer verarbeitet. Die Moderation API ist standardmäßig für jedes Unternehmen aktiviert und läuft mit deinem bestehenden Dodo Payments API-Schlüssel. Du musst dich also nicht separat registrieren. Dodo Payments kann sie für ein einzelnes Unternehmen deaktivieren; Anfragen geben dann 403 mit MODERATION_DISABLED zurück.
Warum wir die Moderation API entwickelt haben
Ein AI-Generierungsprodukt erstellt aus den Eingaben seiner Benutzer neue Inhalte. Du kannst nicht jeden Prompt manuell prüfen, und bereits eine schädliche Ausgabe kann dein Unternehmen gefährden. Als dein Merchant of Record trägt Dodo Payments die rechtliche und reputationsbezogene Verantwortung für das, was über die Plattform verkauft wird. Die Merchant Acceptance Policy prüft Tools zur AI-Inhaltsgenerierung und erlaubt keine Identitätstäuschung, Deepfakes oder expliziten Inhalte, einschließlich AI-generierter Inhalte. Ein Konto, das schädliche Inhalte oder übermäßig viele Rückbuchungen erzeugt oder von Zahlungspartnern gemeldet wird, kann überprüft oder gesperrt werden. Wir haben die Moderation API entwickelt, damit du solche Inhalte stoppen kannst, bevor dein Modell sie erstellt:- Vor der Generierung prüfen. Ein blockierter Prompt erreicht dein Modell nie. Dadurch entsteht keine schädliche Ausgabe und du verbrauchst dafür keine Rechenleistung.
- Die für die Generierung relevanten Kategorien abdecken. Die Prüfung bewertet 17 Kategorien, darunter die Ähnlichkeit mit einer realen Person, nicht einvernehmliche intime Bilder, auf Minderjährige hindeutende Sprache sowie die Kombination einer realen Person mit sexuellen Inhalten, die einen sexuellen Deepfake kennzeichnet.
- Ohne weiteren Anbieter integrieren. Die API läuft mit deinem Dodo Payments API-Schlüssel und ihre Gebühr wird von deinem Guthaben abgezogen. Es gibt keinen separaten Vertrag, keine separate Rechnung und kein separates Konto.
- Benutzerinhalte privat halten. Dodo Payments speichert und protokolliert weder den geprüften Text noch die geprüften Bilder.
Die Moderation API ist ein Tool für deine eigene Durchsetzung. Sie ersetzt nicht die Merchant Acceptance Policy, und du bleibst für die von deinem Produkt generierten Inhalte verantwortlich.
Funktionsweise
Rufe die Moderation API von deinem Backend aus auf, nachdem der Benutzer einen Prompt gesendet hat und bevor dein Modell ausgeführt wird: Jeder Aufruf ist eine Prüfung. Text und ein Bild, die im selben Aufruf gesendet werden, zählen als eine Prüfung.Urteile
Das Felddecision enthält das Urteil:
Einen Prompt prüfen
Um einen Prompt zu prüfen, sende einePOST-Anfrage an /moderation/screen mit mindestens einem der Felder text und image. Die Anfrage akzeptiert drei Felder:
Die TypeScript- und Python-SDKs stellen den Endpunkt als
client.moderation.screen() bereit. Dieses Beispiel blockiert die Generierung bei deny, bei flag und bei jedem Fehler:
Die Beispiele rufen den Live-Modus auf, da nur der Live-Modus das Moderationsmodell ausführt. Der Testmodus gibt simulierte Urteile zurück und prüft die Inhalte nie. Prüfungen im Live-Modus werden abgerechnet.
flag wie deny. Wenn dein Produkt bestimmte markierte Inhalte zulässt, prüfe stattdessen triggered, um die Entscheidung nach Kategorie zu treffen.
Bilder prüfen
Sende ein Bild, um ein hochgeladenes Referenzbild oder ein generiertes Bild zu prüfen, bevor du es anzeigst. Das Bild muss folgende Anforderungen erfüllen:- Das Format ist JPEG, PNG, WebP, GIF oder BMP.
- Die Base64-Zeichenfolge hat höchstens 6.991.530 Zeichen und das dekodierte Bild ist höchstens 5 MiB groß.
- Das Bild ist ein einzelnes Standbild. Animierte GIF- und WebP-Bilder werden abgelehnt.
- Die längste Kante ist mindestens 32 Pixel lang.
400 mit MODERATION_INVALID_IMAGE zurück oder – wenn es zu groß ist – 413 mit MODERATION_INPUT_TOO_LARGE.
Um ein Bild zu prüfen, lies die Datei ein, kodiere sie als Base64 und sende sie in image. Um ein Bild zusammen mit seinem Prompt zu prüfen, sende text und image im selben Aufruf. Dies zählt als eine Prüfung. Dieses Beispiel verwendet client aus dem vorherigen Beispiel:
Die Antwort auswerten
Die Antwort gibt das Urteil und die zugrunde liegenden Belege zurück:
Stütze deine Logik auf
decision und triggered. Jede Kategorie hat ihren eigenen Schwellenwert. Ein einzelner Score-Grenzwert in deinem Code entspricht daher nicht dem Urteil.
Kategorien
Jede Antwort bewertet den Inhalt anhand von 17 Kategorien:Fehler behandeln
Fehler geben den standardmäßigen Dodo Payments-Fehlertext mitcode und message zurück. Kein Fehler ist ein Urteil; daher erlaubt keiner von ihnen die Generierung:
Die SDKs wiederholen einen
429 oder 503 standardmäßig zweimal und warten zwischen den Versuchen Retry-After. Wenn keine Wiederholungen mehr verfügbar sind, löst das SDK einen Fehler aus, und dein Code muss die Anfrage blockieren.
Deine Integration testen
Der Testmodus gibt simulierte Urteile zurück und ruft das Moderationsmodell nie auf. So kannst du dein Routing kostenlos testen. Sende Anfragen mit einem API-Schlüssel für den Testmodus anhttps://test.dodopayments.com.
Das standardmäßige simulierte Urteil ist allow. Um ein anderes Ergebnis zu erhalten, füge eine dieser Zeichenfolgen an beliebiger Stelle in text ein:
Ein simuliertes Urteil enthält einen Hinweis, dass es simuliert ist, und alle Kategoriescores sind
0. Der Testmodus wendet dieselbe Anfragevalidierung wie der Live-Modus an. Bei Bildern prüft er die Base64-Kodierung und das Format, nicht jedoch die Anzahl der Einzelbilder oder die Abmessungen.
Bevor du live gehst, bestätige, dass deine Integration jeden Fall verarbeitet:
1
Deny Blocks Generation
Sende
dodo_mock_deny und bestätige, dass dein Modell nicht aufgerufen wird.2
Flag Follows Your Policy
Sende
dodo_mock_flag und bestätige, dass dein Produkt das tut, was deine Richtlinie vorgibt.3
Overload Retries
Sende
dodo_mock_overloaded und bestätige, dass dein Code auf Retry-After wartet und ohne Urteil nicht generiert.4
An Outage Blocks Generation
Sende
dodo_mock_not_ready und bestätige, dass dein Modell nicht aufgerufen wird.5
Every Generation Path Screens
Prüfe, dass jeder Codepfad, der dein Modell erreicht, zuerst die Moderation API aufruft.
Preise und Abrechnung
Die Moderation API kostet 0,30 USD pro 1.000 abrechenbare Prüfungen. Es gibt kein kostenloses Kontingent und keine Mindestmenge. Eine abrechenbare Prüfung ist eine Prüfung im Live-Modus, die ein Urteil zurückgibt. Diese Prüfungen sind kostenlos und werden nicht gezählt:- Prüfungen im Testmodus.
- Prüfungen, die einen Fehler zurückgeben, einschließlich
429und503.
moderation_fees in deinem Guthabenbuch. Auszahlungen weisen sie unter Moderationsgebühren aus.
Nutzung verfolgen
Um deine Nutzung anzuzeigen, rufeGET /moderation/usage auf. Die Antwort gibt Folgendes zurück:
Zugriff und Datenschutz
Für Prüfungen ist ein API-Schlüssel mit Schreibzugriff erforderlich. Jeder API-Schlüssel, einschließlich eines schreibgeschützten Schlüssels, kann die Nutzung auslesen. Unter Authentication erfährst du, wie du einen Schlüssel erstellst und seine Zugriffsebene festlegst. Dodo Payments speichert weder den von dir geprüften Text noch die geprüften Bilder und schreibt sie auch nicht in Logs. Für jede Prüfung im Live-Modus werden die Zeit, das Urteil und deinerequest_id für Abrechnung und Nutzungsberichte gespeichert.
Usage-Based Billing
Stelle deinen eigenen Kunden jede Generierung in Rechnung.
Credit-Based Billing
Verkaufe Generierungsguthaben und ziehe sie pro Nutzung ab.