Screen a Prompt
Skicka text, en bild eller båda och få ett besked.
Get Moderation Usage
Se dina debiterbara granskningar och din nästa debitering.
Översikt
Moderation API granskar användarinmatning innan din AI-produkt genererar innehåll från den. Du skickar promptens text, en bild eller båda, och Dodo Payments returnerar ett besked påallow, flag eller deny, tillsammans med ett poängvärde för varje innehållskategori.
Använd det framför alla modeller för bild-, video- eller textgenerering som tar emot indata från dina användare. Moderation API är aktiverat för alla företag som standard och körs med din befintliga Dodo Payments API-nyckel, så du behöver inte registrera dig separat. Dodo Payments kan inaktivera det för ett enskilt företag, och anrop returnerar då 403 med MODERATION_DISABLED.
Varför vi byggde Moderation API
En produkt för AI-generering skapar nytt innehåll utifrån vad användarna skriver. Du kan inte granska varje prompt manuellt, och ett skadligt resultat kan utsätta ditt företag för risk. Som din Merchant of Record är Dodo Payments juridiskt och anseendemässigt ansvarigt för det som säljs via plattformen. Merchant Acceptance Policy granskar verktyg för AI-innehållsgenerering och tillåter inte identitetsmissbruk, deepfakes eller explicit innehåll, inklusive AI-genererat innehåll. Ett konto som genererar skadligt innehåll, orsakar många chargebacks eller får flaggningar från betalningspartners kan bli föremål för granskning eller stängas av. Vi byggde Moderation API så att du kan stoppa sådant innehåll innan modellen skapar det:- Granska innan du genererar. En blockerad prompt når aldrig modellen, så inget skadligt resultat skapas och du förbrukar ingen beräkningskapacitet på det.
- Täcker de kategorier som är viktiga för generering. Granskningen poängsätter 17 kategorier, inklusive likhet med en verklig person, intima bilder utan samtycke, ålderskodade uttryck som antyder att personen är minderårig samt kombinationen av en verklig person och sexuellt innehåll som kännetecknar en sexuell deepfake.
- Integrera utan en ytterligare leverantör. API:t körs med din Dodo Payments API-nyckel och avgiften dras från ditt saldo. Det finns inget separat avtal, ingen separat faktura och inget separat konto.
- Håll användarinnehåll privat. Dodo Payments lagrar eller loggar inte texten och bilderna du granskar.
Moderation API är ett verktyg för din egen policytillämpning. Det ersätter inte Merchant Acceptance Policy, och du förblir ansvarig för det som din produkt genererar.
Så fungerar det
Anropa Moderation API från din backend efter att användaren skickat en prompt och innan modellen körs: Varje anrop är en granskning. Text och en bild som skickas i samma anrop räknas som en granskning.Besked
Fältetdecision innehåller beskedet:
Granska en prompt
För att granska en prompt skickar du enPOST-begäran till /moderation/screen med minst ett av text och image. Begäran accepterar tre fält:
TypeScript- och Python-SDK:erna exponerar endpointen som
client.moderation.screen(). Detta exempel blockerar generering vid deny, vid flag och vid alla fel:
Exemplen anropar live mode, eftersom endast live mode kör modereringsmodellen. Test mode returnerar simulerade besked och granskar aldrig innehållet. Granskningar i live mode debiteras.
flag som deny. Om din produkt tillåter visst flaggat innehåll kan du kontrollera triggered för att fatta beslut per kategori i stället.
Granska bilder
Skicka en bild för att granska en uppladdad referensbild eller en genererad bild innan du visar den. Bilden måste uppfylla följande krav:- Formatet är JPEG, PNG, WebP, GIF eller BMP.
- Base64-strängen är högst 6 991 530 tecken och den avkodade bilden är högst 5 MiB.
- Bilden är en enda stillbild. Animerade GIF- och WebP-bilder avvisas.
- Den längsta kanten är minst 32 pixlar.
400 med MODERATION_INVALID_IMAGE, eller 413 med MODERATION_INPUT_TOO_LARGE när den är för stor.
För att granska en bild läser du filen, kodar den som base64 och skickar den i image. Om du vill granska en bild och dess prompt tillsammans skickar du både text och image i samma anrop. Det räknas som en granskning. Detta exempel använder client från föregående exempel:
Läsa svaret
Svaret returnerar beskedet och bevisen bakom det:
Basera logiken på
decision och triggered. Varje kategori har sin egen tröskel, så en enda poänggräns i koden motsvarar inte beskedet.
Kategorier
Varje svar poängsätter innehållet mot 17 kategorier:Hantera fel
Fel returnerar Dodo Payments standardfelkropp med encode och en message. Inget fel är ett besked, så inget av dem tillåter generering:
SDK:erna försöker som standard igen två gånger vid
429 eller 503 och väntar på Retry-After mellan försöken. När försöken är slut utlöser SDK:t ett fel, och din kod måste blockera begäran.
Testa din integration
Test mode returnerar simulerade besked och anropar aldrig modereringsmodellen, så du kan testa din routning utan kostnad. Skicka begäranden tillhttps://test.dodopayments.com med en API-nyckel för test mode.
Det simulerade standardbeskedet är allow. Om du vill få ett annat resultat placerar du någon av dessa strängar var som helst i text:
Ett simulerat besked innehåller en anteckning som anger att det är simulerat, och alla dess kategoripoäng är
0. Test mode tillämpar samma validering av begäran som live mode. För bilder kontrolleras base64-kodningen och formatet, men inte antalet bildrutor eller måtten.
Innan du går live ska du bekräfta att din integration hanterar varje fall:
1
Deny Blocks Generation
Skicka
dodo_mock_deny och bekräfta att din modell inte anropas.2
Flag Follows Your Policy
Skicka
dodo_mock_flag och bekräfta att din produkt gör det som din policy anger.3
Overload Retries
Skicka
dodo_mock_overloaded och bekräfta att koden väntar på Retry-After och inte genererar utan ett besked.4
An Outage Blocks Generation
Skicka
dodo_mock_not_ready och bekräfta att din modell inte anropas.5
Every Generation Path Screens
Kontrollera att varje kodväg som når din modell först anropar Moderation API.
Prissättning och debitering
Moderation API kostar 0,30 USD per 1 000 debiterbara granskningar. Det finns ingen kostnadsfri nivå och ingen minimiavgift. En debiterbar granskning är en granskning i live mode som returnerar ett besked. Följande granskningar är kostnadsfria och räknas inte med:- Granskningar i test mode.
- Granskningar som returnerar ett fel, inklusive
429och503.
moderation_fees. Utbetalningar visar den under Moderation Fees.
Spåra användning
Om du vill se din användning anropar duGET /moderation/usage. Svaret returnerar:
Åtkomst och integritet
Granskning kräver en API-nyckel med skrivåtkomst. Alla API-nycklar, inklusive skrivskyddade nycklar, kan läsa användning. Se Authentication för information om hur du skapar en nyckel och anger dess åtkomstnivå. Dodo Payments lagrar inte texten eller bilderna du granskar och skriver inte heller dessa till loggar. För varje granskning i live mode sparas tiden, beskedet och dittrequest_id för debiterings- och användningsrapportering.
Usage-Based Billing
Debitera dina egna kunder för varje generering.
Credit-Based Billing
Sälj genereringskrediter och dra av dem vid varje användning.