Screen a Prompt
Envoyez du texte, une image ou les deux, et obtenez un verdict.
Get Moderation Usage
Consultez vos filtrages facturables et votre prochaine charge.
Présentation
La Moderation API filtre les entrées utilisateur avant que votre produit d’IA ne les utilise pour générer du contenu. Vous envoyez le texte d’un prompt, une image ou les deux, et Dodo Payments renvoie un verdictallow, flag ou deny, accompagné d’un score pour chaque catégorie de contenu.
Utilisez-la devant n’importe quel modèle de génération d’images, de vidéos ou de texte qui accepte les entrées de vos utilisateurs. La Moderation API est activée par défaut pour toutes les entreprises et fonctionne avec votre clé API Dodo Payments existante : aucune inscription n’est nécessaire. Dodo Payments peut la désactiver pour une entreprise donnée ; les appels renvoient alors 403 avec MODERATION_DISABLED.
Pourquoi nous avons créé la Moderation API
Un produit de génération par IA crée du contenu à partir de ce que ses utilisateurs saisissent. Vous ne pouvez pas examiner chaque prompt manuellement, et un seul résultat préjudiciable peut mettre votre entreprise en danger. En tant que Merchant of Record, Dodo Payments assume la responsabilité juridique et réputationnelle de ce qui est vendu sur la plateforme. La Merchant Acceptance Policy examine les outils de génération de contenu par IA et n’autorise pas l’usurpation d’identité, les deepfakes ni le contenu explicite, y compris le contenu généré par IA. Un compte qui génère du contenu préjudiciable, provoque un nombre excessif de rétrofacturations ou reçoit des signalements de partenaires de paiement peut faire l’objet d’un examen ou être suspendu. Nous avons créé la Moderation API pour vous permettre d’arrêter ce contenu avant que votre modèle ne le crée :- Filtrez avant de générer. Un prompt bloqué n’atteint jamais votre modèle : aucun résultat préjudiciable n’existe et vous ne dépensez aucune ressource de calcul pour le traiter.
- Couvrez les catégories importantes pour la génération. Le filtrage attribue un score à 17 catégories, notamment la ressemblance avec une personne réelle, les images intimes non consenties, le langage évoquant un mineur et l’association d’une personne réelle à du contenu sexuel qui caractérise un deepfake sexuel.
- Intégrez-la sans autre fournisseur. L’API fonctionne avec votre clé API Dodo Payments et ses frais sont débités de votre solde. Aucun contrat, aucune facture ni aucun compte distinct n’est nécessaire.
- Préservez la confidentialité du contenu utilisateur. Dodo Payments ne stocke ni n’enregistre le texte et les images que vous filtrez.
La Moderation API est un outil destiné à votre propre application des règles. Elle ne remplace pas la Merchant Acceptance Policy, et vous restez responsable de ce que votre produit génère.
Fonctionnement
Appelez la Moderation API depuis votre backend après l’envoi du prompt par l’utilisateur et avant l’exécution de votre modèle : Chaque appel correspond à un filtrage. Le texte et l’image envoyés dans le même appel comptent comme un seul filtrage.Verdicts
Le champdecision contient le verdict :
Filtrer un prompt
Pour filtrer un prompt, envoyez une requêtePOST à /moderation/screen avec au moins l’un des champs text et image. La requête accepte trois champs :
Les SDK TypeScript et Python exposent le endpoint sous le nom
client.moderation.screen(). Cet exemple bloque la génération pour deny, pour flag et pour toute erreur :
Les exemples utilisent le mode live, car seul le mode live exécute le modèle de modération. Le mode test renvoie des verdicts simulés et ne filtre jamais le contenu. Les filtrages en mode live sont facturés.
flag comme deny. Si votre produit autorise certains contenus signalés, consultez triggered pour prendre une décision selon la catégorie.
Filtrer des images
Envoyez une image pour filtrer une image de référence téléversée ou une image générée avant de l’afficher. L’image doit respecter les exigences suivantes :- Le format est JPEG, PNG, WebP, GIF ou BMP.
- La chaîne base64 comporte au maximum 6 991 530 caractères et l’image décodée ne dépasse pas 5 MiB.
- L’image est une seule image fixe. Les images GIF et WebP animées sont refusées.
- Le côté le plus long mesure au moins 32 pixels.
400 avec MODERATION_INVALID_IMAGE, ou 413 avec MODERATION_INPUT_TOO_LARGE lorsqu’elle est trop volumineuse.
Pour filtrer une image, lisez le fichier, encodez-le au format base64 et envoyez-le dans image. Pour filtrer une image et son prompt ensemble, envoyez text et image dans le même appel. Cela compte comme un seul filtrage. Cet exemple utilise le client de l’exemple précédent :
Lire la réponse
La réponse renvoie le verdict et les éléments qui le justifient :
Fondez votre logique sur
decision et triggered. Chaque catégorie possède son propre seuil ; un seuil unique dans votre code ne correspond donc pas au verdict.
Catégories
Chaque réponse évalue le contenu selon 17 catégories :Gérer les erreurs
Les erreurs renvoient le corps d’erreur Dodo Payments standard avec uncode et un message. Aucune erreur ne constitue un verdict ; aucune n’autorise donc la génération :
Par défaut, les SDK réessaient deux fois en cas de
429 ou de 503 et attendent Retry-After entre les tentatives. Une fois les tentatives épuisées, le SDK déclenche une erreur et votre code doit bloquer la demande.
Tester votre intégration
Le mode test renvoie des verdicts simulés et n’appelle jamais le modèle de modération, ce qui vous permet de tester votre routage sans frais. Envoyez les requêtes àhttps://test.dodopayments.com avec une clé API en mode test.
Le verdict simulé par défaut est allow. Pour obtenir un autre résultat, placez l’une de ces chaînes n’importe où dans text :
Un verdict simulé contient une note indiquant qu’il s’agit d’un résultat simulé, et tous ses scores de catégorie sont
0. Le mode test applique les mêmes validations de requête que le mode live. Pour les images, il vérifie l’encodage base64 et le format, mais pas le nombre d’images ni les dimensions.
Avant de passer en mode live, vérifiez que votre intégration gère chaque cas :
1
Deny Blocks Generation
Envoyez
dodo_mock_deny et confirmez que votre modèle n’est pas appelé.2
Flag Follows Your Policy
Envoyez
dodo_mock_flag et confirmez que votre produit se comporte conformément à vos règles.3
Overload Retries
Envoyez
dodo_mock_overloaded et confirmez que votre code attend Retry-After et ne génère rien sans verdict.4
An Outage Blocks Generation
Envoyez
dodo_mock_not_ready et confirmez que votre modèle n’est pas appelé.5
Every Generation Path Screens
Vérifiez que chaque chemin de code qui atteint votre modèle appelle d’abord la Moderation API.
Tarification et facturation
La Moderation API coûte 0,30 $ USD pour 1 000 filtrages facturables. Il n’y a ni niveau gratuit ni minimum. Un filtrage facturable est un filtrage en mode live qui renvoie un verdict. Ces filtrages sont gratuits et ne sont pas comptabilisés :- Les filtrages en mode test.
- Les filtrages qui renvoient une erreur, notamment
429et503.
moderation_fees. Les versements les affichent sous Frais de modération.
Suivre l’utilisation
Pour consulter votre utilisation, appelezGET /moderation/usage. La réponse renvoie :
Accès et confidentialité
Le filtrage nécessite une clé API avec un accès en écriture. Toute clé API, y compris une clé en lecture seule, peut consulter l’utilisation. Consultez Authentication pour savoir comment créer une clé et définir son niveau d’accès. Dodo Payments ne stocke pas le texte ni les images que vous filtrez et ne les écrit pas dans les journaux. Pour chaque filtrage en mode live, Dodo Payments conserve l’heure, le verdict et votrerequest_id à des fins de facturation et de rapports d’utilisation.
Usage-Based Billing
Facturez vos propres clients pour chaque génération.
Credit-Based Billing
Vendez des crédits de génération et déduisez-les à chaque utilisation.