Screen a Prompt
Envía texto, una imagen o ambos, y obtén un veredicto.
Get Moderation Usage
Consulta tus análisis facturables y tu próximo cargo.
Descripción general
La API de moderación analiza la entrada del usuario antes de que tu producto de IA genere contenido a partir de ella. Envías el texto de un prompt, una imagen o ambos, y Dodo Payments devuelve un veredicto deallow, flag o deny, junto con una puntuación para cada categoría de contenido.
Úsala delante de cualquier modelo de generación de imágenes, vídeos o texto que reciba entradas de tus usuarios. La API de moderación está activada para todas las empresas de forma predeterminada y funciona con tu clave de API existente de Dodo Payments, por lo que no tienes que registrarte. Dodo Payments puede desactivarla para una empresa específica; en ese caso, las llamadas devuelven 403 con MODERATION_DISABLED.
Por qué creamos la API de moderación
Un producto de generación de IA crea contenido nuevo a partir de lo que escriben sus usuarios. No puedes revisar cada prompt manualmente, y una sola salida dañina puede poner en riesgo tu empresa. Como tu Merchant of Record, Dodo Payments es legal y reputacionalmente responsable de lo que se vende a través de la plataforma. La Merchant Acceptance Policy revisa las herramientas de generación de contenido de IA y no permite la suplantación de identidad, los deepfakes ni el contenido explícito, incluido el contenido generado por IA. Una cuenta que genere contenido dañino, un volumen excesivo de contracargos o alertas de los socios de pago puede quedar bajo revisión o ser suspendida. Creamos la API de moderación para que puedas detener este contenido antes de que tu modelo lo cree:- Analiza antes de generar. Un prompt bloqueado nunca llega a tu modelo, por lo que no existe ninguna salida dañina y no gastas recursos de cómputo en ella.
- Cubre las categorías importantes para la generación. El análisis puntúa 17 categorías, incluidas la semejanza con una persona real, las imágenes íntimas no consentidas, el lenguaje que indica que se trata de un menor y la combinación de una persona real con contenido sexual que identifica un deepfake sexual.
- Integra sin otro proveedor. La API funciona con tu clave de API de Dodo Payments y su tarifa se descuenta de tu saldo. No hay un contrato, una factura ni una cuenta independientes.
- Mantén privado el contenido de los usuarios. Dodo Payments no almacena ni registra el texto y las imágenes que analizas.
La API de moderación es una herramienta para aplicar tus propias reglas. No sustituye la Merchant Acceptance Policy y sigues siendo responsable de lo que genere tu producto.
Cómo funciona
Llama a la API de moderación desde tu backend después de que el usuario envíe un prompt y antes de que se ejecute tu modelo: Cada llamada equivale a un análisis. El texto y una imagen enviados en la misma llamada cuentan como un solo análisis.Veredictos
El campodecision contiene el veredicto:
Analizar un prompt
Para analizar un prompt, envía una solicitudPOST a /moderation/screen con al menos uno de text y image. La solicitud acepta tres campos:
Los SDK de TypeScript y Python exponen el endpoint como
client.moderation.screen(). Este ejemplo bloquea la generación con deny, con flag y ante cualquier error:
Los ejemplos llaman al modo live, porque solo el modo live ejecuta el modelo de moderación. El modo test devuelve veredictos simulados y nunca analiza el contenido. Los análisis del modo live se facturan.
flag como deny. Si tu producto permite cierto contenido marcado, comprueba triggered para decidir según la categoría.
Analizar imágenes
Envía una imagen para analizar una imagen de referencia subida o una imagen generada antes de mostrársela al usuario. La imagen debe cumplir estos requisitos:- El formato es JPEG, PNG, WebP, GIF o BMP.
- La cadena base64 tiene como máximo 6.991.530 caracteres y la imagen decodificada ocupa como máximo 5 MiB.
- La imagen es un único fotograma fijo. Se rechazan las imágenes GIF y WebP animadas.
- El lado más largo tiene al menos 32 píxeles.
400 con MODERATION_INVALID_IMAGE, o 413 con MODERATION_INPUT_TOO_LARGE cuando es demasiado grande.
Para analizar una imagen, lee el archivo, codifícalo como base64 y envíalo en image. Para analizar una imagen y su prompt conjuntamente, envía text y image en la misma llamada. Cuenta como un solo análisis. Este ejemplo usa el client del ejemplo anterior:
Leer la respuesta
La respuesta devuelve el veredicto y las pruebas en las que se basa:
Basa tu lógica en
decision y triggered. Cada categoría tiene su propio umbral, por lo que un único límite de puntuación en tu código no coincide con el veredicto.
Categorías
Cada respuesta puntúa el contenido en relación con 17 categorías:Gestionar errores
Los errores devuelven el cuerpo de error estándar de Dodo Payments con uncode y un message. Ningún error es un veredicto, por lo que ninguno permite generar contenido:
Los SDK reintentan dos veces de forma predeterminada un
429 o un 503 y esperan Retry-After entre los intentos. Cuando se agotan los reintentos, el SDK genera un error y tu código debe bloquear la solicitud.
Probar tu integración
El modo test devuelve veredictos simulados y nunca llama al modelo de moderación, por lo que puedes probar tu lógica de enrutamiento sin coste. Envía solicitudes ahttps://test.dodopayments.com con una clave de API del modo test.
El veredicto simulado predeterminado es allow. Para obtener otro resultado, incluye una de estas cadenas en cualquier parte de text:
Un veredicto simulado incluye una nota que indica que es simulado y todas sus puntuaciones de categoría son
0. El modo test aplica la misma validación de solicitudes que el modo live. Para las imágenes, comprueba la codificación base64 y el formato, pero no el número de fotogramas ni las dimensiones.
Antes de pasar al modo live, confirma que tu integración gestiona cada caso:
1
Deny Blocks Generation
Envía
dodo_mock_deny y confirma que no se llame a tu modelo.2
Flag Follows Your Policy
Envía
dodo_mock_flag y confirma que tu producto hace lo que establecen tus reglas.3
Overload Retries
Envía
dodo_mock_overloaded y confirma que tu código espera Retry-After y no genera contenido sin un veredicto.4
An Outage Blocks Generation
Envía
dodo_mock_not_ready y confirma que no se llame a tu modelo.5
Every Generation Path Screens
Comprueba que cada ruta de código que llega a tu modelo llame primero a la API de moderación.
Precios y facturación
La API de moderación cuesta 0,30 USD por cada 1.000 análisis facturables. No hay nivel gratuito ni mínimo. Un análisis facturable es un análisis del modo live que devuelve un veredicto. Estos análisis son gratuitos y no se contabilizan:- Análisis en modo test.
- Análisis que devuelven un error, incluidos
429y503.
moderation_fees. Los pagos muestran este importe bajo Tarifas de moderación.
Seguimiento del uso
Para consultar tu uso, llama aGET /moderation/usage. La respuesta devuelve:
Acceso y privacidad
El análisis requiere una clave de API con acceso de escritura. Cualquier clave de API, incluida una clave de solo lectura, puede leer el uso. Consulta Autenticación para saber cómo crear una clave y establecer su nivel de acceso. Dodo Payments no almacena el texto ni las imágenes que analizas y tampoco los escribe en los registros. Para cada análisis del modo live, conserva la hora, el veredicto y turequest_id para la facturación y los informes de uso.
Usage-Based Billing
Cobra a tus propios clientes por cada generación.
Credit-Based Billing
Vende créditos de generación y descuéntalos por cada uso.