Screen a Prompt
Envie texto, uma imagem ou ambos e receba um veredito.
Get Moderation Usage
Veja suas análises faturáveis e sua próxima cobrança.
Visão geral
A API de moderação analisa a entrada do usuário antes que seu produto de IA a utilize para gerar conteúdo. Você envia o texto de um prompt, uma imagem ou ambos, e a Dodo Payments retorna um veredito deallow, flag ou deny, juntamente com uma pontuação para cada categoria de conteúdo.
Use-a antes de qualquer modelo de geração de imagens, vídeos ou texto que receba entradas dos seus usuários. A API de moderação fica ativada por padrão para todas as empresas e usa sua chave de API existente da Dodo Payments, portanto não é necessário fazer nenhum cadastro. A Dodo Payments pode desativá-la para uma empresa específica; nesse caso, as chamadas retornam 403 com MODERATION_DISABLED.
Por que criamos a API de moderação
Um produto de geração de IA cria novo conteúdo a partir do que seus usuários digitam. Você não pode revisar cada prompt manualmente, e uma única saída prejudicial pode colocar sua empresa em risco. Como seu Merchant of Record, a Dodo Payments é legal e reputacionalmente responsável pelo que é vendido pela plataforma. A Política de Aceitação de Comerciantes analisa ferramentas de geração de conteúdo de IA e não permite personificação, deepfakes ou conteúdo explícito, incluindo conteúdo gerado por IA. Uma conta que gere conteúdo prejudicial, chargebacks excessivos ou sinalizações de parceiros de pagamento pode ser colocada sob análise ou suspensa. Criamos a API de moderação para que você possa interromper esse conteúdo antes que seu modelo o crie:- Analise antes de gerar. Um prompt bloqueado nunca chega ao seu modelo, portanto nenhuma saída prejudicial é criada e você não gasta recursos computacionais com ela.
- Cubra as categorias importantes para a geração. A análise pontua 17 categorias, incluindo semelhança com uma pessoa real, imagens íntimas não consensuais, linguagem que indica menores de idade e a combinação de uma pessoa real com conteúdo sexual que caracteriza um deepfake sexual.
- Integre sem outro fornecedor. A API funciona com sua chave de API da Dodo Payments, e a tarifa é debitada do seu saldo. Não há contrato, fatura ou conta separada.
- Mantenha o conteúdo dos usuários privado. A Dodo Payments não armazena nem registra o texto e as imagens analisados.
A API de moderação é uma ferramenta para sua própria aplicação de políticas. Ela não substitui a Política de Aceitação de Comerciantes, e você continua responsável pelo que seu produto gera.
Como funciona
Chame a API de moderação pelo seu backend depois que o usuário enviar um prompt e antes da execução do seu modelo: Cada chamada corresponde a uma análise. O texto e uma imagem enviados na mesma chamada contam como uma única análise.Vereditos
O campodecision contém o veredito:
Analisando um prompt
Para analisar um prompt, envie uma solicitaçãoPOST para /moderation/screen com pelo menos um entre text e image. A solicitação aceita três campos:
Os SDKs de TypeScript e Python disponibilizam o endpoint como
client.moderation.screen(). Este exemplo bloqueia a geração em deny, em flag e em qualquer erro:
Os exemplos usam o modo live, pois somente o modo live executa o modelo de moderação. O modo de teste retorna vereditos simulados e nunca analisa o conteúdo. As análises no modo live são faturadas.
flag como deny. Se seu produto permitir algum conteúdo sinalizado, verifique triggered para decidir por categoria.
Analisando imagens
Envie uma imagem para analisar uma imagem de referência carregada ou uma imagem gerada antes de exibi-la. A imagem deve atender aos seguintes requisitos:- O formato deve ser JPEG, PNG, WebP, GIF ou BMP.
- A string base64 deve ter no máximo 6.991.530 caracteres, e a imagem decodificada deve ter no máximo 5 MiB.
- A imagem deve ser um único quadro estático. Imagens GIF e WebP animadas são rejeitadas.
- A maior dimensão deve ter pelo menos 32 pixels.
400 com MODERATION_INVALID_IMAGE ou 413 com MODERATION_INPUT_TOO_LARGE quando for grande demais.
Para analisar uma imagem, leia o arquivo, codifique-o como base64 e envie-o em image. Para analisar uma imagem e seu prompt juntos, envie text e image na mesma chamada. Isso conta como uma única análise. Este exemplo usa o client do exemplo anterior:
Lendo a resposta
A resposta retorna o veredito e as evidências que o fundamentam:
Baseie sua lógica em
decision e triggered. Cada categoria tem seu próprio limite, portanto um único limite de pontuação no seu código não corresponderá ao veredito.
Categorias
Cada resposta pontua o conteúdo em relação a 17 categorias:Tratando erros
Os erros retornam o corpo de erro padrão da Dodo Payments com umcode e um message. Nenhum erro é um veredito, portanto nenhum deles permite a geração:
Por padrão, os SDKs tentam novamente duas vezes em caso de
429 ou 503 e aguardam Retry-After entre as tentativas. Quando as tentativas terminam, o SDK gera um erro, e seu código deve bloquear a solicitação.
Testando sua integração
O modo de teste retorna vereditos simulados e nunca chama o modelo de moderação, para que você possa testar seu roteamento sem custos. Envie solicitações parahttps://test.dodopayments.com usando uma chave de API do modo de teste.
O veredito simulado padrão é allow. Para obter outro resultado, coloque uma destas strings em qualquer parte de text:
Um veredito simulado contém uma observação informando que ele é simulado, e todas as pontuações de suas categorias são
0. O modo de teste aplica a mesma validação de solicitação que o modo live. Para imagens, ele verifica a codificação base64 e o formato, mas não a quantidade de quadros nem as dimensões.
Antes de entrar em produção, confirme que sua integração trata cada caso:
1
Deny Blocks Generation
Envie
dodo_mock_deny e confirme que seu modelo não é chamado.2
Flag Follows Your Policy
Envie
dodo_mock_flag e confirme que seu produto faz o que sua política determina.3
Overload Retries
Envie
dodo_mock_overloaded e confirme que seu código aguarda Retry-After e não gera conteúdo sem um veredito.4
An Outage Blocks Generation
Envie
dodo_mock_not_ready e confirme que seu modelo não é chamado.5
Every Generation Path Screens
Verifique se todos os caminhos de código que chegam ao seu modelo chamam primeiro a API de moderação.
Preços e faturamento
A API de moderação custa US$ 0,30 por 1.000 análises faturáveis. Não há plano gratuito nem mínimo. Uma análise faturável é uma análise no modo live que retorna um veredito. Estas análises são gratuitas e não são contabilizadas:- Análises no modo de teste.
- Análises que retornam um erro, incluindo
429e503.
moderation_fees. Os pagamentos exibem essa cobrança em Tarifas de moderação.
Acompanhando o uso
Para consultar seu uso, chameGET /moderation/usage. A resposta retorna:
Acesso e privacidade
A análise exige uma chave de API com acesso de escrita. Qualquer chave de API, incluindo uma chave somente leitura, pode consultar o uso. Consulte Autenticação para saber como criar uma chave e definir seu nível de acesso. A Dodo Payments não armazena o texto nem as imagens analisados e não os grava em logs. Para cada análise no modo live, ela mantém o horário, o veredito e seurequest_id para faturamento e relatórios de uso.
Usage-Based Billing
Cobre seus próprios clientes por cada geração.
Credit-Based Billing
Venda créditos de geração e desconte-os a cada uso.