Screen a Prompt
Kirim teks, gambar, atau keduanya, lalu dapatkan keputusan.
Get Moderation Usage
Lihat screen yang dapat ditagihkan dan tagihan Anda berikutnya.
Ringkasan
Moderation API menyaring input pengguna sebelum produk AI Anda membuat konten darinya. Anda mengirim teks prompt, gambar, atau keduanya, dan Dodo Payments mengembalikan keputusanallow, flag, atau deny, bersama skor untuk setiap kategori konten.
Gunakan di depan model generasi gambar, video, atau teks apa pun yang menerima input dari pengguna Anda. Moderation API aktif secara default untuk setiap bisnis dan berjalan dengan API key Dodo Payments yang sudah ada, jadi Anda tidak perlu mendaftar lagi. Dodo Payments dapat menonaktifkannya untuk bisnis tertentu, dan panggilan kemudian mengembalikan 403 dengan MODERATION_DISABLED.
Alasan Kami Membuat Moderation API
Produk generasi AI membuat konten baru dari apa pun yang diketik penggunanya. Anda tidak dapat meninjau setiap prompt secara manual, dan satu output berbahaya dapat menempatkan bisnis Anda dalam risiko. Sebagai Merchant of Record Anda, Dodo Payments bertanggung jawab secara hukum dan reputasi atas apa yang dijual melalui platform. Merchant Acceptance Policy meninjau alat generasi konten AI dan tidak mengizinkan impersonasi, deepfake, atau konten eksplisit, termasuk konten yang dihasilkan AI. Akun yang menghasilkan konten berbahaya, chargeback berlebihan, atau flag dari mitra pembayaran dapat ditinjau atau ditangguhkan. Kami membuat Moderation API agar Anda dapat menghentikan konten ini sebelum model Anda membuatnya:- Saring sebelum membuat konten. Prompt yang diblokir tidak pernah mencapai model Anda, sehingga tidak ada output berbahaya dan Anda tidak menghabiskan compute untuknya.
- Cakup kategori yang penting untuk generasi. Screen ini menilai 17 kategori, termasuk kemiripan dengan orang nyata, citra intim tanpa persetujuan, bahasa yang mengisyaratkan subjek masih di bawah umur, serta kombinasi orang nyata dengan konten seksual yang menandai deepfake seksual.
- Integrasikan tanpa vendor lain. API berjalan dengan API key Dodo Payments Anda, dan biayanya dipotong dari saldo Anda. Tidak ada kontrak, invoice, atau akun terpisah.
- Jaga privasi konten pengguna. Dodo Payments tidak menyimpan atau mencatat teks dan gambar yang Anda saring.
Moderation API adalah alat untuk penegakan aturan Anda sendiri. API ini tidak menggantikan Merchant Acceptance Policy, dan Anda tetap bertanggung jawab atas apa yang dihasilkan produk Anda.
Cara Kerjanya
Panggil Moderation API dari backend Anda setelah pengguna mengirimkan prompt dan sebelum model Anda berjalan: Setiap panggilan adalah satu screen. Teks dan gambar yang dikirim dalam panggilan yang sama dihitung sebagai satu screen.Keputusan
Fielddecision berisi keputusan:
Menyaring Prompt
Untuk menyaring prompt, kirim permintaanPOST ke /moderation/screen dengan setidaknya salah satu dari text dan image. Permintaan ini menerima tiga field:
SDK TypeScript dan Python mengekspos endpoint sebagai
client.moderation.screen(). Contoh ini memblokir generasi pada deny, pada flag, dan pada error apa pun:
Contoh ini memanggil live mode, karena hanya live mode yang menjalankan model moderasi. Test mode mengembalikan mock verdicts dan tidak pernah menyaring konten. Screen live mode ditagihkan.
flag seperti deny. Jika produk Anda mengizinkan sebagian konten yang ditandai, periksa triggered untuk mengambil keputusan berdasarkan kategori.
Menyaring Gambar
Kirim gambar untuk menyaring gambar referensi yang diunggah, atau gambar yang dihasilkan sebelum menampilkannya. Gambar harus memenuhi persyaratan berikut:- Formatnya adalah JPEG, PNG, WebP, GIF, atau BMP.
- String base64 berukuran paling banyak 6.991.530 karakter, dan gambar hasil decode berukuran paling banyak 5 MiB.
- Gambar berupa satu frame diam. Gambar GIF dan WebP animasi ditolak.
- Sisi terpanjang berukuran setidaknya 32 piksel.
400 dengan MODERATION_INVALID_IMAGE, atau 413 dengan MODERATION_INPUT_TOO_LARGE jika ukurannya terlalu besar.
Untuk menyaring gambar, baca file, encode sebagai base64, lalu kirim dalam image. Untuk menyaring gambar dan prompt-nya secara bersamaan, kirim text dan image dalam panggilan yang sama. Ini dihitung sebagai satu screen. Contoh ini menggunakan client dari contoh sebelumnya:
Membaca Respons
Respons mengembalikan keputusan dan bukti yang mendasarinya:
Dasarkan logika Anda pada
decision dan triggered. Setiap kategori memiliki ambangnya sendiri, sehingga satu batas skor dalam kode Anda tidak akan sesuai dengan keputusan.
Kategori
Setiap respons menilai konten terhadap 17 kategori:Menangani Error
Error mengembalikan body error standar Dodo Payments dengancode dan message. Tidak ada error yang merupakan keputusan, jadi tidak satu pun mengizinkan generasi:
SDK secara default mencoba ulang
429 atau 503 sebanyak dua kali dan menunggu Retry-After di antara percobaan. Setelah percobaan ulang habis, SDK menghasilkan error, dan kode Anda harus memblokir permintaan.
Menguji Integrasi Anda
Test mode mengembalikan keputusan mock dan tidak pernah memanggil model moderasi, sehingga Anda dapat menguji routing tanpa biaya. Kirim permintaan kehttps://test.dodopayments.com dengan API key test mode.
Keputusan mock default adalah allow. Untuk mendapatkan hasil lain, letakkan salah satu string berikut di mana pun dalam text:
Keputusan mock memuat catatan yang menyatakan bahwa keputusan tersebut adalah mock, dan semua skor kategorinya adalah
0. Test mode menerapkan validasi permintaan yang sama seperti live mode. Untuk gambar, mode ini memeriksa encoding base64 dan format, tetapi tidak memeriksa jumlah frame atau dimensinya.
Sebelum mengaktifkan live mode, pastikan integrasi Anda menangani setiap kasus berikut:
1
Deny Blocks Generation
Kirim
dodo_mock_deny dan pastikan model Anda tidak dipanggil.2
Flag Follows Your Policy
Kirim
dodo_mock_flag dan pastikan produk Anda melakukan hal yang ditetapkan kebijakan Anda.3
Overload Retries
Kirim
dodo_mock_overloaded dan pastikan kode Anda menunggu Retry-After serta tidak membuat konten tanpa keputusan.4
An Outage Blocks Generation
Kirim
dodo_mock_not_ready dan pastikan model Anda tidak dipanggil.5
Every Generation Path Screens
Periksa bahwa setiap jalur kode yang mencapai model Anda terlebih dahulu memanggil Moderation API.
Harga dan Penagihan
Moderation API dikenai biaya $0.30 USD per 1.000 screen yang dapat ditagihkan. Tidak ada tier gratis dan tidak ada minimum. Screen yang dapat ditagihkan adalah screen live mode yang mengembalikan keputusan. Screen berikut gratis dan tidak dihitung:- Screen dalam test mode.
- Screen yang mengembalikan error, termasuk
429dan503.
moderation_fees. Payouts menampilkannya sebagai Moderation Fees.
Melacak Penggunaan
Untuk melihat penggunaan Anda, panggilGET /moderation/usage. Respons mengembalikan:
Akses dan Privasi
Penyaringan memerlukan API key dengan akses write. API key apa pun, termasuk key read-only, dapat membaca penggunaan. Lihat Authentication untuk mengetahui cara membuat key dan menetapkan tingkat aksesnya. Dodo Payments tidak menyimpan teks atau gambar yang Anda saring dan tidak menuliskannya ke log. Untuk setiap screen live mode, Dodo Payments menyimpan waktu, keputusan, danrequest_id Anda untuk penagihan dan pelaporan penggunaan.
Usage-Based Billing
Tagih pelanggan Anda sendiri untuk setiap generasi.
Credit-Based Billing
Jual kredit generasi dan potong kredit tersebut untuk setiap penggunaan.