Kembali
Safety & Evaluation · Menengah
Red Teaming
Pengujian dengan mencoba menemukan cara sistem gagal atau disalahgunakan.
Definisi sederhana
Pengujian dengan mencoba menemukan cara sistem gagal atau disalahgunakan.
Penjelasan tanpa jargon
Pengujian dengan mencoba menemukan cara sistem gagal atau disalahgunakan. Biasanya istilah ini dipakai saat membuat test set, aturan data, validasi output, dan simulasi serangan.
Analogi
Seperti quality control, pagar pengaman, dan uji tabrak sebelum produk dipakai. Red Teaming kurang lebih bekerja di bagian yang mengatur alurnya.
Contoh penggunaan
Contoh paling gampang: Red Teaming dipakai saat membuat test set, aturan data, validasi output, dan simulasi serangan.
Kenapa penting
Kalau paham Red Teaming, kamu mencegah output meyakinkan tetapi salah, berbahaya, atau membocorkan data.
Istilah terkait
- Prompt Injection
- Guardrails
- Safety
Kesalahan pemula
Yang sering membuat keliru: mengandalkan satu filter dan menganggap sistem sudah aman. Red Teaming juga beda dengan Prompt Injection.