Kembali
Safety & Evaluation · Menengah

Red Teaming

Pengujian dengan mencoba menemukan cara sistem gagal atau disalahgunakan.

Definisi sederhana

Pengujian dengan mencoba menemukan cara sistem gagal atau disalahgunakan.

Penjelasan tanpa jargon

Pengujian dengan mencoba menemukan cara sistem gagal atau disalahgunakan. Biasanya istilah ini dipakai saat membuat test set, aturan data, validasi output, dan simulasi serangan.

Analogi

Seperti quality control, pagar pengaman, dan uji tabrak sebelum produk dipakai. Red Teaming kurang lebih bekerja di bagian yang mengatur alurnya.

Contoh penggunaan

Contoh paling gampang: Red Teaming dipakai saat membuat test set, aturan data, validasi output, dan simulasi serangan.

Kenapa penting

Kalau paham Red Teaming, kamu mencegah output meyakinkan tetapi salah, berbahaya, atau membocorkan data.

Istilah terkait

  • Prompt Injection
  • Guardrails
  • Safety

Kesalahan pemula

Yang sering membuat keliru: mengandalkan satu filter dan menganggap sistem sudah aman. Red Teaming juga beda dengan Prompt Injection.