Prompt Injection

Instruksi berbahaya yang mencoba mengubah aturan model atau menyalahgunakan akses tool.

Instruksi berbahaya yang mencoba mengubah aturan model atau menyalahgunakan akses tool. Biasanya istilah ini dipakai saat membuat test set, aturan data, validasi output, dan simulasi serangan.

Seperti quality control, pagar pengaman, dan uji tabrak sebelum produk dipakai. Prompt Injection kurang lebih bekerja di bagian yang memroses informasinya.

Contoh paling gampang: Prompt Injection dipakai saat membuat test set, aturan data, validasi output, dan simulasi serangan.

Kalau paham Prompt Injection, kamu mencegah output meyakinkan tetapi salah, berbahaya, atau membocorkan data.

Yang sering membuat keliru: mengandalkan satu filter dan menganggap sistem sudah aman. Prompt Injection juga beda dengan System Prompt.