Prompt evaluation dan debugging
Prompt perlu diuji seperti bagian dari sistem. Materi ini mengajarkan cara membuat rubric, membandingkan output, dan memperbaiki prompt dengan loop yang jelas.
- Membuat rubric output
- Menguji prompt dengan beberapa input
- Mencatat versi prompt dan hasilnya
Sebelum mulai
- Punya prompt yang ingin dipakai lebih dari sekali.
- Siapkan 3 contoh input dengan tingkat kesulitan berbeda.
Konsep utama
01Rubric evaluasi
Rubric adalah daftar kriteria untuk menilai output, seperti akurasi, kelengkapan, tone, format, dan risiko.
Kenapa penting: Rubric mengurangi debat subjektif saat menentukan apakah prompt sudah bekerja.
Contoh: Rubric artikel bisa mengecek hook, struktur, klaim bersumber, contoh, dan CTA.
Yang sering keliru: Menilai prompt hanya dari satu output yang kebetulan bagus.
02Prompt debugging loop
Debugging prompt dilakukan dengan membaca output, menemukan penyebab gagal, mengubah instruksi kecil, lalu menguji ulang.
Kenapa penting: Perubahan kecil yang terukur lebih mudah dipahami daripada menulis ulang seluruh prompt setiap kali.
Contoh: Jika output terlalu panjang, ubah batas panjang dan format sebelum mengubah tone.
Yang sering keliru: Mengubah banyak bagian prompt sekaligus sehingga penyebab perbaikan tidak jelas.
03Prompt versioning
Prompt versioning menyimpan perubahan prompt, hasil uji, dan catatan kenapa perubahan dilakukan.
Kenapa penting: Versi membuat prompt library bisa dirawat oleh tim, bukan hanya tersimpan di chat pribadi.
Contoh: Simpan v1, v2, dan v3 dengan catatan input uji serta skor rubric.
Yang sering keliru: Menimpa prompt lama tanpa menyimpan hasil yang sudah terbukti.
Cara kerjanya
Prompt tidak selalu langsung berhasil. Skill pentingnya bukan membuat prompt sempurna sekali jalan, tapi tau cara mengevaluasi dan memperbaiki. Ketika output jelek, cari penyebab: task tidak jelas, konteks kurang, format tidak spesifik, contoh tidak ada, constraint bertabrakan, atau model yang dipakai tidak cocok.
Gunakan rubric untuk menilai output. Misalnya untuk artikel: akurasi, struktur, kedalaman, tone, contoh, actionable value, dan kebutuhan editing. Untuk customer support: akurasi kebijakan, empati, kejelasan, dan escalation. Untuk coding: correctness, security, maintainability, dan test coverage.
Simpan prompt yang berhasil sebagai template. Simpan juga contoh output yang bagus sebagai golden examples. Ini membuat workflow lebih konsisten.
Contoh nyata
Coba sendiri
- 1
Jalankan satu prompt.
- 2
Nilai output memakai rubric 1-5.
- 3
Identifikasi 3 failure mode.
- 4
Rewrite prompt dan jalankan ulang.
Prompt yang bisa dipakai
Cek pemahaman
Jawab dengan bahasa sendiri. Kalau masih muter-muter, baca ulang bagian yang paling nyangkut.
- 1
Apa itu failure mode?
- 2
Kenapa rubric penting?
- 3
Apa fungsi golden examples?