Prompt evaluation dan debugging

Output evaluation perlu dipahami sebagai bagian dari prompt debugging loop. Prompt tidak selalu langsung berhasil. Skill pentingnya bukan membuat prompt sempurna sekali jalan, tapi tau cara mengevaluasi dan memperbaiki. Ketika output jelek, cari penyebab: task tidak jelas, konteks kurang, format tidak spesifik, contoh tidak ada, constraint bertabrakan, atau model yang dipakai tidak cocok.

Kenapa penting: Ini penting karena lesson M03.L04 bukan cuma mengejar istilah. Kamu perlu tahu kapan output evaluation membantu kerja nyata, kapan harus diverifikasi, dan batas apa yang tetap perlu dijaga manusia.

Contoh: Jika AI membuat artikel terlalu generik, prompt mungkin kurang audience dan contoh. Jika AI terlalu panjang, format dan batasan kurang jelas. Jika AI salah fakta, prompt perlu meminta verifikasi sumber atau membatasi jawaban pada dokumen yang diberikan.

Kesalahan pemula: Kesalahan umum: menganggap output evaluation otomatis membuat hasil benar tanpa contoh, sumber, atau checklist evaluasi.

Failure mode perlu dipahami sebagai bagian dari rubric evaluasi output. Gunakan rubric untuk menilai output. Misalnya untuk artikel: akurasi, struktur, kedalaman, tone, contoh, actionable value, dan kebutuhan editing. Untuk customer support: akurasi kebijakan, empati, kejelasan, dan escalation. Untuk coding: correctness, security, maintainability, dan test coverage.

Kenapa penting: Ini penting karena lesson M03.L04 bukan cuma mengejar istilah. Kamu perlu tahu kapan failure mode membantu kerja nyata, kapan harus diverifikasi, dan batas apa yang tetap perlu dijaga manusia.

Contoh: Jika AI membuat artikel terlalu generik, prompt mungkin kurang audience dan contoh. Jika AI terlalu panjang, format dan batasan kurang jelas. Jika AI salah fakta, prompt perlu meminta verifikasi sumber atau membatasi jawaban pada dokumen yang diberikan.

Kesalahan pemula: Kesalahan umum: menganggap failure mode otomatis membuat hasil benar tanpa contoh, sumber, atau checklist evaluasi.

Rubric perlu dipahami sebagai bagian dari structured output dan schema. Simpan prompt yang berhasil sebagai template. Simpan juga contoh output yang bagus sebagai golden examples. Ini membuat workflow lebih konsisten.

Kenapa penting: Ini penting karena lesson M03.L04 bukan cuma mengejar istilah. Kamu perlu tahu kapan rubric membantu kerja nyata, kapan harus diverifikasi, dan batas apa yang tetap perlu dijaga manusia.

Contoh: Jika AI membuat artikel terlalu generik, prompt mungkin kurang audience dan contoh. Jika AI terlalu panjang, format dan batasan kurang jelas. Jika AI salah fakta, prompt perlu meminta verifikasi sumber atau membatasi jawaban pada dokumen yang diberikan.

Kesalahan pemula: Kesalahan umum: menganggap rubric otomatis membuat hasil benar tanpa contoh, sumber, atau checklist evaluasi.

Iteration perlu dipahami sebagai bagian dari prompt versioning. Prompt tidak selalu langsung berhasil. Skill pentingnya bukan membuat prompt sempurna sekali jalan, tapi tau cara mengevaluasi dan memperbaiki. Ketika output jelek, cari penyebab: task tidak jelas, konteks kurang, format tidak spesifik, contoh tidak ada, constraint bertabrakan, atau model yang dipakai tidak cocok.

Kenapa penting: Ini penting karena lesson M03.L04 bukan cuma mengejar istilah. Kamu perlu tahu kapan iteration membantu kerja nyata, kapan harus diverifikasi, dan batas apa yang tetap perlu dijaga manusia.

Contoh: Jika AI membuat artikel terlalu generik, prompt mungkin kurang audience dan contoh. Jika AI terlalu panjang, format dan batasan kurang jelas. Jika AI salah fakta, prompt perlu meminta verifikasi sumber atau membatasi jawaban pada dokumen yang diberikan.

Kesalahan pemula: Kesalahan umum: menganggap iteration otomatis membuat hasil benar tanpa contoh, sumber, atau checklist evaluasi.

A/B prompt testing perlu dipahami sebagai bagian dari A/B prompt testing. Gunakan rubric untuk menilai output. Misalnya untuk artikel: akurasi, struktur, kedalaman, tone, contoh, actionable value, dan kebutuhan editing. Untuk customer support: akurasi kebijakan, empati, kejelasan, dan escalation. Untuk coding: correctness, security, maintainability, dan test coverage.

Kenapa penting: Ini penting karena lesson M03.L04 bukan cuma mengejar istilah. Kamu perlu tahu kapan a/b prompt testing membantu kerja nyata, kapan harus diverifikasi, dan batas apa yang tetap perlu dijaga manusia.

Contoh: Jika AI membuat artikel terlalu generik, prompt mungkin kurang audience dan contoh. Jika AI terlalu panjang, format dan batasan kurang jelas. Jika AI salah fakta, prompt perlu meminta verifikasi sumber atau membatasi jawaban pada dokumen yang diberikan.

Kesalahan pemula: Kesalahan umum: menganggap a/b prompt testing otomatis membuat hasil benar tanpa contoh, sumber, atau checklist evaluasi.

Golden examples perlu dipahami sebagai bagian dari Golden examples. Simpan prompt yang berhasil sebagai template. Simpan juga contoh output yang bagus sebagai golden examples. Ini membuat workflow lebih konsisten.

Kenapa penting: Ini penting karena lesson M03.L04 bukan cuma mengejar istilah. Kamu perlu tahu kapan golden examples membantu kerja nyata, kapan harus diverifikasi, dan batas apa yang tetap perlu dijaga manusia.

Contoh: Jika AI membuat artikel terlalu generik, prompt mungkin kurang audience dan contoh. Jika AI terlalu panjang, format dan batasan kurang jelas. Jika AI salah fakta, prompt perlu meminta verifikasi sumber atau membatasi jawaban pada dokumen yang diberikan.

Kesalahan pemula: Kesalahan umum: menganggap golden examples otomatis membuat hasil benar tanpa contoh, sumber, atau checklist evaluasi.