Safety, Privacy & Eval
Lesson 3 dari 3 · Menengah · 35 sampai 45 menit

Evaluasi output AI dan quality assurance

Quality assurance untuk AI menilai apakah output akurat, aman, sesuai format, dan layak dipakai. Materi ini membahas rubric, test set, review, dan audit log.

Setelah selesai, kamu bisaLesson 3 dari 3
  • Membuat rubric QA
  • Menguji output dengan test set
  • Mencatat audit log

Sebelum mulai

  • Punya satu output AI yang ingin dinilai.
  • Paham risiko hallucination dan data leakage.
Target belajar: Setelah selesai, kamu bisa membuat rubric QA sederhana dan mencatat hasil review output AI.

Konsep utama

01Rubric QA

Rubric QA berisi kriteria seperti akurasi, relevansi, kelengkapan, format, tone, sumber, dan risiko.

Kenapa penting: Rubric membuat review output lebih konsisten antar orang atau antar waktu.

Contoh: Untuk jawaban RAG, rubric mengecek apakah jawaban sesuai sumber dan citation relevan.

Yang sering keliru: Memeriksa grammar saja tetapi melewatkan fakta.

02Output validation

Output validation memastikan hasil sesuai schema, aturan bisnis, dan batas keamanan sebelum dipakai.

Kenapa penting: AI bisa menghasilkan format terlihat benar tetapi field-nya salah atau berbahaya.

Contoh: JSON output dicek tipe data, field wajib, dan nilai yang diizinkan.

Yang sering keliru: Menganggap output structured otomatis valid.

03Audit log

Audit log menyimpan input, output, reviewer, keputusan, dan perubahan penting.

Kenapa penting: Log membantu investigasi saat ada keluhan atau error berulang.

Contoh: Catat siapa menyetujui jawaban support yang dikirim ke pelanggan.

Yang sering keliru: Tidak menyimpan konteks yang cukup untuk memahami keputusan.

Cara kerjanya

AI output harus punya QA process. Untuk tulisan: cek akurasi, struktur, tone, kejelasan, dan originalitas. Untuk RAG: cek apakah sumber yang diambil relevan dan jawaban setia pada sumber. Untuk agent: cek apakah langkah benar, tool call tepat, dan action aman.

Ground truth adalah jawaban atau data acuan. Untuk task tertentu, kumpulkan contoh pertanyaan dan jawaban benar. Jalankan model berkali-kali setelah perubahan prompt, model, atau knowledge base. Ini disebut regression testing sederhana.

Evaluasi tidak hanya soal benar/salah. Kadang output benar tapi tidak berguna. Ukur juga usefulness: apakah user bisa mengambil tindakan dari output? apakah formatnya praktis? apakah butuh banyak edit?

Contoh nyata

Untuk chatbot course, siapkan 30 pertanyaan umum. Cek apakah jawaban menyarankan lesson yang benar, tidak mengarang materi, dan memberi link/source yang sesuai.

Coba sendiri

  1. 1

    Buat 10 test case untuk satu use case AI.

  2. 2

    Tulis expected answer.

  3. 3

    Jalankan AI dan skor hasilnya.

Prompt yang bisa dipakai

Buat QA rubric untuk output AI berikut: [jenis output]. Rubric harus mencakup akurasi, relevansi, struktur, tone, risiko, usefulness, dan kebutuhan edit. Buat skala 1-5 dan contoh skor.

Cek pemahaman

Jawab dengan bahasa sendiri. Kalau masih muter-muter, baca ulang bagian yang paling nyangkut.

  1. 1

    Apa itu ground truth?

  2. 2

    Kenapa regression test penting?

  3. 3

    Apa beda accuracy dan usefulness?

Tugas

Buat evaluation pack untuk satu AI workflow: 10 test case, expected output, rubric, dan pass/fail criteria.

Lanjut ke materi berikutnya

Setelah QA, lanjut ke monetization agar skill AI bisa dikemas menjadi layanan yang jelas dan tidak menjual mimpi.
Context WindowHallucinationPromptRAG
Lanjut ke Monetize Skill AI Tanpa Jual Mimpi