Agent di Production: Safety dan Deployment
Agent di production butuh permission, guardrails, observability, deployment plan, dan rollback. Materi ini membahas cara menurunkan risiko sebelum agent dipakai pengguna nyata.
- Menentukan permission minimal
- Mendesain guardrails dan rollback
- Menyiapkan observability production
Sebelum mulai
- Paham monitoring agent dan failure mode.
- Punya rencana agent yang akan dipakai di lingkungan nyata.
Konsep utama
01Least privilege
Least privilege berarti agent hanya diberi akses yang benar-benar dibutuhkan untuk tugasnya.
Kenapa penting: Akses berlebihan memperbesar risiko data leakage dan tindakan salah.
Contoh: Agent support boleh membaca status order, tetapi tidak boleh mengubah refund tanpa approval.
Yang sering keliru: Memberi token admin karena lebih cepat saat setup.
02Deployment dan rollback
Deployment membawa agent ke lingkungan pengguna. Rollback adalah rencana kembali ke versi aman jika ada masalah.
Kenapa penting: Agent production harus bisa dihentikan atau dikembalikan saat kualitas turun.
Contoh: Rilis ke 10 persen traffic dulu, pantau error, lalu naikkan bertahap.
Yang sering keliru: Merilis langsung ke semua pengguna tanpa kill switch.
03Observability
Observability memberi visibilitas lewat log, metric, trace, alert, dan dashboard.
Kenapa penting: Tanpa observability, tim tidak tahu agent sedang gagal sampai pengguna komplain.
Contoh: Alert muncul saat tool error naik, biaya melewati budget, atau escalation menumpuk.
Yang sering keliru: Menyimpan log tanpa owner yang memeriksa.
Cara kerjanya
Agent yang bekerja di lab belum tentu siap production. Production意味着 agent harus bisa menangani error tanpa crash, tidak menghabiskan budget tak terbatas, tidak menghasilkan output berbahaya, dan bisa dipulihkan jika gagal.
Guardrails adalah batasan yang mencegah agent melakukan hal yang tidak diinginkan. Contoh: membatasi akses hanya ke tool tertentu, memblokir output yang mengandung data sensitif, membatasi jumlah tool call per task, dan memerlukan approval manusia untuk aksi berisiko tinggi.
Graceful degradation adalah kemampuan agent tetap berfungsi meski beberapa komponen gagal. Jika LLM utama down, fallback ke LLM cadangan. Jika tool tertentu error, beri tau user dan skip langkah itu. Jangan biarkan seluruh agent mati karena satu kegagalan.
Human-in-the-loop berarti agent meminta persetujuan manusia di titik-titik kritis. Contoh: sebelum mengirim email ke klien, sebelum menghapus data, sebelum melakukan pembayaran. Ini menambah sedikit latency tapi mencegah kerusakan besar.
Contoh nyata
Coba sendiri
- 1
Buat production readiness checklist untuk agent kamu.
- 2
Identifikasi semua kemungkinan failure mode.
- 3
Tentukan guardrails: akses, output, rate limit.
- 4
Desain graceful degradation untuk 3 skenario.
- 5
Tentukan titik-titik human-in-the-loop.
Prompt yang bisa dipakai
Cek pemahaman
Jawab dengan bahasa sendiri. Kalau masih muter-muter, baca ulang bagian yang paling nyangkut.
- 1
Apa itu graceful degradation dan kenapa penting?
- 2
Kapan human-in-the-loop wajib dibutuhkan?
- 3
Bagaimana cara mencegah agent menghabiskan budget tak terbatas?