Kamus AI
Istilah · Model & Infrastructure
Latency
Waktu tunggu dari permintaan dikirim sampai respons tersedia.
Apa itu Latency
Waktu tunggu dari permintaan dikirim sampai respons tersedia. Hubungkan istilah ini dengan Inference dan Rate Limit agar kamu melihat perannya di sistem, bukan sekadar menghafal definisi.
Kelihatan seperti apa di praktik
Dalam praktik Model & Infrastructure, Latency biasanya muncul saat kamu bekerja dengan Inference, lalu perlu memastikan hasilnya tetap cocok dengan tujuan kerja.
Kenapa istilah ini penting
Latency penting karena membantu kamu memilih cara menjalankan model berdasarkan biaya, latency, kontrol, dan risiko.
Yang sering keliru dipahami
Mengira Latency sama dengan Inference. Keduanya berkaitan, tetapi perannya berbeda dalam alur kerja AI.