Kamus AI
Istilah · Model & Infrastructure
Rate Limit
Batas jumlah permintaan atau token dalam periode tertentu.
Apa itu Rate Limit
Batas jumlah permintaan atau token dalam periode tertentu. Hubungkan istilah ini dengan API dan Latency agar kamu melihat perannya di sistem, bukan sekadar menghafal definisi.
Kelihatan seperti apa di praktik
Dalam praktik Model & Infrastructure, Rate Limit biasanya muncul saat kamu bekerja dengan API, lalu perlu memastikan hasilnya tetap cocok dengan tujuan kerja.
Kenapa istilah ini penting
Rate Limit penting karena membantu kamu memilih cara menjalankan model berdasarkan biaya, latency, kontrol, dan risiko.
Yang sering keliru dipahami
Mengira Rate Limit sama dengan API. Keduanya berkaitan, tetapi perannya berbeda dalam alur kerja AI.