Kamus AI
Istilah · Model & Infrastructure
Inference Server
Layanan yang memuat model dan menangani permintaan inference.
Apa itu Inference Server
Layanan yang memuat model dan menangani permintaan inference. Hubungkan istilah ini dengan GPU dan Latency agar kamu melihat perannya di sistem, bukan sekadar menghafal definisi.
Kelihatan seperti apa di praktik
Dalam praktik Model & Infrastructure, Inference Server biasanya muncul saat kamu bekerja dengan GPU, lalu perlu memastikan hasilnya tetap cocok dengan tujuan kerja.
Kenapa istilah ini penting
Inference Server penting karena membantu kamu memilih cara menjalankan model berdasarkan biaya, latency, kontrol, dan risiko.
Yang sering keliru dipahami
Mengira Inference Server sama dengan GPU. Keduanya berkaitan, tetapi perannya berbeda dalam alur kerja AI.