Kamus AI
Istilah · GenAI & LLM
Token
Potongan teks yang dibaca dan dihasilkan model; satu kata bisa terdiri dari beberapa token.
Apa itu Token
Token adalah potongan teks yang dihitung model saat membaca input dan membuat output. Biaya, batas konteks, dan panjang respons biasanya dihitung dari token.
Kelihatan seperti apa di praktik
Kalimat panjang, tabel, dan dokumen PDF besar memakai banyak token sehingga bisa lebih mahal atau melewati batas konteks.
Kenapa istilah ini penting
Token penting karena membantu kamu memakai model generatif dengan batas input, biaya, dan kualitas output yang lebih jelas.
Yang sering keliru dipahami
Mengira token sama persis dengan kata. Satu kata bisa menjadi beberapa token, terutama pada istilah teknis atau bahasa tertentu.