Token

Potongan teks yang dibaca dan dihasilkan model; satu kata bisa terdiri dari beberapa token.

Potongan teks yang dibaca dan dihasilkan model; satu kata bisa terdiri dari beberapa token. Biasanya istilah ini muncul saat membuat draft, gambar, voiceover, ringkasan, atau analisis dokumen.

Bayangkan mesin pola yang menyusun jawaban baru dari pola yang pernah dipelajari. Token kurang lebih bekerja di bagian yang memroses informasinya.

Contoh paling gampang: Token muncul saat membuat draft, gambar, voiceover, ringkasan, atau analisis dokumen.

Kalau paham Token, kamu membantu memilih model dan memahami batas input, biaya, serta kualitas output.

Yang sering membuat keliru: menganggap output generatif selalu merupakan fakta yang diambil dari database. Token juga beda dengan LLM.