Model bahasa besar (LLM) sering terasa seperti lawan bicara yang paham. Di balik layar, pekerjaannya jauh lebih sempit: pada setiap langkah, ia memperkirakan potongan teks berikutnya yang paling mungkin muncul. Memahami tiga bagian dari proses itu, yaitu token, peluang, dan cara memilih, membantu Anda menilai kapan jawaban AI layak dipercaya dan kapan harus diperiksa ulang.
Satuan kerjanya adalah token, bukan kata
LLM tidak membaca teks per kata. Panduan Machine Learning Crash Course dari Google menyebut token sebagai satuan terkecil dalam pemodelan bahasa, dan satu token bisa berupa kata, potongan kata, atau satu karakter. Contohnya, "unwatched" dipecah menjadi un, watch, dan ed.
Untuk teks berbahasa Inggris, patokan kasarnya sekitar 4 karakter atau tiga perempat kata per token, sehingga 400 token setara sekitar 300 kata. Dokumentasi bantuan OpenAI mengonfirmasi angka yang sama dan menambahkan bahwa bahasa lain punya hubungan karakter-kata-token yang berbeda. Artinya, jumlah kata Indonesia dalam satu permintaan tidak bisa dikonversi ke token dengan angka Inggris begitu saja. Batas panjang masukan dan keluaran juga dihitung dalam token, dan batasnya berbeda tiap model.
Yang dihasilkan adalah daftar peluang
Setelah membaca seluruh konteks, model memberi peluang pada banyak kandidat token berikutnya. Google memberi contoh kalimat "When I hear rain on my roof, I ___ in my kitchen" dengan kandidat berikut:
| Kandidat | Peluang |
|---|---|
| cook soup | 9,4% |
| warm up a kettle | 5,2% |
| cower | 3,6% |
| nap | 2,5% |
| relax | 2,2% |
Perhatikan bahwa pilihan terbaik pun hanya sekitar sepersepuluh. Banyak jawaban yang masuk akal, dan model tidak "tahu" mana yang benar, hanya mana yang lebih mungkin.
Ingin mendalaminya lebih terstruktur? Taalenta punya kelas Vibe Coding untuk Non-Developer: Buat Web App Fullstack Sendiri dengan Claude Code.
Dua cara memilih dari daftar itu
Dokumentasi pustaka Transformers dari Hugging Face membedakan dua strategi dasar:
- Greedy search: selalu mengambil token paling mungkin. Cocok untuk keluaran pendek tanpa kebutuhan kreativitas, tetapi menurut dokumentasi tersebut cenderung mengulang diri pada teks panjang.
- Sampling: mengambil token secara acak menurut distribusi peluangnya, sehingga setiap token dengan peluang di atas nol punya kesempatan terpilih. Strategi ini mengurangi pengulangan dan menghasilkan keluaran yang lebih beragam.
Itu sebabnya pertanyaan yang sama bisa menghasilkan jawaban yang sedikit berbeda setiap kali. Pengaturan sampling di layanan AI adalah cara mengatur seberapa jauh pemilihan itu boleh menyimpang dari pilihan teratas.
Apa artinya bagi pemakaian sehari-hari
- Lancar belum tentu benar. Model dilatih agar rangkaian katanya masuk akal, bukan agar setiap fakta diverifikasi. Dokumentasi Anthropic mengakui bahwa model tercanggih pun kadang menghasilkan teks yang keliru secara fakta.
- Beri izin untuk tidak tahu. Anthropic menganjurkan menyatakan secara eksplisit bahwa model boleh menjawab tidak punya cukup informasi, karena ini disebut dapat menurunkan informasi palsu secara drastis.
- Minta dasar kutipan untuk tiap klaim, dan buang klaim yang tidak punya pendukung dalam dokumen yang Anda berikan.
- Jalankan dua kali dan bandingkan. Jika jawaban berubah-ubah pada pertanyaan faktual yang sama, itu sinyal untuk memeriksa sumber aslinya.
- Hitung token, bukan kata, ketika dokumen Anda panjang, karena batas konteks dihitung dengan satuan itu.
Teknik-teknik tersebut mengurangi kesalahan, tetapi tidak menghilangkannya. Untuk keputusan yang berisiko, hasil AI tetap perlu divalidasi manusia.
Kalau Anda lebih mudah menangkap konsep ini lewat penjelasan lisan, ada klip singkatnya di Taalenta.
Sumber
- Google for Developers, Machine Learning Crash Course: Large language models, Tokens and next-token probabilities
- OpenAI Help Center: What are tokens and how to count them?
- Hugging Face Docs: Text generation strategies
- Anthropic Docs: Reduce hallucinations