Token Detaylı Açıklama
Token, yapay zeka modellerinin metni anlamak ve işlemek için kullandığı temel veri birimidir. Bir metin modele gönderilmeden önce tokenizasyon sürecinden geçer; bu süreçte metin, modelin anlayabileceği küçük parçalara (tokenlara) bölünür.
Tokenizasyon yöntemi modelden modele farklılık gösterir. GPT tabanlı modellerde bir token genellikle 3-4 karakter veya bir kelimenin parçasıdır. Örneğin "beautiful" kelimesi iki tokena ("beaut" ve "iful") bölünebilir. Türkçe gibi eklemeli diller genellikle İngilizce'den daha fazla token kullanır.
Görsel üretim araçlarında token kavramı birkaç şekilde önem taşır. İlk olarak, CLIP text encoder'ların bir prompt token limiti vardır (genellikle 75-77 token). Bu limiti aşan promptlar kırpılır ve son kısımdaki talimatlar göz ardı edilir. İkinci olarak, API tabanlı modellerde (DALL-E 3, Claude) maliyet token sayısına göre hesaplanır.
Token limitleri nedeniyle prompt yazarken gereksiz kelimelerden kaçınmak ve en önemli talimatları promptun başına yerleştirmek önemlidir. Bazı araçlar token sayacı özelliği sunarak kullanıcının limit dahilinde kalmasını sağlar.
Pratik bir örnek: Midjourney'de "a beautiful sunset over the ocean with dramatic clouds and golden light reflecting on water" promptu yaklaşık 15 token'a ayrılır. Midjourney'nin token limiti 60 kelime civarıdır; bu sınırı aşan promptlar kesilir ve son kısımdaki detaylar göz ardı edilir. DALL-E 3'te ise ChatGPT uzun doğal dil cümlelerini önce işleyip optimize ettikten sonra modele gönderir, bu nedenle token limiti kullanıcıyı doğrudan etkilemez.
tasarım.ai üzerinde token kavramının önemli olduğu araçlar arasında Midjourney (prompt uzunluk sınırı nedeniyle kısa ve öz promptlar gerekir), DALL-E 3 (ChatGPT'nin token işleme katmanı ile) ve Stable Diffusion (CLIP token limiti 77 token olup, uzun promptlar için BREAK komutu kullanılabilir) yer almaktadır.
Yeni başlayanlar için öneri: Prompt yazarken gereksiz kelimelerden kaçının ve en önemli detayları promptun başına yerleştirin. Çoğu model, promptun başındaki token'lara daha fazla ağırlık verir. Stable Diffusion'da 77 token sınırını aşmak için "BREAK" komutuyla promptu bölümleyebilirsiniz. Midjourney'de ise promptunuzu mümkün olduğunca kısa ve stilistik tutarak en iyi sonuçları alırsınız.