CLIP Skoru Detaylı Açıklama
CLIP Skoru, üretilen bir görselin metin promptuna ne kadar sadık olduğunu ölçen özelleşmiş bir metrik olup, FID ile birlikte görüntü üretim modellerinin değerlendirilmesinde en sık kullanılan araçlardan biridir.
Hesaplama prensibi: CLIP modeli hem metin hem görüntüyü aynı vektör uzayına gömer. Verilen bir prompt için CLIP'in metin gömmesi hesaplanır, üretilen görüntü için CLIP'in görüntü gömmesi hesaplanır. İki vektör arasındaki kosinüs benzerliği CLIP skoru olarak raporlanır. 0 ile 1 arasındaki bu skor (veya açı olarak 0° ile 90°), değer ne kadar yüksekse prompt ile görüntü o kadar semantik olarak yakın demektir.
Neden önemlidir? FID kalite ve çeşitliliği ölçer ama promptu doğru uygulayıp uygulamadığını ölçemez. CLIP skoru bu boşluğu doldurur. Bir model görsel açıdan mükemmel ama prompt'la ilgisiz görüntüler üretiyorsa, yüksek FID düşük CLIP skoru ile ortaya çıkar.
Pratik kullanım alanları:
1. Model karşılaştırma: Farklı görüntü üretim modellerinin bir benchmark prompt setine verdiği yanıtlar CLIP skoru ile karşılaştırılır. PartiPrompts ve DrawBench gibi benchmark setleri bu amaçla kullanılır.
2. Otomatik görüntü seçimi: Bir prompttan çok sayıda görüntü üretilip CLIP skoru hesaplandığında, en yüksek skoru alan görüntü otomatik olarak seçilebilir. Bazı Stable Diffusion arayüzleri bu özelliği 'best of N' modunda sunar.
3. Fine-tuning değerlendirmesi: Bir modeli belirli bir stile veya konsepte fine-tune ettikten sonra, CLIP skoru prompt uyumunun nasıl değiştiğini izlemek için kullanılır.
4. CFG scale optimizasyonu: Farklı CFG değerlerinde CLIP skoru nasıl değişiyor? Genellikle çok düşük CFG düşük CLIP skoru (prompt'a bağlılık az), çok yüksek CFG ise artefakt oluşturabilir. Optimal CFG değeri CLIP skoru maximumuna yakın olur.
CLIP skorunun sınırlamaları: CLIP eğitim verisi İngilizce ağırlıklıdır; Türkçe promptlar için hesaplanan CLIP skorları İngilizce promptlara göre daha az güvenilir olabilir. Ayrıca çok uzun ve karmaşık promptlarda CLIP'in 77 token sınırı nedeniyle prompt'un tamamı değerlendirilemeyebilir.
PICA ve Aesthetic CLIP gibi türevler, CLIP skorunun estetik değerlendirmeyle birleştirilmiş versiyonlarıdır. Bu hibrit metrikler hem prompt uyumunu hem görsel kaliteyi aynı anda ölçer.
tasarım.ai üzerindeki araçların arka plan değerlendirme süreçlerinde CLIP skoru aktif olarak kullanılır. Özellikle model kalitesi raporları ve karşılaştırmalı değerlendirmelerde bu metrik temel referans noktasıdır.
Yeni başlayanlar için öneri: Çok sayıda görüntü ürettiğinizde hangisini seçeceğinizden emin değilseniz, hangi görüntünün promptunuzu en iyi yansıttığını sormak için CLIP skorunu bir ölçüt olarak düşünebilirsiniz. Bazı araçlar 'en iyi eşleşme' seçeneği sunarak bu hesabı sizin adınıza yapar.