ControlNet

ControlNet, Stanford Üniversitesi'nden Lvmin Zhang ve Maneesh Agrawala tarafından geliştirilen ve ilk olarak Şubat 2023'te "Adding Conditional Control to Text-to-Image Diffusion Models" başlıklı makaleyle tanıtılan devrim niteliğinde bir sinir ağı mimarisidir. Model, Stable Diffusion gibi büyük önceden eğitilmiş metinden görsele difüzyon modellerine, kodlama katmanlarının eğitilebilir bir kopyasını oluşturarak koşullu kontrol ekler. Bu yenilikçi yaklaşım, kullanıcıların Canny kenarları, insan pozu iskeletleri (OpenPose ile), derinlik haritaları (MiDaS ile), segmentasyon haritaları, karalama çizimleri ve normal haritalar dahil çeşitli mekansal koşullandırma girdileri kullanarak görsel üretimini yönlendirmesine olanak tanır. ControlNet'in ortaya çıkışı, yapay zeka destekli görsel üretimde kontrol edilebilirlik paradigmasını kökten değiştirmiş ve rastgele üretimden hassas yönlendirmeli üretime geçişi mümkün kılmıştır.

Çekirdek mimari, bağlı bir kopyayı eğitirken orijinal model ağırlıklarını kilitleyerek çalışır ve önceden eğitilmiş yeteneklerin korunmasını sağlarken yeni koşullu kontrol öğrenilir. Bu sıfır-konvolüsyon (zero-convolution) tekniği, ControlNet'in felaket unutması (catastrophic forgetting) olmadan nispeten küçük veri setlerinde eğitilebileceği anlamına gelir. Kontrol modeli başına yaklaşık 1,4 milyar parametre ile SD 1.5 kodlayıcısını yansıtan ControlNet, dikkat çekici yapısal sadakat elde eder. Eğitim sürecinde sıfır konvolüsyon katmanları başlangıçta sıfır çıktı üretir, bu da eğitimin başında ana modelin davranışının korunmasını ve kademeli olarak kontrol sinyallerinin öğrenilmesini sağlar. Bu zarif tasarım, modelin kararlı ve öngörülebilir bir şekilde eğitilmesinin temelini oluşturur.

ControlNet, 14'ten fazla farklı kontrol türünü destekleyerek benzersiz bir esneklik sunar. Canny kenar algılama ile nesne sınırlarını koruyabilir, OpenPose ile insan vücut pozlarını yeniden üretebilir, MiDaS derinlik haritaları ile üç boyutlu mekansal yapıyı aktarabilir, segmentasyon haritaları ile bölgesel içerik kontrolü sağlayabilir ve normal haritalar ile yüzey detaylarını yönetebilir. Canny koşullandırma görevlerinde 0,89 SSIM puanı elde eden model, yapısal sadakat açısından endüstri standardı haline gelmiştir. Ayrıca birden fazla ControlNet modelinin aynı anda kullanılabilmesi, örneğin derinlik ve poz kontrolünün eş zamanlı uygulanması gibi karmaşık senaryoları mümkün kılar.

Kullanım alanları açısından ControlNet, AI sanat üretiminden endüstriyel tasarıma kadar geniş bir yelpazeyi kapsar. Mimari görselleştirmede eskiz aşamasından fotorealistik render üretmeye, moda tasarımında belirli pozlardaki kıyafet görselleştirmesine, oyun geliştirmede konsept sanatı üretmeye ve film endüstrisinde storyboard'ları görselleştirmeye kadar profesyonel iş akışlarına entegre edilmiştir. İç mekan tasarımcıları derinlik haritalarıyla mekan düzenini koruyarak farklı stil alternatifleri üretebilirken, illüstratörler karalama çizimlerini detaylı görsellere dönüştürebilir.

ControlNet, AI sanat ve tasarım topluluğunda temel bir araç haline gelmiş olup ComfyUI, Automatic1111 ve Fooocus gibi popüler arayüzlere entegre edilmiştir. SD 1.5, SDXL ve FLUX mimarilerini her biri için özel ağırlık setleriyle destekler. Apache 2.0 lisansı, hem araştırma hem de ticari uygulamalar için serbestçe kullanılabilir kılar ve Hugging Face, Replicate ve fal.ai dahil platformlarda dağıtılmıştır. Topluluk tarafından üretilen özel ControlNet modelleri de sürekli genişleyen bir ekosistem oluşturmuştur.

Rakipleriyle karşılaştırıldığında ControlNet, T2I-Adapter'dan daha hassas kontrol sunarken daha fazla hesaplama kaynağı gerektirir. IP-Adapter gibi stil tabanlı adaptörlerden farklı olarak, ControlNet tamamen yapısal ve mekansal kontrol üzerine yoğunlaşır. Bu tamamlayıcı yapı, ControlNet'in diğer adaptörlerle birlikte kullanılmasını teşvik etmiş ve modern AI görsel üretim iş akışlarının vazgeçilmez bir bileşeni haline getirmiştir. Açık kaynak doğası ve güçlü topluluk desteği sayesinde ControlNet, kontrol edilebilir görsel üretim alanında en yaygın benimsenen çözüm olmaya devam etmektedir.