StableSR icon

StableSR

Açık ağırlık
Jianyi Wang

StableSR, Jianyi Wang ve işbirlikçileri tarafından geliştirilen, gerçekçi detay sentezi ile yüksek kaliteli görsel büyütme için önceden eğitilmiş bir Stable Diffusion modelinin üretken öncülünden yararlanan yenilikçi bir süper çözünürlük modelidir.

Görsel Büyütme

Öne Çıkan Özellikler

Stable Diffusion Onceli

Onceden egitilmis Stable Diffusion'in gorsel bilgisini metin prompti gerektirmeden restorasyon icin kullanan yenilikci difuzyon onceli yaklasimi

Kontrol Edilebilir Sadakat Dengesi

CFW modulu ile orijinal goruntye sadakat ve uretilen detay kalitesi arasindaki dengeyi kullanici tarafindan ayarlanabilir parametre ile kontrol etme

Zengin Doku Uretimi

GAN tabanli yontemlere kiyasla daha ayrintili ve cesitli dokular uretarak daha gercekci ve dogal gorunen restorasyon sonuclari saglar

Hafif Uyarlama Modulleri

Dondurulmus Stable Diffusion omurgasina hafif zaman farkindali kodlayici ve CFW modulu ekleyerek verimli uyarlama saglar

Hakkında

StableSR (Gercek Dunya Goruntu Super Cozunurlugu icin Difuzyon Onceli Kullanma), yuksek kaliteli goruntu buyutme icin onceden egitilmis Stable Diffusion modelinin uretken gucunu kullanan yenilikci bir super cozunurluk modelidir. 2023 yilinda Jianyi Wang ve arastirma ekibi tarafindan gelistirilen StableSR, difuzyon modellerinin goruntu restorasyonunda nasil etkili bir sekilde kullanilabilecegini gosteren onemli bir calismadir. Onceden egitilmis uretken modellerin gorsel priorlerini koruyarak bunlari super cozunurluk gorevine adapte etme yaklasimi ile alanda yeni bir paradigma ortaya koymustur.

Modelin teknik yaklasimi, onceden egitilmis Stable Diffusion modelini dondurup uzerine egitileblir bir zaman adimi tahmincisi ve ozellik sarma modulu ekleyerek calisir. Bu tasarim, Stable Diffusion'in ogrendigi zengin gorsel priorlari korurken, bunlari super cozunurluk gorevine uyarlar. Zaman-adimi-farkindalikli kodlayici (time-aware encoder), dusuk cozunurluklu girdi goruntusunu difuzyon surecinin uygun adimiyla eslestirerek kontrol saglar. Ozellik sarma modulu ise ara katman ozelliklerini manipule ederek restorasyon kalitesini arttirir. Stokastik renk eslestirme teknigi ile uretilen goruntulerin renk tutarliligi ve ton dengesi iyilestirilir ve girdi ile cikti arasinda tutarli bir gorsel deneyim saglanir.

StableSR'in onemli avantajlarindan biri, CFG (Classifier-Free Guidance) olcegi araciligiyla restorasyon sadakati ile uretken yaraticilik arasinda ince ayar yapilabilmesidir. Dusuk CFG degerleri daha sadik ama daha az detayli sonuclar uretirken, yuksek degerler daha zengin dokular ancak potansiyel olarak daha fazla halusinasyon iceren sonuclar verir. Bu esneklik, kullanicilarin farkli kullanim senaryolarina gore optimal ayarlari secmelerini saglar. Ayrica ColorFix teknigi ile uretilen goruntulerin renk paleti orijinal goruntule uyumlu hale getirilir. Bu ozellik, fotografik sadakatin onemli oldugu profesyonel is akislarinda buyuk deger tasir.

Uygulama alanlari genis bir yelpazeyi kapsar. Eski fotograflarin restorasyonu ve iyilestirilmesi, dusuk cozunurluklu web gorsellerinin buyutulmesi, dijital sanat calismalarinda detay artirimi ve baski oncesi goruntu hazirligi en yaygin kullanim senaryolaridir. Gayrimenkul fotografciligi, urun fotografciligi ve sosyal medya icerigi hazirlama gibi ticari uygulamalarda da etkili sonuclar saglar. Yuz, manzara ve mimari fotograf gibi farkli icerik turlerinde tutarli kalite sunar. Arsiv dijitalizasyonu ve muze koleksiyon iyilestirmesi gibi kurumsal kullanim senaryolarinda da basariyla uygulanmaktadir.

Performans acisindan StableSR, diger super cozunurluk yontemlerine kiyasla ozellikle algisal kalite metriklerinde ustun sonuclar elde eder. LPIPS ve FID gibi algiya dayali olcumlerde rekabetci performans sergilerken, gercekci doku uretiminde CNN tabanli yontemleri belirgin sekilde geride birakir. Modelin GPU bellegi gereksinimi, Stable Diffusion omurgasi nedeniyle nispeten yuksektir (8GB ve uzeri onerilir), ancak tile-based isleme destegi buyuk goruntulerin sinirli kaynaklarla islenmesine olanak tanir. Cikti goruntulerin netlik ve detay zenginligi, kaynak tuketimini haklilastirir.

StableSR, difuzyon modellerinin goruntu restorasyonunda kullanilmasina onculuk etmis ve bu alandaki sonraki calismalara temel teskil etmistir. AUTOMATIC1111'in Stable Diffusion WebUI'si ve ComfyUI gibi populer platformlara uzanti olarak entegre edilebilir ve boylece genis bir kullanici kitlesine ulasir. Model, arastirma amacli acik kaynakli olarak sunulmakta olup, difuzyon tabanli super cozunurluk arastirmalarinda referans model olarak kabul edilmektedir. Sonraki SUPIR ve DiffBIR gibi modellere ilham vermesiyle goruntu restorasyonu alanindaki etkisi kalici ve belirleyici olmustur. Kullanicilara sunulan detayli dokumantasyon ve topluluk rehberleri, modelin verimli kullanimi konusunda destek saglamakta ve yeni baslayanlar icin ogrenme surecini kolaylastirmaktadir.

Kullanım Senaryoları

1

Fotograf Buyutme ve Iyilestirme

Dusuk cozunurluklu fotograflari zengin doku detaylari ile yuksek cozunurluuge buyuterek baski veya ekran icin hazirlama

2

Eski Medya Restorasyonu

Eski fotograflar, taranmis belgeler ve arsiv goruntulerni modern kalite standartlarina yukseltme

3

Dijital Sanat Buyutme

Dijital sanat eserlerini ve illustrasyonlari detay kaybetmeden buyuk boyutlara buyutme

4

Arastirma ve Gelistirme

Difuzyon tabanli goruntu restorasyon arastirmalarinda temel model ve referans noktasi olarak kullanma

Artılar ve Eksiler

Artılar

  • Stable Diffusion tabanlı süper çözünürlük modeli
  • Doğal doku oluşturma yeteneği — yapay keskinleştirme yerine gerçekçi detay
  • 4x büyütme kapasitesi
  • Açık kaynak — ComfyUI ve A1111 entegrasyonu mevcut

Eksiler

  • SD modeli yüklediği için yüksek VRAM gereksinimi
  • İşleme süresi geleneksel upscale yöntemlerine göre çok uzun
  • Bazen kaynak görselde olmayan detaylar ekleyebiliyor
  • Yüz bölgelerinde artefaktlar oluşabiliyor

Teknik Detaylar

Parametre

N/A

Mimari

Stable Diffusion with time-aware encoder and controllable feature wrapping

Eğitim Verisi

DIV2K, Flickr2K and OST datasets with synthetic degradation

Lisans

Apache 2.0

Özellikler

  • Stable Diffusion Generative Prior
  • Time-Aware Encoder Module
  • Controllable Feature Wrapping (CFW)
  • Frozen Backbone Fine-Tuning
  • Real-World Degradation destek
  • Adjustable Fidelity-Quality Trade-off

Benchmark Sonuçları

MetrikDeğerKarşılaştırmaKaynak
PSNR (DIV2K-Val, ×4)26.50 dBSwinIR: 27.45 dB (Set5)arXiv 2305.07015
LPIPS (DIV2K-Val)0.250SUPIR: 0.195arXiv 2305.07015
Algısal Kalite (FID)24.70SwinIR: 42.30 (daha yüksek = daha kötü)arXiv 2305.07015
Temel ModelStable Diffusion v2.1SUPIR: SDXLGitHub IceClear/StableSR

Mevcut Platformlar

hugging face
replicate

Sıkça Sorulan Sorular

İlgili Modeller

CodeFormer icon

CodeFormer

S-Lab, Nanyang Technological University

İzinli bir portre restorasyonu için CodeFormer’i değerlendirin: aslına bağlılık ayarlarını, yüz değişikliklerini, yeniden yerleştirmeyi ve ticari olmayan S-Lab lisansını inceleyin.

Kaynak Kodu Erişilebilir
FidelityFx Super Resolution icon

FidelityFx Super Resolution

AMD|N/A

FidelityFX Super Resolution (FSR), AMD tarafından geliştirilen, özellikle video oyunları olmak üzere gerçek zamanlı render uygulamalarında performansı artırmak için tasarlanmış açık kaynaklı mekansal büyütme teknolojisidir. NVIDIA'nın özel Tensor Core gerektiren DLSS'inin aksine, FSR donanımdan bağımsız çalışır ve AMD, NVIDIA, Intel GPU'larında hatta entegre grafiklerde bile sorunsuz kullanılabilir. Teknoloji birden fazla nesil boyunca evrilmiştir: FSR 1.0 tek kare üzerinde Lanczos tabanlı mekansal büyütme kullanırken, FSR 2.0 hareket vektörleri ve önceki kare verilerinden yararlanan zamansal büyütme ile neredeyse yerel çözünürlük kalitesi sunmuş, FSR 3.0 ise optik akış tabanlı kare üretimi ekleyerek algılanan kare hızını dramatik biçimde artırmıştır. Ultra Quality'den Ultra Performance'a uzanan beş farklı kalite modu, kullanıcılara görsel sadakat ile 2x ve üzeri performans kazanımı arasında denge kurma imkanı tanır. FSR; DirectX 11, DirectX 12 ve Vulkan API'lerini destekler ve PC platformlarının yanı sıra Xbox, PlayStation ve Steam Deck gibi taşınabilir cihazlarda da yaygın biçimde kullanılır. Cyberpunk 2077, Starfield ve Hogwarts Legacy dahil yüzlerce büyük yapım FSR entegrasyonu sunar; Unreal Engine ve Unity oyun motorları düzeyinde doğrudan destek sağlayarak geliştirici benimsemesini kolaylaştırır. MIT lisansı ile AMD'nin GPUOpen platformunda yayınlanan FSR, geliştiricilere ve araştırmacılara şeffaf işbirliği ve modifikasyon imkanı sunar. Platform bağımsızlığı ve açık kaynak yapısı, onu oyun endüstrisinde en yaygın kullanılan görsel büyütme çözümlerinden biri haline getirmiştir.

Açık ağırlık
Real-ESRGAN icon

Real-ESRGAN

Tencent ARC|N/A

Real-ESRGAN, Tencent ARC Lab'da Xintao Wang ve işbirlikçileri tarafından geliştirilen, düşük çözünürlüklü, bozulmuş veya sıkıştırılmış görselleri dikkat çekici detay kurtarmayla yüksek çözünürlüklü çıktılara dönüştüren açık kaynak görsel büyütme ve restorasyon modelidir. 2021'de BSD lisansı altında yayınlanan Real-ESRGAN, sıkıştırma yapıları, gürültü, bulanıklık ve alt örnekleme dahil gerçek dünya görsellerinde bulunan karmaşık ve öngörülemeyen kalite kaybını simüle eden yüksek dereceli bozulma modelleme yaklaşımını tanıtarak orijinal ESRGAN mimarisi üzerine inşa edilmiştir. Model üretici ağı olarak Residual-in-Residual Dense Block'lu U-Net mimarisi kullanır ve keskin, doğal görünümlü büyütülmüş sonuçlar üretmek için algısal kayıp, GAN kaybı ve piksel kaybı kombinasyonuyla eğitilmiştir. Real-ESRGAN 2x, 4x ve daha yüksek büyütme faktörlerini destekler ve genel amaçlı fotoğraf modelinin yanı sıra anime ve illüstrasyon içeriği için özelleştirilmiş model varyantları içerir. Model yalnızca sentetik bozulma desenleri üzerinde eğitilen öncülü ESRGAN'a kıyasla gerçek dünya bozulmalarını çok daha iyi işler. Real-ESRGAN masaüstü araçlar, web servisleri, mobil uygulamalar ve profesyonel görsel düzenleme iş akışları dahil sayısız uygulamaya entegre edilerek en yaygın dağıtılan AI büyütme çözümlerinden biri haline gelmiştir. Model hem CPU hem de GPU'da verimli çalışır ve daha hafif RealESRGAN-x4plus-anime varyantı tüketici donanımı için optimize edilmiştir. Önceden eğitilmiş ağırlıklarla GitHub üzerinde mevcut tamamen açık kaynak bir proje olarak Upscayl ve çeşitli ComfyUI düğümleri gibi popüler araçların omurgası olarak hizmet eder. Real-ESRGAN doğal görünümü korurken ve gerçekçi detay eklerken görsel çözünürlüğünü artırması gereken fotoğrafçılar, içerik üreticileri ve oyun geliştiricileri için vazgeçilmezdir.

Açık ağırlık
SUPIR icon

SUPIR

Fanghua Yu et al. (SUPIR author team)

SUPIR restorasyonunu aynı girdide Q/F ve açıklama karşılaştırmalarıyla değerlendirin; uydurulmuş ayrıntıyı inceleyip denemeden önce ağırlık izinlerini netleştirin.

Kaynak Kodu Erişilebilir

Hızlı Bilgi

ParametreN/A
Tipdiffusion
LisansApache 2.0
Yayınlanma2023-05
Mimari

Stable Diffusion with time-aware encoder and controllable feature wrapping

GeliştiriciJianyi Wang

Bağlantılar

Etiketler

stablesr
diffusion
super-resolution
image-upscale
Siteyi Ziyaret Et