CodeFormer

CodeFormer, öğrendiği görsel örüntülerden ve bir Transformer'dan yararlanarak bozulmuş yüz görüntülerini onarır. Daha anlaşılır bir portre üretebilir; ancak sonradan oluşturulan yüz ayrıntıları, özgün sahnede ne bulunduğunu kanıtlamaz. Kaynağı koruyabildiğiniz ve değişiklikleri inceleyebildiğiniz, izinli bir gösterim kopyası için değerlendirin. Resmi proje, belirli ticari olmayan kullanımlara izin veren ve ticari kullanım için katkıda bulunanlarla iletişim kurulmasını isteyen S-Lab License 1.0 kapsamında sunulur.

Bu değerlendirme, resmi restorasyon uygulamasına ve araştırmaya dayanır; görsel test raporu değildir. Sayfa için model çıkarımı, süre karşılaştırması veya barındırılan bir servise görsel gönderimi yapılmadı. Aşağıdaki aile fotoğrafı çalışması, sonuçları henüz doldurulmamış bir değerlendirme önerisidir.

Onarılan portrede nelerin korunması gerektiğini belirleyin

Araştırma, bozulma biçimi bilinmeyen yüzlerin restorasyonunu birden fazla olası sonucu bulunan bir yeniden oluşturma problemi olarak ele alır. CodeFormer, öğrenilmiş ayrık bir kod kitabını görsel önbilgi olarak kullanır; Transformer ise kod dizilerini tahmin eder. Bu yaklaşım, modelin hem amacını hem sınırını açıklar: makul görünen bir yüzde, hasarlı girdinin doğrulamadığı özellikler bulunabilir. Makalenin yazarları, Nanyang Technological University bünyesindeki S-Lab'dan Shangchen Zhou, Kelvin C. K. Chan, Chongyi Li ve Chen Change Loy'dur. CodeFormer araştırma makalesi.

Sıkıştırma izleri bulunan, gözleri bulanık ve bir yanağında çizik olan taranmış bir aile portresini düşünün. Okuyucunun amacı, fotoğraftaki kişiler açısından kabul edilebilir bir gösterim kopyası hazırlamaktır. Görüntüyü değiştirmeden önce gerçekten görülebilen özellikleri belirleyin: başın açısı, ağız biçimi, ifade, ayırt edici izler ve yüz ile saçın ilişkisi. Belirsiz ayrıntıları belirsiz olarak işaretleyin. Sonradan eklenen net bir göz kapağı veya diş, bu belirsizliği gidermez.

Taramayı arşiv kaynağı olarak saklayın; düzenlenmiş görüntüye ayrı bir dosya adı verin. Biraz yumuşak ama tanınabilir bir yüzün, ifadesi değişmiş daha keskin bir yüzden amaca daha uygun olup olmadığına karar verin. Bu, modelin ürettiği bir puan değil, editoryal kabul kararıdır. Kişiyi tanıyan biri değişiklikleri fark etmeye yardımcı olabilir; ancak görüntünün tanıdık gelmesi, üretilmiş ayrıntıyı tarihsel kayıt haline getirmez.

Bu iş akışını, kimliği bilinmeyen bir kişiyi teşhis etmek, kanıt niteliğinde ayrıntı oluşturmak veya bir yüzün gerçekliğini doğrulamak için kullanmayın. İşin amacı bu bilgileri belirlemekse, görüntünün daha inandırıcı görünmesi yeterli başarı ölçütü değildir. Daha iyi bir tarama edinmek, kullanımı izinli başka bir referansa başvurmak veya hasarlı kaynağı olduğu gibi korumak daha uygun olabilir.

Yüz kırpımı ile bütün fotoğrafın işlenmesini ayırın

Resmi restorasyon betiğinde bu değerlendirmeyi ilgilendiren iki giriş yolu bulunur. --has_aligned kullanıldığında girdi, hizalanmış bir yüz olarak ele alınır ve 512 × 512 boyutuna getirilir. Bu seçenek kullanılmadığında betik yüzleri algılar, yüz kırpımlarını hizalar, onarır ve görüntüye geri yerleştirebilir. Varsayılan algılayıcı retinaface_resnet50'dir; --only_center_face seçeneği yüz seçimini değiştirir. Burada incelenen kapsamı, aracı bir uygulamanın ürün tanıtımı değil, betik ve onun parametreleri belirler. Resmi çıkarım uygulaması.

Giriş yolunu elinizdeki görüntüye göre seçin. Sıradan bir portre, mutlaka hizalanmış bir yüz kırpımı değildir. Aile grubunda yalnız merkezdeki yüzü seçmek, önemli bir kişiyi dışarıda bırakabilir. Restorasyon modelinin birini atladığına veya yüzünü değiştirdiğine karar vermeden önce seçilen kırpımları inceleyin. Restorasyon aşamasına yanlış yüz ulaşıyorsa, aslına bağlılık ağırlığını değiştirmek seçim hatasını düzeltemez.

Bütün fotoğrafın kalitesi, yüzün yeniden yerleştirilmesini de kapsar. Tek başına kabul edilebilir bir yüz, keskinliği, rengi veya sınırı çevresindeki fotoğrafla uyuşmadığında sonradan yapıştırılmış gibi görünebilir. Üretilen yüzü hem kırpımın çalışma ölçeğinde hem de bütün görüntü içinde hedef gösterim boyutunda inceleyin. Dar bir kırpımla yapılan karşılaştırma, saç çizgisindeki birleşim izini veya boyna geçişteki doğallık kaybını gizleyebilir.

Resmi iş akışındaki isteğe bağlı Real-ESRGAN işlemi, ayrı bir büyütme bileşenidir. Arka planı büyütme ve yüzü büyütme seçenekleri ayrıdır; her restorasyon için zorunlu değildir. Bir değişikliğin hangi işlemden kaynaklandığını anlayabilmek için bu ek aşamalar olmadan başlayın. Depodaki hizalanmış yüz ve bütün görüntü örnekleri farklı amaçlara hizmet eder; çıktıları aynı değerlendirme koşullarında üretilmiş gibi ele alınmamalıdır. Depodaki kullanım açıklamaları.

Aslına bağlılık ayarlarını aynı kaynakla karşılaştırın

Belgelenen aslına bağlılık ağırlığı 0 ile 1 arasındadır. Depodaki açıklama, küçük değerlerin görsel kaliteye, büyük değerlerin ise aslına bağlılığa öncelik verdiğini belirtir. Bu ayar, kendi girdinizde araştırmanız gereken bir kontroldür; portreleri evrensel olarak iyiden kötüye sıralamaz. Komut satırındaki varsayılan değer 0.5'tir. Bu, her fotoğraf için öneri değil, başlangıç yapılandırmasıdır.

Ağırlıkları karşılaştırırken girdiyi, yüz seçim biçimini ve diğer işlem ayarlarını sabit tutun. Ayrı çıktı klasörleri kullanın ve her görüntünün yanına uygulanan değeri kaydedin. Bir sonucu yalnız gözleri daha keskin göründüğü için seçmeyin; aynı gözleri, ağzı ve karakteristik özellikleri özgün görüntüyle karşılaştırın. Bir grup fotoğrafındaki bir yüz için işe yarayan ayar, başka bir yüz için kabul edilemez olabilir.

Ağırlığı 1 yapmak, girdinin değişmeden kopyalanacağını garanti etmez. Mimari, öğrenilmiş restorasyonu uygulamayı sürdürür; özelliklerin birleştirildiği yolda ağırlık bir kontrol görevi görür. Kaydırıcının bir ucunu arşiv güvencesi saymak yerine özgün dosyayı bağımsız olarak koruyun. CodeFormer mimarisi.

Her ayar önemli bir özelliği değiştiriyorsa bu kopyaları reddedin. Bir kaydırıcıyı tekrar tekrar ayarlamak, kayıp bir özelliğin geri kazanıldığını göstermez. Ret nedenini kaydedin; böylece sonraki büyütme veya rötuş aşaması, daha önce kabul etmediğiniz aynı yüzü fark edilmeden yeniden kullanmaz.

Gerçek lisansı ve erişim yolunu inceleyin

Resmi depodaki S-Lab License 1.0, koşullarına uyulması kaydıyla ticari olmayan kullanım ve yeniden dağıtıma izin verir. Bu koşullar arasında bildirimlerin korunması ve katkıda bulunanların adlarının ürün onayı izlenimi yaratacak biçimde kullanılmasına ilişkin sınırlamalar bulunur. Ticari kullanım veya yeniden dağıtım isteyenlerin katkıda bulunanlarla iletişim kurmasını söyler. Bu nedenle incelenen proje, Apache 2.0 kapsamında veya ticari kullanıma genel izin veren bir kaynak olarak sunulmamalıdır. Resmi S-Lab lisansı.

Herkesin okuyabildiği kod, indirilebilir model ağırlığı ve ücretli bir servis arayüzü farklı erişim biçimleridir. Bir sağlayıcıya ödeme yapmak, alttaki modeli kullanmak için gereken hakların bulunduğunu tek başına göstermez. Herkese açık bir demo da sınırsız lisans kanıtı değildir. Ticari işlerde, modeli müşteriye verilen bir taahhüdün parçası yapmadan önce geçerli izni ve servis koşullarını netleştirin. Bu sayfa proje koşullarını aktarır; belirli bir uygulama için izin vermez.

Resmi indirme betiği, projenin v0.1.0 sürümü altında codeformer.pth adlı restorasyon ağırlığını gösterir. Bu referans, resmi bir edinme yolu bulunduğunu destekler; bu incelemede ikili dosyanın indirildiği, incelendiği veya çalıştırıldığı anlamına gelmez. Değerlendirme kaydında kaynak revizyonunu, model dosyasının alındığı yeri ve yerel olarak kaydettiğiniz sağlama toplamını saklayın. Benzer adlı bir ayna dosya, seçilen dosyanın yerini fark edilmeden almamalıdır. Resmi model indirme betiği.

README, yazarların bakımını üstlendiği barındırılan seçeneklere bağlantı verir; ancak bunların kapasitesi, fiyatları, gizlilik uygulamaları ve hizmet sürekliliği burada test edilmedi. Aile fotoğrafı denemesinde, fotoğraf üzerinde yapmak istediğiniz işlemlere izin veren bir yol seçin. Projenin erişilebilir olması, girdi görüntüsündeki hakları, bir kişinin portresini yayımlama iznini veya ek bağımlılıkların koşullarını çözmez. Gerekli bir izin belirsizse, görseli göndermeden ya da yeniden dağıtmadan önce bunu netleştirin.

Sınırları belirli bir aile fotoğrafı denemesi yapın

Kullanımı izinli bir taramanın kopyasını ve kontrol amacıyla daha az bozulmuş bir portreyi hazırlayın. Örneğin aile içinde gösterilecek özel bir kopya gibi, hedef çıktıyı tanımlayın ve tanınabilir kalması gereken özellikleri seçin. Özgün boyutları saklayın; çıkarımdan önce yapılan kırpma veya yeniden örneklemeyi kaydedin. Kontrol görüntüsü, ağır hasara özgü bir sorunla seçilen işlem yolunun oluşturduğu sorunu ayırmaya yardımcı olur. Siz çalıştırana kadar ölçülmüş bir başlangıç sonucu sayılmaz.

Sabitlenmiş resmi depo talimatlarıyla yalıtılmış bir ortam hazırlayın; ardından gerçekten kurulan sürümleri ve seçilen cihazı kaydedin. Depodaki kurulum tarifi, güncel her Python, PyTorch veya işletim sistemi birleşimi için uyumluluk belgesi değildir. Bu yazı için kurulum yapılmadı. Görüntüleri karşılaştırmadan önce kurulum hatalarını çözün; her çalıştırma girişiminin tam komutunu ve bütün günlüğünü saklayın.

Aşağıdakiler, incelenen betikte bulunan parametrelerle hazırlanmış ve çalıştırılmamış karşılaştırma komutlarıdır. Belgelenen ortamın ve gerekli model dosyalarının önceden hazırlandığını varsayarlar. Yollar örnektir; bunları kullanımı izinli girdinizle ve ayrı çıktı konumlarıyla değiştirmeniz gerekir. Üçü de aynı sıradan görüntü işleme yolunu kullanır ve isteğe bağlı Real-ESRGAN arka plan ve yüz iyileştirme seçeneklerini kapalı bırakır. Bu durum, komut satırının ayrı varsayılan --upscale 2 çıktı ölçeğini kapatmaz.

python inference_codeformer.py -i inputs/family-photo.png -o results/family-w0 -w 0
python inference_codeformer.py -i inputs/family-photo.png -o results/family-w05 -w 0.5
python inference_codeformer.py -i inputs/family-photo.png -o results/family-w1 -w 1

Önce yüz seçimini ve hizalamayı inceleyin; sonra her onarılmış kırpımı kaynakla karşılaştırın; son olarak yüzlerin yeniden yerleştirildiği bütün görüntüyü değerlendirin. Tercih ettiğiniz kopyanın yanında reddedilen çıktıları da saklayın. Arka plan veya yüz büyütme ekleyecekseniz, önce kabul edilebilir bir restorasyon seçin ve büyütmeyi ayrı kaydedilen bir karşılaştırma olarak uygulayın. Aksi halde görünen iyileşme başka bir aşamadan kaynaklanabilir ve o aşamanın katkısını ayırt etmek zorlaşır.

Kopyayı yüze özgü bir kabul çizelgesiyle değerlendirin

Aşağıdaki çizelge, bu aile fotoğrafı senaryosu için hazırlanmış özgün bir karar yardımı önerisidir. Test sonucu veya kalite puanı içermez. Bir çalıştırmayı başarılı diye tanımlamadan önce çizelgeyi gözlemleriniz ve kaydettiğiniz dosyalarla doldurun.

Önemli bir özelliği değiştiren çekici bir yüzü, bu iş için başarısız aday sayın. Buna karşılık bir miktar bulanıklık kalsa bile ölçülü bir sonuç yararlı olabilir. Kabul toleransını genel bir keskinlik hedefiyle değil, ilgili fotoğraf ve alıcısıyla tanımlayın. Çizelge, modeli kullanmayan birine de bu seçimi açıklayabilmelidir.

Daha büyük bir koleksiyonu denemeden önce düzeltme bütçesi belirleyin. Yüzleri inceleme, çıktıları reddetme ve birleşim sınırlarını düzeltme süresini işin parçası olarak sayın. Birkaç fotoğraf dikkatli elle çalışma gerektiriyorsa bu, özel bir albüm için yine de kabul edilebilir olabilir. Neredeyse her yüz yeniden yapılandırılmak zorundaysa toplu işlem, beklenenden daha az işi ortadan kaldırabilir. Bu gözlemleri ölçene kadar boş bırakın.

İlk hatalı ara çıktıyı bulun

İncelenen betik, bir yüzün restorasyonu sırasında oluşan istisnayı yakalar; hatayı bildirirken o yüz için girdi kırpımını kullanır. Dolayısıyla kaydedilmiş bir görüntü, model çıkarımının başarılı olduğuna yeterli kanıt değildir. Bir çıktıyı onarılmış yüz olarak saymadan önce günlüğü ve ilgili kırpımı kontrol edin. Bu ayrım, toplu işlem bitmiş gibi görünmesine rağmen bazı yüzler değişmediğinde özellikle önemlidir.

Bunlar ölçülmüş hata oranları değil, tanı koymaya yardımcı varsayımlar ve inceleme adımlarıdır. Değişmeyen her yüzü çıkarım istisnası, her birleşim sorununu büyütme bileşeninin hatası olarak adlandırmayın. İlgili farkın ilk nerede ortaya çıktığını kaydedilen dosyalarla belirleyin. Böylece sonraki düzeltme, genel bir görüntü kalitesi izlenimine değil, gözlenmiş bir soruna dayanır.

İşin bütünü için kaynak kullanımını ölçün

İncelenen cihaz yardımcısı, uyguladığı kullanılabilirlik ve sürüm kontrollerine göre MPS, CUDA veya CPU seçebilir. Kodda bu yolun bulunması, sizin makinenizde başarıyla çalıştığını kanıtlamaz. İsteğe bağlı Real-ESRGAN kurulumu da CPU üzerinde yavaş işlem konusunda uyarı verir. Bu değerlendirmede test edilmiş bir asgari VRAM, her yüz için geçerli süre veya işlem kapasitesi vaadi bulunmuyor. Resmi cihaz seçimi yardımcısı.

İlk indirmeleri ve başlangıcı, tekrarlanan çıkarımdan ayrı ölçün. Bütün görüntünün boyutlarını, yüz sayısını, seçilen algılayıcıyı, aslına bağlılık ağırlığını, ek iyileştirme aşamalarını ve gerçek donanımı kaydedin. Kullanılabilir bir fotoğrafın ne kadar sürede hazırlandığını hesaplarken dosya kaydını ve elle incelemeyi de ekleyin. Tek bir hizalanmış yüzün süresi, arka planı büyütülen büyük bir grup fotoğrafının işlenmesini açıklamaz.

Video için ayrı bir kaynak planı gerekir. İncelenen betiğin video yolu, önce girdi karelerini, daha sonra çıktı karelerini bellekte biriktirir. Bunu bellek kullanımı sınırlandırılmış bir akış olarak tanımlamayın veya kısa bir klibin sonucunu sınırsız uzunluktaki kayda genellemeyin. Video girdi yolunun bulunması, yüz görünümünün kareler arasında kararlı kaldığını da göstermez. Video gerekiyorsa kullanımı izinli kısa bir kliple başlayın; ardışık kareleri ve bellek kullanımını açıkça inceleyin.

Sonraki restorasyon adımını kanıta göre seçin

Aile portresi için ilk karar, kabul edilebilir elle düzeltme yüküyle uygun bir gösterim kopyası elde edilip edilemediğidir. Elde edilebiliyorsa kullanılan ayarları, özgün dosyayı ve düzenlenmiş dosyayı birlikte saklayın. Değişiklikler kabul edilemiyorsa daha net bir tarama, dikkatli elle rötuş veya belirsiz yüz ayrıntılarını olduğu gibi bırakan sınırlı bir düzeltme seçin. Reddedilmiş bir model çıktısı da bu seçim için yararlı kanıttır.

Yüz restorasyon modeli ile genel amaçlı büyütme modeli, fotoğrafın farklı ihtiyaçlarına karşılık gelir. Başka bir yöntemi, örneğin yüz dışındaki bir çizik veya yeniden yerleştirme sorunu gibi, gözlenen ihtiyaca göre seçin. Model adının değişmesinin her kusuru gidereceğini varsaymayın. Bu inceleme, CodeFormer ile GFPGAN arasında bir kazanan belirlemez ve makaledeki kıyaslama sonuçlarını yeniden üretmez.

Eksik olan yetenek netleştiğinde başka model kategorilerini keşfetmek için model dizinini kullanın. Bir koleksiyona veya servise geçmeden önce gerekli izinleri netleştirin; gerçek iş yükünü ve kabul sonuçlarını belirleyin. Daha keskin ayrıntı, başarıyla oluşturulmuş dosya veya herkese açık bir depo, bu değerlendirmeyi tek başına tamamlamaz.