ProPainter

ProPainter, video inpainting (video ici bosluk doldurma) ve nesne kaldirma icin gelistirilmis ileri duzey bir derin ogrenme modelidir. Nanjing Universitesi ve S-Lab arastirmacilari tarafindan gelistirilen ProPainter, gelistirilmis yayilim (enhanced propagation) ve verimli Transformer mekanizmalari kullanarak video inpainting alaninda yeni bir performans standardi belirlenmistir. 2023 yilinda tanitilan model, onceki yontemlerin zamansal tutarlilik ve islem verimlilige konularindaki sinirlamalarini ortadan kaldirmakta ve video duzenleme alaninda onemli bir ilerlemeyi temsil etmektedir.

Modelin teknik mimarisi iki temel bilesenden olusur: goruntu tabanli ozellik yayilimi (image-based feature propagation) ve dual-domain Transformer modulu. Ozellik yayilim mekanizmasi, komsu karelerden gelen bilgileri verimli bir sekilde inpainting bolgelerine tasir ve zamansal tutarliligi saglar, boylece kareler arasi gecislerde titresim veya tutarsizlik onlenir. Dual-domain Transformer ise hem uzamsal hem de zamansal boyutlarda dikkat mekanizmasi uygulayarak genis alici alan ile yuksek kaliteli icerik uretir. Optik akis tahmini, akis tamamlama ve goruntu inpainting adimlari entegre bir pipeline icinde calisarak uctan uca ogrenilebilir bir sistem olusturur. Bu entegre yaklasim, onceki moduler yontemlere kiyasla daha tutarli ve kaliteli sonuclar uretir.

ProPainter'in iki ana kullanim modu vardir ve her biri farkli video duzenleme ihtiyaclarini karsilar. Video nesne kaldirma modunda, videodaki belirli bir nesne (ornegin yuruyuen bir kisi, bir filigran veya istenmeyen bir eleman) maskelenerek kaldirilar ve arka plan zamansal olarak tutarli bir sekilde doldurulur. Video tamamlama modunda ise hasarli veya eksik video bolgeleri, zamansal tutarliligi koruyarak tamamlanir ve video akisi kesintisiz surduruler. Her iki modda da model, harekete duyarli inpainting yaparak kare kare bagimsiz degil, video akisi boyunca tutarli sonuclar uretir.

Uygulama alanlari profesyonel video produksiyonundan kisisel kullanima kadar genis bir yelpazeyi kapsar. Film ve TV post-produksiyonunda istenmeyen ekipman, mikrofon veya yansimaların kaldirilmasi en yaygin profesyonel kullanim alanlarindan biridir. Sosyal medya iceriklerinde filigran ve logo temizleme, icerik ureticileri icin onemli bir is akisi adimdir. Guvenlik kamerasi kayitlarinda gizlilik icin kisi maskeleme ve anonimizasyon gibi uygulamalar da dikkat cekmektedir. Tarihi video arsivlerinin restorasyonu ve hasarli film karelerinin onarimi, kulturel miras koruma acisindan degerli uygulamalaridir. Reklam produksiyonunda mevcut cekimlerden istenmeyen ogelerin kaldirmasi ve arka plan duzenleme islemleri de ProPainter ile verimli sekilde gerceklestirilebilir.

Performans metrikleri acisindan ProPainter, DAVIS ve YouTube-VOS gibi standart video inpainting benchmark'larinda onceki yontemleri onemli olcude geride birakir ve alanda yeni bir standart belirleler. Ozellikle zamansal tutarlilik (temporal consistency) metriklerinde ustun sonuclar elde ederken, gorsel kalite olcumlerinde de rekabetci performans sergiler. Islem verimliligi acisindan, Transformer'in verimli implementasyonu sayesinde onceki Transformer tabanli yontemlere gore belirgin sekilde daha hizli calisir. 448x240 cozunurluktu 80 karelik bir video icin islem sureleri GPU'da birkacu saniye ile dakikalar arasinda degismektedir.

Model, PyTorch tabanli olarak GitHub uzerinden acik kaynakli olarak sunulmaktadir. Onceden egitilmis model agirkliklari ve ornek kullanim kodlari paylasilmistir. NVIDIA GPU gereksinimi olmakla birlikte, 8GB VRAM ile temel kullanim mumkundur. Video inpainting alanindaki arastirma referansi olarak kabul edilen ProPainter, video duzenleme ve restorasyon araclarinin gelecek nesillerine temel olusturmaktadir. Hareket tabanli video islemede yayilim ve Transformer mekanizmalarini birlestiren yaklasimi, alandaki diger arastirmalar icin de ilham kaynagi olmaya devam etmekte ve video uretken AI teknolojilerinin ilerlemesine katki saglamaktadir.