Video Düzenleme Modelleri

Video Düzenleme için en iyi AI modellerini keşfet

Filtrele
1 model bulundu
ProPainter icon

ProPainter

S-Lab|Unknown

ProPainter, Nanyang Teknoloji Üniversitesi S-Lab tarafından olağanüstü zamansal tutarlılıkla video inpainting ve nesne kaldırma için geliştirilen gelişmiş bir derin öğrenme modelidir. Model, maskelenmiş veya kaldırılmış bölgeleri video kareleri boyunca doldurmak için Transformer tabanlı dikkat mekanizmasıyla birleştirilmiş çift alan yayılım mimarisi kullanır ve kusursuz görsel süreklilik sağlar. ProPainter, bir video ve kaldırılacak veya doldurulacak bölgeleri gösteren ikili bir maske alır, ardından çevresindeki piksellerle doğal olarak uyum sağlayan ve kareler arasında tutarlı kalan içerikle tamamlanmış videoyu üretir. Çift alan yaklaşımı, hem uzamsal hem de zamansal boyutlarda bilgi yayar; komşu karelerden doku ayrıntılarını aktarmak için optik akış yönlendirmeli çarpıtma ve görünür referansı olmayan bölgeler için içerik sentezlemek üzere Transformer dikkat mekanizması kullanır. Bu kombinasyon, büyük maskelenmiş alanlar, hızlı kamera hareketi ve önceki yöntemlerin titreme veya hayalet artefaktları üretmesine neden olan karmaşık sahne dinamikleri dahil zorlu senaryoları ele almayı sağlar. Model, DAVIS ve YouTube-VOS dahil standart video inpainting kıyaslamalarında son teknoloji sonuçlar elde eder. S-Lab lisansı altında araştırma amaçlı açık kaynaklıdır. Pratik uygulamalar arasında video görüntülerinden istenmeyen nesnelerin kaldırılması, hasarlı video içeriğinin restorasyonu, filigran kaldırma, görsel efektler için temiz arka plan oluşturma ve video tabanlı içerik moderasyonu yer alır.

Açık Kaynak
4.4