Depth Anything v2

Depth Anything v2, tek bir görüntüden derinlik haritası çıkaran (monoküler derinlik tahmini) en gelişmiş modellerden biridir. Orijinal Depth Anything modelinin başarısı üzerine geliştirilen v2 sürümü, özellikle ince detaylar ve kenar doğruluğu konusunda önemli iyileştirmeler sunar. Hong Kong Üniversitesi ve TikTok araştırma ekibi tarafından geliştirilen bu model, derinlik tahmini alanında yeni bir performans standardı belirlemiş ve monoküler derinlik tahminin pratik uygulamalardaki güvenilirliğini önemli ölçüde artırmıştır.

Model, sentetik ve gerçek dünya verilerinin akıllı kombinasyonuyla eğitilmiştir. Etiketli sentetik veri ile etiketsiz gerçek dünya verisinden yararlanan bu yaklaşım, modelin hem doğru derinlik değerleri üretmesini hem de çeşitli gerçek dünya sahnelerine genelleme yapabilmesini sağlar. İç mekân, dış mekân, doğal ve kentsel ortamlar dahil olmak üzere her türlü sahnede tutarlı sonuçlar verir. V2'nin eğitim stratejisi, sentetik verilerin yüksek kaliteli derinlik etiketlerinden yararlanırken, gerçek dünya verilerinin çeşitliliğiyle modelin genelleme kapasitesini güçlendirir. Bu hibrit eğitim yaklaşımı, hem mutlak derinlik doğruluğunu hem de göreceli derinlik sıralamasını iyileştirir.

Depth Anything v2'nin önceki sürüme göre en belirgin iyileştirmeleri kenar hassasiyeti ve ince detay korumasında görülür. Nesne sınırları, ince yapılar ve karmaşık geometriler daha keskin ve daha doğru derinlik geçişleriyle temsil edilir. Bu iyileştirme, özellikle 3D sahne yeniden oluşturma ve artırılmış gerçeklik gibi kenar kalitesinin kritik olduğu uygulamalarda büyük fark yaratır. Ayrıca model, yansıtıcı yüzeyler, şeffaf objeler ve tekrarlayan dokular gibi geleneksel olarak zorlu senaryolarda da gelişmiş performans sergiler. Gökyüzü, su yüzeyleri ve cam gibi belirsiz derinlik ipuçları sunan bölgelerde bile tutarlı tahminler üretir.

Small, Base ve Large olmak üzere üç model boyutunda sunulur. En küçük varyant gerçek zamanlı uygulamalar için uygunken, Large varyant en yüksek doğruluğu sağlar. DINOv2 tabanlı görsel kodlayıcısı, modelin güçlü özellik çıkarma kapasitesinin temelini oluşturur ve öz denetimli ön eğitimden elde edilen zengin görsel temsilleri kullanır. Her boyut, farklı hesaplama bütçeleri ve gecikme gereksinimleri için optimize edilmiştir, bu da geliştiricilerin uygulama ihtiyaçlarına göre en uygun dengeyi seçmesine olanak tanır.

Depth Anything v2'nin pratik kullanım alanları son derece geniştir. 3D sahne oluşturma, artırılmış gerçeklik efektleri, robotik navigasyon, otonom araç algılama ve fotoğraf düzenleme en yaygın uygulamalar arasındadır. Fotoğraf uygulamalarında portre modu arka plan bulanıklaştırma, derinliğe dayalı odak efektleri ve katmanlı düzenleme özellikleri için temel girdi sağlar. NeRF ve Gaussian Splatting gibi 3D yeniden oluşturma tekniklerine girdi olarak kullanılarak bu tekniklerin kalitesini önemli ölçüde artırır. Video oyunlarında ve film yapımında sanal kamera efektleri ve derinlik tabanlı post-prodüksiyon için de kullanılmaktadır.

Açık kaynak olarak yayınlanmış olan model, Hugging Face üzerinden erişilebilir ve PyTorch, ONNX ve TensorRT formatlarında kullanılabilir. Gradio tabanlı demo arayüzü ile hızlıca test edilebilir. Video derinlik tahmini için kare kare işleme desteği sunar ve zamansal tutarlılık teknikleriyle birleştirilerek düzgün video derinlik haritaları elde edilebilir. Model, bilgisayarla görme araştırma topluluğunda hızla standart bir derinlik tahmini çözümü olarak kabul görmüş ve çok sayıda aşağı akış uygulamasına temel oluşturmuştur.

Otonom araç sistemlerinde Depth Anything v2, LiDAR sensörlerinin maliyetli olduğu durumlarda kamera tabanlı derinlik algılama çözümü olarak kullanılmaktadır. Robotik navigasyonda engel tespiti ve yol planlama için gerçek zamanlı derinlik bilgisi sağlar. Mimari ve iç mekân tasarımı alanında mevcut alanların 3D modellemesi için pratik bir araç olarak kullanılır. Artırılmış gerçeklik uygulamalarında sanal nesnelerin gerçek dünya derinliğine doğru şekilde yerleştirilmesi için kritik bir bileşen olarak hizmet eder.