Segment Anything 2 (SAM 2)

Segment Anything Model 2 (SAM 2), Meta AI tarafından geliştirilen evrensel bir segmentasyon modelidir. İlk SAM modelinin büyük başarısı üzerine inşa edilen SAM 2, hem görüntü hem de video segmentasyonunu tek bir birleşik mimaride sunar. Herhangi bir görüntüdeki veya videodaki nesneleri, prompt (nokta, kutu veya metin) vererek hassas biçimde ayırabilir. Bu birleşik yaklaşım, segmentasyon teknolojisinde önemli bir ilerlemeyi temsil eder ve statik görseller ile dinamik video içerikleri arasındaki boşluğu kapatarak bilgisayarla görmede yeni bir dönem başlatır.

SAM 2'nin en devrimci yeniliği, video segmentasyonu desteğidir. Bir video karesinde bir nesneyi işaretlediğinizde, model bu nesneyi tüm video boyunca otomatik olarak takip eder ve her karede tutarlı segmentasyon maskesi üretir. Bu özellik, video düzenleme, nesne takibi ve artırılmış gerçeklik uygulamaları için oyun değiştiricidir. Model, nesne tıkanması (occlusion), boyut değişimi, hızlı hareket ve sahne değişiklikleri gibi zorlu video senaryolarıyla başarıyla başa çıkar. Bellek mekanizması sayesinde geçmiş karelerdeki bilgiyi koruyarak uzun videolarda bile tutarlı takip sağlar ve nesne geçici olarak görüş alanından çıksa bile yeniden algılayabilir.

Modelin "promptable" yapısı, onu son derece esnek kılar. Bir noktaya tıklayarak, bir kutu çizerek veya metin açıklaması vererek segmentasyon başlatılabilir. Eğitim verilerinde görmediği nesne türlerini bile segmentleyebilir (zero-shot generalization). Tıbbi görüntüleme, uydu fotoğrafları, endüstriyel kalite kontrol ve robotik gibi özel alanlarda da başarıyla uygulanmaktadır. Ayrıca birden fazla nesneyi aynı anda takip edebilir, bu da karmaşık sahnelerin analizini ve çoklu nesne etkileşimlerinin izlenmesini mümkün kılar.

Mimari açıdan SAM 2, orijinal SAM'in görsel kodlayıcısını bir bellek modülü ve zamansal dikkat mekanizmasıyla genişletir. Streaming mimarisi sayesinde video karelerini sırayla işlerken, bellek bankası aracılığıyla önceki karelerdeki bilgiyi korur. Bu tasarım, modelin gerçek zamanlı video segmentasyonu yapabilmesini sağlarken bellek kullanımını da makul seviyelerde tutar. Hiyerarşik görsel kodlayıcı, farklı ölçeklerdeki özellikleri yakalayarak hem küçük hem de büyük nesnelerin doğru segmentasyonunu garanti eder. Dikkat mekanizması, zamansal bağımlılıkları modelleyerek video boyunca tutarlılığı korur.

SA-V (Segment Anything Video) veri kümesiyle eğitilen SAM 2, 51.000'den fazla gerçek dünya videosundaki 600.000'i aşkın maskeletme anotasyonu kullanır. Bu kapsamlı eğitim verisi, modelin çeşitli video senaryolarında güçlü genelleme yapmasını sağlar. Eğitim süreci, hem görüntü hem de video verileri üzerinde birleşik bir stratejiye dayanır, bu da modelin her iki modalitede de yüksek performans göstermesini mümkün kılar. Görüntü segmentasyonunda orijinal SAM'le karşılaştırılabilir veya daha iyi sonuçlar üretirken, video segmentasyonunda ise önceki yöntemleri açık ara geride bırakır.

Apache 2.0 lisansı ile açık kaynak olarak yayınlanan SAM 2, Hugging Face ve GitHub üzerinden erişilebilir. Araştırma topluluğu tarafından hızla çeşitli uygulamalara adapte edilmektedir. Video düzenleme yazılımları, otonom sürüş sistemleri, robotik uygulamalar, tıbbi video analizi ve interaktif medya araçları gibi geniş bir kullanım yelpazesinde SAM 2 tabanlı çözümler geliştirilmektedir. Model, bilgisayarla görme alanında bir sonraki kuşak segmentasyon standardını belirlemekte ve endüstriyel uygulamalardan yaratıcı iş akışlarına kadar her alanda dönüştürücü bir etki yaratmaktadır.

Endüstriyel uygulamalar açısından SAM 2, özellikle video gözetim ve güvenlik sistemlerinde nesne takibi için kullanılmaktadır. Üretim hatlarında kalite kontrol süreçlerinde kusurlu ürünlerin video akışında otomatik olarak tespit edilmesi ve takip edilmesi, SAM 2'nin güçlü yanlarından biridir. Spor analitiğinde oyuncu hareketlerinin ve top pozisyonlarının video boyunca takip edilmesi, detaylı performans analizi yapılmasını sağlar. Eğitim alanında ise interaktif ders materyallerinde nesne etkileşiminin görselleştirilmesi için adapte edilmektedir.