Görselden 3D Modelleri
Görselden 3D için AI modellerini alfabetik sırada inceleyin
Era3D
Era3D, Alibaba tarafından geliştirilen, 3D rekonstrüksiyon için tek giriş görsellerinden yüksek çözünürlüklü, kamera farkındalıklı çoklu görünüm görselleri ve normal haritaları üreten çoklu görünüm üretim modelidir. Model çoklu görünüm üretimindeki yaygın sınırlamaları ele alan iki temel yenilik sunar: giriş görselinin kamera perspektifine uyum sağlayan odak uzaklığı tahmin modülü ve rakip yöntemlerden daha yüksek çözünürlüklerde üretimi daha az GPU belleğiyle mümkün kılan verimli satır bazlı dikkat mekanizması. Era3D aşağı akış 3D mesh rekonstrüksiyonu için zengin geometrik bilgi sağlayarak 512x512 çözünürlükte karşılık gelen normal haritalarıyla birlikte altı tutarlı görünüm üretir. Kamera farkındalıklı tasarım modelin farklı perspektiflerden ve odak uzaklıklarından çekilen giriş görsellerini çıktı kalitesinde bozulma olmadan işleyebilmesi anlamına gelir ve bu sabit kamera modeli varsayan yöntemlere göre önemli bir iyileştirmedir. Satır bazlı dikkat mekanizması hesaplama açısından pahalı olan tam çapraz görünüm dikkatini yatay satırlar boyunca dikkati işleyen daha verimli bir alternatifle değiştirerek görünüm tutarlılığını korurken bellek gereksinimlerini azaltır. Mayıs 2024'te Apache 2.0 lisansı altında yayınlanan Era3D kod ve önceden eğitilmiş ağırlıkları GitHub üzerinde mevcut olan tamamen açık kaynaklıdır. Model çeşitli nesne kategorilerinde güçlü performans gösterir ve yüksek kaliteli 3D rekonstrüksiyona uygun temiz çoklu görünüm çıktıları üretir. Era3D özellikle giriş görsellerinin farklı kamera özelliklerine sahip çeşitli kaynaklardan geldiği ve nihai 3D modellerdeki ince detayları yakalamak için yüksek çözünürlüklü çoklu görünüm üretiminin gerekli olduğu profesyonel 3D içerik üretim iş akışları için değerlidir.
InstantMesh
InstantMesh, Tencent tarafından geliştirilen, tek giriş görsellerinden çoklu görünüm üretimi ve seyrek görünüm rekonstrüksiyonu hattı aracılığıyla yüksek kaliteli dokulu 3D mesh'ler oluşturan ileri beslemeli bir 3D mesh üretim modelidir. Nisan 2024'te Apache 2.0 lisansı altında yayınlanan InstantMesh, tek görselden 3D rekonstrüksiyonda hem hız hem de kalite elde etmek için çoklu görünüm difüzyon modelini büyük bir rekonstrüksiyon modeliyle birleştirir. Hat önce ince ayarlı çoklu görünüm difüzyon modeli kullanarak giriş nesnesinin birden fazla tutarlı görünümünü üretir, ardından bu görünümleri üç düzlem sinirsel temsili tahmin eden transformer tabanlı bir rekonstrüksiyon ağına besler ve son olarak bu temsil dokulu bir mesh'e dönüştürülür. Bu iki aşamalı yaklaşım tek aşamalı yöntemlerden önemli ölçüde daha yüksek kaliteli sonuçlar üretirken üretim sürelerini yalnızca birkaç saniyede tutar. InstantMesh bir görsel üretim modeliyle birleştirildiğinde metinden 3D'ye iş akışlarını ve fotoğraflardan veya sanat eserlerinden doğrudan görselden 3D'ye dönüşümü destekler. Çıktı mesh'leri standart 3D yazılımlar ve oyun motorlarıyla uyumlu detaylı geometri ve doku haritaları içerir. Model karakterler, araçlar, mobilyalar ve organik şekiller dahil çok çeşitli nesne türlerini iyi geometrik sadakatle işler. Kod ve ağırlıkları GitHub ve Hugging Face üzerinde mevcut olan açık kaynak bir proje olarak InstantMesh, 3D varlık üretim hatları kuran geliştiriciler arasında popüler bir seçim haline gelmiştir. Özellikle hızlı geri dönüş ve makul kalitenin birlikte önemli olduğu oyun geliştirme, e-ticaret ürün görselleştirme ve hızlı prototipleme senaryoları için kullanışlıdır.
One-2-3-45
One-2-3-45, UC San Diego araştırmacıları tarafından geliştirilen, çoklu görünüm üretimini seyrek görünüm 3D rekonstrüksiyonuyla birleştiren iki aşamalı bir hat aracılığıyla tek giriş görselinden dokulu 3D mesh'ler üreten tek görselden 3D rekonstrüksiyon sistemidir. Adı temel süreci yansıtır: bir görselden iki, üç, dört, beş görünüm üret ve ardından tam bir 3D nesne yeniden yapılandır. İlk aşamada ince ayarlı bir Zero123 modeli tek giriş fotoğrafına dayalı olarak nesnenin farklı açılardan birden fazla yeni görünümünü üretir. İkinci aşamada bu üretilen çoklu görünüm görselleri tutarlı geometriye sahip dokulu bir 3D mesh üreten maliyet hacmi tabanlı seyrek görünüm rekonstrüksiyon ağına beslenir. Haziran 2023'te MIT lisansı altında yayınlanan One-2-3-45, 2D difüzyon modellerini 3D rekonstrüksiyonla birleştirmenin bir dakikanın altında makul 3D varlıklar üretebileceğini gösteren ilk sistemlerden biri olmuştur. Model günlük eşyalar, hayvanlar, araçlar ve sanatsal nesneler dahil çeşitli nesne türlerini işler. Nesne başına onlarca dakika süren optimizasyon gerektiren DreamFusion gibi optimizasyon tabanlı yaklaşımların aksine One-2-3-45 ileri beslemeli bir şekilde çalışır ve bu da onu önemli ölçüde daha hızlı kılar. Çıktı mesh'leri renk ve doku bilgisi içerir ve standart 3D uygulamalarda kullanılmak üzere dışa aktarılabilir. Kodu GitHub üzerinde mevcut olan tamamen açık kaynak bir proje olarak tek görselden 3D üretim alanındaki sonraki araştırmalar için etkili bir referans olmuştur. Sistem özellikle sınırlı giriş verisinden hızlı 3D içerik üretimini keşfeden araştırmacılar ve geliştiriciler için kullanışlıdır.
OpenLRM
OpenLRM, Zexiang Xu ve işbirlikçileri tarafından geliştirilen, tek görselden 3D rekonstrüksiyon için Büyük Rekonstrüksiyon Modeli mimarisinin açık kaynak bir uygulamasıdır. Proje, tek giriş görsellerinden ileri beslemeli bir şekilde 3D temsiller tahmin etmek için transformer tabanlı mimari kullanan LRM yaklaşımının tamamen açık ve tekrarlanabilir bir uygulamasını sunar. OpenLRM bir giriş görselini DINOv2 gibi önceden eğitilmiş bir vizyon kodlayıcı aracılığıyla işler, ardından elde edilen özellikleri üç düzlem tabanlı sinirsel ışıma alanı temsili üreten bir transformer kod çözücüye besler ve bu temsil yeni bakış açılarından render edilebilir veya dokulu bir 3D mesh'e dönüştürülebilir. Tüm rekonstrüksiyon modern bir GPU'da yalnızca birkaç saniye sürer ve bu da onu etkileşimli uygulamalar ve toplu işleme iş akışları için pratik kılar. Aralık 2023'te Apache 2.0 lisansı altında yayınlanan OpenLRM, araştırmacıların inceleyebileceği, değiştirebileceği ve üzerine inşa edebileceği erişilebilir bir referans uygulama sağlayarak 3D AI araştırma topluluğundaki kritik bir boşluğu doldurur. Model çeşitli çıktı formatlarını destekler ve oyun geliştirmeden e-ticaret ürün görselleştirmesine kadar uzanan uygulamalar için mevcut 3D süreçlere entegre edilebilir. OpenLRM mobilya, araçlar, karakterler ve günlük eşyalar dahil çeşitli nesne kategorilerini makul geometrik sadakatle işler. Önceden eğitilmiş model ağırlıkları anında kullanım için Hugging Face üzerinde mevcuttur. İleri beslemeli 3D rekonstrüksiyondaki temel açık kaynak projelerden biri olarak OpenLRM, hızla gelişen tek görselden 3D üretim alanındaki birçok alt projeyi ve araştırma çalışmasını doğrudan etkilemiş ve mümkün kılmıştır.
Stable Point Aware 3D (SPA3D)
Stable Point Aware 3D (SPA3D), Stability AI tarafından geliştirilen ve tek bir girdi görüntüsünden saniyeler içinde yüksek kaliteli dokulu 3D mesh'ler üreten gelişmiş bir ileri beslemeli 3D rekonstrüksiyon modelidir. Dakikalar süren işlem gerektiren yinelemeli optimizasyon tabanlı yaklaşımlardan farklı olarak SPA3D, tek bir geçişte 3D geometri ve doku tahmin eden doğrudan ileri beslemeli mimari kullanarak etkileşimli iş akışları ve üretim boru hatları için pratik hale gelir. Model, diğer tek görünüm rekonstrüksiyon yöntemlerine kıyasla geometrik tutarlılığı önemli ölçüde iyileştiren nokta bulutu hizalama teknikleri kullanır ve üretilen 3D modellerin birden fazla bakış açısından doğru oranları ve yapısal bütünlüğü korumasını sağlar. SPA3D, temiz topoloji ve UV haritalı dokularla endüstri standardı mesh çıktıları üreterek Blender, Unity, Unreal Engine ve profesyonel CAD araçlarına doğrudan içe aktarmayı mümkün kılar. Model, karakterler ve hayvanlar gibi organik şekillerden mobilya ve araçlar gibi sert yüzeyli nesnelere kadar çeşitli nesne kategorilerini işleyerek rekonstrüksiyon yaklaşımını her girdinin yapısal özelliklerine uyarlar. Stability AI Community License altında yayınlanan model, gelir tabanlı kısıtlamalarla kişisel ve ticari kullanıma açıktır. Temel uygulamalar arasında oyun geliştirme için hızlı 3D varlık oluşturma, artırılmış gerçeklik içerik üretimi, 3D baskı hazırlığı, sanal ürün fotoğrafçılığı ve e-ticaret 3D ürün gösterimleri yer alır. SPA3D özellikle konsept çizimlerinden veya fotoğraflardan hızlı 3D modeller gerektiren yaratıcı profesyoneller için değerlidir.
SyncDreamer
SyncDreamer tek görselden eşgüdümlü nesne açıları üretir. Tutarlı adayı seçip yükselme açısını ve kadrajı kontrol edin; video veya mesh için uygun yeniden oluşturmayı kullanın.
Tripo AI v2
Tripo AI v2, Stability AI ile birlikte TripoSR'yi geliştiren Tripo AI'ın ikinci nesil 3D model üretim platformudur. 2024'te yayınlanan Tripo v2, TripoSR'nin hız ve erişilebilirlik temellerini alarak önemli kalite iyileştirmeleri, animasyon yetenekleri ve üretime yönelik özellikler ekler. Model, geliştirilmiş geometrik doğruluk, daha iyi doku kalitesi ve rigged ve animasyonlu çıktı desteğiyle metin açıklamalarından ve tek görsellerden detaylı 3D mesh'ler üretir. Tripo v2'nin öne çıkan özelliği, otomatik iskelet bağlama ile rigged 3D karakterler üreterek animasyon ve oyun geliştirme boru hatlarında anında kullanımı mümkün kılmasıdır. PBR hazır dokulu mesh'ler GLB, FBX, OBJ ve USDZ formatlarında dışa aktarılabilir. Temel modeller için 10 saniyenin altında, animasyon rigging ile daha yüksek kaliteli çıktılar için 1-2 dakikada üretim hızı sunar. Platform, oyun geliştiricileri, 3D sanatçılar, AR/VR içerik üreticileri ve ürün tasarımcılarına hizmet eder.
TripoSR
TripoSR ile tek görselden 3D üretimi değerlendirin: makul şekille ölçülmüş geometriyi ayırın, dışa aktarılan ağı inceleyin ve hedef ortam için düzeltme emeğini hesaplayın.
Unique3D
Unique3D, tahmin edilen görünümler, normaller ve ISOMER ile tek görselden konsept mesh üretir. Sonucu kullanmadan kadrajı, gizli geometriyi ve gereken temizliği inceleyin.
Wonder3D
Wonder3D, tek görselden eşleşen renk ve normal görünümleri tahmin eder, ardından mesh oluşturur. Sonucu değerlendirmeden maskeyi, kamera varsayımını ve sürümü inceleyin.
Zero123++
Zero123++, Stability AI tarafından geliştirilen, tek giriş görselinden bir nesnenin altı tutarlı kanonik görünümünü üreten çoklu görünüm görsel üretim modelidir. 2023'te Apache 2.0 lisansı altında yayınlanan model, orijinal Zero123 yaklaşımını önemli ölçüde iyileştirilmiş görünüm tutarlılığıyla genişletir ve modern 3D rekonstrüksiyon hatlarında kritik bir bileşen olarak hizmet eder. Zero123++ bir nesnenin tek bir fotoğrafını veya render edilmiş görselini alır ve nesnenin etrafında tam 360 derecelik aralığı kapsayan altı eşit aralıklı görünüm üretir ve bunların tümü tutarlı geometri, aydınlatma ve görünüm korur. Model çoklu görünüm tutarlılığını sağlayan özel koşullandırma mekanizmalarıyla ince ayarlı bir Stable Diffusion omurgası üzerine inşa edilmiştir. Görünümleri bağımsız üreten ve sıklıkla tutarsız sonuçlar veren orijinal Zero123'ün aksine Zero123++ tüm altı görünümü tek bir difüzyon sürecinde eş zamanlı üretir ve 3D tutarlılığı dramatik şekilde iyileştirir. Üretilen çoklu görünüm görselleri NeRF, Gaussian Splatting veya doğrudan mesh rekonstrüksiyonu gibi aşağı akış 3D rekonstrüksiyon yöntemleri için girdi görevi görerek tek bir fotoğraftan yüksek kaliteli 3D model oluşturmayı mümkün kılar. Zero123++ önceden eğitilmiş ağırlıkları Hugging Face üzerinde mevcut olan tamamen açık kaynak bir modeldir ve 3D üretim sistemleri kuran araştırmacılar ile geliştiricilere açıktır. Model birçok son teknoloji 3D üretim hattında temel bir bileşen haline gelmiş ve akademik araştırmalarda yaygın olarak kullanılmaktadır. Özellikle 2D görsellerin 3D varlıklara dönüştürülmesinin sık bir iş akışı gereksinimi olduğu oyun geliştirme, ürün görselleştirme ve sanal gerçeklik uygulamaları için değerlidir.