Era3D icon

Era3D

Açık Kaynak
4.2
Alibaba

Era3D, Alibaba tarafından geliştirilen, 3D rekonstrüksiyon için tek giriş görsellerinden yüksek çözünürlüklü, kamera farkındalıklı çoklu görünüm görselleri ve normal haritaları üreten çoklu görünüm üretim modelidir. Model çoklu görünüm üretimindeki yaygın sınırlamaları ele alan iki temel yenilik sunar: giriş görselinin kamera perspektifine uyum sağlayan odak uzaklığı tahmin modülü ve rakip yöntemlerden daha yüksek çözünürlüklerde üretimi daha az GPU belleğiyle mümkün kılan verimli satır bazlı dikkat mekanizması. Era3D aşağı akış 3D mesh rekonstrüksiyonu için zengin geometrik bilgi sağlayarak 512x512 çözünürlükte karşılık gelen normal haritalarıyla birlikte altı tutarlı görünüm üretir. Kamera farkındalıklı tasarım modelin farklı perspektiflerden ve odak uzaklıklarından çekilen giriş görsellerini çıktı kalitesinde bozulma olmadan işleyebilmesi anlamına gelir ve bu sabit kamera modeli varsayan yöntemlere göre önemli bir iyileştirmedir. Satır bazlı dikkat mekanizması hesaplama açısından pahalı olan tam çapraz görünüm dikkatini yatay satırlar boyunca dikkati işleyen daha verimli bir alternatifle değiştirerek görünüm tutarlılığını korurken bellek gereksinimlerini azaltır. Mayıs 2024'te Apache 2.0 lisansı altında yayınlanan Era3D kod ve önceden eğitilmiş ağırlıkları GitHub üzerinde mevcut olan tamamen açık kaynaklıdır. Model çeşitli nesne kategorilerinde güçlü performans gösterir ve yüksek kaliteli 3D rekonstrüksiyona uygun temiz çoklu görünüm çıktıları üretir. Era3D özellikle giriş görsellerinin farklı kamera özelliklerine sahip çeşitli kaynaklardan geldiği ve nihai 3D modellerdeki ince detayları yakalamak için yüksek çözünürlüklü çoklu görünüm üretiminin gerekli olduğu profesyonel 3D içerik üretim iş akışları için değerlidir.

Görselden 3D

Öne Çıkan Özellikler

Kamera Farkindali Odak Uzunlugu Tahmini

Giris goruntusunun odak uzunlugunu otomatik tahmin eder ve uretimi buna gore kosullandirir; degisen perspektif bozulma duzeylerindeki goruntuler icin dogrulugu iyilestirir

Verimli Satir Bazinda Dikkat

Yeni dikkat mekanizmasi hesaplamayi gorunumler arasindaki karsilik gelen satirlarla sinirlar; geometrik capraz gorunum tutarliligini korurken bellek ve sureyi onemli olcude azaltir

Yuksek Cozunurluklu Coklu Gorunum Ciktisi

Bircok rakip modelden daha yuksek cozunurluklerde coklu gorunum goruntuleri olusturur; daha iyi alt 3D yeniden yapilandirma kalitesi icin daha ince detaylari yakalar

Cift Renkli ve Normal Ciktilar

Alti bakis acisindan hem RGB renkli goruntuleri hem de yuzey normal haritalarini uretir; dogru 3D mesh uretimi icin kapsamli geometrik ve gorunum verileri saglar

Hakkında

Era3D, 3D yeniden yapılandırma için tek giriş görüntülerinden yüksek çözünürlüklü, kamera farkındalı çoklu görünüm görüntüleri ve normal haritalar üreten, Alibaba tarafından geliştirilen çoklu görünüm üretim modelidir. Model iki temel yenilik sunar: giriş görüntüsünün kamera perspektifine uyum sağlayan odak uzunluğu tahmin modülü ve çapraz görünüm tutarlılığını korurken verimliliği iyileştiren satır bazlı dikkat mekanizması. Bu iki yenilik birlikte, yüksek çözünürlüklü çoklu görünüm üretimini pratik ve ölçeklenebilir hale getirerek alandaki önemli bir darboğazı çözer ve gerçek dünya uygulamalarında kullanılabilirliği artırır.

Odak uzunluğu tahmin modülü, görüntüden 3D yeniden yapılandırmada yaygın olarak gözden kaçan bir zorluğu ele alır. Farklı giriş görüntüleri farklı kamera lensleri ve odak uzunluklarıyla çekilir ve değişen perspektif bozulma seviyeleri oluşturur. Era3D giriş görüntüsünün odak uzunluğunu tahmin eder ve üretim sürecini buna göre koşullandırır, orijinal kamera perspektifiyle tutarlı çoklu görünüm görüntüleri üretir. Bu kamera farkındalı yaklaşım, özellikle güçlü perspektif efektlerine sahip görüntüler için yeniden yapılandırma doğruluğunu iyileştirir. Geniş açı lens bozulmalarından telefoto sıkıştırmasına kadar çeşitli kamera koşullarını doğru şekilde modelleme kapasitesi, modelin gerçek dünya fotoğraflarıyla çalışma başarısını önemli ölçüde artırır ve kullanıcıların farklı kaynaklardan gelen görüntüleri güvenle kullanmasına olanak tanır.

Satır bazlı dikkat mekanizması Era3D'nin verimlilik yeniliğidir. Standart çoklu görünüm dikkat mekanizmaları tüm görünümlerdeki tüm pikseller arasında aynı anda dikkat hesaplar ki bu yüksek çözünürlüklerde hesaplama açısından pahalı hale gelir. Era3D'nin satır bazlı dikkati, dikkat hesaplamasını görünümler arasındaki karşılık gelen satırlarla sınırlar ve geometrik tutarlılık için yeterli çapraz görünüm bilgi alışverişini korurken bellek kullanımı ve hesaplama süresini önemli ölçüde azaltır. Bu verimlilik kazanımı, modelin daha yüksek çözünürlüklerde çalışmasını mümkün kılar ve bu çözünürlük artışı alt yeniden yapılandırma kalitesini doğrudan iyileştirir.

Era3D altı kanonik bakış açısından yüksek çözünürlüklü çoklu görünüm renkli görüntüleri ve normal haritalar oluşturur. Renkli ve normal çıktıların kombinasyonu, alt 3D yeniden yapılandırma için kapsamlı bilgi sağlar. Normal haritalar, yalnızca renkli görüntülerden kurtarılması zor olan ince geometrik detayları yakalamak için yeniden yapılandırma algoritmalarına yardımcı olan yüzey yönelim verilerini kodlar. Yüksek çözünürlüklü çıktı, ince yüzey detaylarının ve doku varyasyonlarının korunmasını sağlayarak nihai 3D modelin sadakatini artırır ve daha doğru geometri yeniden yapılandırmasına olanak tanır.

Eğitim açısından Era3D, Objaverse veri kümesi üzerinde eğitilmiştir ve çeşitli nesne kategorilerinde güçlü genelleme kapasitesi gösterir. Modelin kamera farkındalı tasarımı, farklı kaynaklardan gelen giriş görüntülerini daha doğru işlemesini sağlayarak, gerçek dünya uygulamalarında kullanılabilirliğini artırır. Kamera parametrelerinin önemli ölçüde değiştiği senaryolarda bile tutarlı sonuçlar üretme yeteneği, modeli pratik kullanım için güvenilir bir araç haline getirir.

Apache 2.0 lisansı altında yayımlanan Era3D, GitHub'da mevcut kod ve önceden eğitilmiş ağırlıklarla tamamen açık kaynaklıdır. Modelin kamera farkındalı üretim ve verimli dikkatteki yenilikleri, daha yüksek çözünürlüklerde 3D yeniden yapılandırma için çoklu görünüm üretiminin pratik uygulanabilirliğini ilerletmeye katkıda bulunmuştur. Era3D'nin ortaya koyduğu verimli dikkat mekanizması, sonraki yüksek çözünürlüklü çoklu görünüm modellerinin tasarımını etkilemiş ve bu alandaki araştırma yönünü şekillendirmiştir.

Pratik kullanım ve entegrasyon açısından Era3D, özellikle dijital içerik üretim pipeline'larında verimlilik artışı sağlamaktadır. Oyun stüdyoları, modelin çok görünümlü çıktılarını doğrudan 3D modelleme yazılımlarına aktararak karakter ve nesne tasarım süreçlerini hızlandırmaktadır. Sanal deneme kabini uygulamalarında giysi görsellerinden 3D kıyafet modelleri üretilmesi gibi e-ticaret odaklı kullanım senaryoları da öne çıkmaktadır. Modelin Hugging Face üzerindeki erişilebilirliği ve detaylı dokümantasyonu, topluluk benimsenmesini hızlandırmıştır.

Kullanım Senaryoları

1

Yuksek Cozunurluklu 3D Yeniden Yapilandirma

Ince yuzey ozelliklerini ve dogru oranlari yakalayan yuksek kaliteli 3D mesh yeniden yapilandirmasi icin detayli coklu gorunum verileri uretin

2

Kamera Duzeltmeli Yeniden Yapilandirma

Manuel kamera parametresi belirtme gerektirmeden cesitli kamera turleri ve odak uzunluklariyla cekilen goruntulardan 3D nesneleri dogru sekilde yeniden yapilandirin

3

Coklu Gorunum Uretim Arastirmasi

Coklu gorunum uretim metodolojilerini ilerletmek icin verimli dikkat mekanizmalarini ve kamera farkindali kosullandirma yaklasimlarini inceleyin

4

Uretim 3D Hat Bileseni

Kamera farkindali ve cozunurluk verimli islemeden yararlanan uretim 3D varlik olusturma hatlarinda coklu gorunum uretim asamasi olarak entegre edin

Artılar ve Eksiler

Artılar

  • Tek görüntüden çoklu açılı görünüm sentezi ile 3D rekonstrüksiyon
  • Difüzyon tabanlı yaklaşım ile yüksek kaliteli çoklu görünüm üretimi
  • Açık kaynak ve araştırma topluluğunda aktif geliştirme
  • Kamera açısı tahmininde gelişmiş doğruluk

Eksiler

  • Yüksek GPU gereksinimi
  • Karmaşık ve oklüzyonlu nesnelerde kalite düşüşü
  • Render süresi uzun olabiliyor
  • Araştırma aşamasında — üretime hazır değil

Teknik Detaylar

Parametre

N/A

Lisans

Apache 2.0

Özellikler

  • Single Image to Multi-View
  • High-çözünürlük View üretimi
  • Focal Length Estimation
  • Row-Wise Attention Mechanism
  • Normal Map üretimi
  • Open-Source Apache 2.0
  • Alibaba Research
  • Camera-Aware üretimi

Benchmark Sonuçları

MetrikDeğerKarşılaştırmaKaynak
Multi-view Çözünürlük512×512 pxZero123++: 320×320arXiv 2405.11616
Novel View PSNR19.8 dB (GSO)SyncDreamer: 20.1 dBarXiv 2405.11616
Üretim Süresi~20 saniye (6 view)Zero123++: ~30 saniyeGitHub Era3D

Mevcut Platformlar

hugging face
replicate

Sıkça Sorulan Sorular

İlgili Modeller

TripoSR icon

TripoSR

Stability AI & Tripo|N/A

TripoSR, Stability AI ve Tripo AI tarafından ortaklaşa geliştirilen, tek giriş görsellerinden bir saniyeden kısa sürede detaylı 3D mesh'ler üreten hızlı bir ileri beslemeli 3D rekonstrüksiyon modelidir. Nesne başına dakikalar süren optimizasyon tabanlı yöntemlerin aksine, TripoSR Büyük Rekonstrüksiyon Modeli çerçevesi üzerine inşa edilmiş transformer tabanlı mimarisi sayesinde tek bir 2D fotoğraftan 3D geometriyi doğrudan tahmin eder. Model herhangi bir standart görseli girdi olarak kabul eder ve oyun motorları, 3D modelleme yazılımları ve artırılmış gerçeklik uygulamalarında kullanıma uygun dokulu 3D mesh üretir. Günlük nesneleri, mobilyaları, araçları, karakterleri ve organik şekilleri etkileyici geometrik doğruluk ve yüzey detayıyla yeniden yapılandırmada üstün performans gösterir. Mart 2024'te MIT lisansı altında yayınlanan model tamamen açık kaynaklıdır ve özel donanım gerektirmeden tüketici sınıfı GPU'larda çalışabilir. Birden fazla görselin verimli dönüşümü için toplu işleme desteği sunar ve Blender, Unity ile Unreal Engine dahil popüler 3D iş akışlarıyla sorunsuz entegre olur. Ürün fotoğraflarından hızlı 3D varlık oluşturmaya ihtiyaç duyan oyun geliştiricileri, ürün tasarımcıları ve e-ticaret ekipleri için özellikle değerlidir. Çıktı mesh'leri yapılandırılabilir çözünürlük ayarlarıyla OBJ ve GLB formatlarında dışa aktarılabilir. DINOv2 vizyon kodlayıcısı giriş görselinden zengin semantik ve yapısal özellikler çıkararak rekonstrüksiyon kalitesini artırır. TripoSR pahalı tarama ekipmanı veya manuel modelleme uzmanlığı gerektirmeden yüksek kaliteli rekonstrüksiyonu erişilebilir kılarak 3D içerik üretiminin demokratikleşmesinde önemli bir adımı temsil eder.

Açık Kaynak
4.5
TRELLIS icon

TRELLIS

Microsoft Research|Unknown

TRELLIS, Microsoft Research tarafından geliştirilen ve yeni bir Structured Latent Diffusion mimarisi kullanarak metin açıklamalarından veya tek 2D görüntülerden yüksek kaliteli 3D varlıklar üreten devrim niteliğinde bir AI modelidir. Aralık 2024'te yayınlanan TRELLIS, geometri, doku ve malzeme özelliklerini ayrı aşamalar olarak ele almak yerine eşzamanlı olarak kodlayan yapılandırılmış bir gizli uzayda çalışarak 3D içerik üretiminde temel bir ilerlemeyi temsil eder. Model, detaylı PBR (Fiziksel Tabanlı Render) dokularıyla eksiksiz 3D mesh'ler üretir ve kapsamlı manuel son işleme olmadan oyun motorları, 3D render boru hatları ve AR/VR uygulamalarında doğrudan kullanımı mümkün kılar. TRELLIS, kullanıcıların istenen nesneleri doğal dilde tanımladığı metinden 3D üretimini ve tek bir fotoğrafın kapalı bakış açılarından çıkarılan geometriyle tam 3D modele dönüştürüldüğü görüntüden 3D rekonstrüksiyonu destekler. Yapılandırılmış gizli temsil, geometrik tutarlılığı sağlar ve havada kalan geometri, doku dikişleri ve gerçekçi olmayan oranlar gibi diğer 3D üretim yaklaşımlarında görülen yaygın artefaktları önler. TRELLIS, UV haritalı dokularla GLB ve OBJ dahil standart 3D formatlarında çıktı üretir ve Blender, Unity, Unreal Engine gibi profesyonel araçlarla entegrasyonu kolaylaştırır. MIT lisansı altında tamamen açık kaynaklıdır. Temel uygulamalar arasında oyun geliştirme için hızlı 3D varlık prototipleme, mimari görselleştirme, ürün tasarım modelleri ve metaverse varlık üretimi yer alır.

Açık Kaynak
4.5
Stable Point Aware 3D (SPA3D) icon

Stable Point Aware 3D (SPA3D)

Stability AI|Unknown

Stable Point Aware 3D (SPA3D), Stability AI tarafından geliştirilen ve tek bir girdi görüntüsünden saniyeler içinde yüksek kaliteli dokulu 3D mesh'ler üreten gelişmiş bir ileri beslemeli 3D rekonstrüksiyon modelidir. Dakikalar süren işlem gerektiren yinelemeli optimizasyon tabanlı yaklaşımlardan farklı olarak SPA3D, tek bir geçişte 3D geometri ve doku tahmin eden doğrudan ileri beslemeli mimari kullanarak etkileşimli iş akışları ve üretim boru hatları için pratik hale gelir. Model, diğer tek görünüm rekonstrüksiyon yöntemlerine kıyasla geometrik tutarlılığı önemli ölçüde iyileştiren nokta bulutu hizalama teknikleri kullanır ve üretilen 3D modellerin birden fazla bakış açısından doğru oranları ve yapısal bütünlüğü korumasını sağlar. SPA3D, temiz topoloji ve UV haritalı dokularla endüstri standardı mesh çıktıları üreterek Blender, Unity, Unreal Engine ve profesyonel CAD araçlarına doğrudan içe aktarmayı mümkün kılar. Model, karakterler ve hayvanlar gibi organik şekillerden mobilya ve araçlar gibi sert yüzeyli nesnelere kadar çeşitli nesne kategorilerini işleyerek rekonstrüksiyon yaklaşımını her girdinin yapısal özelliklerine uyarlar. Stability AI Community License altında yayınlanan model, gelir tabanlı kısıtlamalarla kişisel ve ticari kullanıma açıktır. Temel uygulamalar arasında oyun geliştirme için hızlı 3D varlık oluşturma, artırılmış gerçeklik içerik üretimi, 3D baskı hazırlığı, sanal ürün fotoğrafçılığı ve e-ticaret 3D ürün gösterimleri yer alır. SPA3D özellikle konsept çizimlerinden veya fotoğraflardan hızlı 3D modeller gerektiren yaratıcı profesyoneller için değerlidir.

Açık Kaynak
4.3
Meshy v4 icon

Meshy v4

Meshy AI|undisclosed

Meshy v4, Meshy AI'ın metin açıklamalarından ve görsellerden dakikalar içinde detaylı, dokulu 3D modeller oluşturabilen 3D model üretim platformunun dördüncü neslidir. 2024'ün sonlarında yayınlanan Meshy v4, önceki sürümlere göre mesh kalitesi, doku sadakati ve topoloji optimizasyonunda büyük bir yükseltmeyi temsil eder. Model, oyun motorları, animasyon boru hatları ve 3D baskı için uygun temiz topolojiye sahip üretime hazır 3D varlıklar üretir. Hem metinden 3D'ye hem de görselden 3D'ye üretim iş akışlarını destekler. Platform, difüz, normal, pürüzlülük ve metalik haritalar dahil PBR malzemelerle dokulu mesh'ler üreterek çıktıları Unity, Unreal Engine ve Blender ile hemen uyumlu hale getirir. GLB, OBJ, FBX ve STL dahil birden fazla formatta dışa aktarım destekler. Meshy v4, geliştirilmiş detay koruma, ince yapılar ve karmaşık geometrilerin daha iyi işlenmesi ve daha doğru renk ve doku eşleme özelliklerine sahiptir. Platform oyun geliştiricileri, 3D sanatçılar, mimarlar ve ürün tasarımcılarına hizmet eder. Freemium model sınırlı ücretsiz üretim sunar.

Tescilli
4.5

Hızlı Bilgi

ParametreN/A
Tipdiffusion
LisansApache 2.0
Yayınlanma2024-05
Puan4.2 / 5
GeliştiriciAlibaba

Bağlantılar

Etiketler

era3d
3d
high-res
image-to-3d
Siteyi Ziyaret Et

Daha Fazla Kesfet