Wonder3D
Wonder3D, tek görselden eşleşen renk ve normal görünümleri tahmin eder, ardından mesh oluşturur.
Bir bakışta
- Girdi
- İzinli tek nesne görseli ve incelenmiş ön plan maskesi.
- Çıktı
- Eşleşen renk ve normal görünümleri; mesh oluşturma ayrı aşamadır.
- Erişim
- Resmî depo kodu MIT lisanslıdır; model ve bileşen koşullarını ayrıca inceleyin.
- Kimler için uygun
- Eşleşen tahminleri ve maskeleri inceleyebilen sanatçılar ve araştırmacılar.
- Ne zaman başka bir seçenek seçilmeli
- Ölçülü ürün geometrisi veya UV eşlemeli mevcut mesh için otomatik normal bake.
- Maliyet ve erişim koşulları
- Görünüm üretimini, yeniden oluşturmayı, içe alımı ve onarımı ayrı bütçeleyin.
Öne Çıkan Özellikler
Eşleşen renk ve normal tahminleri
Yeniden oluşturma kabul edilmeden görünümle yüzey yönü uyuşmalıdır.
Girdi maskeleri sonucu etkiler
Geliştirici, kusurlu bölümlemenin mesh yeniden oluşturmayı bozabileceğini belirtir.
Sürüm kökeni önemlidir
Depo, hizalanmayan renk ve normal çıkarımı için Ağustos 2024 düzeltmesini belgeler.
Hakkında
Bu sayfada
Wonder3D, tek görselden birden fazla renkli görünüm ve bunlara karşılık gelen yüzey normal haritaları üretir; ardından ayrı 3B yeniden oluşturma aşamasında bu tahminleri kullanır. Görünüm ve geometrik ipuçlarının konsept mesh'e nasıl katkıda bulunduğunu incelemek isteyen teknik sanatçılara ve araştırmacılara uygundur. Yararlı kontrol noktası, yeniden oluşturmadan önce bu ipuçlarının birbiriyle uyuşmasıdır. Renkli görünüm grubu, tek başına dışa aktarılmış ve üretime hazır nesne değildir.
Wonder3D ile sonraki sürümleri ayırın
Resmî proje sayfası, Wonder3D'yi Xiaoxiao Long, Yuan-Chen Guo ve farklı kurumlardaki çalışma arkadaşlarının araştırması olarak tanımlar. Makale CVPR 2024 Highlight seçkisindedir. Araştırmayı tek kuruma mal etmek veya ticari arayüzü aynı sürüm saymak yerine tam makaleyi ve depoyu kullanarak kimliği doğrulayın.
Depo, ayrı daldaki Wonder3D++ sürümüne de bağlantı verir. Bu değerlendirme, yayımlanmış v1.0 hattı ve yeniden oluşturma seçenekleri dâhil özgün Wonder3D akışını kapsar. Sonraki dalın veya başka barındırılmış paketin özellikleri ayrıca incelenmelidir. Ortak ad; uyumlu ağırlık, aynı kamera varsayımı veya aynı çıktı davranışı anlamına gelmez.
Sonuç karşılaştırmadan önce depo revizyonunu, model kimliğini ve kullanılan arayüzü kaydedin. Geliştiricilerin Ağustos 2024'te belgelediği alanlar arası çıkarım düzeltmesi nedeniyle bu özellikle önemlidir. Eski kurulumun ekran görüntüsüyle düzeltilmiş kodun çıktısı aynı uygulamayı temsil etmeyebilir. Köken bilgisi olmadan karşılaştırmak, yazılım sorununu araştırma yöntemine bağlamanıza yol açabilir.
Renk ve normalleri eşleşen tahminler olarak okuyun
Wonder3D makalesi, görünümler arasında ve renk ile normal temsilleri arasında bilgi aktaran alanlar arası difüzyon yaklaşımını açıklar. Renk görünümü, normaller yüzeyin baktığı yönü sağlar. Nesne hakkında farklı ipuçları verdikleri için geometri kurulurken uyumları önemlidir. Tek referans görselden türetildiklerinde hiçbiri ölçülmüş tarama değildir.
Bir kupanın yanındaki renkli yay kulp gibi görünebilir; normal tahmini ise aynı açıklığı veya bağlantıyı göstermeyebilir. Sorunun mesh'te olduğuna karar vermeden bu uyuşmazlığı incelemek gerekir. Bir karakterde boyanmış çizgi, gerçek yüzey değişimi olmadan kıvrım gibi görünebilir. İki çıktıyı birlikte okumak, güzel gölgelendirmeyle güvenilir biçim bilgisini karıştırmayı önler.
Depoda yalnız normal ve renk üreten etkileşimli yol ile yeniden oluşturmaya da geçen başka yol bulunur. İlk sorunuza uygun olanı seçin. Görünüm modelini değerlendiriyorsanız bu çıktılarda durup tutarlılığı kaydedin. Mesh gerekiyorsa sonraki aşamayı ve kendi bağımlılıklarını değerlendirme planına açıkça ekleyin. İlk arayüzün çalışması, ikinci aşamanın hazır olduğunu göstermez.
Referansı kamera varsayımlarına uydurun
Geliştirici soruları ve kamera notları, özgün uygulamanın 256 çarpı 256 çözünürlükte altı görünüm ürettiğini belirtir. Girdiler yeniden boyutlandırıldığı için küçük kulp, ince anten veya dar boşluk, özgün fotoğraf büyük ölçekte keskin olsa bile belirsizleşebilir. Kaynağın yeterli bilgi taşıdığına karar vermeden gerçek işleme boyutundaki görünümünü inceleyin.
Wonder3D, girdi görünümüne bağlı koordinat sistemi kullanır ve ortografik görüntüleme varsayar. Geliştiriciler bu nedenle gerçek fotoğraflarda odak uzaklığı kaynaklı bozulmalar oluşabileceğini açıklar. Yakın tarafı büyük, uzak tarafı küçük gösteren kuvvetli perspektifli ürün fotoğrafı varsayıma iyi uymayabilir. Yeniden oluşturmanın fotoğraf makinesini kendiliğinden çözmesini beklemek yerine perspektifi ve kadrajı anlaşılır referans seçin.
Bakış yönü ve örtüşme de önemlidir. Belgeler önden girdileri tercih eder ve sınırlı görünüm grubunun her gizli yüzeyi gösteremeyeceğini belirtir. Kritik bağlantı nesnenin arkasındaysa makul arka görünüm yine bir varsayımdır. Gerçek üretilmiş ürün üzerinde çalışırken müşteriye sunmadan önce görsel konseptle aslına sadık dijital kaydı birbirinden ayırın.
Yüzeyi iyileştirmeden maskeyi çözün
Wonder3D'nin çıkarım talimatları, ön plan maskesi ister ve otomatik arka plan kaldırmanın kusursuz olmadığını açıkça söyler. Maske kalitesini mesh kalitesiyle ilişkilendirir. Yanlış kesilmiş nesne, sonraki aşamalara yanlış sınır verir. Yeniden oluşturma çabasını artırmak, ön işlemenin sildiği kulbu veya çıkıntıyı güvenilir biçimde geri getiremez.
Kaynak maskesini ve erişilebiliyorsa üretilen görünümlerin maskelerini inceleyin. Dar boşluklara, deliklere, kopuk görünen parçalara ve nesnenin arka planla birleştiği kenara bakın. Maskeleri ilgili renk ve normal görselleriyle saklayın. Yüzeyde açıklığı kapatan bir köprü oluştuğunda bu kayıt, boşluğun ön plan tanımında zaten kapanıp kapanmadığını anlamayı sağlar.
Elle maske düzeltmenin amacı belirli olmalıdır: bilinen ön plan sınırını geri getirmek veya açık arka plan fazlalığını çıkarmak. Girdinin göstermediği gizli geometriyi icat etmemelidir. Neyin düzeltildiğini yazın ve ilgili aşamanın yeni çıktısını karşılaştırın. Nesne görünümler arasında tutarsız kalıyorsa sorun bölümlemenin ötesindedir; başka referans daha verimli bir sonraki adım olabilir.
Yeniden oluşturma yollarını sonuç uydurmadan karşılaştırın
Depo, Instant-NSR ve NeuS seçeneklerini belgeler. NeuS notları, daha düşük GPU bellek kullanımı ve daha pürüzsüz yüzeylerle birlikte daha uzun işlem ve daha az keskin doku olasılığını anlatır. Bunlar geliştirici gözlemleridir; bu sayfa için ölçülmedi. Seçim, ortam kurulumuna, belleğe, yüzey görünümüne veya teslim süresine ilişkin gerçek kısıtınıza bağlıdır.
Karşılaştırmaya ancak kabul edilebilir tek görünüm grubu seçildikten sonra başlayın. Aksi hâlde önceki aşamanın tahmin farkları, yeniden oluşturucular arasındaki farkı gizler. Aynı ön plan kanıtını kullanın; her arka ucun yapılandırmasını ve tamamlanma durumunu kaydedin. Rengi değerlendirmeden dışa aktarılan geometriye nötr malzeme uygulayın. Pürüzsüz önizleme, işe gerekli bir ayrıntının kaybını gizleyebilir.
Makalenin başlıktaki süresini tam teslim bütçesinin yerine koymayın. Kurulum, varlık indirme, görünüm üretimi, yeniden oluşturma, içe aktarma ve sanatçı onarımı toplamı etkiler. Bu sayfa A100 zorunluluğu, evrensel bellek alt sınırı veya komşu modellere karşı hız sıralaması belirlemez. Gerçek uygulamayı işin yapılacağı bilgisayarda ölçmek gerekir.
Kupa kulbunu kabul kontrolü olarak kullanın
Bu önerilen çalışma planı henüz uygulanmadı. Dönen konsept sunumunda kulp açıklığının görünmesi gereken basit, stilize bir kupanın izinli görselini düşünün. Hedef makul, düzenlenebilir nesnedir; ölçülmüş duvar kalınlığı veya üretim toleransı bulunan kap değildir. Çekici çıktı işlevsel tasarım sanılmasın diye bu sınırı brief'e yazın.
Kulbu ve dış ağız kenarı görünen, açık önden referans hazırlayın. Üretimden önce küçültülmüş görünümü ve ön plan maskesini inceleyin. Görünümler üretildiğinde kulbun tutarlı tarafta kalıp kalmadığını, açıklığın kapanıp kapanmadığını ve normallerin renkli görselle aynı bağlantıları anlatıp anlatmadığını kontrol edin. Hatayı ortalamayla gizlemek yerine başarısız her görünüm için kısa açıklama saklayın.
Yalnız tutarlı grubu yeniden oluşturmaya taşıyın. Mesh'te açıklığı farklı yönlerden, kulbun gövdeye bağlandığı sürekliliği, ağız kenarını ve alt yüzeyi inceleyin. Ardından gerçek çıktıyı düzenleme uygulamasına aktarın. Kusurun geometride, malzeme görünümünde veya yönde olduğunu kaydedin. Dönen nesne videosunu, düzenlenebilir dosyaların doğru olduğunun tek kanıtı saymayın.
Üç karardan biriyle bitirin: konsept tabanı olarak kabul, tanımlı onarımdan sonra kabul veya girdiye dönüş. Küçük yüzey düzeltmesiyle bütün kulbu yeniden kurmak farklı iştir. Kaynak maskesi düzeltmesi mesh sınırını beklenen şekilde değiştiriyorsa eşleştirilmiş kanıtı saklayın. Her görünüm farklı bağlantı icat ediyorsa yeniden oluşturmayı iyileştirmeyi bırakıp daha iyi referans veya elle modelleme seçin.
Çıktılar uyuşmadığında sürüm eşleşmesini kontrol edin
Depodaki 29 Ağustos 2024 notu, sınıflandırıcısız yönlendirme çıkarımında alanlar arası dikkatin düzgün çalışmaması nedeniyle renk ve normal sonuçlarının hizalanamadığı bir hatayı açıklar. Düzeltme, bu alanların parti içindeki dizilişiyle ilgilidir. Bir paket tutarsız çiftler üretiyorsa kodun kökenini doğrulamak için somut gerekçedir; her hatayı Wonder3D'nin kaçınılmaz sınırı saymak doğru olmaz.
İndirilen paketin dayandığı depo revizyonunu bulun veya geliştiricinin hangi uygulamayı kullandığını belirleyin. Paketin yakın zamanda yüklenmiş olması düzeltmeyi içerdiğini göstermez. Sorun bildiriminde bilinen örneği ve tam uyuşmazlığı saklayın. Köken belirlenemiyorsa belgelenmiş resmî kodla karşılaştırma, yapılmış sonuç değil, araştırma planı olarak kalır.
Ortam hatası görsel hatadan farklı yanıt gerektirir. README, örneğin denendiği Diffusers sürümünü belirtir ve daha yeni sürümlerle çakışma olabileceğini söyler. Bağımlılık değiştirmeden sürümleri ve başarısız aşamayı kaydedin. Ekranda normal haritası görünmesi, yeniden oluşturma arka ucunun kurulduğunu veya her bileşenin GPU'da çalıştığını kanıtlamaz. Kullanılacak aşamayı ayrıca doğrulayın.
Teslimden önce erişim ve malzeme izinlerini doğrulayın
Güncel depo lisansı MIT'dir; README de bunu belirtir. Bu beyanı kapsanan malzemeyle sınırlı tutun. Proje dış bileşenler ve model varlıkları kullanır. Dağıtım için seçilen kesin dosyalara ait koşulları inceleyin. Açık kod lisansı; referans fotoğraflar, tasarımlar veya ayrı indirilen her ağırlık için genel izin değildir.
Burada barındırılmış hesap, kota veya fiyat test edilmedi. Demo ya da üçüncü taraf hizmet seçilirse özel müşteri içeriğini kullanmadan güncel koşullarını, yükleme işleyişini ve çıktı erişimini inceleyin. Yerel çıkarım farklı altyapı düzeni sağlar, ancak yine desteklenen ortam, depolama ve hesaplama gerektirir. Kod satın almadan indirilebilse bile bunlar pratik maliyettir.
Kurum içi konseptte referansı kimin sağladığını ve hangi kullanıma izin verildiğini belgeleyin. Ticari teslimde akışı önermeden malzeme ve ağırlık izinlerini çözün. Kritik koşul bilinmiyorsa ilgili kullanım kararını açık bırakın. Bu makale hukuki sonuç vermez ve makul üretilmiş nesnenin üçüncü taraf haklarından arındığını iddia etmez.
Sonraki akışı çözülmeyen gereksinime göre seçin
Unique3D, üretilmiş renk ve normal bilgisini farklı mesh yöntemiyle kullanan komşu akıştır. SyncDreamer, daha sonra yeniden oluşturmak için tutarlı görünümler üretmeye odaklanan yaklaşımı karşılaştırmaya yardım eder. İkisi ilgili araştırma karşılaştırmalarıdır; kendiliğinden yükseltme değildir. Gerçek sonuçları değerlendirirken aynı referansı, hedefi ve kusur listesini kullanın.
Bilinen UV'leri olan mevcut mesh için normal dokusu gerekiyorsa o mesh'e uygun bake veya malzeme akışını kullanın. Wonder3D'nin tahmin ettiği görünüm normalleri, herhangi bir varlığa doğru eşlenmiş teğet uzay dokusu değildir. Boyut veya gizli mekanik bağlantı gerekiyorsa ek ölçüm veya elle modelleme, difüzyon modelini değiştirmekten daha önemli olabilir.
Bu kaynak incelemesi, 12 Eylül 2026 tarihinde kontrol edilen resmî belgelere dayanır. Çıkarım, yeniden oluşturma veya içe aktarma çalıştırılmadı. Kupa örneğindeki sınır kontrolüyle veya kendi nesnenizin kritik ayrıntısıyla başlayın. Maskeler, eşleşen tahminler ve dışa aktarılan geometri hedef konsepti desteklediğinde ilerleyin; doğrulanmamış hakları, donanım performansını ve gizli geometriyi kararda açık tutun.
Kullanım Senaryoları
Kulp ve boşluk kabulü
İzinli kupa açıklığını maske, renk, normal ve mesh aşamalarında takip edin.
Yeniden oluşturucu karşılaştırması
Belgelenmiş arka uçları aynı kabul edilmiş açılardan karşılaştırıp işe özgü çıktıları kaydedin.
Artılar ve Eksiler
Artılar
- Hat görünüm ve yüzey yönü ipuçlarını incelemeyi sağlar.
- Ayrı üretim ve yeniden oluşturma yolları aşama bazlı değerlendirme sağlar.
- Depo kamera, maske ve çıkarım sürümü sorunlarını belgeler.
Eksiler
- Özgün altı açılı düşük çözünürlük, ince görünür ayrıntıyı sınırlar.
- Ortografik varsayım gerçek kamera perspektifiyle çelişebilir.
- İyi görünüm grubu kullanılabilir mesh veya hakları doğrulamaz.
Teknik Detaylar
Mimari
Normal rehberli yeniden oluşturma kullanan alanlar arası çoklu görünüm difüzyonu
Lisans
MIT code; model terms separate
MIT kaydedilen depo kodu lisansını kapsar. İndirilen ağırlık, veri, bağımlılık veya sunulan medya için genel izin doğrulamaz. Lisans kaynağı
Özellikler
- Paired color and normal predictions
- Input masks remain consequential
- Version provenance matters
Mevcut Platformlar
Sıkça Sorulan Sorular
İlgili Modeller
Era3D
Era3D, Alibaba tarafından geliştirilen, 3D rekonstrüksiyon için tek giriş görsellerinden yüksek çözünürlüklü, kamera farkındalıklı çoklu görünüm görselleri ve normal haritaları üreten çoklu görünüm üretim modelidir. Model çoklu görünüm üretimindeki yaygın sınırlamaları ele alan iki temel yenilik sunar: giriş görselinin kamera perspektifine uyum sağlayan odak uzaklığı tahmin modülü ve rakip yöntemlerden daha yüksek çözünürlüklerde üretimi daha az GPU belleğiyle mümkün kılan verimli satır bazlı dikkat mekanizması. Era3D aşağı akış 3D mesh rekonstrüksiyonu için zengin geometrik bilgi sağlayarak 512x512 çözünürlükte karşılık gelen normal haritalarıyla birlikte altı tutarlı görünüm üretir. Kamera farkındalıklı tasarım modelin farklı perspektiflerden ve odak uzaklıklarından çekilen giriş görsellerini çıktı kalitesinde bozulma olmadan işleyebilmesi anlamına gelir ve bu sabit kamera modeli varsayan yöntemlere göre önemli bir iyileştirmedir. Satır bazlı dikkat mekanizması hesaplama açısından pahalı olan tam çapraz görünüm dikkatini yatay satırlar boyunca dikkati işleyen daha verimli bir alternatifle değiştirerek görünüm tutarlılığını korurken bellek gereksinimlerini azaltır. Mayıs 2024'te Apache 2.0 lisansı altında yayınlanan Era3D kod ve önceden eğitilmiş ağırlıkları GitHub üzerinde mevcut olan tamamen açık kaynaklıdır. Model çeşitli nesne kategorilerinde güçlü performans gösterir ve yüksek kaliteli 3D rekonstrüksiyona uygun temiz çoklu görünüm çıktıları üretir. Era3D özellikle giriş görsellerinin farklı kamera özelliklerine sahip çeşitli kaynaklardan geldiği ve nihai 3D modellerdeki ince detayları yakalamak için yüksek çözünürlüklü çoklu görünüm üretiminin gerekli olduğu profesyonel 3D içerik üretim iş akışları için değerlidir.
InstantMesh
InstantMesh, Tencent tarafından geliştirilen, tek giriş görsellerinden çoklu görünüm üretimi ve seyrek görünüm rekonstrüksiyonu hattı aracılığıyla yüksek kaliteli dokulu 3D mesh'ler oluşturan ileri beslemeli bir 3D mesh üretim modelidir. Nisan 2024'te Apache 2.0 lisansı altında yayınlanan InstantMesh, tek görselden 3D rekonstrüksiyonda hem hız hem de kalite elde etmek için çoklu görünüm difüzyon modelini büyük bir rekonstrüksiyon modeliyle birleştirir. Hat önce ince ayarlı çoklu görünüm difüzyon modeli kullanarak giriş nesnesinin birden fazla tutarlı görünümünü üretir, ardından bu görünümleri üç düzlem sinirsel temsili tahmin eden transformer tabanlı bir rekonstrüksiyon ağına besler ve son olarak bu temsil dokulu bir mesh'e dönüştürülür. Bu iki aşamalı yaklaşım tek aşamalı yöntemlerden önemli ölçüde daha yüksek kaliteli sonuçlar üretirken üretim sürelerini yalnızca birkaç saniyede tutar. InstantMesh bir görsel üretim modeliyle birleştirildiğinde metinden 3D'ye iş akışlarını ve fotoğraflardan veya sanat eserlerinden doğrudan görselden 3D'ye dönüşümü destekler. Çıktı mesh'leri standart 3D yazılımlar ve oyun motorlarıyla uyumlu detaylı geometri ve doku haritaları içerir. Model karakterler, araçlar, mobilyalar ve organik şekiller dahil çok çeşitli nesne türlerini iyi geometrik sadakatle işler. Kod ve ağırlıkları GitHub ve Hugging Face üzerinde mevcut olan açık kaynak bir proje olarak InstantMesh, 3D varlık üretim hatları kuran geliştiriciler arasında popüler bir seçim haline gelmiştir. Özellikle hızlı geri dönüş ve makul kalitenin birlikte önemli olduğu oyun geliştirme, e-ticaret ürün görselleştirme ve hızlı prototipleme senaryoları için kullanışlıdır.
Meshy v4
Meshy-4, API istekleri için emekli edilmiş tarihsel bir model sürümüdür. Yeni işe başlamadan emeklilik kapsamını, geçiş bağımlılıklarını ve güncel plan koşullarını inceleyin.
One-2-3-45
One-2-3-45, UC San Diego araştırmacıları tarafından geliştirilen, çoklu görünüm üretimini seyrek görünüm 3D rekonstrüksiyonuyla birleştiren iki aşamalı bir hat aracılığıyla tek giriş görselinden dokulu 3D mesh'ler üreten tek görselden 3D rekonstrüksiyon sistemidir. Adı temel süreci yansıtır: bir görselden iki, üç, dört, beş görünüm üret ve ardından tam bir 3D nesne yeniden yapılandır. İlk aşamada ince ayarlı bir Zero123 modeli tek giriş fotoğrafına dayalı olarak nesnenin farklı açılardan birden fazla yeni görünümünü üretir. İkinci aşamada bu üretilen çoklu görünüm görselleri tutarlı geometriye sahip dokulu bir 3D mesh üreten maliyet hacmi tabanlı seyrek görünüm rekonstrüksiyon ağına beslenir. Haziran 2023'te MIT lisansı altında yayınlanan One-2-3-45, 2D difüzyon modellerini 3D rekonstrüksiyonla birleştirmenin bir dakikanın altında makul 3D varlıklar üretebileceğini gösteren ilk sistemlerden biri olmuştur. Model günlük eşyalar, hayvanlar, araçlar ve sanatsal nesneler dahil çeşitli nesne türlerini işler. Nesne başına onlarca dakika süren optimizasyon gerektiren DreamFusion gibi optimizasyon tabanlı yaklaşımların aksine One-2-3-45 ileri beslemeli bir şekilde çalışır ve bu da onu önemli ölçüde daha hızlı kılar. Çıktı mesh'leri renk ve doku bilgisi içerir ve standart 3D uygulamalarda kullanılmak üzere dışa aktarılabilir. Kodu GitHub üzerinde mevcut olan tamamen açık kaynak bir proje olarak tek görselden 3D üretim alanındaki sonraki araştırmalar için etkili bir referans olmuştur. Sistem özellikle sınırlı giriş verisinden hızlı 3D içerik üretimini keşfeden araştırmacılar ve geliştiriciler için kullanışlıdır.
Hızlı Bilgi
Normal rehberli yeniden oluşturma kullanan alanlar arası çoklu görünüm difüzyonu