InstantMesh
InstantMesh, Tencent tarafından geliştirilen, tek giriş görsellerinden çoklu görünüm üretimi ve seyrek görünüm rekonstrüksiyonu hattı aracılığıyla yüksek kaliteli dokulu 3D mesh'ler oluşturan ileri beslemeli bir 3D mesh üretim modelidir. Nisan 2024'te Apache 2.0 lisansı altında yayınlanan InstantMesh, tek görselden 3D rekonstrüksiyonda hem hız hem de kalite elde etmek için çoklu görünüm difüzyon modelini büyük bir rekonstrüksiyon modeliyle birleştirir. Hat önce ince ayarlı çoklu görünüm difüzyon modeli kullanarak giriş nesnesinin birden fazla tutarlı görünümünü üretir, ardından bu görünümleri üç düzlem sinirsel temsili tahmin eden transformer tabanlı bir rekonstrüksiyon ağına besler ve son olarak bu temsil dokulu bir mesh'e dönüştürülür. Bu iki aşamalı yaklaşım tek aşamalı yöntemlerden önemli ölçüde daha yüksek kaliteli sonuçlar üretirken üretim sürelerini yalnızca birkaç saniyede tutar. InstantMesh bir görsel üretim modeliyle birleştirildiğinde metinden 3D'ye iş akışlarını ve fotoğraflardan veya sanat eserlerinden doğrudan görselden 3D'ye dönüşümü destekler. Çıktı mesh'leri standart 3D yazılımlar ve oyun motorlarıyla uyumlu detaylı geometri ve doku haritaları içerir. Model karakterler, araçlar, mobilyalar ve organik şekiller dahil çok çeşitli nesne türlerini iyi geometrik sadakatle işler. Kod ve ağırlıkları GitHub ve Hugging Face üzerinde mevcut olan açık kaynak bir proje olarak InstantMesh, 3D varlık üretim hatları kuran geliştiriciler arasında popüler bir seçim haline gelmiştir. Özellikle hızlı geri dönüş ve makul kalitenin birlikte önemli olduğu oyun geliştirme, e-ticaret ürün görselleştirme ve hızlı prototipleme senaryoları için kullanışlıdır.
Öne Çıkan Özellikler
FlexiCubes Temiz Mesh Cikarimi
Mesh cikarimi icin yuruyus kupleri yerine FlexiCubes kullanir; oyun motorlari ve animasyon icin uygun daha duzenli yuz dagilimi ile daha temiz topoloji uretir
Coklu Gorunum Tutarliligi Hatti
3D yeniden yapilandirmadan once nesnenin tutarli coklu gorunum goruntulerini olusturur; capraz gorunum bilgi fuzyonu araciligiyla geometrik dogruluk saglar
UV Haritalanmis Dokulu Cikti
Standart 3D is akislari, oyun motorlari ve isitma uygulamalarinda hemen kullanim icin hazir uygun UV haritalama ve doku goruntuleriyle mesh'ler uretir
En Son Teknoloji Acik Kaynak Kalitesi
Acik kaynak tek goruntuden 3D yeniden yapilandirmada mevcut en son teknolojiyi temsil eder; TripoSR ve Shap-E gibi daha basit modellerin kalitesini asar
Hakkında
InstantMesh, çoklu görünüm üretimi ve seyrek görünüm yeniden yapılandırma boru hattı aracılığıyla tek giriş görüntüsünden yüksek kaliteli dokulu 3D mesh'ler oluşturan, Tencent tarafından geliştirilen ileri beslemeli bir 3D mesh üretim modelidir. 2024'te yayımlanan InstantMesh, alt uygulamalar için uygun temiz, iyi dokulu 3D varlıklar üretmek için çoklu görünüm difüzyon modelini büyük yeniden yapılandırma modeli (LRM) ve FlexiCubes tabanlı mesh çıkarımı ile birleştirir. Model, açık kaynak tek görüntüden 3D yeniden yapılandırma alanında kalite ve kullanılabilirlik açısından önemli bir sıçramayı temsil eder.
Boru hattı birden fazla aşamada çalışır. İlk olarak, çoklu görünüm difüzyon modeli giriş görüntüsüne dayanarak nesnenin birden fazla açıdan tutarlı görünümlerini oluşturur. Bu oluşturulan görünümler daha sonra 3D temsil üretmek için çoklu görünüm görüntülerini işleyen seyrek görünüm yeniden yapılandırma ağına beslenir. Son olarak FlexiCubes çıkarımı bu temsili UV haritalanmış dokularla yüksek kaliteli poligonal mesh'e dönüştürür ve yürüyüş küpleri çıkarımı kullanan yöntemlerden daha temiz topolojiye sahip varlıklar üretir. Her aşama önceki aşamanın çıktısı üzerine inşa ederek, girdiden çıktıya kadar kalite kaybını minimize eder ve bütünleşik bir üretim süreci sağlar.
InstantMesh'in mesh çıkarımı için FlexiCubes kullanımı temel bir farklılaştırıcıdır. Düzensiz topoloji ve birçok gereksiz köşe içeren mesh'ler üreten yürüyüş küplerinin aksine FlexiCubes, daha düzenli yüz dağılımı ve daha iyi tanımlanmış yüzey detaylarına sahip mesh'ler oluşturur. Bu durum, kapsamlı son işleme olmadan oyun motorları, animasyon hatları ve 3D baskı için kullanıma daha uygun mesh'lerle sonuçlanır. FlexiCubes'un diferansiyellenebilir yapısı, mesh çıkarım sürecinin eğitim sırasında uçtan uca optimize edilmesine olanak tanır ve bu da nihai çıktı kalitesini doğrudan artırarak daha keskin kenarlar ve daha doğru geometri sağlar.
Model, karşılık gelen UV haritaları ve doku görüntüleriyle dokulu mesh'ler üretir ve hemen kullanılabilir 3D varlıklar sağlar. Hem geometri hem de doku kalitesi tipik olarak TripoSR veya Shap-E gibi daha basit ileri beslemeli modelleri aşar, ancak çok aşamalı boru hattı nedeniyle üretim biraz daha uzun sürer. Çıktı mesh'leri OBJ, GLB ve PLY formatlarında dışarı aktarılabilir ve standart 3D iş akışlarıyla tam uyumludur. Doku haritaları yeterli çözünürlükte üretilir ve çoğu uygulama için ek doku çalışması gerektirmez.
InstantMesh'in çoklu görünüm üretim aşamasında Zero123++ veya benzeri modeller kullanılabilir ve bu modüler tasarım, her bileşenin bağımsız olarak güncellenmesine veya değiştirilmesine olanak tanır. Model, Objaverse veri kümesi üzerinde eğitilmiştir ve çeşitli nesne kategorilerinde güçlü genelleme yeteneği gösterir. Ürün fotoğraflarından sanatsal illüstrasyonlara kadar geniş bir girdi yelpazesini başarıyla işleyebilir ve farklı stil ve karmaşıklıktaki nesneler için tutarlı sonuçlar üretir.
Apache 2.0 lisansı altında yayımlanan InstantMesh, Hugging Face'te mevcut önceden eğitilmiş ağırlıklarla tamamen açık kaynaklıdır. Hugging Face Spaces'teki canlı demo, kullanıcıların modeli yerel kurulum olmadan denemesine olanak tanır. Model, açık kaynak tek görüntüden 3D yeniden yapılandırmada en son teknolojiyi temsil eder ve hem araştırma hem de üretim ortamlarında yaratıcı endüstri genelinde aktif olarak kullanılmaktadır.
Pratik kullanım senaryoları açısından InstantMesh, özellikle e-ticaret platformları için ürün fotoğraflarından otomatik 3D model üretiminde değer yaratmaktadır. Tek bir ürün görseli ile saniyeler içinde döndürülebilir 3D görselleştirme oluşturulması, online alışveriş deneyimini zenginleştirmektedir. Araştırma topluluğunda hızla benimsenen model, açık kaynak yapısı sayesinde çeşitli uyarlama ve ince ayar çalışmalarına temel oluşturmuştur. Blender ve Three.js gibi araçlarla entegrasyon sağlayan topluluk katkıları, modelin kullanım alanlarını genişletmeye devam etmektedir.
Kullanım Senaryoları
Oyun Varlik Uretimi
Oyun gelistirme hatlarinda hizli varlik olusturma icin konsept sanatindan temiz topoloji ve UV haritalanmis dokularla oyuna hazir 3D modeller uretin
AR/VR Icin 3D Icerik
Uretim kalitesinde mesh ciktisiyla arttirilmis gerceklik deneyimleri ve sanal gerceklik ortamlari icin urun fotograflarindan veya sanat eserlerinden 3D nesneler olusturun
Dijital Ikiz Uretimi
Envanter gorselestirme, dokumantasyon ve sanal vitrinler icin fotograflardan fiziksel nesnelerin 3D dijital temsillerini hizla olusturun
Arastirma ve Karsilastirma
3D yeniden yapilandirma arastirmasi icin en son teknoloji temel cizgisi olarak ve yeni tek goruntuden 3D uretim yontemlerini degerlendirmek icin karsilastirma noktasi olarak kullanin
Artılar ve Eksiler
Artılar
- Tek bir görselden saniyeler içinde 3D mesh oluşturma
- LRM (Large Reconstruction Model) tabanlı verimli mimari
- Açık kaynak — Hugging Face üzerinden erişilebilir
- Çoklu görüş (multi-view) sentezi ile tutarlı 3D yapı
Eksiler
- Arka yüzlerde ve görünmeyen bölgelerde düşük kalite
- Detaylı yüzey dokularında sınırlı çözünürlük
- Karmaşık nesnelerde (şeffaf, yansıtıcı) zorluk
- Mesh topolojisi düzensiz — doğrudan oyun motorunda kullanıma uygun değil
Teknik Detaylar
Parametre
N/A
Lisans
Apache 2.0
Özellikler
- Single Image to 3D Mesh
- Sparse-View Reconstruction
- Multi-View üretimi Pipeline
- FlexiCubes Mesh Extraction
- yüksek kaliteli Textured Output
- Open-Source Apache 2.0
- Tencent Research Model
- Hugging Face Spaces Demo
Benchmark Sonuçları
| Metrik | Değer | Karşılaştırma | Kaynak |
|---|---|---|---|
| Novel View PSNR | 22.2 dB (GSO) | TripoSR: 21.7 dB | arXiv 2404.07191 |
| Üretim Süresi | ~10 saniye | LGM: ~5 saniye | GitHub InstantMesh |
| SSIM (GSO) | 0.880 | OpenLRM: 0.856 | arXiv 2404.07191 |
| LPIPS (GSO) | 0.125 | TripoSR: 0.138 | arXiv 2404.07191 |
Mevcut Platformlar
Haberler ve Referanslar
Sıkça Sorulan Sorular
İlgili Modeller
TripoSR
TripoSR, Stability AI ve Tripo AI tarafından ortaklaşa geliştirilen, tek giriş görsellerinden bir saniyeden kısa sürede detaylı 3D mesh'ler üreten hızlı bir ileri beslemeli 3D rekonstrüksiyon modelidir. Nesne başına dakikalar süren optimizasyon tabanlı yöntemlerin aksine, TripoSR Büyük Rekonstrüksiyon Modeli çerçevesi üzerine inşa edilmiş transformer tabanlı mimarisi sayesinde tek bir 2D fotoğraftan 3D geometriyi doğrudan tahmin eder. Model herhangi bir standart görseli girdi olarak kabul eder ve oyun motorları, 3D modelleme yazılımları ve artırılmış gerçeklik uygulamalarında kullanıma uygun dokulu 3D mesh üretir. Günlük nesneleri, mobilyaları, araçları, karakterleri ve organik şekilleri etkileyici geometrik doğruluk ve yüzey detayıyla yeniden yapılandırmada üstün performans gösterir. Mart 2024'te MIT lisansı altında yayınlanan model tamamen açık kaynaklıdır ve özel donanım gerektirmeden tüketici sınıfı GPU'larda çalışabilir. Birden fazla görselin verimli dönüşümü için toplu işleme desteği sunar ve Blender, Unity ile Unreal Engine dahil popüler 3D iş akışlarıyla sorunsuz entegre olur. Ürün fotoğraflarından hızlı 3D varlık oluşturmaya ihtiyaç duyan oyun geliştiricileri, ürün tasarımcıları ve e-ticaret ekipleri için özellikle değerlidir. Çıktı mesh'leri yapılandırılabilir çözünürlük ayarlarıyla OBJ ve GLB formatlarında dışa aktarılabilir. DINOv2 vizyon kodlayıcısı giriş görselinden zengin semantik ve yapısal özellikler çıkararak rekonstrüksiyon kalitesini artırır. TripoSR pahalı tarama ekipmanı veya manuel modelleme uzmanlığı gerektirmeden yüksek kaliteli rekonstrüksiyonu erişilebilir kılarak 3D içerik üretiminin demokratikleşmesinde önemli bir adımı temsil eder.
TRELLIS
TRELLIS, Microsoft Research tarafından geliştirilen ve yeni bir Structured Latent Diffusion mimarisi kullanarak metin açıklamalarından veya tek 2D görüntülerden yüksek kaliteli 3D varlıklar üreten devrim niteliğinde bir AI modelidir. Aralık 2024'te yayınlanan TRELLIS, geometri, doku ve malzeme özelliklerini ayrı aşamalar olarak ele almak yerine eşzamanlı olarak kodlayan yapılandırılmış bir gizli uzayda çalışarak 3D içerik üretiminde temel bir ilerlemeyi temsil eder. Model, detaylı PBR (Fiziksel Tabanlı Render) dokularıyla eksiksiz 3D mesh'ler üretir ve kapsamlı manuel son işleme olmadan oyun motorları, 3D render boru hatları ve AR/VR uygulamalarında doğrudan kullanımı mümkün kılar. TRELLIS, kullanıcıların istenen nesneleri doğal dilde tanımladığı metinden 3D üretimini ve tek bir fotoğrafın kapalı bakış açılarından çıkarılan geometriyle tam 3D modele dönüştürüldüğü görüntüden 3D rekonstrüksiyonu destekler. Yapılandırılmış gizli temsil, geometrik tutarlılığı sağlar ve havada kalan geometri, doku dikişleri ve gerçekçi olmayan oranlar gibi diğer 3D üretim yaklaşımlarında görülen yaygın artefaktları önler. TRELLIS, UV haritalı dokularla GLB ve OBJ dahil standart 3D formatlarında çıktı üretir ve Blender, Unity, Unreal Engine gibi profesyonel araçlarla entegrasyonu kolaylaştırır. MIT lisansı altında tamamen açık kaynaklıdır. Temel uygulamalar arasında oyun geliştirme için hızlı 3D varlık prototipleme, mimari görselleştirme, ürün tasarım modelleri ve metaverse varlık üretimi yer alır.
Meshy
Meshy, Meshy AI tarafından geliştirilen, metin açıklamalarından ve görsellerden detaylı, üretime hazır 3D modeller oluşturan tescilli bir AI destekli 3D üretim platformudur. Platform metinden 3D'ye ve görselden 3D'ye yetenekleri gelişmiş AI doku kaplama özellikleriyle birleştirerek hızlı 3D içerik üretimi için kapsamlı bir çözüm sunar. Meshy, PBR uyumlu malzemelerle dokulu 3D mesh'ler üreten transformer tabanlı bir mimari kullanır ve çıktıları ek işlem gerektirmeden Unity ve Unreal Engine gibi oyun motorlarında doğrudan kullanılabilir hale getirir. Platform yazılı açıklamalardan nesne oluşturmak için metinden 3D'ye, fotoğrafları 3D modellere dönüştürmek için görselden 3D'ye ve mevcut dokusuz mesh'lere gerçekçi malzemeler uygulamak için AI doku kaplama dahil birden fazla üretim modu sunar. Üretilen modeller uygun UV haritalama, normal haritalar ve profesyonel iş akışlarına uygun fiziksel tabanlı render malzemeleri içerir. Meshy hem web tabanlı arayüz hem de programatik erişim için API sağlayarak bireysel sanatçılar için erişilebilir ve kurumsal süreçler için ölçeklenebilir bir yapı sunar. Platform özellikle büyük hacimde 3D varlık üretmesi gereken oyun geliştiricileri, animasyon stüdyoları ve AR/VR içerik üreticileri arasında popülerdir. 2023'te piyasaya sürülen tescilli bir ticari hizmet olarak Meshy sınırlı üretimler için ücretsiz katman erişimi olan bir abonelik modeliyle çalışır. Platform çıktı kalitesini, topoloji optimizasyonunu ve doku sadakatini iyileştirmek için modellerini sürekli güncellemekte ve hızla gelişen AI 3D üretim pazarındaki diğer hizmetlerle doğrudan rekabet etmektedir.
Meshy v4
Meshy v4, Meshy AI'ın metin açıklamalarından ve görsellerden dakikalar içinde detaylı, dokulu 3D modeller oluşturabilen 3D model üretim platformunun dördüncü neslidir. 2024'ün sonlarında yayınlanan Meshy v4, önceki sürümlere göre mesh kalitesi, doku sadakati ve topoloji optimizasyonunda büyük bir yükseltmeyi temsil eder. Model, oyun motorları, animasyon boru hatları ve 3D baskı için uygun temiz topolojiye sahip üretime hazır 3D varlıklar üretir. Hem metinden 3D'ye hem de görselden 3D'ye üretim iş akışlarını destekler. Platform, difüz, normal, pürüzlülük ve metalik haritalar dahil PBR malzemelerle dokulu mesh'ler üreterek çıktıları Unity, Unreal Engine ve Blender ile hemen uyumlu hale getirir. GLB, OBJ, FBX ve STL dahil birden fazla formatta dışa aktarım destekler. Meshy v4, geliştirilmiş detay koruma, ince yapılar ve karmaşık geometrilerin daha iyi işlenmesi ve daha doğru renk ve doku eşleme özelliklerine sahiptir. Platform oyun geliştiricileri, 3D sanatçılar, mimarlar ve ürün tasarımcılarına hizmet eder. Freemium model sınırlı ücretsiz üretim sunar.