TRELLIS
TRELLIS, Microsoft Research tarafından geliştirilen ve yeni bir Structured Latent Diffusion mimarisi kullanarak metin açıklamalarından veya tek 2D görüntülerden yüksek kaliteli 3D varlıklar üreten devrim niteliğinde bir AI modelidir. Aralık 2024'te yayınlanan TRELLIS, geometri, doku ve malzeme özelliklerini ayrı aşamalar olarak ele almak yerine eşzamanlı olarak kodlayan yapılandırılmış bir gizli uzayda çalışarak 3D içerik üretiminde temel bir ilerlemeyi temsil eder. Model, detaylı PBR (Fiziksel Tabanlı Render) dokularıyla eksiksiz 3D mesh'ler üretir ve kapsamlı manuel son işleme olmadan oyun motorları, 3D render boru hatları ve AR/VR uygulamalarında doğrudan kullanımı mümkün kılar. TRELLIS, kullanıcıların istenen nesneleri doğal dilde tanımladığı metinden 3D üretimini ve tek bir fotoğrafın kapalı bakış açılarından çıkarılan geometriyle tam 3D modele dönüştürüldüğü görüntüden 3D rekonstrüksiyonu destekler. Yapılandırılmış gizli temsil, geometrik tutarlılığı sağlar ve havada kalan geometri, doku dikişleri ve gerçekçi olmayan oranlar gibi diğer 3D üretim yaklaşımlarında görülen yaygın artefaktları önler. TRELLIS, UV haritalı dokularla GLB ve OBJ dahil standart 3D formatlarında çıktı üretir ve Blender, Unity, Unreal Engine gibi profesyonel araçlarla entegrasyonu kolaylaştırır. MIT lisansı altında tamamen açık kaynaklıdır. Temel uygulamalar arasında oyun geliştirme için hızlı 3D varlık prototipleme, mimari görselleştirme, ürün tasarım modelleri ve metaverse varlık üretimi yer alır.
Öne Çıkan Özellikler
Metin ve Görüntüden 3D Model Üretimi
Hem metin açıklamalarından hem de tek bir görüntüden detaylı ve dokulu 3D modeller oluşturabilme kapasitesi.
Yüksek Detaylı Dokulu Mesh'ler
PBR materyal desteğiyle endüstri standardında dokulu mesh çıktıları üreterek profesyonel kullanıma hazır modeller sunar.
Çoklu Görünüm Tutarlılığı
Üretilen 3D modelin her açıdan tutarlı ve doğru görünmesini sağlayan gelişmiş çoklu görünüm algoritması.
Yaygın Format Desteği
GLB, OBJ ve FBX gibi yaygın 3D formatlarında dışa aktarım yaparak Blender, Unity ve Unreal ile uyumluluk sağlar.
Hakkında
TRELLIS, Microsoft Research tarafindan gelistirilen, tek bir 2D goruntuden yuksek kaliteli 3D varliklar ureten devrimci bir yapay zeka modelidir. Aralik 2024'te yayimlanan TRELLIS, goruntu-3D donusumunde cigir acan sonuclar elde etmekte ve ozellikle oyun gelistirme, urun tasarimi ve sanal gerceklik uygulamalari icin hizli prototipleme yetenekleri sunmaktadir. Model, hem hiz hem de kalite acisindan alandaki diger cozumlere kiyasla onemli avantajlar saglamaktadir.
TRELLIS'in teknik mimarisi, yapilandirilmis latent temsiller (Structured LATents) uzerine insa edilmistir. Bu yaklasim, 3D geometri, doku ve goruntuleme bilgisini yapilandirilmis bir latent uzayda kodlayarak verimli ve yuksek kaliteli uretim saglar. Model, SLAT (Structured Latent) adli ozel bir temsil formati kullanir. Egitim surecinde Objaverse ve benzeri genis olcekli 3D veri setleri kullanilmistir. Difuzyon tabanli uretim pipeline'i, goruntuden SLAT temsillerine ve oradan mesh, doku ve radiance field cikislarina dogru calisan cok asamali bir surec izler. Model, metin-3D ve goruntu-3D uretimi olmak uzere iki farkli girdi modunu desteklemektedir.
Performans acisindan TRELLIS, etkileyici sonuclar sunmaktadir. A100 GPU uzerinde goruntuden 3D uretimi yaklasik 12 saniyede tamamlanmakta olup bu, InstantMesh'in 30 saniyelik suresine kiyasla onemli bir hiz artisi saglamaktadir. GSO veri setinde 0.473 F-Score degeri elde edilmistir; bu deger, One-2-3-45'in 0.311 skoruyla karsilastirildiginda kayda deger bir iyilesmeyi temsil eder. Uretilen 3D modeller mesh, doku haritasi ve radiance field formatlarda cikti olarak sunulabilir.
Kullanim alanlari acisindan TRELLIS, oyun gelistirme pipeline'larinda asset uretimi, e-ticaret icin 3D urun gorsellistirme, mimari gorsellistirme, sanal ve artirilmis gerceklik icerik uretimi ve dijital ikiz olusturma gibi alanlarda kullanilmaktadir. Hizli uretim suresi, iteratif tasarim sureclerinde onemli zaman tasarrufu saglar. Ozellikle buyuk hacimli 3D icerik uretimi gerektiren projeler icin verimli bir cozum sunmaktadir.
TRELLIS, MIT lisansi altinda acik kaynak olarak sunulmaktadir. GitHub uzerinden model agirliklari, egitim kodu ve cikarim pipeline'i erisilebilir durumdadir. PyTorch uzerine insa edilmis olup NVIDIA GPU'larinda optimize edilmistir. Hugging Face uzerinden demo ve onceden egitilmis modeller erisilebilir durumdadir. Kullanici dostu bir Gradio arayuzu ile tarayici uzerinden 3D uretim deneyimi sunulmaktadir.
TRELLIS, tek goruntuden 3D uretimi alaninda yapilandirilmis latent temsillerin gucunu gosteren onemli bir calismadir. Wonder3D'nin alanlar arasi dikkat yaklasimine ve SPA3D'nin nokta bulutu hizalama teknigine kiyasla TRELLIS, hem hiz hem de cikti kalitesi acisindan rekabetci bir konumdadir. Microsoft Research'un guclu arastirma altyapisi, modelin teknik derinligini ve surekli gelistirme potansiyelini yansitmaktadir. Ozellikle uretim hizi ve coklu cikti formati destegi, TRELLIS'i profesyonel is akislari icin ideal bir secenek haline getirmektedir.
TRELLIS'in teknik yeniliklerine daha yakindan bakildiginda, SLAT (Structured Latent) temsil formatinin alandaki diger yaklasimlara kiyasla sundugu avantajlar belirginlesmektedir. SLAT, 3D uzayi yapilandirilmis bir voksel izgara uzerinde kodlayarak hem yerel geometrik detaylari hem de genel yapisal tutarliligi korur. Bu temsil formati, difuzyon modelinin 3D uzayda etkili bir sekilde calismasini saglar ve uretilen modellerin hem mesh kalitesini hem de doku detaylarini arttirir. Modelin coklu cikti formati destegi buyuk bir avantajdir: kullanicilar ayni uretimden mesh, Gaussian splatting ve radiance field ciktilari elde edebilir ve ihtiyaclarina uygun formati secebilir. TRELLIS ayrica kosula dayali uretimi destekleyerek metin promptlari veya referans goruntularle yonlendirilebilir. Microsoft Research'un TRELLIS uzerindeki aktif gelistirme sureci, modelin surekli iyilestirilmesi ve yeni ozellikler eklenmesi anlamina gelmektedir. Projenin GitHub'daki yuksek yildiz sayisi ve topluluk katilimi, modelin alandaki etkisinin somut bir gostergesidir.
Kullanım Senaryoları
Oyun Asset Üretimi
Oyun geliştirme sürecinde hızlı 3D asset prototipi oluşturarak tasarım iterasyonlarını hızlandırma.
E-Ticaret 3D Ürün Görselleri
Online mağazalar için ürünlerin 360 derece görüntülenebilir 3D modellerini oluşturma.
Mimari Görselleştirme
Mimari konseptlerin hızlı 3D modellemesi ve görselleştirmesi için prototip oluşturma.
Eğitim ve Simülasyon
Eğitim materyalleri ve simülasyon ortamları için hızlı 3D nesne ve sahne modelleri üretme.
Artılar ve Eksiler
Artılar
- Microsoft'un SLAT (Structured Latent) temsili ile yenilikçi 3D üretim
- Tek görselden Radiance Fields, 3D Gaussians ve mesh olarak çıktı
- 500K+ yüksek kaliteli 3D model üzerinde eğitilmiş
- CVPR 2025 Spotlight olarak kabul görmüş araştırma
- PBR materyaller, şeffaflık ve detaylı doku desteği
Eksiler
- Linux ve minimum 24GB GPU belleği gerektiriyor
- TRELLIS.2 tam kapasite için H100 GPU öneriliyor
- Kurulum ve çalıştırma teknik bilgi gerektiriyor
- Gerçek zamanlı 3D üretim için henüz yeterli hızda değil
Teknik Detaylar
Parametre
Unknown
Mimari
Structured Latent Diffusion
Eğitim Verisi
Objaverse
Lisans
MIT
Özellikler
- Text-to-3D
- Image-to-3D
- Textured meshes
- High detail
- GLB export
- Multi-view consistency
- PBR materials
Benchmark Sonuçları
| Metrik | Değer | Karşılaştırma | Kaynak |
|---|---|---|---|
| Üretim Süresi (Image-to-3D) | ~12 saniye (A100) | InstantMesh: ~30 saniye | TRELLIS Paper (arXiv:2412.01506) |
| F-Score (GSO Dataset) | 0.473 | CRM: 0.402 | TRELLIS Paper |
| Novel View PSNR | 22.8 dB | LGM: 20.5 dB | Papers With Code |
| Mesh Kalitesi (Chamfer Distance) | 0.034 | TripoSR: 0.048 | TRELLIS Paper |
Mevcut Platformlar
Sıkça Sorulan Sorular
İlgili Modeller
TripoSR
TripoSR, Stability AI ve Tripo AI tarafından ortaklaşa geliştirilen, tek giriş görsellerinden bir saniyeden kısa sürede detaylı 3D mesh'ler üreten hızlı bir ileri beslemeli 3D rekonstrüksiyon modelidir. Nesne başına dakikalar süren optimizasyon tabanlı yöntemlerin aksine, TripoSR Büyük Rekonstrüksiyon Modeli çerçevesi üzerine inşa edilmiş transformer tabanlı mimarisi sayesinde tek bir 2D fotoğraftan 3D geometriyi doğrudan tahmin eder. Model herhangi bir standart görseli girdi olarak kabul eder ve oyun motorları, 3D modelleme yazılımları ve artırılmış gerçeklik uygulamalarında kullanıma uygun dokulu 3D mesh üretir. Günlük nesneleri, mobilyaları, araçları, karakterleri ve organik şekilleri etkileyici geometrik doğruluk ve yüzey detayıyla yeniden yapılandırmada üstün performans gösterir. Mart 2024'te MIT lisansı altında yayınlanan model tamamen açık kaynaklıdır ve özel donanım gerektirmeden tüketici sınıfı GPU'larda çalışabilir. Birden fazla görselin verimli dönüşümü için toplu işleme desteği sunar ve Blender, Unity ile Unreal Engine dahil popüler 3D iş akışlarıyla sorunsuz entegre olur. Ürün fotoğraflarından hızlı 3D varlık oluşturmaya ihtiyaç duyan oyun geliştiricileri, ürün tasarımcıları ve e-ticaret ekipleri için özellikle değerlidir. Çıktı mesh'leri yapılandırılabilir çözünürlük ayarlarıyla OBJ ve GLB formatlarında dışa aktarılabilir. DINOv2 vizyon kodlayıcısı giriş görselinden zengin semantik ve yapısal özellikler çıkararak rekonstrüksiyon kalitesini artırır. TripoSR pahalı tarama ekipmanı veya manuel modelleme uzmanlığı gerektirmeden yüksek kaliteli rekonstrüksiyonu erişilebilir kılarak 3D içerik üretiminin demokratikleşmesinde önemli bir adımı temsil eder.
Meshy
Meshy, Meshy AI tarafından geliştirilen, metin açıklamalarından ve görsellerden detaylı, üretime hazır 3D modeller oluşturan tescilli bir AI destekli 3D üretim platformudur. Platform metinden 3D'ye ve görselden 3D'ye yetenekleri gelişmiş AI doku kaplama özellikleriyle birleştirerek hızlı 3D içerik üretimi için kapsamlı bir çözüm sunar. Meshy, PBR uyumlu malzemelerle dokulu 3D mesh'ler üreten transformer tabanlı bir mimari kullanır ve çıktıları ek işlem gerektirmeden Unity ve Unreal Engine gibi oyun motorlarında doğrudan kullanılabilir hale getirir. Platform yazılı açıklamalardan nesne oluşturmak için metinden 3D'ye, fotoğrafları 3D modellere dönüştürmek için görselden 3D'ye ve mevcut dokusuz mesh'lere gerçekçi malzemeler uygulamak için AI doku kaplama dahil birden fazla üretim modu sunar. Üretilen modeller uygun UV haritalama, normal haritalar ve profesyonel iş akışlarına uygun fiziksel tabanlı render malzemeleri içerir. Meshy hem web tabanlı arayüz hem de programatik erişim için API sağlayarak bireysel sanatçılar için erişilebilir ve kurumsal süreçler için ölçeklenebilir bir yapı sunar. Platform özellikle büyük hacimde 3D varlık üretmesi gereken oyun geliştiricileri, animasyon stüdyoları ve AR/VR içerik üreticileri arasında popülerdir. 2023'te piyasaya sürülen tescilli bir ticari hizmet olarak Meshy sınırlı üretimler için ücretsiz katman erişimi olan bir abonelik modeliyle çalışır. Platform çıktı kalitesini, topoloji optimizasyonunu ve doku sadakatini iyileştirmek için modellerini sürekli güncellemekte ve hızla gelişen AI 3D üretim pazarındaki diğer hizmetlerle doğrudan rekabet etmektedir.
InstantMesh
InstantMesh, Tencent tarafından geliştirilen, tek giriş görsellerinden çoklu görünüm üretimi ve seyrek görünüm rekonstrüksiyonu hattı aracılığıyla yüksek kaliteli dokulu 3D mesh'ler oluşturan ileri beslemeli bir 3D mesh üretim modelidir. Nisan 2024'te Apache 2.0 lisansı altında yayınlanan InstantMesh, tek görselden 3D rekonstrüksiyonda hem hız hem de kalite elde etmek için çoklu görünüm difüzyon modelini büyük bir rekonstrüksiyon modeliyle birleştirir. Hat önce ince ayarlı çoklu görünüm difüzyon modeli kullanarak giriş nesnesinin birden fazla tutarlı görünümünü üretir, ardından bu görünümleri üç düzlem sinirsel temsili tahmin eden transformer tabanlı bir rekonstrüksiyon ağına besler ve son olarak bu temsil dokulu bir mesh'e dönüştürülür. Bu iki aşamalı yaklaşım tek aşamalı yöntemlerden önemli ölçüde daha yüksek kaliteli sonuçlar üretirken üretim sürelerini yalnızca birkaç saniyede tutar. InstantMesh bir görsel üretim modeliyle birleştirildiğinde metinden 3D'ye iş akışlarını ve fotoğraflardan veya sanat eserlerinden doğrudan görselden 3D'ye dönüşümü destekler. Çıktı mesh'leri standart 3D yazılımlar ve oyun motorlarıyla uyumlu detaylı geometri ve doku haritaları içerir. Model karakterler, araçlar, mobilyalar ve organik şekiller dahil çok çeşitli nesne türlerini iyi geometrik sadakatle işler. Kod ve ağırlıkları GitHub ve Hugging Face üzerinde mevcut olan açık kaynak bir proje olarak InstantMesh, 3D varlık üretim hatları kuran geliştiriciler arasında popüler bir seçim haline gelmiştir. Özellikle hızlı geri dönüş ve makul kalitenin birlikte önemli olduğu oyun geliştirme, e-ticaret ürün görselleştirme ve hızlı prototipleme senaryoları için kullanışlıdır.
Shap-E
Shap-E, OpenAI tarafından geliştirilen, metin açıklamalarından veya giriş görsellerinden doğrudan örtük sinirsel temsillerin parametrelerini üreterek 3D nesneler oluşturan bir 3D üretim modelidir. Nokta bulutları üreten öncülü Point-E'nin aksine, Shap-E doğrudan render edilebilen ve 3D uygulamalarda kullanılabilen Neural Radiance Fields (NeRF) ve dokulu mesh'ler üretir. Model, önce bir kodlayıcının 3D varlıkları örtük fonksiyon parametrelerine eşlemeyi öğrendiği, ardından koşullu bir difüzyon modelinin bu parametreleri metin veya görsel girdilerden üretmeyi öğrendiği iki aşamalı bir eğitim yaklaşımı kullanır. Bu mimari modern bir GPU'da yalnızca birkaç saniyede hızlı üretim süreleri sağlar. Shap-E hem metinden 3D'ye hem de görselden 3D'ye iş akışlarını destekleyerek farklı yaratıcı süreçler için çok yönlülük sunar. Üretilen 3D nesneler renk ve doku bilgisi içerir, yalnızca geometri üreten yaklaşımlara kıyasla daha eksiksiz sonuçlar verir. Mayıs 2023'te MIT lisansı altında yayınlanan model, GitHub üzerinde önceden eğitilmiş ağırlıklarla tamamen açık kaynaklıdır. Çıktı kalitesi nesne başına dakikalar süren DreamFusion gibi ağır optimizasyon yöntemleriyle eşleşmese de Shap-E hızlı prototipleme ve konsept keşfi için hız ve kalite arasında pratik bir denge sunar. Model özellikle metin komutlarından hızlı 3D görselleştirmelere ihtiyaç duyan oyun geliştiricileri, 3D sanatçılar ve araştırmacılar için kullanışlıdır. OpenAI'ın açık kaynak 3D AI araştırmasına katkılarından biri olarak Shap-E, hızlı ileri beslemeli 3D üretim yaklaşımlarındaki sonraki çalışmaları etkilemiştir.