3D Sanatçılar İçin AI Modelleri
Metin veya görsellerden 3D modeller oluşturmak artık dakikalar sürüyor. Meshy, Tripo AI, Luma Genie, Spline AI ve Kaedim gibi araçlarla metinden 3D model üretebilir; Point-E, Shap-E ve TRELLIS gibi açık kaynak modellerle kendi pipeline'ınızı kurabilirsiniz. Oyun geliştiriciler, 3D sanatçılar, mimari tasarımcılar ve AR/VR içerik üreticileri için hazırlanan bu koleksiyon; FBX, OBJ, GLB formatlarında dışa aktarım destekleyen araçları ve otomatik doku oluşturma yeteneklerini kapsamlı şekilde sunar.
Araçlar
Modeller
Point-E
Point-E, OpenAI tarafından geliştirilen, metin açıklamalarından iki aşamalı kademeli bir yaklaşımla renkli 3D nokta bulutları üreten bir 3D üretim sistemidir. Aralık 2022'de yayınlanan model, büyük bir AI laboratuvarından çıkan ilk halka açık text-to-3D modellerinden biri olmuştur. Sistem iki aşamada çalışır: önce metin koşullu DALL-E tabanlı bir görsel üretim modeli tanımlanan nesnenin sentetik bir görünümünü oluşturur, ardından ikinci bir difüzyon modeli bu görsele koşullu olarak 3D nokta bulutu üretir. Bu kademeli tasarım tek bir GPU'da yalnızca bir iki dakikada sonuç üretir ve saatlerce işlem gerektiren DreamFusion gibi optimizasyon tabanlı yöntemlerden çok daha hızlıdır. Üretilen nokta bulutları nesnelerin 3D şeklini ve görünümünü temsil eden binlerce renkli noktadan oluşur. Nokta bulutları üretim amaçlı 3D uygulamalar için mesh'ler kadar doğrudan kullanılabilir olmasa da Poisson yüzey rekonstrüksiyonu gibi standart algoritmalarla mesh'lere dönüştürülebilir. Point-E hayvanlar, araçlar, mobilyalar ve günlük eşyalar dahil çok çeşitli nesnelerin üretimini destekler. Model MIT lisansı altında tamamen açık kaynaklıdır ve kod ile önceden eğitilmiş ağırlıklar GitHub üzerinde mevcuttur. Hızlı metinden 3D'ye üretimde öncü bir katkı olarak Point-E, kaliteden ödün vererek dramatik hız artışı sağlamanın uygulanabilir bir yaklaşım olduğunu göstermiş ve Shap-E gibi sonraki modellerin gelişimini doğrudan etkilemiştir. Sistem 3D üretim hatlarını araştıran akademisyenler ve üretim kalitesinden ziyade hızın önemli olduğu hızlı konsept görselleştirme senaryoları için değerini korumaktadır.
Shap-E
Shap-E, OpenAI tarafından geliştirilen, metin açıklamalarından veya giriş görsellerinden doğrudan örtük sinirsel temsillerin parametrelerini üreterek 3D nesneler oluşturan bir 3D üretim modelidir. Nokta bulutları üreten öncülü Point-E'nin aksine, Shap-E doğrudan render edilebilen ve 3D uygulamalarda kullanılabilen Neural Radiance Fields (NeRF) ve dokulu mesh'ler üretir. Model, önce bir kodlayıcının 3D varlıkları örtük fonksiyon parametrelerine eşlemeyi öğrendiği, ardından koşullu bir difüzyon modelinin bu parametreleri metin veya görsel girdilerden üretmeyi öğrendiği iki aşamalı bir eğitim yaklaşımı kullanır. Bu mimari modern bir GPU'da yalnızca birkaç saniyede hızlı üretim süreleri sağlar. Shap-E hem metinden 3D'ye hem de görselden 3D'ye iş akışlarını destekleyerek farklı yaratıcı süreçler için çok yönlülük sunar. Üretilen 3D nesneler renk ve doku bilgisi içerir, yalnızca geometri üreten yaklaşımlara kıyasla daha eksiksiz sonuçlar verir. Mayıs 2023'te MIT lisansı altında yayınlanan model, GitHub üzerinde önceden eğitilmiş ağırlıklarla tamamen açık kaynaklıdır. Çıktı kalitesi nesne başına dakikalar süren DreamFusion gibi ağır optimizasyon yöntemleriyle eşleşmese de Shap-E hızlı prototipleme ve konsept keşfi için hız ve kalite arasında pratik bir denge sunar. Model özellikle metin komutlarından hızlı 3D görselleştirmelere ihtiyaç duyan oyun geliştiricileri, 3D sanatçılar ve araştırmacılar için kullanışlıdır. OpenAI'ın açık kaynak 3D AI araştırmasına katkılarından biri olarak Shap-E, hızlı ileri beslemeli 3D üretim yaklaşımlarındaki sonraki çalışmaları etkilemiştir.
TRELLIS
TRELLIS, Microsoft Research tarafından geliştirilen ve yeni bir Structured Latent Diffusion mimarisi kullanarak metin açıklamalarından veya tek 2D görüntülerden yüksek kaliteli 3D varlıklar üreten devrim niteliğinde bir AI modelidir. Aralık 2024'te yayınlanan TRELLIS, geometri, doku ve malzeme özelliklerini ayrı aşamalar olarak ele almak yerine eşzamanlı olarak kodlayan yapılandırılmış bir gizli uzayda çalışarak 3D içerik üretiminde temel bir ilerlemeyi temsil eder. Model, detaylı PBR (Fiziksel Tabanlı Render) dokularıyla eksiksiz 3D mesh'ler üretir ve kapsamlı manuel son işleme olmadan oyun motorları, 3D render boru hatları ve AR/VR uygulamalarında doğrudan kullanımı mümkün kılar. TRELLIS, kullanıcıların istenen nesneleri doğal dilde tanımladığı metinden 3D üretimini ve tek bir fotoğrafın kapalı bakış açılarından çıkarılan geometriyle tam 3D modele dönüştürüldüğü görüntüden 3D rekonstrüksiyonu destekler. Yapılandırılmış gizli temsil, geometrik tutarlılığı sağlar ve havada kalan geometri, doku dikişleri ve gerçekçi olmayan oranlar gibi diğer 3D üretim yaklaşımlarında görülen yaygın artefaktları önler. TRELLIS, UV haritalı dokularla GLB ve OBJ dahil standart 3D formatlarında çıktı üretir ve Blender, Unity, Unreal Engine gibi profesyonel araçlarla entegrasyonu kolaylaştırır. MIT lisansı altında tamamen açık kaynaklıdır. Temel uygulamalar arasında oyun geliştirme için hızlı 3D varlık prototipleme, mimari görselleştirme, ürün tasarım modelleri ve metaverse varlık üretimi yer alır.