Metinden 3D Modelleri
Metinden 3D için en iyi AI modellerini keşfet
TripoSR
TripoSR, Stability AI ve Tripo AI tarafından ortaklaşa geliştirilen, tek giriş görsellerinden bir saniyeden kısa sürede detaylı 3D mesh'ler üreten hızlı bir ileri beslemeli 3D rekonstrüksiyon modelidir. Nesne başına dakikalar süren optimizasyon tabanlı yöntemlerin aksine, TripoSR Büyük Rekonstrüksiyon Modeli çerçevesi üzerine inşa edilmiş transformer tabanlı mimarisi sayesinde tek bir 2D fotoğraftan 3D geometriyi doğrudan tahmin eder. Model herhangi bir standart görseli girdi olarak kabul eder ve oyun motorları, 3D modelleme yazılımları ve artırılmış gerçeklik uygulamalarında kullanıma uygun dokulu 3D mesh üretir. Günlük nesneleri, mobilyaları, araçları, karakterleri ve organik şekilleri etkileyici geometrik doğruluk ve yüzey detayıyla yeniden yapılandırmada üstün performans gösterir. Mart 2024'te MIT lisansı altında yayınlanan model tamamen açık kaynaklıdır ve özel donanım gerektirmeden tüketici sınıfı GPU'larda çalışabilir. Birden fazla görselin verimli dönüşümü için toplu işleme desteği sunar ve Blender, Unity ile Unreal Engine dahil popüler 3D iş akışlarıyla sorunsuz entegre olur. Ürün fotoğraflarından hızlı 3D varlık oluşturmaya ihtiyaç duyan oyun geliştiricileri, ürün tasarımcıları ve e-ticaret ekipleri için özellikle değerlidir. Çıktı mesh'leri yapılandırılabilir çözünürlük ayarlarıyla OBJ ve GLB formatlarında dışa aktarılabilir. DINOv2 vizyon kodlayıcısı giriş görselinden zengin semantik ve yapısal özellikler çıkararak rekonstrüksiyon kalitesini artırır. TripoSR pahalı tarama ekipmanı veya manuel modelleme uzmanlığı gerektirmeden yüksek kaliteli rekonstrüksiyonu erişilebilir kılarak 3D içerik üretiminin demokratikleşmesinde önemli bir adımı temsil eder.
TRELLIS
TRELLIS, Microsoft Research tarafından geliştirilen ve yeni bir Structured Latent Diffusion mimarisi kullanarak metin açıklamalarından veya tek 2D görüntülerden yüksek kaliteli 3D varlıklar üreten devrim niteliğinde bir AI modelidir. Aralık 2024'te yayınlanan TRELLIS, geometri, doku ve malzeme özelliklerini ayrı aşamalar olarak ele almak yerine eşzamanlı olarak kodlayan yapılandırılmış bir gizli uzayda çalışarak 3D içerik üretiminde temel bir ilerlemeyi temsil eder. Model, detaylı PBR (Fiziksel Tabanlı Render) dokularıyla eksiksiz 3D mesh'ler üretir ve kapsamlı manuel son işleme olmadan oyun motorları, 3D render boru hatları ve AR/VR uygulamalarında doğrudan kullanımı mümkün kılar. TRELLIS, kullanıcıların istenen nesneleri doğal dilde tanımladığı metinden 3D üretimini ve tek bir fotoğrafın kapalı bakış açılarından çıkarılan geometriyle tam 3D modele dönüştürüldüğü görüntüden 3D rekonstrüksiyonu destekler. Yapılandırılmış gizli temsil, geometrik tutarlılığı sağlar ve havada kalan geometri, doku dikişleri ve gerçekçi olmayan oranlar gibi diğer 3D üretim yaklaşımlarında görülen yaygın artefaktları önler. TRELLIS, UV haritalı dokularla GLB ve OBJ dahil standart 3D formatlarında çıktı üretir ve Blender, Unity, Unreal Engine gibi profesyonel araçlarla entegrasyonu kolaylaştırır. MIT lisansı altında tamamen açık kaynaklıdır. Temel uygulamalar arasında oyun geliştirme için hızlı 3D varlık prototipleme, mimari görselleştirme, ürün tasarım modelleri ve metaverse varlık üretimi yer alır.
Meshy
Meshy, Meshy AI tarafından geliştirilen, metin açıklamalarından ve görsellerden detaylı, üretime hazır 3D modeller oluşturan tescilli bir AI destekli 3D üretim platformudur. Platform metinden 3D'ye ve görselden 3D'ye yetenekleri gelişmiş AI doku kaplama özellikleriyle birleştirerek hızlı 3D içerik üretimi için kapsamlı bir çözüm sunar. Meshy, PBR uyumlu malzemelerle dokulu 3D mesh'ler üreten transformer tabanlı bir mimari kullanır ve çıktıları ek işlem gerektirmeden Unity ve Unreal Engine gibi oyun motorlarında doğrudan kullanılabilir hale getirir. Platform yazılı açıklamalardan nesne oluşturmak için metinden 3D'ye, fotoğrafları 3D modellere dönüştürmek için görselden 3D'ye ve mevcut dokusuz mesh'lere gerçekçi malzemeler uygulamak için AI doku kaplama dahil birden fazla üretim modu sunar. Üretilen modeller uygun UV haritalama, normal haritalar ve profesyonel iş akışlarına uygun fiziksel tabanlı render malzemeleri içerir. Meshy hem web tabanlı arayüz hem de programatik erişim için API sağlayarak bireysel sanatçılar için erişilebilir ve kurumsal süreçler için ölçeklenebilir bir yapı sunar. Platform özellikle büyük hacimde 3D varlık üretmesi gereken oyun geliştiricileri, animasyon stüdyoları ve AR/VR içerik üreticileri arasında popülerdir. 2023'te piyasaya sürülen tescilli bir ticari hizmet olarak Meshy sınırlı üretimler için ücretsiz katman erişimi olan bir abonelik modeliyle çalışır. Platform çıktı kalitesini, topoloji optimizasyonunu ve doku sadakatini iyileştirmek için modellerini sürekli güncellemekte ve hızla gelişen AI 3D üretim pazarındaki diğer hizmetlerle doğrudan rekabet etmektedir.
Meshy v4
Meshy v4, Meshy AI'ın metin açıklamalarından ve görsellerden dakikalar içinde detaylı, dokulu 3D modeller oluşturabilen 3D model üretim platformunun dördüncü neslidir. 2024'ün sonlarında yayınlanan Meshy v4, önceki sürümlere göre mesh kalitesi, doku sadakati ve topoloji optimizasyonunda büyük bir yükseltmeyi temsil eder. Model, oyun motorları, animasyon boru hatları ve 3D baskı için uygun temiz topolojiye sahip üretime hazır 3D varlıklar üretir. Hem metinden 3D'ye hem de görselden 3D'ye üretim iş akışlarını destekler. Platform, difüz, normal, pürüzlülük ve metalik haritalar dahil PBR malzemelerle dokulu mesh'ler üreterek çıktıları Unity, Unreal Engine ve Blender ile hemen uyumlu hale getirir. GLB, OBJ, FBX ve STL dahil birden fazla formatta dışa aktarım destekler. Meshy v4, geliştirilmiş detay koruma, ince yapılar ve karmaşık geometrilerin daha iyi işlenmesi ve daha doğru renk ve doku eşleme özelliklerine sahiptir. Platform oyun geliştiricileri, 3D sanatçılar, mimarlar ve ürün tasarımcılarına hizmet eder. Freemium model sınırlı ücretsiz üretim sunar.
InstantMesh
InstantMesh, Tencent tarafından geliştirilen, tek giriş görsellerinden çoklu görünüm üretimi ve seyrek görünüm rekonstrüksiyonu hattı aracılığıyla yüksek kaliteli dokulu 3D mesh'ler oluşturan ileri beslemeli bir 3D mesh üretim modelidir. Nisan 2024'te Apache 2.0 lisansı altında yayınlanan InstantMesh, tek görselden 3D rekonstrüksiyonda hem hız hem de kalite elde etmek için çoklu görünüm difüzyon modelini büyük bir rekonstrüksiyon modeliyle birleştirir. Hat önce ince ayarlı çoklu görünüm difüzyon modeli kullanarak giriş nesnesinin birden fazla tutarlı görünümünü üretir, ardından bu görünümleri üç düzlem sinirsel temsili tahmin eden transformer tabanlı bir rekonstrüksiyon ağına besler ve son olarak bu temsil dokulu bir mesh'e dönüştürülür. Bu iki aşamalı yaklaşım tek aşamalı yöntemlerden önemli ölçüde daha yüksek kaliteli sonuçlar üretirken üretim sürelerini yalnızca birkaç saniyede tutar. InstantMesh bir görsel üretim modeliyle birleştirildiğinde metinden 3D'ye iş akışlarını ve fotoğraflardan veya sanat eserlerinden doğrudan görselden 3D'ye dönüşümü destekler. Çıktı mesh'leri standart 3D yazılımlar ve oyun motorlarıyla uyumlu detaylı geometri ve doku haritaları içerir. Model karakterler, araçlar, mobilyalar ve organik şekiller dahil çok çeşitli nesne türlerini iyi geometrik sadakatle işler. Kod ve ağırlıkları GitHub ve Hugging Face üzerinde mevcut olan açık kaynak bir proje olarak InstantMesh, 3D varlık üretim hatları kuran geliştiriciler arasında popüler bir seçim haline gelmiştir. Özellikle hızlı geri dönüş ve makul kalitenin birlikte önemli olduğu oyun geliştirme, e-ticaret ürün görselleştirme ve hızlı prototipleme senaryoları için kullanışlıdır.
Tripo AI v2
Tripo AI v2, Stability AI ile birlikte TripoSR'yi geliştiren Tripo AI'ın ikinci nesil 3D model üretim platformudur. 2024'te yayınlanan Tripo v2, TripoSR'nin hız ve erişilebilirlik temellerini alarak önemli kalite iyileştirmeleri, animasyon yetenekleri ve üretime yönelik özellikler ekler. Model, geliştirilmiş geometrik doğruluk, daha iyi doku kalitesi ve rigged ve animasyonlu çıktı desteğiyle metin açıklamalarından ve tek görsellerden detaylı 3D mesh'ler üretir. Tripo v2'nin öne çıkan özelliği, otomatik iskelet bağlama ile rigged 3D karakterler üreterek animasyon ve oyun geliştirme boru hatlarında anında kullanımı mümkün kılmasıdır. PBR hazır dokulu mesh'ler GLB, FBX, OBJ ve USDZ formatlarında dışa aktarılabilir. Temel modeller için 10 saniyenin altında, animasyon rigging ile daha yüksek kaliteli çıktılar için 1-2 dakikada üretim hızı sunar. Platform, oyun geliştiricileri, 3D sanatçılar, AR/VR içerik üreticileri ve ürün tasarımcılarına hizmet eder.
Shap-E
Shap-E, OpenAI tarafından geliştirilen, metin açıklamalarından veya giriş görsellerinden doğrudan örtük sinirsel temsillerin parametrelerini üreterek 3D nesneler oluşturan bir 3D üretim modelidir. Nokta bulutları üreten öncülü Point-E'nin aksine, Shap-E doğrudan render edilebilen ve 3D uygulamalarda kullanılabilen Neural Radiance Fields (NeRF) ve dokulu mesh'ler üretir. Model, önce bir kodlayıcının 3D varlıkları örtük fonksiyon parametrelerine eşlemeyi öğrendiği, ardından koşullu bir difüzyon modelinin bu parametreleri metin veya görsel girdilerden üretmeyi öğrendiği iki aşamalı bir eğitim yaklaşımı kullanır. Bu mimari modern bir GPU'da yalnızca birkaç saniyede hızlı üretim süreleri sağlar. Shap-E hem metinden 3D'ye hem de görselden 3D'ye iş akışlarını destekleyerek farklı yaratıcı süreçler için çok yönlülük sunar. Üretilen 3D nesneler renk ve doku bilgisi içerir, yalnızca geometri üreten yaklaşımlara kıyasla daha eksiksiz sonuçlar verir. Mayıs 2023'te MIT lisansı altında yayınlanan model, GitHub üzerinde önceden eğitilmiş ağırlıklarla tamamen açık kaynaklıdır. Çıktı kalitesi nesne başına dakikalar süren DreamFusion gibi ağır optimizasyon yöntemleriyle eşleşmese de Shap-E hızlı prototipleme ve konsept keşfi için hız ve kalite arasında pratik bir denge sunar. Model özellikle metin komutlarından hızlı 3D görselleştirmelere ihtiyaç duyan oyun geliştiricileri, 3D sanatçılar ve araştırmacılar için kullanışlıdır. OpenAI'ın açık kaynak 3D AI araştırmasına katkılarından biri olarak Shap-E, hızlı ileri beslemeli 3D üretim yaklaşımlarındaki sonraki çalışmaları etkilemiştir.
LGM
LGM (Large Gaussian Model), Pekin Üniversitesi araştırmacıları tarafından geliştirilen, tek görsellerden veya metin komutlarından yaklaşık beş saniyede 3D Gaussian Splatting temsili kullanarak yüksek kaliteli 3D nesneler üreten bir 3D üretim modelidir. 2024'te MIT lisansı altında yayınlanan LGM, çoklu görünüm görsel üretimini Gaussian tabanlı 3D rekonstrüksiyonla uçtan uca bir çerçevede birleştirir. Model önce çoklu görünüm difüzyon omurgası kullanarak hedef nesnenin birden fazla tutarlı görünümünü üretir, ardından U-Net tabanlı bir Gaussian kod çözücü bu görünümlerden tam 3D temsili oluşturmak için 3D Gaussian parametrelerini tahmin eder. Mesh tabanlı yaklaşımların aksine Gaussian Splatting çıktısı doğru aydınlatma, şeffaflık ve yansıtıcı yüzey efektleri dahil yüksek görsel kaliteyle gerçek zamanlı render imkanı sağlar. LGM üretilen görünümler için 512 piksele kadar çözünürlük destekler ve temiz geometri ile canlı dokularla detaylı 3D içerik üretir. Model hem fotoğraflardan görselden 3D'ye dönüşüm hem de ön uç olarak metinden görsele modeliyle eşleştirildiğinde metinden 3D'ye üretim için kullanılabilir. Kod ve önceden eğitilmiş ağırlıkları GitHub üzerinde mevcut olan açık kaynak bir proje olarak LGM hem akademik çalışma hem de pratik uygulamalar için araştırmacılara ve geliştiricilere açıktır. Model özellikle etkileşimli 3D görselleştirme, sanal gerçeklik içeriği, oyun varlığı prototipleme ve üretilen 3D içeriğin gerçek zamanlı render edilmesinin gerektiği senaryolar için uygundur. LGM Gaussian Splatting'in AI üretimli 3D içerik için geleneksel mesh temsillerine cazip bir alternatif sunduğunu göstermektedir.
Rodin Gen-1
Rodin Gen-1, Microsoft Research tarafından geliştirilen, metin açıklamalarından ve görsellerden detaylı, yüksek kaliteli 3D modeller ve dijital avatarlar oluşturan bir 3D üretim modelidir. Model, Microsoft'un bilgisayar görüşü ve üretken AI'daki kapsamlı araştırmalarından yararlanarak AI destekli 3D içerik üretimi alanına önemli bir girişi temsil eder. Rodin Gen-1, öğrenilmiş bir gizli uzayda çalışan gürültü giderme işlemi aracılığıyla 3D temsiller üreten difüzyon tabanlı bir mimari kullanır ve ince geometrik detaylar ile gerçekçi yüzey dokuları içeren sonuçlar üretir. Model özellikle metin açıklamalarından doğru yüz hatları, saç, giysi ve aksesuarlarla 3D dijital avatarlar üretmede uzmanlaşmıştır ve bu da onu oyun, sanal gerçeklik ve metaverse uygulamaları için son derece ilgili kılar. Avatarların ötesinde Rodin Gen-1 farklı kategorilerde tutarlı kaliteyle genel 3D nesneler ve sahneler de üretebilir. Üretim süreci animasyon ve rigging iş akışlarına uygun düzgün topolojiye sahip dokulu mesh'ler üretir. Microsoft Rodin Gen-1'i bir araştırma katkısı olarak konumlandırmış ve akademik kullanıma izin veren ancak ticari dağıtımı kısıtlayan salt araştırma lisansı altında yayınlamıştır. Model Microsoft'un daha geniş 3D AI araştırma portföyü üzerine inşa edilmiştir ve büyük ölçekli üretken modellerin 3D içerik üretimine nasıl etkili bir şekilde uygulanabileceğini göstermektedir. Rodin Gen-1 özellikle avatar üretim kalitesiyle dikkat çeker ve giriş olarak yalnızca bir metin komutu gerektirirken manuel olarak oluşturulmuş 3D karakterlerin sadakatine yaklaşan sonuçlar elde ederek profesyonel 3D karakter oluşturma için geleneksel olarak gereken süreyi ve uzmanlığı önemli ölçüde azaltır.
OpenLRM
OpenLRM, Zexiang Xu ve işbirlikçileri tarafından geliştirilen, tek görselden 3D rekonstrüksiyon için Büyük Rekonstrüksiyon Modeli mimarisinin açık kaynak bir uygulamasıdır. Proje, tek giriş görsellerinden ileri beslemeli bir şekilde 3D temsiller tahmin etmek için transformer tabanlı mimari kullanan LRM yaklaşımının tamamen açık ve tekrarlanabilir bir uygulamasını sunar. OpenLRM bir giriş görselini DINOv2 gibi önceden eğitilmiş bir vizyon kodlayıcı aracılığıyla işler, ardından elde edilen özellikleri üç düzlem tabanlı sinirsel ışıma alanı temsili üreten bir transformer kod çözücüye besler ve bu temsil yeni bakış açılarından render edilebilir veya dokulu bir 3D mesh'e dönüştürülebilir. Tüm rekonstrüksiyon modern bir GPU'da yalnızca birkaç saniye sürer ve bu da onu etkileşimli uygulamalar ve toplu işleme iş akışları için pratik kılar. Aralık 2023'te Apache 2.0 lisansı altında yayınlanan OpenLRM, araştırmacıların inceleyebileceği, değiştirebileceği ve üzerine inşa edebileceği erişilebilir bir referans uygulama sağlayarak 3D AI araştırma topluluğundaki kritik bir boşluğu doldurur. Model çeşitli çıktı formatlarını destekler ve oyun geliştirmeden e-ticaret ürün görselleştirmesine kadar uzanan uygulamalar için mevcut 3D süreçlere entegre edilebilir. OpenLRM mobilya, araçlar, karakterler ve günlük eşyalar dahil çeşitli nesne kategorilerini makul geometrik sadakatle işler. Önceden eğitilmiş model ağırlıkları anında kullanım için Hugging Face üzerinde mevcuttur. İleri beslemeli 3D rekonstrüksiyondaki temel açık kaynak projelerden biri olarak OpenLRM, hızla gelişen tek görselden 3D üretim alanındaki birçok alt projeyi ve araştırma çalışmasını doğrudan etkilemiş ve mümkün kılmıştır.
Point-E
Point-E, OpenAI tarafından geliştirilen, metin açıklamalarından iki aşamalı kademeli bir yaklaşımla renkli 3D nokta bulutları üreten bir 3D üretim sistemidir. Aralık 2022'de yayınlanan model, büyük bir AI laboratuvarından çıkan ilk halka açık text-to-3D modellerinden biri olmuştur. Sistem iki aşamada çalışır: önce metin koşullu DALL-E tabanlı bir görsel üretim modeli tanımlanan nesnenin sentetik bir görünümünü oluşturur, ardından ikinci bir difüzyon modeli bu görsele koşullu olarak 3D nokta bulutu üretir. Bu kademeli tasarım tek bir GPU'da yalnızca bir iki dakikada sonuç üretir ve saatlerce işlem gerektiren DreamFusion gibi optimizasyon tabanlı yöntemlerden çok daha hızlıdır. Üretilen nokta bulutları nesnelerin 3D şeklini ve görünümünü temsil eden binlerce renkli noktadan oluşur. Nokta bulutları üretim amaçlı 3D uygulamalar için mesh'ler kadar doğrudan kullanılabilir olmasa da Poisson yüzey rekonstrüksiyonu gibi standart algoritmalarla mesh'lere dönüştürülebilir. Point-E hayvanlar, araçlar, mobilyalar ve günlük eşyalar dahil çok çeşitli nesnelerin üretimini destekler. Model MIT lisansı altında tamamen açık kaynaklıdır ve kod ile önceden eğitilmiş ağırlıklar GitHub üzerinde mevcuttur. Hızlı metinden 3D'ye üretimde öncü bir katkı olarak Point-E, kaliteden ödün vererek dramatik hız artışı sağlamanın uygulanabilir bir yaklaşım olduğunu göstermiş ve Shap-E gibi sonraki modellerin gelişimini doğrudan etkilemiştir. Sistem 3D üretim hatlarını araştıran akademisyenler ve üretim kalitesinden ziyade hızın önemli olduğu hızlı konsept görselleştirme senaryoları için değerini korumaktadır.