MotionDiffuse
Mingyuan Zhang et al.|200M MotionDiffuse, Mingyuan Zhang ve ekibi tarafından geliştirilen ve doğal dil metin açıklamalarından gerçekçi 3D insan hareket dizileri üreten öncü bir difüzyon modelidir. Model, 'bir kişi ileri yürüyor ve el sallıyor' veya 'birisi arka takla atıyor' gibi metin promptları alarak doğal vücut dinamikleri ve fiziksel tutarlılıkla karşılık gelen 3D iskelet tabanlı animasyon verisi üretir. Yaklaşık 200 milyon parametreli difüzyon mimarisi üzerine inşa edilen MotionDiffuse, insan hareketinin doğal çeşitliliğini yakalayan olasılıksal hareket üretimi sunarak aynı metin girdisi için birden fazla makul hareket varyasyonu oluşturur. Model, hem tek eylem hem de ardışık çoklu eylem üretimini destekleyerek farklı aktiviteler arasında akıcı geçişler yapan karmaşık hareket dizilerinin oluşturulmasını sağlar. MotionDiffuse, HumanML3D ve KIT-ML dahil büyük ölçekli hareket yakalama veri setleri üzerinde eğitilmiştir ve semantik açıklamaları tüm vücut iskeleti boyunca fiziksel olarak gerçekçi eklem rotasyonlarına ve ötelemelerine eşlemeyi öğrenmiştir. Üretilen hareket verileri, Blender, Maya ve Unity dahil 3D animasyon yazılımlarıyla uyumlu standart formatlarda dışa aktarılabilir. MIT lisansı altında yayınlanan model, hem araştırma hem de ticari uygulamalar için tamamen açık kaynaklıdır. Temel kullanım alanları arasında oyunlar ve filmler için karakter animasyonları üretme, poz tahmin modelleri için eğitim verisi oluşturma, koreografi prototipleme, VR ve AR avatar hareketleri üretme ve geleneksel olarak yetenekli hareket yakalama sanatçıları gerektiren tekrarlayan animasyon görevlerini otomatikleştirme yer alır.