MotionDiffuse

MotionDiffuse, metin açıklamalarından gerçekçi 3D insan hareketleri üreten bir difüzyon modelidir. "Bir kişi mutlu bir şekilde dans ediyor" veya "birisi sandalyeye oturup kollarını kavuşturuyor" gibi doğal dil açıklamalarından, 3D iskelet bazlı hareket verileri oluşturur. Transformer tabanlı bir gürültü giderme ağı kullanarak hareket dizileri oluşturan model, CLIP metin kodlayıcısı ile doğal dil girdilerini anlayarak bunları kinematik hareket verilerine dönüştürür. Metin tabanlı hareket üretimi alanında öncü çalışmalardan biri olarak kabul edilir.

Model, difüzyon sürecini hareket üretimi için uyarlamış ve vücut parçaları arasındaki fiziksel kısıtlamaları öğrenmiştir. Üretilen hareketler anatomik olarak tutarlıdır—eklemler doğal sınırları aşmaz, yer çekimi etkisi korunur ve hareket geçişleri akıcıdır. Bu fiziksel tutarlılık, oyun karakteri animasyonu, film pre-vizualizasyonu, sanal gerçeklik deneyimleri ve robotik hareket planlaması gibi uygulamalar için büyük değer taşır. Üretilen hareketlerde kayma (foot sliding) ve titreme (jitter) gibi yaygın sorunlar minimize edilmiştir ve hareket kalitesi profesyonel motion capture verilerine yaklaşmaktadır.

MotionDiffuse'un dikkat çekici özelliklerinden biri, vücut parçalarına özgü (part-aware) kontrol sunmasıdır. Kullanıcılar, üst vücut ve alt vücut için ayrı talimatlar verebilir. Örneğin "üst vücut el sallıyor, alt vücut yürüyor" gibi karmaşık hareketler tanımlanabilir. Bu ince kontrol düzeyi, animatörlerin iş akışını önemli ölçüde hızlandırır ve manuel animasyon süresini saatlerden dakikalara düşürebilir. Belirli eklemlerin hareketlerini bağımsız olarak yönetebilme kapasitesi, modeli rakiplerinden ayıran temel özelliklerden biridir. Koreografi tasarımında farklı vücut bölgelerine farklı hareket desenleri atanabilir.

HumanML3D ve KIT-ML veri setleri üzerinde eğitilen model, FID (Fréchet Inception Distance), R-precision ve multimodal mesafe metrikleri açısından güçlü sonuçlar elde eder. Zaman aralığı interpolasyonu ile uzun süreli, tutarlı hareket dizileri oluşturulabilir. Bu özellik, koreografi tasarımı ve sinematik sekans planlaması gibi uzun hareket dizileri gerektiren senaryolarda son derece yararlıdır. Hareket çeşitliliği ve metin-hareket uyumu açısından hem nitelik hem de nicelik metrikleri güçlü performans gösterir.

SMPL vücut modeli formatında çıktı üreten MotionDiffuse, Blender, Unity ve Unreal Engine gibi popüler 3D araçlarla uyumludur. BVH ve FBX formatlarına dönüştürülerek endüstri standardı iş akışlarına entegre edilebilir. Bu uyumluluk, modelin ürettiği hareketlerin doğrudan oyun motorları ve animasyon yazılımlarında kullanılmasını mümkün kılar. Retargeting araçları ile farklı karakter iskeletlerine uyarlanabilir.

Açık kaynak olarak GitHub üzerinden erişilebilen model, PyTorch tabanlıdır ve GPU üzerinde verimli çıkarım yapar. Oyun geliştirme, animasyon prodüksiyonu, sanal gerçeklik, artırılmış gerçeklik, dijital ikiz uygulamaları ve hareket araştırması gibi alanlarda kullanılabilir. Özellikle indie oyun geliştiricileri için, profesyonel motion capture stüdyosu gerektirmeden karakter animasyonları oluşturma imkanı sunması büyük bir avantajdır. Film endüstrisinde pre-vizualizasyon süreçlerinde yönetmenler, sahne koreografisini hızla prototiplemek için MotionDiffuse'u kullanabilir.

Araştırma topluluğu tarafından sürekli geliştirilen model, hareket üretimi alanındaki en etkili ve en çok atıf alan çalışmalardan biri olarak kabul görmektedir. MDM, MLD ve T2M-GPT gibi birçok takip çalışmasına ilham veren MotionDiffuse, metin tabanlı hareket üretimi paradigmasının temellerini oluşturmuştur. Modelin gelecek versiyonlarında müzikle senkronize dans üretimi, çok kişili etkileşimli hareket sentezi ve daha uzun süreli tutarlı hareket dizileri gibi gelişmiş yetenekler araştırılmaktadır.