Open-Sora

A

AnimateDiff

Yuwei Guo|N/A

AnimateDiff, Yuwei Guo tarafından geliştirilen ve mevcut mimariye öğrenilebilir zamansal dikkat katmanları ekleyerek herhangi bir kişiselleştirilmiş text-to-image difüzyon modelini video üreticisine dönüştüren bir hareket modülü çerçevesidir. Temmuz 2023'te yayınlanan AnimateDiff, hareket öğrenimini görsel görünüm öğreniminden ayırarak video üretimine çığır açıcı bir yaklaşım getirmiş ve kullanıcıların ince ayarlanmış Stable Diffusion modellerinin ve LoRA adaptasyonlarının geniş ekosistemini yeniden eğitim olmadan video oluşturmak için kullanmasına olanak tanımıştır. Temel yenilik, video verilerinden genel hareket kalıplarını öğrenen ve herhangi bir Stable Diffusion kontrol noktasına eklenerek o kontrol noktasının belirli görsel stilini ve kalitesini korurken çıktılarını canlandırabilen tak-çıkar bir hareket modülüdür. Hareket modülü, kareler arası öz dikkat içeren zamansal transformer blokları içerir ve nesnelerin doğal hareket ettiği ve sahne dinamiklerinin tutarlı kaldığı zamansal olarak tutarlı dizilerin üretilmesini sağlar. AnimateDiff, her mimari için optimize edilmiş farklı hareket modülü sürümleriyle hem SD 1.5 hem de SDXL temel modellerini destekler. Çerçeve, özelleştirilebilir kare sayıları, kare hızları ve hareket yoğunlukları ile animasyonlu GIF'ler ve kısa video döngüleri üretmeyi sağlar. Kullanıcılar AnimateDiff'i poz rehberli animasyon için ControlNet, referans tabanlı hareket için IP-Adapter ve stile özgü video üretimi için çeşitli LoRA modelleriyle birleştirebilir. Yaygın uygulamalar arasında animasyonlu sanat eserleri oluşturma, sosyal medya içeriği, oyun varlık animasyonu, ürün görselleştirme ve yaratıcı hikaye anlatımı dizileri yer alır. Apache 2.0 lisansı altında sunulan AnimateDiff, Hugging Face, Replicate ve fal.ai üzerinde erişilebilir olup ComfyUI iş akışları ve Automatic1111 uzantıları aracılığıyla kapsamlı topluluk desteğine sahiptir. Çerçeve, yaratıcıların emsalsiz esneklik ve kontrolle stilize animasyonlu içerik üretmesini sağlayarak en etkili açık kaynak video üretim yaklaşımlarından biri haline gelmiştir.

C

CogVideoX

Tsinghua & ZhipuAI|5B

CogVideoX, Tsinghua Üniversitesi ve ZhipuAI tarafından ortaklaşa geliştirilen ve metin açıklamalarından yüksek kaliteli videolar üretmek için uzman transformer mimarisi kullanan açık kaynaklı bir video üretim modelidir. Ağustos 2024'te yayınlanan CogVideoX, araştırma ve geliştirme için serbestçe erişilebilir kalırken tescilli modellere yaklaşan yetenekler sunarak açık kaynak video üretiminde önemli bir ilerlemeyi temsil eder. Model, yüksek çıktı kalitesini korurken verimli hesaplama sağlayan özelleştirilmiş uzman katmanları aracılığıyla metin ve görsel token'ları işleyen 5 milyar parametreli bir transformer mimarisi üzerine inşa edilmiştir. CogVideoX, video kodlama ve kod çözme için birleşik bir gizli uzayda hem uzamsal hem de zamansal bilgiyi yakalayan 3B nedensel VAE kullanır. Bu yapı, akıcı hareket geçişleri ve kareler arasında tutarlı görsel uyum sağlar. Model, farklı kullanım durumları ve platform gereksinimleri için esneklik sağlayan değişken uzunlukta video üretimi ve çoklu çözünürlük çıktılarını destekler. CogVideoX, hem basit tanımlayıcı istemleri hem de daha karmaşık anlatı senaryolarını yöneterek doğru hareket dinamikleri, sahne geçişleri ve görsel hikaye anlatımı öğeleri içeren videolar üretmede güçlü performans sergiler. Modelin eğitim yaklaşımı, farklı video sürelerinde kararlı üretim kalitesini korumaya yardımcı olan aşamalı çözünürlük ölçekleme ve zamansal tutarlılık kayıpları içerir. Hugging Face üzerinde Apache 2.0 lisansı altında erişilebilen CogVideoX, fal.ai ve Replicate dahil bulut platformları aracılığıyla kullanılabilir ve yeterli GPU kaynaklarına sahip araştırmacılar ve geliştiriciler tarafından yerel olarak çalıştırılabilir. Model, tescilli API erişiminin kısıtlamaları olmadan şeffaf ve değiştirilebilir video üretim yetenekleri gerektiren akademik çalışmalar ve ticari uygulamalara olanak tanıyarak araştırma topluluğunda güçlü bir açık kaynak temel çizgisi olarak özellikle iyi karşılanmıştır.

C

CogVideoX-5B

Tsinghua & ZhipuAI|5B

CogVideoX-5B, Tsinghua Üniversitesi ve ZhipuAI tarafından ortaklaşa geliştirilen, metin açıklamalarından ve görüntü girdilerinden yüksek kaliteli, zamansal olarak tutarlı videolar üreten 5 milyar parametreli açık kaynak bir video üretim modelidir. Bir 3D VAE (Variational Autoencoder) ile Diffusion Transformer mimarisini birleştiren CogVideoX-5B, uzamsal ve zamansal boyutları birlikte işleyerek düzgün hareket, tutarlı nesne görünümleri ve kareler arasında uyumlu sahne dinamiklerine sahip videoların üretilmesini sağlar. Model, kullanıcıların istenen sahneleri doğal dilde tanımladığı metinden videoya üretim ve statik bir görüntünün ilk kare olarak kullanıldığı ve modelin uygun hareketle canlandırdığı görüntüden videoya üretimi destekler. CogVideoX-5B, saniyede 8 kare ile 480x720 çözünürlükte 6 saniyeye kadar video üretebilir ve sosyal medya klipleri, konsept görselleştirme ve yaratıcı prototipleme için uygun içerik sağlar. 3D VAE, video verilerini zamansal tutarlılığı koruyan kompakt bir gizli uzaya sıkıştırırken Diffusion Transformer, hareket, fizik ve uzamsal ilişkilerin güçlü semantik anlayışıyla içerik üretir. Mevcut en yetenekli açık kaynak video üretim modellerinden biri olan CogVideoX-5B, araştırma ve geliştirme için serbestçe erişilebilir kalırken tescilli alternatiflerle rekabetçi kalite elde eder. Apache 2.0 lisansı altında yayınlanan model, Hugging Face üzerinden mevcuttur ve kolay dağıtım için Diffusers kütüphanesiyle entegre olur. Temel uygulamalar arasında kısa biçimli video içerik üretme, animasyonlu ürün gösterimleri oluşturma ve film ön prodüksiyonu için görsel konsept önizlemeleri üretme yer alır.

G

Gemini Omni Flash

Durumu bilinmiyor

Google DeepMind|undisclosed

Gemini Omni Flash, Google DeepMind'ın metin, görüntü, video ve ses girdilerinin herhangi bir kombinasyonundan fizik-bilinçli ve senkronize sesli video üreten çığır açıcı multimodal AI modelidir. Google I/O 2026'da duyurulan model, geleneksel text-to-video modellerinden farklı olarak konuşma tabanlı iteratif video düzenleme imkânı sunar — kullanıcılar sıfırdan yeniden üretim yapmadan doğal dil ile sahneleri iyileştirebilir. Model, birden fazla düzenleme turunda karakter tutarlılığını ve sahne belleğini korur, sekanslar boyunca kimlik ve sesi muhafaza eder, yerçekimi, çarpışma ve malzeme özellikleri dahil gerçek dünya fiziğini anlar. Sinematik kamera kontrolleri (dolly zoom, omuz üstü çekimler, takip), kelime kelime animasyonlu doğru metin oluşturma, çoklu girdi sentezi (video, görüntü, ses ve storyboard birleştirme) ve anime, kil animasyonu, suluboya gibi sanatsal ortamlar arasında stil transferi destekler. Gemini'nin eğitim verisine dayandığından Veo gibi bağımsız video modellerinden çok daha zengin dünya bilgisi taşır ve kuantum hesaplamadan tarihi olaylara kadar karmaşık kavramları ayrıntılı prompting gerektirmeden görselleştirebilir. Gemini uygulaması, Google Flow ve Google AI Studio üzerinden erişilebilen model, içerik özgünlüğü için görünmez SynthID filigranlı 10 saniyeye kadar klipler üretir.