AudioCraft

A

AudioLDM 2

CUHK & Surrey|N/A

AudioLDM 2, Çin Hong Kong Üniversitesi ve Surrey Üniversitesi araştırmacıları tarafından geliştirilen, tek bir model içinde metin açıklamalarından müzik, ses efektleri ve konuşma üretebilen birleşik bir ses üretim çerçevesidir. Orijinal AudioLDM üzerine inşa edilen versiyon 2, farklı ses türlerini paylaşılan bir semantik uzaya kodlayarak aralarındaki boşluğu kapatan Language of Audio adlı evrensel bir ses temsili tanıtır. Model metin girdilerini anlamak için GPT-2 dil modelini ve ses koşullandırma için AudioMAE kodlayıcısını birleştirerek dalga biçimlerine dönüştürülen ses spektrogramları üreten bir gizli difüzyon modeline besler. Bu mimari AudioLDM 2'nin her ses türü için ayrı özel modeller gerektirmeden çeşitli ses üretim görevlerini yönetmesini sağlar. Model metinden müziğe, metinden ses efektlerine ve metinden konuşmaya değerlendirmeleri dahil birden fazla kıyaslamada rekabetçi performans gösterir. AudioLDM 2 hem müzikal hem de müzikal olmayan içerik için iyi algısal kaliteyle 48 kHz'e kadar ses üretir. Ağustos 2023'te araştırma lisansı altında yayınlanan model kod ve önceden eğitilmiş ağırlıkları GitHub ve Hugging Face üzerinde mevcut olan açık kaynaklıdır. AudioLDM 2 metin koşullu üretimin yanı sıra ses doldurma, stil transferi ve süper çözünürlük desteği de sunar. Model özellikle birleşik ses üretimini araştıran akademisyenler, tek bir araçtan çeşitli ses türlerine ihtiyaç duyan içerik üreticileri ve kapsamlı ses üretim sistemleri kuran geliştiriciler için ilgilidir. Konuşma, müzik ve çevresel sesleri yönetmedeki birleşik yaklaşımı onu çok amaçlı ses uygulamaları için çok yönlü bir temel haline getirir.

B

Bark

Suno AI|N/A

Bark, Suno AI tarafından geliştirilen, metni doğal ses tonuyla konuşma, müzik ve ses efektlerine dönüştüren transformer tabanlı text-to-audio üretim modelidir. Nisan 2023'te MIT lisansı altında açık kaynak olarak yayınlanan Bark, geleneksel text-to-speech sistemlerinin çok ötesine geçerek metin açıklamalarından yalnızca konuşulan kelimeleri değil aynı zamanda gülme, iç çekme, müzik ve ortam seslerini de üretir. Model ses belirteçleri üreten ve ardından dalga biçimlerine dönüştürülen bir GPT tarzı otoregresif transformer mimarisi ile EnCodec ses tokenizörü kullanır. Bark İngilizce, Çince, Fransızca, Almanca, Hintçe, İtalyanca, Japonca, Korece, Lehçe, Portekizce, Rusça, İspanyolca ve Türkçe dahil birçok dili destekleyerek mevcut en çok dilli açık kaynak ses üretim modellerinden biri konumundadır. Model kısa ses örneklerinden ses özelliklerini klonlayabilir ve kullanıcıların belirli seslerde veya konuşma stillerinde konuşma üretmesine olanak tanır. Bark sıfır atışlı bir şekilde çalışır yani göreve özel ince ayar olmadan çeşitli çıktılar üretebilir. Üretim insan konuşma kalıplarını yakından taklit eden doğal prozodi, duygu ve tonlama içerir. Model çoğu uygulama için makul kalitede 24 kHz örnekleme hızında ses üretir. Önceden eğitilmiş ağırlıkları Hugging Face ve GitHub üzerinde mevcut olan tamamen açık kaynak bir proje olarak Bark ses uygulamaları geliştiren yazılımcılar, çok dilli ses içeriği üreten içerik üreticileri ve üretken ses modellerini araştıran akademisyenler tarafından yaygın olarak kullanılır. Model özellikle tek bir birleşik mimaride çeşitli ses türlerini işlemedeki çok yönlülüğü ve ses üretim uygulamalarının hızlı prototiplenmesi için erişilebilirliğiyle değerlidir.

M

MusicGen

Meta|3.3B

MusicGen, Meta AI Research tarafından AudioCraft çerçevesinin bir parçası olarak geliştirilen tek aşamalı transformer tabanlı müzik üretim modelidir. Haziran 2023'te MIT lisansı altında yayınlanan MusicGen, birden fazla model gerektiren kademeli yaklaşımların aksine EnCodec'ten gelen sıkıştırılmış ayrık ses temsilleri üzerinde çalışan tek bir otoregresif dil modeli kullanır. Model 300M'den 3.3B parametreye kadar birden fazla boyutta sunularak kullanıcıların kalite ile hesaplama gereksinimleri arasında denge kurmasına olanak tanır. MusicGen metin açıklamalarından 32 kHz'de yüksek kaliteli mono ve stereo müzik üretir ve geniş bir tür, enstrüman, ruh hali ve müzikal stil yelpazesini destekler. Kullanıcılar tür, tempo, enstrümantasyon ve atmosfer gibi doğal dil komutlarıyla istenen müziği tanımlayabilir ve model belirtilen özelliklere uyan tutarlı müzikal kompozisyonlar üretir. Metinden müzik üretiminin ötesinde MusicGen, mevcut bir ses klibinin üretilen çıktının melodik yapısını yönlendirdiği melodi koşullandırmayı da destekleyerek daha kontrollü müzik oluşturmaya imkan tanır. Model hem nesnel ölçütlerde hem de öznel dinleme değerlendirmelerinde güçlü sonuçlar elde eder ve 30 saniyeye kadar doğal ve müzikal açıdan tutarlı müzik üretir. Kod ve ağırlıkları GitHub ve Hugging Face üzerinde mevcut olan tamamen açık kaynak bir model olarak MusicGen hem araştırma hem de yaratıcı topluluklarda en yaygın benimsenen AI müzik üretim araçlarından biri haline gelmiştir. Audiocraft Python kütüphanesi ve topluluk tarafından oluşturulan çeşitli arayüzler aracılığıyla mevcut ses prodüksiyon iş akışlarına kolayca entegre olur. MusicGen özellikle talep üzerine telifsiz arka plan müziği üretmeye ihtiyaç duyan içerik üreticileri, oyun geliştiricileri ve müzisyenler arasında popülerdir.

M

MusicLM

Google|N/A

MusicLM, Google Research tarafından geliştirilen, metin açıklamalarından 24 kHz'de yüksek sadakatli müzik üreten text-to-music üretim modelidir. Ocak 2023'te bir araştırma makalesiyle birlikte yayınlanan MusicLM, AI'ın yalnızca doğal dil açıklamalarından birden fazla dakikayı kapsayan tutarlı ve yüksek kaliteli müzik üretebileceğini gösteren ilk modellerden biri olmuştur. Model ses tokenizasyonu için SoundStream ve ses temsil öğrenimi için w2v-BERT'i birleştiren hiyerarşik bir diziden diziye mimari kullanır ve birden fazla zamansal çözünürlükte müzik tokenleri üretir ardından bunlar dalga biçimlerine dönüştürülür. MusicLM enstrümanları, tempoyu, ruh halini ve müzikal özellikleri tanımlayan metin komutlarına dayalı olarak çeşitli türlerde ve tarzlarda müzik üretebilir ve uzun süreler boyunca müzikal tutarlılığı ve yapısal bütünlüğü korur. Model ayrıca kullanıcıların üretilen çıktıyı yönlendiren bir melodi mırıldanabildiği veya ıslık çalabildiği melodi koşullandırmayı destekleyerek daha sezgisel müzik oluşturma iş akışlarına olanak tanır. MusicLM zengin tınısal kalite ve doğal ses dinamikleriyle önceki metinden müziğe yaklaşımlara göre önemli bir iyileşmeyi temsil eden ses üretir. Tescilli bir Google modeli olarak MusicLM açık kaynak değildir ve başlangıçta yalnızca AI Test Kitchen deneysel platformu üzerinden erişilebilirken daha sonra daha geniş Google hizmetlerine entegre edilmiştir. MusicGen ve Suno gibi daha yeni modeller daha geniş benimseme sağlamış olsa da MusicLM yüksek kaliteli metinden müzik üretiminin öncü bir gösterimi olarak tarihsel önemini korumaktadır. Model AI müzik üretim alanındaki sonraki araştırmaları ve ticari gelişmeleri etkilemiş ve metinden müziğe üretimi uygulanabilir ve hızla ilerleyen bir AI araştırma alanı olarak kurulmasına yardımcı olmuştur.