AudioLDM 2
AudioLDM 2, Çin Hong Kong Üniversitesi ve Surrey Üniversitesi araştırmacıları tarafından geliştirilen, tek bir model içinde metin açıklamalarından müzik, ses efektleri ve konuşma üretebilen birleşik bir ses üretim çerçevesidir.
Öne Çıkan Özellikler
Birlesmis Ses Uretimi
Muzik, ses efektleri ve konusma uretimini tek bir modelde birlestiren evrensel Sesin Dili (LOA) temsili ile cok yonlu ses uretimi saglar
Cok Asamali Mimari
AudioMAE kodlayici, GPT-2 dil modeli ve latent difuzyon modelini birlestirerek hem semantik anlam hem akustik detay yakalar
Genis Ses Alani Destegi
Ayri ozel modeller gerektirmeden metin-muzik, metin-ses efekti ve metin-konusma gorevlerini tek bir boru hattinda ele alir
Karsilastirma Lideri
AudioCaps ve MusicCaps veri kumelerinde yayinlandigi donemde en iyi sonuclari elde ederek ses uretim kalitesinde referans noktasi olusturmustur
Hakkında
AudioLDM 2, Surrey Universitesi ve diger akademik kurumlardaki arastirmacilar tarafindan gelistirilen, metin aciklamalarindan muzik, ses efektleri ve konusma uretebilen birlesmis bir ses uretim cercevesidir. Orijinal AudioLDM uzerine insa edilen ikinci versiyon, daha once ayri ozel modeller gerektiren birden fazla ses turunu tek bir mimaride birlestiren evrensel bir ses temsil katmani sunmaktadir. 2023 yilinda yayimlanan AudioLDM 2, ses uretimi alaninda birlestirici bir yaklasimin basariyla uygulanabilecegini gostermistir.
AudioLDM 2'nin teknik mimarisi, uc ana bilesenden olusmaktadir. Birincisi, AudioMAE (Audio Masked Autoencoder) tabanli evrensel ses temsil katmani olan LOA (Language of Audio) sistemidir. LOA, muzik, konusma ve ses efektlerini ortak bir anlamsal uzayda temsil ederek farkli ses turlerinin ayni model tarafindan islenmesini saglar. Ikincisi, CLAP ve T5 tabanli metin kodlayicilari iceren kosullama moduludur. Ucuncusu ise latent difuzyon modeli olup, LOA temsillerinden yuksek kaliteli ses uretimini gerceklestirir. Model, 16 kHz ornekleme hizinda ses uretir ve AudioCaps benchmark setinde 2.18 FAD skoru elde ederek birinci versiyonun 4.18 skoruna kiyasla buyuk bir iyilesme gostermistir.
AudioLDM 2'nin en guclu yonu, tek bir model ile birden fazla ses turunu uretebilme kapasitesidir. Muzik uretiminde melodi ve armoni tutarliligi, ses efekti sentezinde gercekci ortam sesleri ve konusma uretiminde dogal prozodi saglanabilmektedir. FAD metrigi acisindan, AudioCaps setinde elde edilen 2.18 skoru, MusicGen'in MusicCaps'teki 3.80 skorundan daha iyi bir performans gostermektedir. Ayrica CLAP skoru acisindan da rekabetci sonuclar elde edilmistir.
Uygulama alanlari acisindan AudioLDM 2, multimedya icerik uretimi, film ve video post-produksiyon, oyun ses tasarimi, sanal gerceklik ortamlari ve erisilebilirlik uygulamalarinda kullanilmaktadir. Tek bir modelin birden fazla ses turunu uretebilmesi, is akislarini basitlestirmekte ve farkli ses ihtiyaclari icin ayri modeller yukleme gereksinimini ortadan kaldirmaktadir. Arastirma ortamlarinda ise evrensel ses temsili kavrami uzerine yeni calismalara temel olusturmaktadir.
AudioLDM 2, acik kaynak olarak Hugging Face uzerinden erisilebilir durumdadir. Model agirliklari ve cikarim kodu GitHub'da paylasilmistir. PyTorch uzerine insa edilmis olup NVIDIA GPU'larinda optimize edilmistir. Gradio tabanli demo arayuzu sayesinde tarayici uzerinden hizli denemeler yapilabilmektedir.
AudioLDM 2, ses uretimi alaninda birlestirici mimarinin potansiyelini gosteren onemli bir arastirma calismasidir. MusicGen ve AudioGen'in ayri modeller olarak calismasina kiyasla AudioLDM 2, butun ses turlerini tek catida toplayan bir yaklasim sunmaktadir. Bu evrensel yaklasim, gelecekteki ses yapay zekasi sistemlerinin tasarimina yol gostermekte ve ses uretiminin temel mimari paradigmalarini yeniden sekillendirmektedir.
AudioLDM 2'nin teknik yeniliklerine daha yakindan bakildiginda, LOA (Language of Audio) temsil sisteminin alandaki diger yaklasimlardan temel farkinin, ses turlerini ayirt etmeden ortak bir anlamsal uzayda kodlama yapabilmesi oldugu gorulmektedir. Bu evrensel temsil, modelin egitim sirasinda farkli ses turlerinden edinilen bilgiyi transfer edebilmesini saglar; ornegin muzik egitiminden edinilen ritim anlayisi, ses efekti uretiminde de kullanilabilir. AudioMAE tabanli kodlayici, maskelenmis otokodlama ile ses sinyallerinin yuksek seviyeli ozelliklerini yakalayan guclu temsiller olusturur. CLAP ve T5 kodlayicilarinin birlikte kullanilmasi, hem ses-metin hizalamasi hem de zengin metin anlama kapasitesi saglar. Model, farkli ses turleri arasinda gecis yapabilme yetenegi sayesinde, karisik ses sahneleri olusturmak icin de kullanilabilir; ornegin bir ormandaki kus sesleri uzerine hafif bir piyano melodisi eklenebilir. Bu esneklik, AudioLDM 2'yi multimedya uretim is akislarinda cok yonlu bir arac haline getirmektedir.
Kullanım Senaryoları
Multimedya Icerik Uretimi
Video projeleri icin muzik, ses efektleri ve sesli anlatim gibi cesitli ses turlerini tek bir sistemden uretme
Ses AI Arastirmasi
Cok kipli ses uretimi, ses temsili ve dil-ses iliskisi uzerine akademik arastirmalar yapma
Ses Tasarimi Prototipleme
Film, oyun ve medya projeleri icin hizli ses efekti prototipleri ve ortam sesleri olusturma
Erisebilirlik Uygulamalari
Metin tabanli girislerden ses, muzik ve konusma ureterek erisebilirlik araclari ve yardimci teknolojiler gelistirme
Artılar ve Eksiler
Artılar
- Metin, ses ve müzik üretimini tek bir modelde birleştiriyor
- AudioMAE ve GPT-2 tabanlı hibrit mimari
- Yüksek kaliteli ses efekti ve müzik üretimi
- Açık kaynak — araştırma ve geliştirme için ücretsiz
Eksiler
- Vokal kalitesi sınırlı — konuşma ve şarkı üretiminde zayıf
- 10 saniyelik ses çıktısı ile sınırlı
- GPU gereksinimi yüksek
- Ticari kullanım lisansı belirsiz
Teknik Detaylar
Parametre
N/A
Mimari
Latent diffusion with AudioMAE + GPT-2 conditioning
Eğitim Verisi
AudioCaps, AudioSet, and other audio-text paired datasets
Lisans
Research Only
Özellikler
- Metinden müziğe üretimi
- Text-to-Sound-efekt üretimi
- Metinden sese üretimi
- AudioMAE Semantic Encoding
- GPT-2 Based Token üretimi
- Latent Diffusion Audio Synthesis
Benchmark Sonuçları
| Metrik | Değer | Karşılaştırma | Kaynak |
|---|---|---|---|
| FAD (AudioCaps) | 2.18 | AudioLDM 1: 4.18 | arXiv 2308.05734 |
| Örnekleme Hızı | 16 kHz | MusicGen: 32 kHz | arXiv 2308.05734 |
| OVL (Overall Quality) | 3.90 / 5.00 | TANGO: 3.70 | arXiv 2308.05734 |
| KL Divergence (AudioCaps) | 1.16 | MusicGen: 1.22 | arXiv 2308.05734 |
Mevcut Platformlar
Sıkça Sorulan Sorular
İlgili Modeller
AudioCraft
AudioCraft, Meta AI'ın üretken ses araştırma ve uygulamaları için kapsamlı açık kaynak çerçevesidir ve müzik üretimi için MusicGen, ses efekti sentezi için AudioGen ve sinirsel ses sıkıştırma için EnCodec olmak üzere üç özel modeli tek bir entegre platform altında bir araya getirir. Ağustos 2023'te MIT lisansı altında yayınlanan AudioCraft, tutarlı API'ler ve paylaşılan altyapı aracılığıyla son teknoloji ses üretim modelleriyle çalışmayı kolaylaştıran birleşik bir kod tabanı sağlar. Çerçeve ses sinyallerinin önce EnCodec tarafından ayrık tokenlere sıkıştırıldığı ardından göreve özel dil modelleri tarafından otoregresif olarak üretildiği transformer tabanlı bir mimari üzerine inşa edilmiştir. MusicGen melodi koşullandırma desteğiyle metinden müziğe üretimi yönetirken AudioGen çevresel sesler, ses efektleri ve metin açıklamalarından müzikal olmayan ses üretiminde uzmanlaşmıştır. EnCodec sinirsel ses codec omurgası olarak çeşitli bit hızlarında yüksek algısal kaliteyi koruyarak ses sıkıştırması sağlar. AudioCraft birden fazla model boyutunu ve stereo üretimi destekler, kapsamlı eğitim ve çıkarım araçları sunar. Çerçeve anında kullanım için önceden eğitilmiş modeller ve kullanıcı tarafından sağlanan veri kümeleri üzerinde özel modeller eğitmek için araçlar içerir. pip ile kurulabilen bir Python kütüphanesi olarak AudioCraft mevcut makine öğrenimi ve ses işleme hatlarına sorunsuz entegre olur. Ses üretimini araştıran akademisyenler, yaratıcı ses araçları geliştiren yazılımcılar, orijinal müzik ve ses efektlerine ihtiyaç duyan içerik üreticileri ve dinamik ses sistemleri gerektiren oyun stüdyoları tarafından yaygın olarak kullanılır. AudioCraft Meta'nın açık kaynak ses AI'ına en önemli katkısını temsil eder ve hızla büyüyen AI ses üretim alanında çok sayıda topluluk projesi ve ticari uygulamanın temeli haline gelmiştir.
Bark
Bark, Suno AI tarafından geliştirilen, metni doğal ses tonuyla konuşma, müzik ve ses efektlerine dönüştüren transformer tabanlı text-to-audio üretim modelidir. Nisan 2023'te MIT lisansı altında açık kaynak olarak yayınlanan Bark, geleneksel text-to-speech sistemlerinin çok ötesine geçerek metin açıklamalarından yalnızca konuşulan kelimeleri değil aynı zamanda gülme, iç çekme, müzik ve ortam seslerini de üretir. Model ses belirteçleri üreten ve ardından dalga biçimlerine dönüştürülen bir GPT tarzı otoregresif transformer mimarisi ile EnCodec ses tokenizörü kullanır. Bark İngilizce, Çince, Fransızca, Almanca, Hintçe, İtalyanca, Japonca, Korece, Lehçe, Portekizce, Rusça, İspanyolca ve Türkçe dahil birçok dili destekleyerek mevcut en çok dilli açık kaynak ses üretim modellerinden biri konumundadır. Model kısa ses örneklerinden ses özelliklerini klonlayabilir ve kullanıcıların belirli seslerde veya konuşma stillerinde konuşma üretmesine olanak tanır. Bark sıfır atışlı bir şekilde çalışır yani göreve özel ince ayar olmadan çeşitli çıktılar üretebilir. Üretim insan konuşma kalıplarını yakından taklit eden doğal prozodi, duygu ve tonlama içerir. Model çoğu uygulama için makul kalitede 24 kHz örnekleme hızında ses üretir. Önceden eğitilmiş ağırlıkları Hugging Face ve GitHub üzerinde mevcut olan tamamen açık kaynak bir proje olarak Bark ses uygulamaları geliştiren yazılımcılar, çok dilli ses içeriği üreten içerik üreticileri ve üretken ses modellerini araştıran akademisyenler tarafından yaygın olarak kullanılır. Model özellikle tek bir birleşik mimaride çeşitli ses türlerini işlemedeki çok yönlülüğü ve ses üretim uygulamalarının hızlı prototiplenmesi için erişilebilirliğiyle değerlidir.
MusicGen
MusicGen, Meta AI Research tarafından AudioCraft çerçevesinin bir parçası olarak geliştirilen tek aşamalı transformer tabanlı müzik üretim modelidir. Haziran 2023'te MIT lisansı altında yayınlanan MusicGen, birden fazla model gerektiren kademeli yaklaşımların aksine EnCodec'ten gelen sıkıştırılmış ayrık ses temsilleri üzerinde çalışan tek bir otoregresif dil modeli kullanır. Model 300M'den 3.3B parametreye kadar birden fazla boyutta sunularak kullanıcıların kalite ile hesaplama gereksinimleri arasında denge kurmasına olanak tanır. MusicGen metin açıklamalarından 32 kHz'de yüksek kaliteli mono ve stereo müzik üretir ve geniş bir tür, enstrüman, ruh hali ve müzikal stil yelpazesini destekler. Kullanıcılar tür, tempo, enstrümantasyon ve atmosfer gibi doğal dil komutlarıyla istenen müziği tanımlayabilir ve model belirtilen özelliklere uyan tutarlı müzikal kompozisyonlar üretir. Metinden müzik üretiminin ötesinde MusicGen, mevcut bir ses klibinin üretilen çıktının melodik yapısını yönlendirdiği melodi koşullandırmayı da destekleyerek daha kontrollü müzik oluşturmaya imkan tanır. Model hem nesnel ölçütlerde hem de öznel dinleme değerlendirmelerinde güçlü sonuçlar elde eder ve 30 saniyeye kadar doğal ve müzikal açıdan tutarlı müzik üretir. Kod ve ağırlıkları GitHub ve Hugging Face üzerinde mevcut olan tamamen açık kaynak bir model olarak MusicGen hem araştırma hem de yaratıcı topluluklarda en yaygın benimsenen AI müzik üretim araçlarından biri haline gelmiştir. Audiocraft Python kütüphanesi ve topluluk tarafından oluşturulan çeşitli arayüzler aracılığıyla mevcut ses prodüksiyon iş akışlarına kolayca entegre olur. MusicGen özellikle talep üzerine telifsiz arka plan müziği üretmeye ihtiyaç duyan içerik üreticileri, oyun geliştiricileri ve müzisyenler arasında popülerdir.
MusicLM
MusicLM, Google Research tarafından geliştirilen, metin açıklamalarından 24 kHz'de yüksek sadakatli müzik üreten text-to-music üretim modelidir. Ocak 2023'te bir araştırma makalesiyle birlikte yayınlanan MusicLM, AI'ın yalnızca doğal dil açıklamalarından birden fazla dakikayı kapsayan tutarlı ve yüksek kaliteli müzik üretebileceğini gösteren ilk modellerden biri olmuştur. Model ses tokenizasyonu için SoundStream ve ses temsil öğrenimi için w2v-BERT'i birleştiren hiyerarşik bir diziden diziye mimari kullanır ve birden fazla zamansal çözünürlükte müzik tokenleri üretir ardından bunlar dalga biçimlerine dönüştürülür. MusicLM enstrümanları, tempoyu, ruh halini ve müzikal özellikleri tanımlayan metin komutlarına dayalı olarak çeşitli türlerde ve tarzlarda müzik üretebilir ve uzun süreler boyunca müzikal tutarlılığı ve yapısal bütünlüğü korur. Model ayrıca kullanıcıların üretilen çıktıyı yönlendiren bir melodi mırıldanabildiği veya ıslık çalabildiği melodi koşullandırmayı destekleyerek daha sezgisel müzik oluşturma iş akışlarına olanak tanır. MusicLM zengin tınısal kalite ve doğal ses dinamikleriyle önceki metinden müziğe yaklaşımlara göre önemli bir iyileşmeyi temsil eden ses üretir. Tescilli bir Google modeli olarak MusicLM açık kaynak değildir ve başlangıçta yalnızca AI Test Kitchen deneysel platformu üzerinden erişilebilirken daha sonra daha geniş Google hizmetlerine entegre edilmiştir. MusicGen ve Suno gibi daha yeni modeller daha geniş benimseme sağlamış olsa da MusicLM yüksek kaliteli metinden müzik üretiminin öncü bir gösterimi olarak tarihsel önemini korumaktadır. Model AI müzik üretim alanındaki sonraki araştırmaları ve ticari gelişmeleri etkilemiş ve metinden müziğe üretimi uygulanabilir ve hızla ilerleyen bir AI araştırma alanı olarak kurulmasına yardımcı olmuştur.
Hızlı Bilgi
Latent diffusion with AudioMAE + GPT-2 conditioning