Meta AudioCraft: framework aperto per generare musica e suoni da testo
In una frase Il 2 agosto 2023 Meta rilascia AudioCraft, che riunisce MusicGen (musica da testo), AudioGen (effetti sonori da testo) ed EnCodec (codec neurale con decoder migliorato). Codice con licenza MIT, pesi dei modelli con licenza non commerciale CC-BY-NC 4.0.
Meta rilascia AudioCraft, un unico framework per generare audio a partire da una descrizione testuale.
Dentro ci sono tre pezzi: MusicGen, che crea brani musicali da un testo (e opzionalmente da una melodia di riferimento); AudioGen, che crea effetti sonori come un cane che abbaia o passi in un corridoio; ed EnCodec, il codec neurale che trasforma l'audio in sequenze di token, qui con un decoder migliorato.
Il codice è open source con licenza MIT e i modelli pre-addestrati si possono scaricare, ma i pesi hanno una licenza non commerciale: vanno bene per ricerca e sperimentazione, non per prodotti a pagamento.
Aziende
Meta
Tool
AudioCraft, MusicGen, AudioGen, EnCodec
Tag
Fonti
- https://ai.meta.com/blog/audiocraft-musicgen-audiogen-encodec-generative-ai-audio/
- https://github.com/facebookresearch/audiocraft
- https://github.com/facebookresearch/audiocraft/blob/main/docs/MUSICGEN.md
- https://github.com/facebookresearch/audiocraft/blob/main/docs/AUDIOGEN.md
- https://arxiv.org/abs/2306.05284