EnCodec: Meta AI presenta un codec audio neurale ad alta fedeltà
In una frase Meta AI pubblica EnCodec, codec audio neurale in tempo reale: 1,5-24 kbps per audio mono a 24 kHz e 3-24 kbps per stereo a 48 kHz, con risultati MUSHRA migliori di Opus, EVS e Lyra-v2. Codice e modelli sono pubblici.
EnCodec è un codec audio che usa reti neurali invece degli algoritmi classici: prende un suono, lo comprime in codici molto piccoli e lo ricostruisce con alta fedeltà, abbastanza velocemente da funzionare in tempo reale. Funziona a bitrate molto bassi, fino a 1,5 kbps per audio mono a 24 kHz, e nei test d'ascolto del paper ottiene punteggi superiori ai codec tradizionali Opus ed EVS e al codec neurale Lyra-v2. La parte più importante per l'AI è la quantizzazione vettoriale residua (RVQ): l'audio viene rappresentato come sequenze di token discreti, adatti a essere modellati da modelli linguistici.
Aziende
Meta AI
Tool
EnCodec
Tag
Fonti