CosyVoice: sintesi vocale multilingue zero-shot open source di Alibaba
In una frase Lo Speech Lab di Alibaba pubblica CosyVoice, sintesi vocale zero-shot in cinese, inglese, giapponese, coreano e cantonese: un LLM genera token vocali semantici, un modello di flow matching li trasforma in audio. Modelli da 300M e codice open source con licenza Apache 2.0, nella famiglia FunAudioLLM.
CosyVoice è un sistema di sintesi vocale (text-to-speech) sviluppato dallo Speech Lab di Alibaba e rilasciato open source a inizio luglio 2024, insieme al modello di riconoscimento vocale SenseVoice, sotto il nome comune FunAudioLLM.
Fa clonazione vocale "zero-shot": dato un breve campione audio di una persona, può far pronunciare un testo nuovo con quella voce, senza addestramento specifico. Le lingue coperte sono cinese mandarino, inglese, giapponese, coreano e cantonese.
L'architettura ha due stadi. Un modello linguistico trasforma il testo in "token" vocali discreti; un secondo modello, basato su flow matching, converte quei token nello spettrogramma da cui si ricava l'audio. La novità del paper sta nei token: invece di impararli senza supervisione, li ricava da un modello di riconoscimento vocale, così restano legati al contenuto parlato. Secondo gli autori questo migliora sia la correttezza del contenuto sia la somiglianza con la voce clonata.
Oltre al modello base è disponibile una variante "instruct", che accetta istruzioni su identità del parlante, stile ed emozioni.
Aziende
Alibaba
Tool
—
Tag
Fonti