Le monde de l’IA a radicalement transform\u00e9 la vie quotidienne des individus. Des fonctionnalit\u00e9s telles que la reconnaissance vocale ont rendu relativement plus simple l’ex\u00e9cution de t\u00e2ches telles que la prise de notes, la saisie de documents, etc. Le fait que la reconnaissance vocale soit plus rapide est ce qui la rend tr\u00e8s efficace. Avec le d\u00e9veloppement de l’IA, les applications de reconnaissance vocale se sont rapidement d\u00e9velopp\u00e9es. Les assistants virtuels comme Google, Alexa et Siri utilisent un logiciel de reconnaissance vocale pour interagir avec les utilisateurs. De m\u00eame, des fonctions comme la synth\u00e8se vocale, la synth\u00e8se de la parole en texte et la synth\u00e8se de texte en texte ont \u00e9galement gagn\u00e9 en popularit\u00e9 avec des applications vari\u00e9es.<\/p>\n
La synth\u00e8se vocale est essentielle \u00e0 l’intelligence artificielle (IA), notamment pour les robots conversationnels. Les d\u00e9veloppements r\u00e9cents en mati\u00e8re d’apprentissage profond ont permis d’am\u00e9liorer de mani\u00e8re significative la qualit\u00e9 de la parole synth\u00e9tis\u00e9e produite par les syst\u00e8mes de synth\u00e8se vocale (TTS) bas\u00e9s sur les r\u00e9seaux neuronaux. Les \u00eatres humains maintiennent des conversation avec diverses prosodies, qui expriment des informations paralinguistiques, telles que des \u00e9motions subtiles.<\/p>\n
Ces conversations de notre quotidien sont utilis\u00e9es pour entrainer des syst\u00e8mes efficacement et ainsi obtenir des \u00a0voix de synth\u00e8se proche de la qualit\u00e9 humaine . Voici diff\u00e9rentes approches innovantes observ\u00e9es derni\u00e8rement et qui laissent entrevoir des progr\u00e8s fulgurants pour les mois \u00e0 \u00a0venir.<\/p>\n
Des chercheurs de la CMU ont d\u00e9voil\u00e9 un syst\u00e8me d‘IA pour l’apprentissage de la synth\u00e8se vocale de qualit\u00e9 humaine \u00e0 partir de diff\u00e9rents types de conversations<\/a>. Dans leur \u00e9tude, les chercheurs ont examin\u00e9 l’utilisation de la parole du monde r\u00e9el recueillie \u00e0 la fois sur YouTube et dans des podcasts. Dans ce cas, ils ont simplifi\u00e9 l’environnement en tirant parti d’un corpus de paroles d\u00e9j\u00e0 enregistr\u00e9es et en se concentrant sur la synth\u00e8se vocale. Ils pensent ainsi pouvoir \u00eatre capable de reproduire le succ\u00e8s de mod\u00e8les de langage importants comme GPT-3.<\/p>\n Avec peu de ressources, ces syst\u00e8mes peuvent \u00eatre adapt\u00e9s \u00e0 certaines caract\u00e9ristiques du locuteur ou \u00e0 certaines conditions d’enregistrement. Dans cette \u00e9tude, les auteurs abordent les nouvelles difficult\u00e9s rencontr\u00e9es lors de l’entra\u00eenement des syst\u00e8mes TTS sur la parole du monde r\u00e9el, comme le bruit de fond et la variance prosodique accrue par rapport \u00e0 la lecture de la parole enregistr\u00e9e en situation contr\u00f4l\u00e9e. Ils montrent d’abord que les algorithmes autor\u00e9gressifs bas\u00e9s sur le mel-spectrogramme ne peuvent pas fournir un alignement texte-audio pr\u00e9cis pendant l’inf\u00e9rence, ce qui conduit \u00e0 une parole brouill\u00e9e. L’\u00e9chec de l’alignement par inf\u00e9rence peut donc \u00eatre correctement attribu\u00e9 \u00e0 l’accumulation d’erreurs dans le processus de d\u00e9codage, car ils d\u00e9montrent \u00e9galement que des alignements pr\u00e9cis peuvent encore \u00eatre appris pendant l’entra\u00eenement.<\/p>\n Les chercheurs ont d\u00e9couvert que ce probl\u00e8me \u00e9tait r\u00e9solu en substituant des codebooks discrets appris au mel-spectrogramme. Ils expliquent ce ph\u00e9nom\u00e8ne par la r\u00e9sistance sup\u00e9rieure des repr\u00e9sentations discr\u00e8tes au bruit d’entr\u00e9e. Cependant, leurs r\u00e9sultats montrent qu’un seul codebook entra\u00eene une reconstruction biais\u00e9e pour la parole du monde r\u00e9el, m\u00eame avec des codebooks de plus grande taille. Ils supposent qu’il existe trop de mod\u00e8les prosodiques dans la parole spontan\u00e9e pour qu’un codebook puisse les g\u00e9rer. Ils utilisent plusieurs codebooks pour cr\u00e9er des architectures particuli\u00e8res pour l’\u00e9chantillonnage multi-code et l’alignement monotone. Ils utilisent une invite audio de silence pur pendant l’inf\u00e9rence pour encourager le mod\u00e8le \u00e0 produire de la parole pure malgr\u00e9 un entra\u00eenement sur un corpus bruyant.<\/p>\n Ils ont introduit cette technologie appel\u00e9e MQTTS (multi-codebook vector quantized TTS).\u00a0 Les chercheurs ont publi\u00e9 leur code source. L’impl\u00e9mentation du code est rendue publique sur GitHub.<\/p>\n Encourag\u00e9s par les performances exceptionnelles de T5 (Text-To-Text Transfer Transformer) dans les mod\u00e8les de traitement du langage naturel pr\u00e9-entra\u00een\u00e9s, les scientifiques ont propos\u00e9 un framework SpeechT5 \u00e0 mod\u00e8le unifi\u00e9 qui explore le pr\u00e9-entra\u00eenement codeur-d\u00e9codeur pour l’apprentissage auto-supervis\u00e9 de la repr\u00e9sentation de la parole et du texte. SpeechT5 est propos\u00e9 via Hugging Face Transformers<\/a>, une bo\u00eete \u00e0 outils open-source qui fournit des impl\u00e9mentations simples de mod\u00e8les d’apprentissage automatique de pointe.<\/p>\n SpeechT5 offre trois diff\u00e9rents types de mod\u00e8les de parole dans une seule et m\u00eame architecture. En utilisant une structure standard d’encodeur-d\u00e9codeur, le cadre de mod\u00e8le unifi\u00e9 de SpeechT5 permet l’apprentissage de repr\u00e9sentations contextuelles combin\u00e9es pour les donn\u00e9es vocales et textuelles. Ses diff\u00e9rents mod\u00e8les de parole sont :<\/p>\n Le principe fondamental de SpeechT5 est de pr\u00e9-entra\u00eener un mod\u00e8le en utilisant une combinaison de donn\u00e9es de texte \u00e0 parole, de parole \u00e0 texte, de texte \u00e0 texte et de parole \u00e0 parole. De cette mani\u00e8re, le mod\u00e8le apprend simultan\u00e9ment \u00e0 partir de la parole et du texte. Cette m\u00e9thode de pr\u00e9-entra\u00eenement produit un mod\u00e8le avec un seul espace de repr\u00e9sentations cach\u00e9es partag\u00e9 par le texte et l’audio.<\/p>\n SpeechT5 est bas\u00e9 sur un mod\u00e8le d’encodeur-d\u00e9codeur Transformer standard. Le r\u00e9seau encodeur-d\u00e9codeur simule une transformation s\u00e9quentielle en utilisant des repr\u00e9sentations cach\u00e9es, comme tout autre Transformer. Toutes les t\u00e2ches de SpeechT5 partagent le m\u00eame cadre Transformer.<\/p>\n L’ajout de pr\u00e9-r\u00e9seaux et de post-r\u00e9seaux a permis au m\u00eame Transformer de traiter des donn\u00e9es textuelles et vocales. Les pr\u00e9-r\u00e9seaux traduisent le texte ou la parole en entr\u00e9e dans les repr\u00e9sentations cach\u00e9es du Transformer. Le post-net prend les sorties du Transformer et les reformate en texte ou en parole. Afin d’entra\u00eener le mod\u00e8le pour un ensemble diversifi\u00e9 de langues, l’\u00e9quipe alimente le mod\u00e8le avec des formats texte\/parole en entr\u00e9e et g\u00e9n\u00e8re ainsi la sortie correspondante en format texte\/parole.<\/p>\n Contrairement \u00e0 d’autres mod\u00e8les, SpeechT5 est unique car il permet aux utilisateurs de r\u00e9aliser de nombreuses activit\u00e9s en utilisant la m\u00eame architecture. Tout ce qui change, ce sont les pr\u00e9-nets et les post-nets. Le mod\u00e8le peut effectuer chaque t\u00e2che distincte de mani\u00e8re plus efficace apr\u00e8s avoir \u00e9t\u00e9 affin\u00e9 par un pr\u00e9-entra\u00eenement sur ces t\u00e2ches combin\u00e9es. L’approche unifi\u00e9e codeur-d\u00e9codeur propos\u00e9e est capable de prendre en charge des t\u00e2ches de g\u00e9n\u00e9ration telles que la conversion de la voix et de la parole. Des tests \u00e0 grande \u00e9chelle r\u00e9v\u00e8lent que SpeechT5 surpasse consid\u00e9rablement toutes les solutions de base dans diverses t\u00e2ches de traitement du langage parl\u00e9. L’\u00e9quipe de recherche pr\u00e9voit de pr\u00e9-entra\u00eener le SpeechT5 \u00e0 l’avenir avec un mod\u00e8le plus grand et davantage de donn\u00e9es non \u00e9tiquet\u00e9es. Dans le cadre de travaux futurs, les scientifiques souhaitent \u00e9galement faire \u00e9voluer SpeechT5 pour r\u00e9soudre des t\u00e2ches impliquant le traitement du langage parl\u00e9 dans plusieurs langues.<\/p>\nHugging Face Transformers se dote d’un nouveau mod\u00e8le de synth\u00e8se vocale avec l’ajout de SpeechT5<\/h2>\n
\n
Microsoft a d\u00e9voil\u00e9 VALL-E, un mod\u00e8le linguistique de synth\u00e8se vocale qui change la donne<\/h2>\n