Is ChatGPT A Good Translator ?<\/a> Une \u00e9tude pr\u00e9liminaire par Wenxiang Jiao, Wenxuan Wang, Jen-tse Huang, Xing Wang, et Zhaopeng Tu (Tencent AI)<\/p>\nL’\u00e9quipe de Tencent r\u00e9pond \u00e0 la question en examinant, disons, un ensemble limit\u00e9 de donn\u00e9es. L’\u00e9quipe a d\u00e9clar\u00e9 que \u00ab\u00a0l’obtention des r\u00e9sultats de traduction de ChatGPT prend du temps car on ne peut interagir avec lui que manuellement et il ne peut pas r\u00e9pondre \u00e0 des lots importants. Ainsi, nous \u00e9chantillonnons au hasard 50 phrases de chaque ensemble pour l’\u00e9valuation.\u00a0\u00bb Voyons donc quelles informations l’\u00e9quipe a recueillies en \u00e9valuant ces 50 phrases.<\/p>\n
Selon l’article, ChatGPT a des performances \u00a0\u00bb comparables \u00a0\u00bb \u00e0 celles des solutions commerciales de traduction automatique (TA), telles que Google Translate, DeepL et le propre syst\u00e8me de Tencent, sur les langues europ\u00e9ennes \u00e0 fortement utilis\u00e9es, mais a du mal avec les paires de langues \u00e0 faible ressource.<\/p>\n
Pour cette \u00ab\u00a0\u00e9tude pr\u00e9liminaire\u00a0\u00bb, les chercheurs du laboratoire d’intelligence artificielle de Tencent, Wenxiang Jiao, Wenxuan Wang, Jen-tse Huang, Xing Wang et Zhaopeng Tu, ont \u00e9valu\u00e9 les invites de traduction, la traduction multilingue et la robustesse de la traduction.<\/p>\n
Elaboration de \u00ab prompts \u00bb pour la traduction<\/h2>\n
Pour cette \u00ab\u00a0\u00e9tude pr\u00e9liminaire\u00a0\u00bb, les chercheurs du laboratoire d’intelligence artificielle de Tencent, Wenxiang Jiao, Wenxuan Wang, Jen-tse Huang, Xing Wang et Zhaopeng Tu, ont \u00e9valu\u00e9 les Prompts de traduction.<\/p>\n
Lorsqu’on utilise des mod\u00e8les de langage g\u00e9n\u00e9ratifs, l’une des \u00e9tapes les plus importantes est la conception du prompt.<\/p>\n
Nous devons trouver une formulation appropri\u00e9e en langage naturel pour interroger le mod\u00e8le en fonction de notre t\u00e2che cible. Ici, nous voulons que ChatGPT traduise une phrase dans une langue source, d\u00e9sign\u00e9e par \u00ab\u00a0[SRC]\u00a0\u00bb, vers une langue cible, d\u00e9sign\u00e9e par \u00ab\u00a0[TGT]\u00a0\u00bb.<\/p>\n
Pour trouver de bons prompts, Tencent AI a directement demand\u00e9 \u00e0 ChatGPT de donner 10 prompts, avec le prompt suivant:<\/p>\n
Donnez dix prompts ou mod\u00e8les concis qui peuvent vous faire traduire.<\/p>\n
ChatGPT a renvoy\u00e9 comme pr\u00e9vu 10 prompts, mais avec seulement quelques diff\u00e9rences entre eux. Ils d\u00e9cident finalement de ne retenir que les 3 propositions suivantes, qui sont les plus repr\u00e9sentatives des 10 propositions initialement renvoy\u00e9es par ChatGPT :<\/p>\n
– Prompt 1 : Traduisez ces phrases de [SRC] \u00e0 [TGT] :<\/strong><\/p>\n– Prompt 2 : R\u00e9pondez sans guillemets. Que signifient ces phrases en [TGT] ?<\/strong><\/p>\n– Prompt 3 : Veuillez fournir la traduction en [TGT] de ces phrases :<\/strong><\/p>\nPrompt 1: Translate these sentences from [SRC] to [TGT]:<\/em><\/p>\nPrompt 2: Answer with no quotes. What do these sentences mean in [TGT]?<\/em><\/p>\nPrompt 3: Please provide the [TGT] translation for these sentences:<\/em><\/p>\nLe prompt qui a produit (prompt 3) les meilleures traductions chinois-anglais a ensuite \u00e9t\u00e9 utilis\u00e9e pour le reste de l’\u00e9tude – 12 directions au total entre le chinois, l’anglais, l’allemand et le roumain.<\/p>\n
Les chercheurs \u00e9taient curieux de savoir comment les performances de ChatGPT pouvaient varier selon la paire de langues. Si ChatGPT a obtenu des r\u00e9sultats \u00a0\u00bb comparables \u00a0\u00bb \u00e0 ceux de Google Translate et de DeepL pour la traduction anglais-allemand, son score BLEU pour la traduction anglais-roumain \u00e9tait inf\u00e9rieur de 46,4 % \u00e0 celui de Google Translate.<\/p>\n
L’\u00e9quipe a attribu\u00e9 cette mauvaise performance \u00e0 la diff\u00e9rence marqu\u00e9e des donn\u00e9es monolingues pour l’anglais et le roumain, qui \u00ab\u00a0limite la capacit\u00e9 de mod\u00e9lisation linguistique du roumain.\u00a0\u00bb<\/p>\n
La traduction roumain-anglais, en revanche, \u00ab\u00a0peut b\u00e9n\u00e9ficier de la forte capacit\u00e9 de mod\u00e9lisation linguistique de l’anglais, de sorte que le manque de ressources des donn\u00e9es parall\u00e8les peut \u00eatre quelque peu compens\u00e9\u00a0\u00bb, pour un score BLEU de seulement 10,3 % inf\u00e9rieur \u00e0 celui de Google Translate.<\/p>\n
Des diff\u00e9rences selon les familles de langues<\/h2>\n
Au-del\u00e0 des diff\u00e9rences de ressources, \u00e9crivent les auteurs, la traduction entre familles de langues est consid\u00e9r\u00e9e comme plus difficile que la traduction au sein d’une m\u00eame famille de langues. La diff\u00e9rence de qualit\u00e9 des r\u00e9sultats de ChatGPT pour les traductions allemand-anglais et chinois-anglais semble le confirmer.<\/p>\n
Les chercheurs ont observ\u00e9 un \u00e9cart de performance encore plus important entre ChatGPT et les syst\u00e8mes de TA commerciaux pour les paires de langues \u00e0 faibles ressources appartenant \u00e0 des familles diff\u00e9rentes, comme le roumain-chinois.<\/p>\n
\u00ab\u00a0\u00c9tant donn\u00e9 que ChatGPT traite diff\u00e9rentes t\u00e2ches dans un seul mod\u00e8le, les t\u00e2ches de traduction \u00e0 faible niveau de ressources sont non seulement en concurrence avec les t\u00e2ches de traduction \u00e0 niveau de ressources \u00e9lev\u00e9, mais aussi avec d’autres t\u00e2ches NLP pour la capacit\u00e9 du mod\u00e8le, ce qui explique leurs faibles performances\u00a0\u00bb, ont-ils \u00e9crit.<\/p>\n
Google Translate et DeepL ont tous deux surpass\u00e9 ChatGPT en mati\u00e8re de robustesse de la traduction sur deux des trois ensembles de tests : WMT19 Bio (r\u00e9sum\u00e9s Medline) et WMT20 Rob2 (commentaires Reddit), probablement gr\u00e2ce \u00e0 leur am\u00e9lioration continue en tant qu’applications du monde r\u00e9el aliment\u00e9es par des phrases sp\u00e9cifiques au domaine et bruit\u00e9es.<\/p>\n
Cependant, ChatGPT a surpass\u00e9 Google Translate et DeepL de mani\u00e8re \u00ab\u00a0significative\u00a0\u00bb sur l’ensemble de test WMT20 Rob3, qui contenait un corpus de reconnaissance vocale provenant du grand publie. Les auteurs estiment que ce r\u00e9sultat sugg\u00e8re que ChatGPT est \u00ab\u00a0capable de g\u00e9n\u00e9rer des langues parl\u00e9es plus naturelles que ces syst\u00e8mes de traduction commerciaux\u00a0\u00bb, ce qui laisse entrevoir un futur domaine d’\u00e9tude possible.<\/p>\n
Perspectives d’avenir<\/h2>\n
Alors que les mod\u00e8les de traduction automatique sont intrins\u00e8quement pr\u00e9dictifs, c’est-\u00e0-dire qu’on s’attend \u00e0 ce qu’ils soient \u00e0 la fois exacts et pr\u00e9cis, les mod\u00e8les g\u00e9n\u00e9ratifs comme ChatGPT peuvent ouvrir de nouvelles voies aux traducteurs et au secteur de la localisation.<\/p>\n
Le co\u00fbt de la cr\u00e9ation de contenu va baisser, ce qui signifie que l’on va cr\u00e9er encore plus de contenu. Cela cr\u00e9e une nouvelle demande de services linguistiques pour r\u00e9viser, adapter et certifier les r\u00e9sultats obtenus par l’IA. Le concept de post-modification de la traduction automatique s’\u00e9tendra \u00e0 la validation linguistique, \u00e0 l’adaptation culturelle, \u00e0 l’ajustement du ton, \u00e0 la v\u00e9rification des faits et \u00e0 la suppression des pr\u00e9jug\u00e9s.<\/p>\n
<\/p>\n","protected":false},"excerpt":{"rendered":"
ChatGPT est un chatbot d\u00e9velopp\u00e9 par OpenAI. Il est bas\u00e9 sur instructGPT : il a \u00e9t\u00e9 entra\u00een\u00e9 \u00e0 r\u00e9pondre \u00e0 des instructions, ou \u00ab\u00a0prompts\u00a0\u00bb, r\u00e9dig\u00e9s par les utilisateurs. ChatGPT fait preuve d’une capacit\u00e9 impressionnante \u00e0 fournir des r\u00e9ponses d\u00e9taill\u00e9es, coh\u00e9rentes et pertinentes. Il semble particuli\u00e8rement performant dans les t\u00e2ches de traitement du langage naturel (NLP) […]<\/p>\n","protected":false},"author":1,"featured_media":10180,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[77],"tags":[],"yoast_head":"\n
ChatGPT donne t-il de bons r\u00e9sultats pour la traduction?<\/title>\n<meta name=\"description\" content=\"ChatGPT a \u00e9t\u00e9 \u00e9valu\u00e9 scientifiquement pour comparer ses performances en mati\u00e8re de traitement du langage naturel avec DeepL ou Google Translate.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"ChatGPT donne t-il de bons r\u00e9sultats pour la traduction?\" \/>\n<meta property=\"og:description\" content=\"ChatGPT a \u00e9t\u00e9 \u00e9valu\u00e9 scientifiquement pour comparer ses performances en mati\u00e8re de traitement du langage naturel avec DeepL ou Google Translate.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/\" \/>\n<meta property=\"og:site_name\" content=\"LenseUp, solutions vid\u00e9o et audio multilingues. Audioguides, audiobooks, traductions audio et video\" \/>\n<meta property=\"article:published_time\" content=\"2023-02-23T15:39:38+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-02-26T15:41:32+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.lenseup.com\/wp-content\/uploads\/2023\/02\/chatgpt-traduction.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"1640\" \/>\n\t<meta property=\"og:image:height\" content=\"924\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"LenseUp\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"LenseUp\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"6 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/\",\"url\":\"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/\",\"name\":\"ChatGPT donne t-il de bons r\u00e9sultats pour la traduction?\",\"isPartOf\":{\"@id\":\"https:\/\/www.lenseup.com\/fr\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/www.lenseup.com\/wp-content\/uploads\/2023\/02\/chatgpt-traduction.jpg\",\"datePublished\":\"2023-02-23T15:39:38+00:00\",\"dateModified\":\"2023-02-26T15:41:32+00:00\",\"author\":{\"@id\":\"https:\/\/www.lenseup.com\/fr\/#\/schema\/person\/dadfed1f52570f3378a4679e8e398337\"},\"description\":\"ChatGPT a \u00e9t\u00e9 \u00e9valu\u00e9 scientifiquement pour comparer ses performances en mati\u00e8re de traitement du langage naturel avec DeepL ou Google Translate.\",\"breadcrumb\":{\"@id\":\"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/#breadcrumb\"},\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/#primaryimage\",\"url\":\"https:\/\/www.lenseup.com\/wp-content\/uploads\/2023\/02\/chatgpt-traduction.jpg\",\"contentUrl\":\"https:\/\/www.lenseup.com\/wp-content\/uploads\/2023\/02\/chatgpt-traduction.jpg\",\"width\":1640,\"height\":924},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Accueil\",\"item\":\"https:\/\/www.lenseup.com\/fr\/7440-2\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"ChatGPT donne t-il de bons r\u00e9sultats pour la traduction?\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/www.lenseup.com\/fr\/#website\",\"url\":\"https:\/\/www.lenseup.com\/fr\/\",\"name\":\"LenseUp, multilingual audio and video solutions\",\"description\":\"Traductions et contenus audio \/ video dans 30 langues.\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/www.lenseup.com\/fr\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/www.lenseup.com\/fr\/#\/schema\/person\/dadfed1f52570f3378a4679e8e398337\",\"name\":\"LenseUp\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/www.lenseup.com\/fr\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/630b0f43e55077cd2abe39e3e9e2a52c?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/630b0f43e55077cd2abe39e3e9e2a52c?s=96&d=mm&r=g\",\"caption\":\"LenseUp\"}}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"ChatGPT donne t-il de bons r\u00e9sultats pour la traduction?","description":"ChatGPT a \u00e9t\u00e9 \u00e9valu\u00e9 scientifiquement pour comparer ses performances en mati\u00e8re de traitement du langage naturel avec DeepL ou Google Translate.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/","og_locale":"fr_FR","og_type":"article","og_title":"ChatGPT donne t-il de bons r\u00e9sultats pour la traduction?","og_description":"ChatGPT a \u00e9t\u00e9 \u00e9valu\u00e9 scientifiquement pour comparer ses performances en mati\u00e8re de traitement du langage naturel avec DeepL ou Google Translate.","og_url":"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/","og_site_name":"LenseUp, solutions vid\u00e9o et audio multilingues. Audioguides, audiobooks, traductions audio et video","article_published_time":"2023-02-23T15:39:38+00:00","article_modified_time":"2023-02-26T15:41:32+00:00","og_image":[{"width":1640,"height":924,"url":"https:\/\/www.lenseup.com\/wp-content\/uploads\/2023\/02\/chatgpt-traduction.jpg","type":"image\/jpeg"}],"author":"LenseUp","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"LenseUp","Dur\u00e9e de lecture estim\u00e9e":"6 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/","url":"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/","name":"ChatGPT donne t-il de bons r\u00e9sultats pour la traduction?","isPartOf":{"@id":"https:\/\/www.lenseup.com\/fr\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/#primaryimage"},"image":{"@id":"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/#primaryimage"},"thumbnailUrl":"https:\/\/www.lenseup.com\/wp-content\/uploads\/2023\/02\/chatgpt-traduction.jpg","datePublished":"2023-02-23T15:39:38+00:00","dateModified":"2023-02-26T15:41:32+00:00","author":{"@id":"https:\/\/www.lenseup.com\/fr\/#\/schema\/person\/dadfed1f52570f3378a4679e8e398337"},"description":"ChatGPT a \u00e9t\u00e9 \u00e9valu\u00e9 scientifiquement pour comparer ses performances en mati\u00e8re de traitement du langage naturel avec DeepL ou Google Translate.","breadcrumb":{"@id":"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/#breadcrumb"},"inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/"]}]},{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/#primaryimage","url":"https:\/\/www.lenseup.com\/wp-content\/uploads\/2023\/02\/chatgpt-traduction.jpg","contentUrl":"https:\/\/www.lenseup.com\/wp-content\/uploads\/2023\/02\/chatgpt-traduction.jpg","width":1640,"height":924},{"@type":"BreadcrumbList","@id":"https:\/\/www.lenseup.com\/fr\/evalution-traductions-chatgpt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Accueil","item":"https:\/\/www.lenseup.com\/fr\/7440-2\/"},{"@type":"ListItem","position":2,"name":"ChatGPT donne t-il de bons r\u00e9sultats pour la traduction?"}]},{"@type":"WebSite","@id":"https:\/\/www.lenseup.com\/fr\/#website","url":"https:\/\/www.lenseup.com\/fr\/","name":"LenseUp, multilingual audio and video solutions","description":"Traductions et contenus audio \/ video dans 30 langues.","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.lenseup.com\/fr\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"fr-FR"},{"@type":"Person","@id":"https:\/\/www.lenseup.com\/fr\/#\/schema\/person\/dadfed1f52570f3378a4679e8e398337","name":"LenseUp","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/www.lenseup.com\/fr\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/630b0f43e55077cd2abe39e3e9e2a52c?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/630b0f43e55077cd2abe39e3e9e2a52c?s=96&d=mm&r=g","caption":"LenseUp"}}]}},"_links":{"self":[{"href":"https:\/\/www.lenseup.com\/fr\/wp-json\/wp\/v2\/posts\/10179"}],"collection":[{"href":"https:\/\/www.lenseup.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.lenseup.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.lenseup.com\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.lenseup.com\/fr\/wp-json\/wp\/v2\/comments?post=10179"}],"version-history":[{"count":2,"href":"https:\/\/www.lenseup.com\/fr\/wp-json\/wp\/v2\/posts\/10179\/revisions"}],"predecessor-version":[{"id":10188,"href":"https:\/\/www.lenseup.com\/fr\/wp-json\/wp\/v2\/posts\/10179\/revisions\/10188"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.lenseup.com\/fr\/wp-json\/wp\/v2\/media\/10180"}],"wp:attachment":[{"href":"https:\/\/www.lenseup.com\/fr\/wp-json\/wp\/v2\/media?parent=10179"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.lenseup.com\/fr\/wp-json\/wp\/v2\/categories?post=10179"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.lenseup.com\/fr\/wp-json\/wp\/v2\/tags?post=10179"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}