Séminaires RALI-OLST

Une approche par jeu-défi à l'évaluation de la traduction automatique

Pierre Isabelle (Pierre (point) Isabelle <at> cnrc-nrc (point) gc (point) ca)

Conseil national de recherches Canada -- Ottawa

Wednesday 22 November 2017 at 11:30 AM

Salle 3195, Pavillon André-Aisenstadt


Du point de vue de la qualité des résultats, la traduction automatique neuronale représente sans contredit un bond en avant. Mais quelles sont exactement les problèmes qu'elle permet de résoudre? Et quels sont ceux qui demeurent entiers? Nous examinons ces questions au moyen d'une approche à l'évaluation des traductions et l'analyse d'erreurs par jeux-défis. Un jeu-défi est un petit ensemble de phrases qui sont chacune conçue pour tester la capacité du système à combler une divergence structurale particulière entre les langues concernées. Nous exemplifions cette approche par le développement d'un jeu-défi pour la traduction anglais --> français et nous mettons ce jeu à l'épreuve sur trois systèmes maison, dont deux à base statistique traditionnelle et un à base neuronale, ainsi que sur Google Translate version neuronale. Les résultats nous permettent de produire non seulement une analyse fine des forces des systèmes neuronaux mais également un aperçu des phénomènes linguistiques qui leur échappent encore.

En guise d'épilogue, nous examinerons également la performance sur le même jeu-défi d'un système qui fait présentement la manchette: DEEPL.


To receive weekly talk announcements, please send a e-mail to majordomo@iro.umontreal.ca. Simply write a message containing the single line 'subscribe ralli' (without the quotes).

See all the weekly talks for the year:

199119921993199419951997199819992000200120022003200420052006200720082009201020112012201320142015201620172018