Il est temps de reconsidérer notre dépendance à la fameuse règle du seuil de 70 % en mémoire de traduction

Dans mon poste précédent, nous avons étudié comment l’optimisation par analytique peut améliorer notre productivité en traduction. Nous avons mis en avant deux points clés : la nécessité d’améliorer notre seuil sous-optimal de mémoire de traduction (MT), et le fait que même une augmentation de seulement 1 % de la qualité de la pré-traduction automatique peut réduire le temps d’édition de 3 secondes. Aujourd’hui, nous allons reprendre où nous nous sommes arrêtés et plonger dans le graphique aveugle que nous avons annoncé à la fin de notre dernier post.

Aujourd’hui, avec des légendes:

Avant de nous plonger dans l’interprétation du graphique, il est crucial de comprendre la nature distincte des deux scores. Décomposons d’abord ce que ces scores signifient vraiment, comment ils interagissent et pourquoi ils sont essentiels pour nos stratégies d’optimisation. Ainsi, nous pouvons mieux apprécier les informations que le graphique offre et prendre des décisions adaptées pour améliorer nos flux de traduction.

La correspondance approximative de la mémoire de traduction est comme l’elfe dans l’atelier du Père Noël. Il parcourt la mémoire de traduction en trouvant un segment qui ressemble à ce que vous avez déjà traduit précédemment, et dit : « Hey, c’est la phrase la plus proche que tu as déjà traduite. » Mais à moins que ce score touche un 100 parfait ou un 101 magique, ce n’est pas une correspondance exacte, et il a surtout besoin d’une retouche d’un linguiste. Donc, bien que la correspondance approximative soit très utile, cela reste seulement l’aide du Père Noël. Cela signifie donc que l’automatisation avec seulement la correspondance approximative n’est pas possible. 

La traduction automatique, c’est comme vouloir devenir le Père Noël soi-même, en visant à produire la traduction finale par soi-même. Elle dispose de « correspondances historiques » dans son ensemble d’apprentissage, où elles sont essentiellement intégrées dans le réseau de neurones grâce à l’apprentissage automatique. Ce réseau cérébral peut sortir des sentiers battus, ce qui lui permet de traduire de nouveaux textes qu’il n’a jamais rencontrés auparavant. Et c’est une grande différence face à la mémoire de traduction, qui ne peut pas.

La correspondance approximative est essentiellement un simple algorithmede comparaison, qui ne peut pas produire la traduction finale. Mais parce que nous connaissons précisément son fonctionnement, nous pouvons compter avec confiance sur les correspondance approximatives qu’il génère. La capacité de la mémoire de traduction à produire un score de confiance élevé provient de son algorithme prévisible et direct.

La traduction automatique a la capacité de produire une traduction finale, ce qui est plutôt impressionnant. Cependant, le hic, c’est que nous ne savons pas très bien comment il a donné ses résultats. Le fonctionnement des réseaux neuronaux derrière la traduction automatique opère d’une manière un peu opaque, ce qui en fait en partie un mystère.

C’est exactement pourquoi tant d’efforts et de ressources ont été consacrés au développement d’un algorithme fiable de score des résultats de traduction automatique. Chez Phrase, c’est un pivot de notre domaine de recherche depuis de nombreuses années. L’algorithme a évolué de manière significative au fil du temps, remplaçant notamment l’évaluation de la qualité de la traduction automatique (MTQE) originale, qui se concentrait sur l’estimation de la distance d’édition nécessaire pour corriger la sortie de la traduction automatique. Il est depuis passé au score de qualité de performance de Phrase (QPS), qui intègre des données de post-édition humaine et des évaluations structurées alignées sur le système MQM, standard du secteur.

Essentiellement, le Phrase QPS est conçu pour imiter une notation attendue d’un linguiste utilisant le système MQM. Cela signifie que le score reflète une évaluation complète et humaine de la qualité de la traduction, l’évaluant avec la même rigueur et les mêmes critères qu’un linguiste professionnel. C’est le type de données sur lequel nous l’entraînons.

Comment savoir si les scores de Phrase QPS sont fiables ? C’est là que le graphique que nous avons mentionné précédemment entre en jeu. Il démontre une corrélation solide entre les scores QPS d’un segment et son temps d’édition. Il montre que les scores élevés requièrent une intervention moindre des linguistes. Essentiellement, plus le score est élevé, moins les révisions coûteuses et chronophages sont nécessaires. Ce genre de corrélation est exactement ce que nous voulons voir : elle confirme que l’algorithme de notation fait sa tâche efficacement. Et malgré le fait d’être un nouveau dans le domaine, il a sa place en tant que partenaire de confiance dans notre boîte à outils d’automatisation.

En regardant plus loin les données, nous voyons quelque chose d’assez intéressant : Les scores de correspondance approximative ne battent la traduction automatique uniquement lorsque la correspondance est parfaite à 100 ou 101. Cela vient bouleverser la légitimité de la règle du seuil de 70% de mémoire de traduction que l’industrie avait adopté. On dirait que cette règle ne tiendra peut-être pas la route à moins que les correspondances ne soient presque parfaites, ce qui donne définitivement à cette norme un nouveau jour moins flatteur. Il est peut-être temps de repenser à quel point nous dépendons de cette règle des 70%.

Si tu as déjà abandonné la règle du seuil MT 70 %, tu as peut-être déjà un coup d’avance. Mais dans mon dernier poste, je soulignais à quel point la règle des 70% reste le seuil le plus couramment utilisé. Cette norme établie est associée à une balise de prix élevée.

Un autre point à noter est que, que la traduction initiale ait été faite par mémoire de traduction ou par traduction automatique, un segment mal pré-traduit nécessite généralement environ 20 à 25 secondes pour être corrigé.

Enfin, il est important de noter la raideur de la ligne rouge, qui indique une diminution d’environ 1 seconde du temps d’édition par segment pour chaque réduction de 1 point du Seuil QPS dans la pré-traduction avec mémoire de traduction. Cela suggère qu’un léger abaissement du seuil de qualité pourrait permettre de gagner beaucoup de temps.

Combien votre entreprise pourrait économiser ? Préparez-vous à découvrir les secrets cachés pour faire des économies sur les coûts ! Découvrez les seuils optimaux pour la mémoire de traduction et le score QPS pour vos projets. Les réponses à ces questions cruciales sont juste à notre portée.