Avaliação humana da tradução automática de combinações lexicais especializadas: o caso do Google Translate e do DeepL

Este trabalho se propõe a avaliar a tradução automática feita pelos sistemas Google Translate e DeepL especificamente em relação a combinações lexicais especializadas (L’HOMME; BERTRAND, 2000) compostas por verbo+substantivo extraídas de textos jurídicos chamados “cláusulas arbitrais”. Nós apresentamos uma metodologia para selecionar as combinações lexicais especializadas e avaliar a adequação e a fluência das traduções produzidas pelos sistemas em questão. Os resultados obtidos estão alinhados com recentes pesquisas na área de tradução automática baseada em redes neurais (NMT) que indicam que esse tipo de tecnologia tem um desempenho melhor no parâmetro “fluência” do que no parâmetro “adequação” (KOEHN; KNOWLES, 2017). Em relação à precisão terminológica, houve ocorrências de tradução de termos diferentes na língua-fonte para o mesmo termo na língua-alvo em uma mesma frase, o que muitas vezes pode ser inadequado em textos técnicos e contraria a percepção bastante comum de que a tradução automática produz resultados consistentes, sendo mais adequada à tradução especializada. Ainda assim, e apesar das limitações apontadas neste estudo, as avaliações das traduções das combinações lexicais foram bastante satisfatórias.