No contexto do rápido desenvolvimento da tecnologia de tradução por IA globalmente, o primeiro ranking aplicado de avaliação de tradução por IA, chamado TransBench, foi oficialmente lançado. Este ranking foi desenvolvido em conjunto pela equipe internacional de IA da Alibaba, pelo Laboratório de Inteligência Artificial de Xangai e pela Universidade de Idiomas de Pequim, com o objetivo de fornecer uma avaliação padronizada da qualidade das traduções para a indústria.
Diferindo dos métodos tradicionais de avaliação de tradução, o TransBench introduz novos indicadores como taxa de alucinação, palavras proibidas culturalmente e normas de linguagem respeitosa, focando-se em questões-chave nos modelos grandes de tradução. Esses indicadores são baseados em feedback de cenários de uso reais, visando refletir a utilidade prática e a adaptabilidade cultural das traduções. Por exemplo, se um resultado de tradução for fluente mas contiver "informações inventadas", será marcado como "alucinação"; da mesma forma, traduções que não sejam compatíveis com a cultura local ou careçam de expressões corteses adequadas também afetarão os resultados da avaliação.
De acordo com os mais recentes resultados de avaliação do ranking, o GPT-4o continua sendo o líder incontestável no campo das IA de tradução, destacando-se particularmente na tradução de múltiplos idiomas e obtendo a pontuação total mais alta. Logo atrás está o DeepL Translate e o GPT-4-Turbo. O DeepL Translate, especificamente projetado para tradução automática, lançou sua versão mais recente no mês passado, melhorando significativamente a qualidade das traduções. No setor de comércio eletrônico, o desempenho do DeepSeek-R1 também foi notável, demonstrando sua competitividade em áreas específicas.
Em termos de características culturais, os modelos da série Qwen tiveram um desempenho impressionante, com o Qwen2.5-0.5B-Instruct e o Qwen2.5-1.5B-Instruct ocupando as duas primeiras posições, mostrando suas vantagens nas traduções interculturais. Esta série de modelos foi desenvolvida por várias instituições de pesquisa, suporta múltiplos idiomas e visa melhorar a adaptabilidade cultural das traduções.
No campo da tradução chinesa, o GPT-4o lidera novamente, seguido de perto pelo DeepSeek-V3 e o Claude-3.5-Sonnet. Particularmente no setor de comércio eletrônico, o DeepSeek-V3 chamou atenção por seus excelentes resultados.
O método de avaliação e o conjunto de dados do TransBench já estão disponíveis ao público, incentivando as principais empresas de IA de tradução a participarem, permitindo comparações horizontais e avaliações de desempenho. Essa iniciativa não só fornece uma base para a padronização da indústria, mas também impulsiona o avanço da tecnologia de tradução por IA.
A equipe internacional de IA da Alibaba afirmou que, à medida que a tecnologia de tradução continua a evoluir, a indústria está exigindo tradutores de modelos cada vez mais rigorosos. O TransBench é exatamente a resposta a essa demanda como um padrão de avaliação. No futuro, a Alibaba Internacional continuará comprometida com a aplicação da tecnologia de IA para ajudar mais empresas a alcançar o desenvolvimento global.
Com a crescente competitividade no mercado de tradução por IA, o lançamento do TransBench certamente oferece à indústria um norte claro, proporcionando também aos usuários um critério confiável de referência ao escolher serviços de tradução.