Loading...
Publication
Error analysis in automatic speech recognition and machine translation
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 3.17 MB | Adobe PDF | |||
| 256.43 KB | Adobe PDF |
Authors
Abstract(s)
Automatic speech recognition and machine translation are well-known terms in
the translation world nowadays. Systems that carry out these processes are taking over the work
of humans more and more. Reasons for this are the speed at which the tasks are performed and
their costs. However, the quality of these systems is debatable. They are not yet capable of
delivering the same performance as human transcribers or translators. The lack of creativity,
the ability to interpret texts and the sense of language is often cited as the reason why the
performance of machines is not yet at the level of human translation or transcribing work.
Despite this, there are companies that use these machines in their production pipelines.
Unbabel, an online translation platform powered by artificial intelligence, is one of these
companies. Through a combination of human translators and machines, Unbabel tries to
provide its customers with a translation of good quality. This internship report was written with
the aim of gaining an overview of the performance of these systems and the errors they produce.
Based on this work, we try to get a picture of possible error patterns produced by both systems.
The present work consists of an extensive analysis of errors produced by automatic speech
recognition and machine translation systems after automatically transcribing and translating 10
English videos into Dutch. Different videos were deliberately chosen to see if there were
significant differences in the error patterns between videos. The generated data and results from
this work, aims at providing possible ways to improve the quality of the services already
mentioned.
O reconhecimento automático de fala e a tradução automática são termos conhecidos no mundo da tradução, hoje em dia. Os sistemas que realizam esses processos estão a assumir cada vez mais o trabalho dos humanos. As razões para isso são a velocidade com que as tarefas são realizadas e os seus custos. No entanto, a qualidade desses sistemas é discutível. As máquinas ainda não são capazes de ter o mesmo desempenho dos transcritores ou tradutores humanos. A falta de criatividade, de capacidade de interpretar textos e de sensibilidade linguística são motivos frequentemente usados para justificar o facto de as máquinas ainda não estarem suficientemente desenvolvidas para terem um desempenho comparável com o trabalho de tradução ou transcrição humano. Mesmo assim, existem empresas que fazem uso dessas máquinas. A Unbabel, uma plataforma de tradução online baseada em inteligência artificial, é uma dessas empresas. Através de uma combinação de tradutores humanos e de máquinas, a Unbabel procura oferecer aos seus clientes traduções de boa qualidade. O presente relatório de estágio foi feito com o intuito de obter uma visão geral do desempenho desses sistemas e das falhas que cometem, propondo delinear uma imagem dos possíveis padrões de erro existentes nos mesmos. Para tal, fez-se uma análise extensa das falhas que os sistemas de reconhecimento automático de fala e de tradução automática cometeram, após a transcrição e a tradução automática de 10 vídeos. Foram deliberadamente escolhidos registos videográficos diversos, de modo a verificar possíveis diferenças nos padrões de erro. Através dos dados gerados e dos resultados obtidos, propõe-se encontrar uma forma de melhorar a qualidade dos serviços já mencionados.
O reconhecimento automático de fala e a tradução automática são termos conhecidos no mundo da tradução, hoje em dia. Os sistemas que realizam esses processos estão a assumir cada vez mais o trabalho dos humanos. As razões para isso são a velocidade com que as tarefas são realizadas e os seus custos. No entanto, a qualidade desses sistemas é discutível. As máquinas ainda não são capazes de ter o mesmo desempenho dos transcritores ou tradutores humanos. A falta de criatividade, de capacidade de interpretar textos e de sensibilidade linguística são motivos frequentemente usados para justificar o facto de as máquinas ainda não estarem suficientemente desenvolvidas para terem um desempenho comparável com o trabalho de tradução ou transcrição humano. Mesmo assim, existem empresas que fazem uso dessas máquinas. A Unbabel, uma plataforma de tradução online baseada em inteligência artificial, é uma dessas empresas. Através de uma combinação de tradutores humanos e de máquinas, a Unbabel procura oferecer aos seus clientes traduções de boa qualidade. O presente relatório de estágio foi feito com o intuito de obter uma visão geral do desempenho desses sistemas e das falhas que cometem, propondo delinear uma imagem dos possíveis padrões de erro existentes nos mesmos. Para tal, fez-se uma análise extensa das falhas que os sistemas de reconhecimento automático de fala e de tradução automática cometeram, após a transcrição e a tradução automática de 10 vídeos. Foram deliberadamente escolhidos registos videográficos diversos, de modo a verificar possíveis diferenças nos padrões de erro. Através dos dados gerados e dos resultados obtidos, propõe-se encontrar uma forma de melhorar a qualidade dos serviços já mencionados.