Autores
Orientador(es)
Resumo(s)
Neste relatório técnico apresentam-se os critérios usados na avaliação dos sistemas participantes do HAREM, a primeira avaliação conjunta de sistemas de reconhecimento de entidades mencionadas (REM) em português, organizada pela Linguateca. Por outras palavras, descreve as pontuações, medidas e métricas usadas para aferir as saídas geradas pelos sistemas de REM dos participantes, além de descrever os diversos relatórios de apresentação de resultados. A avaliação é feita comparando uma dada colecção de textos etiquetada pelos sistemas, com essa mesma colecção de textos etiquetada manualmente, a denominada colecção dourada. Este relatório, além de apresentar detalhadamente as fórmulas usadas, ilustra o funcionamento da avaliação e o cálculo das medidas com vários exemplos. Este texto pretende assim ser a referência definitiva em relação à teoria de avaliação empregue no HAREM, permitindo esclarecer os variados resultados tornados acessíveis durante o primeiro evento de avaliação do HAREM, assim como fixando a terminologia usada nesta avaliação conjunta. Um texto complementar [16] indica como é que a implementação das diversas questões foi levada a cabo
Descrição
Palavras-chave
avaliação processamento computacional do português processamento de linguagem natural,
extracção de informação português avaliação conjunta reco