Loading...
Publication
The Base-Rate fallacy in Artificial Intelligence systems
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 1.35 MB | Adobe PDF |
Abstract(s)
A Falácia da Taxa de Base é um viés cognitivo humano que surge tipicamente em contextos nos
quais são tomadas decisões sob algum grau de incerteza. Particularmente, este viés ocorre quando não
é dada consideração suficiente a informação relativa às probabilidades prévias de um evento numa
população (i.e., taxas de base), em benefício de outra informação mais específica (por exemplo,
informação estereotípica ou mais detalhada). Julgamentos influenciados por este fenómeno, contrariam
uma regra fundamental para a atualização de probabilidades, o Teorema de Bayes. De acordo com este
teorema, ambas as fontes de informação devem ser consideradas, ou seja, as probabilidades prévias
devem ser integradas com a informação específica para prever o resultado do evento.
Esta falácia tem sido amplamente investigada em estudos no domínio da Psicologia Cognitiva.
No entanto, ainda não existe uma explicação consensual relativamente aos processos cognitivos que
provocam este viés.
Nesta dissertação propõe-se uma abordagem multidisciplinar, integrando o estudo deste viés
com uma área que recentemente tem demonstrado grandes avanços, a Inteligência Artificial (IA). A
aplicação de conhecimentos e métodos da IA na investigação deste viés poderá contribuir com novas
perspetivas relativamente à sua origem. Adicionalmente, analisar a presença deste viés em sistemas de
IA, permitirá uma melhor compreensão do modo como vieses humanos influenciam estes sistemas.
No presente trabalho foram definidos dois objetivos para estudar esta falácia com recurso à IA.
O primeiro consistiu em avaliar as respostas de modelos de IA treinados em grandes quantidades de
texto – Modelos de Linguagem de Grande Escala (LLMs, de Large Language Models em inglês) – a
problemas que tipicamente desencadeiam a Falácia da Taxa de Base em humanos. Através desta análise
pretendia-se explorar se sistemas de IA, que possuem um alto poder computacional, demonstram o
mesmo viés cognitivo observado em humanos, cujos recursos cognitivos disponíveis para responder a
um determinado problema são limitados.
Para complementar esta análise, delineou-se como segundo objetivo o desenvolvimento de uma
rede neuronal que, através da informação numérica de problemas de Taxa de Base, previsse a respetiva
solução segundo o Teorema de Bayes. Posteriormente, foram testadas diferentes modificações a esta
rede neuronal, de modo a tentar simular o padrão de respostas humano. Estas modificações tinham como
propósito explorar os mecanismos cognitivos subjacentes a este viés. Especificamente, investigar qual
a fase do processamento cognitivo na origem deste viés. Este tem sido um dos aspetos relativamente aos
quais a literatura da Falácia da Taxa de Base tem divergido. Algumas teorias apontam para um problema
de seleção das fontes de informação. Isto é, na fase de codificação da informação, a evidência específica
fornecida seria utilizada para produzir o julgamento, enquanto, em contrapartida, as probabilidades
prévias seriam ignoradas. Por outro lado, outras teorias dão ênfase à integração da informação como a
etapa na qual se desencadeia este viés. Neste caso, toda a informação seria considerada, mas esta não
seria integrada de forma Bayesiana. Ainda relevante para este debate, alguns estudos recentes têm
salientado que a consideração das probabilidades prévias na presença de outra informação mais
específica pode estar sujeita a diferenças individuais.
De modo a obter uma comparação mais precisa do desempenho dos sistemas de IA com o
desempenho humano no conjunto de problemas utilizados neste trabalho, foi conduzido um estudo no
qual participantes humanos responderam a esses mesmos problemas. Na literatura, diferentes problemas
têm sido desenvolvidos para estudar este viés. Neste estudo optou-se pela utilização de problemas
semelhantes ao problema clássico dos Advogados e Engenheiros (Kahneman & Tversky, 1973). Este
problema tipicamente apresenta as probabilidades prévias de dois grupos de indivíduos numa amostra (ex.: 70 advogados e 30 engenheiros), e uma descrição – estereotípica de um dos grupos – de um
indivíduo retirado dessa amostra (ex.: Este indivíduo não demonstra interesse em questões políticas e os
seus passatempos incluem carpintaria, velejar e puzzles matemáticos). Seguidamente é pedida uma
estimativa da probabilidade do indivíduo descrito pertencer a um dos grupos (ex.: Qual é a probabilidade
deste indivíduo ser um engenheiro?). O estudo com participantes humanos foi dividido em duas
experiências. A primeira experiência incluía problemas com esta estrutura clássica. No entanto, o valor
diagnóstico da descrição (que é subjetivo) não fica definido nesta estrutura, não sendo possível uma
quantificação Bayesiana do desempenho. Assim, na segunda experiência foram utilizados problemas
novos, propostos por Ferreira et al. (2023), nos quais o valor diagnóstico da descrição é averiguado para
cada participante. Em ambas as experiências foram ainda manipulados alguns fatores que, em estudos
anteriores, demonstraram influenciar a consideração das probabilidades prévias.
Na experiência com problemas clássicos foram variadas a presença de conflito entre a
informação apresentada e a extremidade das probabilidades prévias. Os resultados obtidos
demonstraram: diferentes distribuições das respostas dos participantes entre problemas com e sem
conflito; uma maior consideração das probabilidades prévias quando estas eram mais extremas; assim
como um efeito da interação destes dois fatores. Na experiência com problemas novos, foi variada a
ordem de apresentação da informação e a solução Bayesiana correta para os dados apresentados a cada
participante. Apenas este último fator demonstrou um efeito nos resultados obtidos neste estudo. Os
participantes deram respostas diferentes para cada uma das condições, demonstrando, em geral,
sensibilidade à informação apresentada. No entanto, estas respostas apresentaram desvios à solução
correta, sugerindo uma integração não Bayesiana da informação por parte dos participantes.
Nestas duas experiências foi ainda avaliada a influência de diferenças individuais no
pensamento racional nas respostas a estes problemas. Para os problemas clássicos com conflito foi
encontrada uma tendência para participantes com maior disposição para o pensamento racional darem
mais consideração às probabilidades prévias. Nenhuma associação foi encontrada na experiência com
problemas novos.
Através deste estudo com participantes humanos foi possível obter uma referência do
desempenho humano para a avaliação do desempenho dos LLMs nos mesmos problemas. Os LLMs
testados neste trabalho foram o ChatGPT, o Gemini e o Copilot. Foi colocada a hipótese de que os LLMs
demonstrariam um melhor desempenho nos problemas clássicos relativamente aos problemas novos,
visto que os primeiros já foram amplamente explorados em estudos deste viés, e, portanto, a respetiva
solução é facilmente encontrada. Porém, os resultados obtidos não corroboraram esta hipótese,
aproximando-se, em geral, mais do padrão oposto, o que sugere que o desempenho dos LLMs é melhor
quando os problemas quantificam o valor diagnóstico da descrição, permitindo uma solução Bayesiana
concreta. Relativamente às variações na presença de conflito, extremidade das probabilidades prévias,
ordem da informação e solução Bayesiana, o único que, em geral, produziu diferenças consistentes nas
respostas dos LLMs foi a solução Bayesiana.
Os problemas foram apresentados em dois momentos distintos, primeiro em inglês, e, passado
três meses, em português. Os diferentes LLMs obtiveram desempenhos distintos entre si, bem como
entre os diferentes momentos de avaliação. Em termos de desempenho Bayesiano, o ChatGPT foi o
modelo que de forma mais frequente e consistente gerou respostas Bayesianas. O desempenho deste
modelo foi também superior ao dos participantes humanos. O Gemini e o Copilot foram menos
consistentes em gerar a resposta Bayesiana. Todos os LLMs demonstraram uma evolução em termos de
desempenho Bayesiano entre o primeiro e o segundo momento de avaliação. Deste modo, os resultados
obtidos sugerem que a constante evolução e aperfeiçoamento destes modelos também parece estar a refletir-se na capacidade de os mesmos gerarem respostas corretas em problemas que desencadeiam a
Falácia da Taxa de Base em humanos.
Relativamente ao segundo objetivo deste trabalho, foi desenvolvida uma rede neuronal para
prever a resposta Bayesiana com base nos dados numéricos apresentados nos problemas de Taxa de
Base (probabilidades prévias e probabilidades condicionadas do valor diagnóstico da descrição). O
modelo desenvolvido demonstrou um bom desempenho na fase de validação cruzada, bem como para
novos exemplos gerados aleatoriamente. As previsões dadas a estes exemplos desviaram-se pouco da
solução Bayesiana e resultaram em erros médios inferiores aos erros dos participantes humanos.
Contudo, quando testada com um conjunto de exemplos retirados dos dados apresentados aos
participantes, a rede neuronal demonstrou desvios ligeiramente maiores à solução Bayesiana.
Posteriormente, esta rede neuronal foi modificada, de modo a tentar obter os padrões de resposta
humanos. Para tal foram reduzidos os pesos de cada um dos dados de entrada (probabilidades prévias e
probabilidades condicionadas), variando o seu impacto na resposta final. Quando reduzido o seu peso,
nenhum destes dados demonstrou produzir de forma consistente o padrão de respostas mais próximo do
padrão humano. Porém, de modo geral, pareceu existir, para todos os dados de entrada, uma tendência
para quanto mais próximos da omissão completa na resposta final, maior a diferença entre as respostas
da rede neuronal e as dos participantes humanos. Este resultado parece favorecer a perspetiva de que
este viés cognitivo resulta mais de um problema de integração da informação e menos de falhas na
codificação da mesma.
No entanto, estes resultados devem ser considerados com prudência, devido à grande
variabilidade presente nos mesmos e ao facto da rede neuronal sem modificações apresentar alguns
desvios à solução Bayesiana. Em qualquer caso, apesar da necessidade de aperfeiçoamento deste
modelo, a abordagem aqui utilizada parece oferecer um método promissor para a investigação da Falácia
da Taxa de Base, e, possivelmente, de outros vieses cognitivos.
The Base-Rate Fallacy is a cognitive bias characterized as a human tendency to give insufficient consideration to the prior probabilities of an event, when more specific information is also available. The present work aimed at combining the study of this cognitive bias with the field of Artificial Intelligence (AI). The goal of this approach was not only to obtain a better idea of the susceptibility of AI systems to this cognitive bias, but also to apply methods from AI to obtain new insights regarding the cognitive processes underlying this bias. Two objectives were defined to attain this goal. The first one consisted in testing Large Language Models (LLMs) on problems that lead to this bias in humans. The second objective involved: 1) the development of a neural network that predicted the solution conforming to the Bayes Theorem; 2) the modification of this network, to try to simulate humans’ response patterns. To compare the AI models with the human performance more accurately, we also conducted a human study on the problems used. The results for the LLMs evaluation demonstrated that these models can respond to the problems in a Bayesian way, although some of them not consistently so. Furthermore, they also demonstrated potential for improvement regarding their response accuracy. On the second objective, we developed a neural network that accurately predicted the Bayesian solution to the numeric data of the problems when tested with unseen, randomly generated examples. However, when tested with data provided to participants in the human study, its predictions deviated slightly from the Bayesian solutions. The modifications tested to produce the human response patterns, seemed to generally suggest that the Base-Rate Fallacy arises from a problem of information integration, rather than information codification. However, these are preliminary results, needing further examination and future refinement of the unmodified network.
The Base-Rate Fallacy is a cognitive bias characterized as a human tendency to give insufficient consideration to the prior probabilities of an event, when more specific information is also available. The present work aimed at combining the study of this cognitive bias with the field of Artificial Intelligence (AI). The goal of this approach was not only to obtain a better idea of the susceptibility of AI systems to this cognitive bias, but also to apply methods from AI to obtain new insights regarding the cognitive processes underlying this bias. Two objectives were defined to attain this goal. The first one consisted in testing Large Language Models (LLMs) on problems that lead to this bias in humans. The second objective involved: 1) the development of a neural network that predicted the solution conforming to the Bayes Theorem; 2) the modification of this network, to try to simulate humans’ response patterns. To compare the AI models with the human performance more accurately, we also conducted a human study on the problems used. The results for the LLMs evaluation demonstrated that these models can respond to the problems in a Bayesian way, although some of them not consistently so. Furthermore, they also demonstrated potential for improvement regarding their response accuracy. On the second objective, we developed a neural network that accurately predicted the Bayesian solution to the numeric data of the problems when tested with unseen, randomly generated examples. However, when tested with data provided to participants in the human study, its predictions deviated slightly from the Bayesian solutions. The modifications tested to produce the human response patterns, seemed to generally suggest that the Base-Rate Fallacy arises from a problem of information integration, rather than information codification. However, these are preliminary results, needing further examination and future refinement of the unmodified network.
Description
Tese de Mestrado, Ciência Cognitiva, 2024, Universidade de Lisboa, Faculdade de Ciências
Keywords
Falácia da Taxa de Base Inteligência Artificial Modelos de Linguagem de Grande Escala Modelação Cognitiva Computacional Teorema de Bayes Teses de mestrado - 2024