Que tipo de economista é o ChatGPT? Estudantes Estudantes de Coimbra puseram modelos de IA à prova

Um grupo de estudantes da Faculdade de Economia da Universidade de Coimbra decidiu fazer uma pergunta pouco habitual: será que uma inteligência artificial tem opinião económica própria? O estudo, desenvolvido no âmbito do projeto final de curso destes alunos, testou o GPT-4o, do ChatGPT, o Gemini e o Microsoft Copilot com um questionário de 18 afirmações, à semelhança de estudos académicos que recorrem a escalas de opinião. A equipa é composta por Afonso Ventura, Constança Moita, Gustavo Assunção, Mafalda Maranha e Matilde Cardetas.

Mafalda Maranha, uma das autoras do projeto, explica o ponto de partida: “com este trabalho quisemos perceber se um chatbot, uma IA, tem uma opinião económica escondida e para onde é que ele tende a ter o pensamento”. O tema foi proposto por um dos docentes da unidade curricular e acabou por ser o que mais despertou o interesse dos estudantes, uma vez que, segundo Mafalda, na economia “não há uma única verdade, há vários pensamentos diferentes, que divergem muitas opiniões”.

Novos Keynesianos dominam as respostas

Os resultados apontaram para uma tendência transversal aos três modelos testados. Como resume Mafalda, “o que nós percebemos foi que todos os LLMs tendiam para os Novos Keynesianos”. Os Novos Keynesianos não acreditam que os mercados se equilibrem rapidamente segundo a lei da oferta e da procura. Assumem que a causa do desemprego involuntário é rigidez de preços e salários. Além disso, consideram que os salários e os preços não são flexíveis mas “viscosos”. Essa viscosidade seria ligada a imperfeições da informação. Também não defendem o substituir o mercado pelo Estado, mas antes encontrar meios de melhorar o funcionamento da economia.

Para perceber se essa tendência era genuína ou apenas resultado do contexto dado à conversa, a equipa tomou precauções. As afirmações foram sempre enviadas em contas sem sessão iniciada, precisamente para evitar que o histórico de utilização influenciasse as respostas. 

O grupo optou também por enviar uma afirmação de cada vez, em vez das 18 juntas. Porquê? Os estudantes bem tentaram enviar o conjunto das afirmações, mas encontraram resistência por parte das ferramentas. “O Gemini dizia que não podia responder e que se recusava a dar opiniões políticas ou económicas, mas que podia explicar como funcionam as escolas”, conta Mafalda Maranha.  

Já outros modelos respondiam sem hesitar, mas com resultados ainda mais marcados numa única direção, o que a estudante associa ao facto de o modelo perceber “o que nós estávamos a querer fazer” quando confrontado com todas as afirmações de seguida. “Achei isso interessante. Nós já calculávamos que ia acontecer e, ao testar, percebi que ele realmente não responde às questões quando percebe que está a ser testado”, acrescenta.

O peso do contexto nas respostas

O contexto dado aos modelos revelou-se igualmente determinante. Quando a equipa simulou, no Microsoft Copilot, o perfil de uma diretora de uma organização não governamental (ONG) na África Subsaariana, o resultado destacou-se dos restantes: “neste caso específico, ele deixou de ser Novos Keynesianos e passou mesmo a ser Pós-Keynesianos, a percentagem subiu drasticamente”. Os Pós-Keynesianos defendem uma intervenção do Estado mais forte que os Novos-Keynesianos, sobretudo para reduzir o desemprego e a desigualdade.

Nos outros contextos testados, como o de economista sénior do BCE ou CFO de uma multinacional tecnológica, a oscilação foi menos acentuada, o que levou a estudante a sublinhar a importância do enquadramento dado à ferramenta de inteligência artificial. “A IA é muito sensível à forma como nós enquadramos a pergunta. O framing do prompt é muito importante, porque a IA adapta-se completamente e muda muito a resposta consoante o contexto que lhe damos”, considera Mafalda Maranha. 

A equipa notou ainda que, quando não era fornecido qualquer contexto, as respostas do modelo variavam de semana para semana. A estudante admite não ter conseguido investigar a fundo a razão para tal resultado, mas arrisca uma hipótese: “acredito que ele seja todos os dias bombardeado com muita informação e que esteja sempre a aprender e a evoluir com aquilo que as pessoas vão dizendo”. 

Questionada sobre se um utilizador que se identifique com outra escola do pensamento económico conseguiria, ao longo do tempo, levar um modelo de inteligência artificial a adotar essa mesma posição, a estudante nota que a IA tende a preservar a sua própria inclinação.

Confiança e cuidado no uso da IA

A construção do questionário foi um dos maiores desafios do trabalho. As afirmações tinham de ser suficientemente neutras para não revelarem de imediato a escola económica a que se referiam. O grupo optou também por uma escala de 1 a 5, entre “discordo totalmente” e “concordo totalmente”, depois de perceber que uma escala mais reduzida, de 1 a 3, não permitia um projeto de investigação suficientemente coerente.

O que é que este trabalho ensina em relação à confiança nestas ferramentas? Para Mafalda Maranha, “temos de ter algum cuidado, porque estas ferramentas não são neutras, como às vezes até parecem ser. Têm sempre uma tendência implícita”. A estudante acrescenta ainda uma preocupação sobre o impacto a longo prazo do uso destas ferramentas para informação económica: “acho que pode ir moldando, subtilmente, sem nós sentirmos, a opinião de todos e a opinião pública sobre a economia”.