Novo ranking de IA ajuda empresas a escolherem modelos em português europeu

A ferramenta, designada “Leaderboard de LLM para português”, permite avaliar e comparar de forma transparente diferentes modelos de IA, através de um ranking acessível ao público, empresas e comunidade científica.

Até agora, as principais plataformas deste tipo estavam centradas no inglês e noutras línguas com maior tradição tecnológica, não existindo uma solução específica para o português europeu.

O funcionamento do leaderboard baseia-se na submissão de modelos de IA por parte dos seus criadores. Esses modelos são avaliados de forma independente, recorrendo a testes automáticos com dados desenvolvidos para medir vários aspetos do desempenho, incluindo qualidade linguística, adequação cultural e civilidade. Os resultados são depois disponibilizados online, permitindo a comparação direta entre sistemas.

A ferramenta está preparada para comparar modelos de inteligência artificial abertos, ou seja, aqueles que disponibilizam o código ou os parâmetros utilizados no processamento da informação. Qualquer LLM aberto pode ser submetido a avaliação, seja pelo próprio produtor ou por terceiros.

A iniciativa foi desenvolvida no âmbito da PORTULAN CLARIN — Infraestrutura Nacional de Investigação para a Ciência e Tecnologia da Linguagem — coordenada pela Ciências ULisboa e integrada no Roteiro Estratégico de Infraestruturas de Investigação da FCT – Fundação para a Ciência e a Tecnologia. A PORTULAN CLARIN é também o nó nacional da infraestrutura europeia CLARIN ERIC.

Segundo António Branco, professor e investigador da Ciências ULisboa e diretor-geral da PORTULAN CLARIN, “este leaderboard vem colmatar uma lacuna importante, permitindo avaliar de forma rigorosa e comparável o desempenho de modelos de IA para português europeu, algo que até agora não existia”.

Além de apoiar investigadores e programadores no desenvolvimento de novos modelos, a ferramenta poderá também ser útil para empresas e instituições na seleção de soluções de IA mais adequadas às suas necessidades.

O serviço é de acesso livre e representa um passo relevante para reforçar a presença do português europeu no desenvolvimento global da inteligência artificial.

Mais informações aqui.

Subscreve a nossa newsletter, onde todas as terças e quintas podes ler as melhores histórias do mundo da inovação e das empresas em Portugal e lá fora.