A OpenAI tem estado ativa com o revelar de novos modelos de inteligência artificial que superam os anteriores, com funções de raciocínio. Curiosamente, esperava-se que estes fossem mais evoluídos, mas trazem um problema associado. Têm mais alucinações e não sabem porquê.
Novos modelos de IA têm mais alucinações
As alucinações em inteligência artificial são um dos graves problemas enfrentados pelas grandes empresas tecnológicas. Isto ocorre quando um destes modelos oferece algum tipo de informação ou raciocínio que faz uma afirmação firme, mas não é precisa ou verdadeira. Os novos modelos OpenAI, tanto o o3 como o o4-mini, geram mais alucinações do que nunca quando comparados com os modelos anteriores.
Conforme os testes internos da OpenAI, tanto o o3 como o o4-mini, que apresentam capacidades de raciocínio, apresentam alucinações com maior frequência do que os modelos anteriores da empresa. O preocupante é que a OpenAI não sabe exatamente porque é que isto acontece e, se as coisas continuarem assim, os seus modelos futuros poderão não ser propriamente fiáveis.
OpenAI não sabe a razão deste comportamento
Na última avaliação do o3 e o4-mini, a OpenAI revela serem necessárias mais pesquisas para compreender porque é que as alucinações pioram à medida que os modelos de raciocínio se expandem. Salientam que a o3 surpreendeu ao responder a 33% das questões do PersonQA, um benchmark interno da empresa para medir a precisão de um modelo sobre as pessoas.
Isto representa aproximadamente o dobro da taxa de alucinações nos modelos de raciocínio anteriores. Por outro lado, o 04-mini teve um desempenho ainda pior no PersonQA, com alucinações em 48% das vezes. Da mesma forma, testes externos também encontraram evidências de que estes novos modelos tendem a inventar mais do que nunca.
Modelos com raciocínio seriam mais fiáveis
A Transluce avançou a hipótese que o tipo de aprendizagem de reforço utilizado para modelos de séries 'o' pode amplificar problemas normalmente mitigados, mas não totalmente eliminados, por processos padrão de pós-formação. Embora estas alucinações possam, por vezes, ajudar os modelos a serem mais imaginativos e criativos, isso nem sempre é positivo.
A Open AI também já se manifestou sobre este problema. Abordar as alucinações em todos os nossos modelos é uma área de investigação contínua e a empresa está constantemente a trabalhar para melhorar a sua precisão e fiabilidade.
Comentários