Inteligências artificiais mais populares erram questão de matemática do 8º ano

Um experimento curioso foi realizado para medir a capacidade das inteligências artificiais em resolver problemas de matemática do oitavo ano. O usuário do subreddit r/Poland, conhecido como “opolski”, decidiu testar vários chatbots, entre eles o ChatGPT, o Gemini 2.5 Pro e o Claude Sonnet 4.

A ideia surgiu de uma tentativa de avaliar como essas tecnologias lidam com questões objetivas em um ambiente controlado.

Para isso, cada IA recebeu uma questão por vez, simulando a experiência de um estudante polonês em uma prova de matemática. O resultado, no entanto, surpreendeu muitos participantes.

A questão que desafiou as inteligências artificiais

O teste envolveu 15 questões, das quais os modelos OpenAI GPT-3 e Gemini 2.5 Pro acertaram 14, enquanto o Claude Sonnet 4 conseguiu apenas 12 acertos. Contudo, todos os três modelos falharam na mesma questão, a número 12, que envolvia a avaliação de afirmações sobre coordenadas em uma reta numérica.

A tarefa consistia em verificar a veracidade de duas afirmações: a coordenada do ponto C é um número par e a do ponto B é menor que 74. Esse erro comum levantou dúvidas sobre o processo de raciocínio dessas inteligências artificiais e suas limitações ao lidar com conceitos matemáticos aparentemente simples.

Discussão e implicações

A publicação dos resultados gerou uma série de discussões online. Um dos tópicos levantados foi a terminologia usada na descrição dos participantes do teste.

Em polonês, a palavra “aluno” é geralmente associada a universitários, enquanto “estudante” é mais apropriada para quem frequenta escolas primárias e secundárias.

Além disso, houve debate sobre a ausência de conclusões claras acerca do significado dos resultados para o desenvolvimento e aplicação das IAs. Alguns internautas ficaram intrigados com a falta de uma análise profunda por parte do autor, questionando o verdadeiro objetivo do experimento.

Apesar da ausência de uma conclusão definitiva, o teste trouxe à tona questões importantes sobre as capacidades das inteligências artificiais. A discussão em torno do experimento continua, alimentando debates sobre o que realmente constitui inteligência e consciência nessas tecnologias emergentes.