ChatGPT e programação: estudo revela limitações e erros da IA

O ChatGPT tem cada vez mais conquistado os usuários que vêm encontrando diversas respostas para problemas comuns ou até mesmo para trabalho e estudo.

No entanto, é extremamente necessário tomar cuidado com as informações fornecidas pela Inteligência Artificial (IA). A ferramenta, embora impressionante, não é infalível.

Uma pesquisa da Purdue University testou a ferramenta da OpenAI em perguntas de programação, revelando uma taxa de acerto de apenas 48%. O estudo completo está disponível neste link (em inglês).

Ao longo desse texto vamos analisar o que é indicado pela pesquisa realizada e entender mais detalhes sobre esses alegados grandes problemas envolvendo o ChatGPT.

O estudo da Purdue

A pesquisa, conduzida por Samia Kabir, David Udo-Imeh, Bonan Kou e o professor assistente Tianyi Zhang, submeteu 517 perguntas ao ChatGPT. Doze voluntários também participaram, avaliando a precisão das respostas dadas pela IA.

Resultados desafiadores: taxa de acerto de 48%

Os resultados foram desanimadores, com somente 48% das respostas corretas. Surpreendentemente, 77% das respostas foram genéricas e não facilmente verificáveis. Isso demonstra a dificuldade em utilizar a ferramenta para resolver problemas.

(Imagem: divulgação)

O estudo ressaltou que, embora o ChatGPT tenha avançado, ainda luta com nuances e subjetividades das questões.

Segundo o artigo, os erros são mais evidentes quando óbvios, mas se tornam difíceis de identificar quando demandam conhecimento externo e mais amplo.

Dificuldades no uso do ChatGPT

A pesquisa apontou que muitas respostas errôneas se devem à incapacidade da IA em entender o contexto da pergunta.

A linguagem educada e respostas bem-articuladas podem disfarçar explicações totalmente equivocadas e conduzir o usuário ao erro.

Sendo assim, empresas como o Google alertaram sobre informações imprecisas de chatbots. A IA, apesar de promissora, não está livre de erros.

É aconselhável utilizá-la como auxílio, pois ainda não substitui completamente o discernimento humano, trazendo diversos problemas.

Compreendendo as limitações da IA, o estudo da Purdue University evidencia que o ChatGPT, apesar de suas realizações impressionantes, não é infalível em questões de programação.

A Inteligência Artificial, embora esteja evoluindo, ainda enfrenta obstáculos na compreensão de contextos complexos e subjetivos.

Contudo, em outros tipos de questões, a IA consegue auxiliar na hora da dificuldade. Um exemplo útil da sua aplicação é para organizar listas, traduzir textos, entre outras tarefas.

Use a ferramenta com sabedoria e sempre cheque as respostas dadas para suas perguntas a fim de evitar divulgar os possíveis erros cometidos pela IA.