Transformando pensamentos em palavras: IA converte fala silenciosa em texto

Pesquisadores da Universidade do Texas, em Austin, desenvolveram um novo sistema de inteligência artificial chamado “decodificador semântico” que tem a capacidade de traduzir a atividade cerebral de uma pessoa em um fluxo contínuo de texto.

Essa tecnologia inovadora tem o potencial de auxiliar pessoas que são mentalmente conscientes, mas não conseguem desenvolver a fala, como aqueles que foram debilitados por derrames.  

Ao ouvir uma história ou imaginar silenciosamente a narrativa, o sistema decodifica os sinais cerebrais e os converte em texto, possibilitando a expressão das ideias e dos pensamentos dessas pessoas.

Essa conquista promissora pode abrir novas perspectivas para a comunicação e a qualidade de vida de indivíduos que enfrentam desafios de fala devido a condições médicas ou lesões.

O estudo, que resultou no desenvolvimento do “decodificador semântico”, foi conduzido por Jerry Tang, estudante de doutorado em Ciência da Computação, e Alex Huth, professor assistente de neurociência e ciência da computação da universidade.

Os resultados dessa pesquisa foram publicados na revista Nature Neuroscience, uma das publicações científicas mais respeitadas na área.

A liderança conjunta de Tang e Huth na pesquisa destaca a colaboração entre as áreas de ciência da computação e da neurociência, buscando avanços significativos na interface entre o cérebro humano e a inteligência artificial.

O trabalho realizado pelos pesquisadores faz uso de um modelo de transformador, semelhante aos utilizados em sistemas como o Bard – do Google – e do ChatGPT  – da OpenAI.  

Porém, o sistema desenvolvido pelos pesquisadores é diferenciado por não requerer implantes cirúrgicos nos sujeitos, tornando-o um método não invasivo. Além disso, ao contrário de outros sistemas de decodificação de linguagem em desenvolvimento, os participantes não são limitados a uma lista prescrita de palavras para se comunicar.

Como funciona o método do ‘leitor de mentes’?

Após um treinamento extensivo do decodificador, no qual o paciente ouve horas de podcasts no scanner, a atividade cerebral é medida usando um scanner fMRI.

Posteriormente, se o participante estiver disposto a ter seus pensamentos decodificados, a máquina é capaz de gerar o texto correspondente apenas a partir da atividade cerebral, seja ao ouvir uma nova história ou ao imaginar contar uma história.

Os pesquisadores projetaram o sistema de decodificação para capturar a essência do que está sendo dito ou pensado, em vez de fornecer uma transcrição exata palavra por palavra.

Embora imperfeito, o sistema demonstrou a capacidade de produzir texto que se aproxima, e às vezes com precisão, dos significados pretendidos das palavras originais.

O decodificador desenvolvido pelos pesquisadores permite a decodificação contínua da linguagem por longos períodos de tempo, abrangendo ideias complexas.  

Durante aproximadamente metade do tempo em que o decodificador foi treinado para monitorar a atividade cerebral de um participante, a máquina gerou texto que refletia os significados desejados das palavras, contribuindo para uma comunicação mais efetiva e compreensível.

De acordo com Huth, essa abordagem representa um avanço significativo em comparação com os métodos anteriores, que geralmente se limitavam a palavras únicas ou frases curtas.

O sistema não busca uma transcrição literal palavra por palavra, mas sim a captura da essência do que está sendo dito ou pensado, mesmo que de forma imperfeita.

Embora o sistema atual dependa do uso de um scanner de ressonância magnética funcional (fMRI), o qual limita sua viabilidade fora do ambiente do laboratório, os pesquisadores acreditam que seu trabalho pode ser adaptado para sistemas de imagem cerebral mais portáteis, como a espectroscopia funcional de infravermelho próximo (fNIRS).

De acordo com Huth, o fNIRS mede o fluxo sanguíneo no cérebro em diferentes pontos no tempo, o que é essencialmente o mesmo tipo de sinal que o fMRI detecta.

Portanto, a abordagem utilizada no estudo poderia ser aplicada ao fNIRS. Apesar dessa limitação, acredita-se que a essência do método desenvolvido pelos pesquisadores possa ser adaptada para o fNIRS, abrindo caminho para um sistema mais portátil e acessível de decodificação da atividade cerebral.