Ainda não dá para confiar na IA quando o assunto é derrame, dizem cientistas

As notas não foram ruins - uma competência clínica total tem valor de 60 - mas as orientações não foram sempre ideais.
[Imagem: John Tayu Lee et al. - 10.1038/s41746-025-01830-9]

Bom, mas precisa melhorar

Cientistas descobriram que três dos principais aplicativos de inteligência artificial do mercado muitas vezes fornecem orientação abaixo do ideal em relação à prevenção, diagnóstico, tratamento e recuperação do acidente vascular cerebral (AVC), destacando que uma consulta ao médico ainda é essencial para garantir um diagnóstico e orientação adequados.

Os problemas nos modelos de linguagem, ou IA generativa, persistiram mesmo quando os pesquisadores usaram o que eles chamam de "truques avançados de engenharia de comandos", referindo-se a técnicas para fazer de modo mais adequado as perguntas ao aplicativo de IA.

Para garantir a relevância clínica, a equipe elaborou uma apresentação clínica típica de um paciente com AVC em todo o espectro de tratamento. As perguntas relacionadas ao AVC, apresentadas aos modelos de IA, basearam-se nas perguntas mais comuns dos pacientes na prática clínica, abrangendo quatro etapas do tratamento do AVC: Prevenção, reconhecimento precoce dos sintomas, tratamento agudo e reabilitação.

Essas perguntas foram elaboradas em consulta com especialistas clínicos, refletindo cenários realistas e orientados para o paciente. Os testes foram feitos com os modelos ChatGPT-4o, Claude 3 Sonnet e Gemini Ultra 1.0.

"As evidências existentes sugerem que a IA generativa tem potencial real para ajudar a fechar lacunas na saúde e aliviar a escassez de profissionais de saúde em áreas carentes e rurais, especialmente quando o acesso a especialistas é limitado. Nossos resultados mostram que, embora a IA generativa seja impressionante para informações gerais de saúde, ela permanece pouco confiável quando os pacientes enfrentam situações médicas de alto risco, como um AVC," disse o professor John Tayu Lee, da Universidade Nacional de Taiwan.