Por que a maioria dos experimentos científicos só funciona uma vez?

Este é o robô-cientista Eva, que já havia descoberto que uma substância usada no dentifrício pode curar a malária.
[Imagem: Ross King/University of Manchester]

Reprodutibilidade e produtividade da ciência

O problema da falta de reprodutibilidade é uma das maiores crises da ciência moderna.

Um experimento bem-sucedido e reproduzível é aquele em que outro cientista, em um laboratório diferente, mas sob condições semelhantes, pode obter o mesmo resultado.

Mas mais de 70% dos pesquisadores já tentaram e falharam em reproduzir experimentos de outro cientista, e mais da metade não conseguiu reproduzir alguns de seus próprios experimentos: Esta é a crise de reprodutibilidade.

Como tentar reproduzir o que outros já fizeram é um trabalho cansativo e caro, uma equipe de pesquisadores da Universidade de Cambridge (Reino Unido) decidiu usar uma combinação de inteligência artificial e robótica para semi-automatizar o processo de reprodução dos resultados da pesquisa. A inteligência artificial consiste em um sistema automatizado de análise de textos, responsável por "ler os artigos científicos", enquanto a parte prática ficou a cargo do robô cientista Eva, que a própria equipe vem desenvolvendo há anos.

Para testar essa abordagem, a equipe partiu de um conjunto de mais de 12.000 trabalhos de pesquisa sobre biologia celular do câncer de mama. Correndo o risco de abrir uma outra crise na ciência - uma crise de produtividade - o sistema reduziu o conjunto para apenas 74 artigos (0,6%) de alto interesse científico, conforme mensurado pela equipe.

E, desses 74, menos de um terço - 22 artigos - foram considerados reproduzíveis.

"A boa ciência depende de resultados reproduzíveis: Caso contrário, os resultados são essencialmente sem sentido," disse o professor Ross King, coordenador do estudo. "Isso é particularmente crítico na biomedicina: Se eu sou um paciente e leio sobre um tratamento potencial novo e promissor, mas os resultados não são reproduzíveis, como posso saber em que acreditar? O resultado pode ser a perda de confiança das pessoas na ciência."

Consertar o modo como a ciência é feita

Vários anos atrás, a equipe do professor King desenvolveu o cientista robô Eva, um sistema computador/robótico que usa técnicas de inteligência artificial (IA) para realizar experimentos científicos.

"Uma das grandes vantagens de usar máquinas para fazer ciência é que elas são mais precisas e registram detalhes com mais exatidão do que um humano consegue," justificou King. "Isso as torna adequadas para o trabalho de tentar reproduzir resultados científicos."

Para esta análise publicada agora, a equipe se concentrou na pesquisa do câncer. "A literatura sobre o câncer é enorme, mas ninguém faz a mesma coisa duas vezes, tornando a reprodutibilidade um grande problema," disse King. "Dadas as vastas somas de dinheiro gastas na pesquisa do câncer e o grande número de pessoas afetadas pelo câncer em todo o mundo, é uma área em que precisamos melhorar urgentemente a reprodutibilidade."

Depois de encontrar, no conjunto inicial de mais de 12.000 artigos científicos publicados, as referências a uma mudança na expressão gênica em resposta ao tratamento medicamentoso no câncer de mama, duas equipes humanas diferentes usaram o robô Eva e duas linhagens de células de câncer de mama para tentar reproduzir os 74 resultados selecionados.

Foram encontradas evidências estatisticamente significativas de reprodutibilidade para 43 artigos, o que significa que os resultados foram replicáveis em condições idênticas; e evidências significativas de reprodutibilidade ou robustez foram encontradas em 22 artigos, o que significa que os resultados foram replicáveis por diferentes cientistas sob condições semelhantes.

"É bastante chocante quão grande é o problema da reprodutibilidade na ciência, e será necessária uma revisão completa na maneira como muita ciência é feita," disse King. "Achamos que as máquinas têm um papel fundamental a desempenhar para ajudar a consertar isso."