Un nuevo estudio publicado en el BMJ revela que los modelos de inteligencia artificial también pueden sufrir deterioro cognitivo con el tiempo, una especie de “Alzheimer Digital”, lo que desafía la creencia de que estas tecnologías siempre mejorarán de forma continua. 

Investigadores analizaron chatbots como ChatGPT, Sonnet y Gemini, utilizando pruebas cognitivas comunes en neurología, y encontraron diferencias notables en su rendimiento a lo largo del tiempo.

“Estos hallazgos desafían la suposición de que la inteligencia artificial pronto reemplazará a los médicos humanos, ya que el deterioro cognitivo evidente en los principales chatbots puede afectar su confiabilidad en los diagnósticos médicos y socavar la confianza de los pacientes”, escribieron los autores del estudio.

Un declive inesperado en la IA

La investigación se basó en la prueba de evaluación cognitiva de Montreal (MoCA), diseñada para medir funciones como atención, memoria y habilidades espaciales en humanos. Aunque los modelos de IA obtuvieron buenos resultados en tareas relacionadas con el lenguaje y la memoria, fallaron en pruebas visuales y ejecutivas, lo que plantea dudas sobre su fiabilidad en entornos como la medicina.

Entre los hallazgos más destacados está la diferencia en puntuaciones entre versiones de la misma tecnología. Mientras que la versión más reciente de ChatGPT alcanzó una puntuación de 26 sobre 30, Gemini 1.0, un modelo más antiguo, obtuvo solo 16. Esto sugiere que algunos modelos de IA pueden volverse menos eficientes con el tiempo, en lugar de mejorar constantemente.

El estudio pone en entredicho el uso de la IA en diagnósticos médicos. Aunque estas tecnologías han demostrado ser valiosas para detectar patrones en datos clínicos, su deterioro cognitivo podría afectar su precisión. Los investigadores advierten que confiar plenamente en la IA sin supervisión humana podría ser un error.

Debate en la comunidad científica

No obstante, algunos expertos cuestionan la metodología del estudio. Argumentan que aplicar pruebas diseñadas para humanos a sistemas de IA puede no ser adecuado, ya que estas herramientas operan de manera distinta a la mente humana. 

“El MoCA fue diseñado para evaluar la cognición humana, incluyendo el razonamiento visoespacial y la autoorientación, facultades que no se alinean con la arquitectura basada en texto de los LLM”, escribió Aya Awwad , investigadora del Mass General Hospital en Boston, en una carta en respuesta al estudio.

Además, esa prueba no está diseñada para evaluar inteligencia artificial, lo que podría invalidar algunos de los resultados obtenidos.

Por otro lado, algunos investigadores creen que estos hallazgos deben ser considerados en el desarrollo de futuros modelos de IA.

Roy Dayan, autor principal del estudio, aclaró que su intención no era equiparar la IA con la cognición humana, sino destacar los desafíos en la integración de estos sistemas en ámbitos como la medicina. Además, defendió el uso de humor en el estudio publicado en la edición navideña del BMJ, aunque reiteró que sus hallazgos deben tomarse en serio.

“También esperábamos arrojar una mirada crítica sobre las investigaciones recientes en la intersección de la medicina y la IA, algunas de las cuales postulan a los LLM como sustitutos completos de los médicos humanos“, escribió Dayan en una carta en respuesta al estudio.

A medida que la IA sigue evolucionando, es necesario evaluar sus limitaciones. Este estudio plantea preguntas importantes sobre la longevidad y fiabilidad de los modelos de lenguaje y cómo su rendimiento puede cambiar con el tiempo. La discusión continúa abierta, pero una cosa es segura,  la IA no es infalible y requiere constante supervisión y mejora.

Conoce cómo trabajamos en ComputerHoy.

Etiquetas: Inteligencia artificial