Los chatbots basados en la IA generativa, como ChatGPT, tienen aplicaciones muy interesantes, pero siempre bajo la supervisión de un humano. Por ejemplo, se ha visto que pueden ser útiles en la obtención de diagnósticos médicos, siempre que haya una persona con formación capaz de comprobar que no han cometido un error. Cada vez se equivocan menos, pero hay que comprobarlo por si acaso. El problema llega cuando esa persona no se fía de la IA y, al final, la ayuda del chatbot no sirve de nada.
Eso es lo que parece que está ocurriendo con los médicos, al menos en Estados Unidos. Lo ha comprobado un equipo de científicos de la Universidad de Stanford, en un estudio publicado en JAMA Network.
En él, se comprueban los diagnósticos realizados por una serie de médicos con ayuda o sin ayuda de un chatbot. Apenas hubo diferencia entre los médicos que usaron el ChatGPT y los que no. Sin embargo, cuando se dejó al chatbot trabajar sin supervisión humana, los resultados fueron infinitamente mejores.
¿Chatbot o no chatbot?, esa es la cuestión
Para este estudio se contó con la participación de 50 médicos, residentes y adjuntos, que se dividieron en dos grupos. Todos tuvieron que hacer un diagnóstico con respecto a un historial médico y explicar el razonamiento que les había llevado hasta él. Pero había diferencias. Los médicos del primer grupo lo hicieron sin ayuda, mientras que los del segundo contaron con la ayuda de ChatGPT. Además, había un tercer grupo en el que no había médicos. Solamente se facilitó la información al chatbot, sin ningún tipo de supervisión.
Los historiales procedían de casos reales. Sin embargo, nunca se habían publicado. Se hizo así para que los médicos no conociesen los casos y, además, estos no hubiesen formado parte de los datos de entrenamiento del chatbot.
Los médicos que no utilizaron ChatGPT acertaron con su diagnóstico en un 74% de los casos, mientras que los que se ayudaron del chatbot acertaron el 76% de los diagnósticos. En cambio, cuando se dejó a ChatGPT trabajar sin supervisión, alcanzó un 90% de acierto.
Esto, según ha explicado a The New York Times el doctor Adam Rodman, quien ayudó a diseñar el estudio, se debe a cierta desconfianza por parte de los médicos. Y es que, por lo general, estos tienden a fiarse más de sus diagnósticos que de los consejos del chatbot. Por eso, aunque este contradiga la respuesta, siguen adelante con ella.
Hay que saber usar ChatGPT
Otro factor que se ha observado que puede influir en estos resultados es el hecho de que muchos médicos no saben usar adecuadamente los chatbots. Suelen utilizar ChatGPT como si fuese un buscador, tipo Google. Le hacen preguntas concretas, pero no le introducen todo el historial de un paciente a la espera de un diagnóstico. Esta es una forma mucho más eficaz de dar en el clavo.
Por supuesto, el chatbot no acertará siempre. Es importante que haya un humano supervisando. Sin embargo, este también debe estar abierto a reconocer posibles errores.
El futuro de un chatbot sin supervisión
Que un chatbot no tenga supervisión no es peligroso. Como mucho, aporta buenos resultados, como en este caso. No obstante, los avances de la inteligencia artificial ponen cada vez más de manifiesto la importancia de dar a estos algoritmos siempre unas instrucciones concretas.
Es muy necesario que estas sean precisas, ya que un bot nunca se detendrá por falta de información. Busca una salida, concretamente, la que le parece más sencilla, y eso puede saltarse los criterios de la ética. Por eso, aunque lo que ocurre con los médicos y ChatGPT es poco más que una anécdota, nos sirve para recordarnos que, al final, la inteligencia artificial se la apaña bastante bien sola. Por si acaso, es mejor no quitarle el ojo de encima.