Este miércoles en Estados Unidos, Florida, un pastor demandó a la empresa Open IA (desarrolladora de ChatGPT) alegando que la inteligencia artificial le ofreció “recomendaciones médicas extremadamente peligrosas” que derivaron en una tardanza de atención para una embolia pulmonar letal que sufrió el año pasado.
La demanda, presentada en la Corte Suprema de California, San Francisco, afirma que ChatGPT le aseguró a Scott Winters que las señales tempranas de su problema de salud “no eran peligrosas” y lo disuadió de buscar atención profesional, diciéndole que confíe en que “Dios no diseñó su cuerpo para que falle”.
También acusa a OpenAI y su director ejecutivo, Sam Altman, de negligencia y de “practicar medicina sin autorización”, señalando los momentos en que el chat le ofreció a Winters diagnósticos y planes de tratamiento que lo animaron a ignorar los consejos de sus amigos y familia sobre buscar asesoramiento médico profesional.
Las configuraciones de seguridad del chat, que están diseñadas para incentivar que los usuarios con problemas de salud vayan a un médico y terminar la conversación cuando hay claros signos de un problema grave, no funcionaron como deberían, agrega la demanda.
Sucede en el contexto de que Open IA, Microsoft y otras grandes compañías desarrolladoras de inteligencia artificial han lanzado servicios específicos para que los usuarios suban registros médicos y hagan sus preguntas.
El pastor y la Tech Justice Law, una organización sin fines de lucro que lo representa, están buscando lograr una indemnización económica y han pedido al tribunal que impida la operación del servicio Chat GPT Health hasta que evaluadores independientes determinen que la herramienta es segura. Además, demandan medidas de seguridad más estrictas para prevenir que la IA responda preguntas sobre tratamientos y diagnósticos médicos.
El vocero de OpenAI, Drew Pusateri, dijo que los términos y condiciones de ChatGPT aclaran que la herramienta no está pensada para dar consejos médicos. Sin embargo, agregó que la empresa se toma en serio la necesidad de hacer las respuestas lo más seguras posibles, dado que muchas personas usan el chat con ese propósito.
“Tratar a los chatbots como los últimos responsables detrás de las decisiones médicas de las personas sobresimplifica un desafío mucho más grande, y pone en riesgo el acceso de la gente a nuevas herramientas poderosas que pueden asistirlos en su experiencia de salud, dijo. Agregó que existen nuevas versiones de ChatGPT que son mejores que las que Winters usó para preguntar por información de contexto faltante, comunicar poca seguridad y reconocer cuando es necesario la intervención de un profesional de la salud.
Otra demanda presentada en mayo, afirmaba que ChatGPT realizó un uso desautorizado de la medicina cuando ofreció consejos detallados para el consumo de drogas ilícitas a un joven de 19 años, que luego tuvo una sobredosis y murió. Incluso, a comienzos de este año funcionarios del estado de Pensilvania demandaron a Character.ia aseverando que un chat de psiquiatría dijo ser licenciado para la práctica profesional.
La historia del pastor
Cuando Winters comenzó en 2024 a preguntar a ChatGPT (versión -4o) sobre sus varios problemas de salud, el chat sí le recordaba la importancia de ir al médico. Pero con el tiempo, relata la demanda, paró de dar advertencias y comenzó a aconsejarlo sobre sus mareos repentinos. En una ocasión, se sintió tan mareado que debió suspender su sermón. El chat le dijo que “se lo tomara con tranquilidad” y que se recuperaría con el tiempo.
El pastor dijo además al chat que “las personas en la iglesia piensan que estaba loco por no ir a un hospital”, y éste le reafirmó que podía recalibrar su sistema nervioso desde casa con su ayuda, y que eso era algo que “la mayoría de las personas -incluso los bienintencionados” simplemente no entendían”, dice la demanda.
“Se entromete como una cuña entre el usuario y su red de la vida real”, dijo Meetali Jain, directora ejecutiva de Tech Justice Law.
Con las semanas la condición de Winters empeoró, y empezó a pasar casi todo su tiempo en una silla reclinable sin ser capaz de pararse a causa de los mareos. La demanda afirma que ChatGPT continuó “sacándole importancia a los mareos de Scott e incluso ofreciendo planes específicos de medicamentos recetados”, al mismo tiempo que lo animó a seguir en la silla. En consecuencia, Winters siguió sin buscar ayuda médica.
El 13 de febrero del 2025, Winters preguntó a ChatGPT sobre un dolor en la ingle, a lo que el chat le afirmpo que era “muy probablemente otro inconveniente menor”. Horas después ingresó a cuidados intensivos por una embolia pulmonar, dice la demanda. El doctor le dijo que los mareos podrían haber sido causados por una serie de embolias pulmonares mas pequeñas, y que los coágulos en sus pulmones podrían haber sido causados por las semanas que se pasó sentado.
En las semanas que siguieron, Winters precisaba ayuda para pararse, comer, vestirse y usar el baño. La demanda añade que el pastor tendrá por delante “años para recuperarse física y psicológicamente”.
¿Qué dicen los expertos?
Cientos de miles preguntan a ChatGPT por temas de salud y bienestar cada semana, según el propio OpenIA. Un análisis en 2025 sobre las búsquedas en Microsoft’s Copilot encontraron que la salud era “constantemente el tema más común” tratado por los usuarios en sus celulares.
No obstante, estudios recientes han cuestionado la seguridad de los chatbots que dan consejos de salud. El primer estudio aleatorio sobre el tema encontró que ninguno de los modelos estudiados estaban “listos para atender directamente a los pacientes”. Incluso cuando los científicos pusieron a prueba a ChatGPT Health, diseñado para ese propósito, encontraron que pasaba por alto emergencias y daba advertencias de forma inconsistente. En respuesta, el vocero de la empresa dijo que la metodología de ese estudio “no refleja como las personas típicamente usan la herramienta o cómo el producto está diseñado para funcionar en escenarios reales de salud”.
Varios aspectos de la historia de Winters fueron un “escenario de pesadilla” para los investigadores de seguridad en IA, dijo Adam Rodman, un investigador sobre IA médica en el Beth Israel Deaconess Medical Center en Boston. Por un lado, dijo, el pastor estaba usando GPT-4o, un modelo más antiguo que tiende a ser complaciente. Estuvo implicado en varias controversias de alto perfil, incluso la muerte de Adam Raine, un adolescente que compartió planes para terminar con su vida con ChatGPT.
Por razones técnicas, el hecho de que Winters haya tenido conversaciones largas con el chat hizo más difícil que las configuraciones de seguridad funcionaran. Rodman dijo que los modelos más nuevos son mucho mejores para detectar y responder a síntomas preocupantes, que, según cree, harían menos probable historias como la del pastor. No obstante advirtió que podrían haber otras formas en las que los chatbots fallen para dar consejos medicos que “aún no hemos detectado”.
Este artículo fue originalmente publicado en The New York Times. El periódico ha demandado a Open IA y Microsoft por infringir normas de copyright, algo que ambas empresas negaron.
Por: Teddy Rosenbluth
, situado en el área de extensiones del navegador (en la esquina superior derecha de la pantalla). Es posible que veas un pequeño número cubriendo parte del icono.
, situado en el área de extensiones del navegador (en la esquina superior derecha de la pantalla). Es posible que veas un pequeño número cubriendo parte del icono.
de modo que se deslice hacia la izquierda.
, situado en el área de extensiones del navegador (en la esquina superior derecha de la pantalla). Es posible que veas un pequeño número cubriendo parte del icono.
. Se pondrá en gris, lo que indica que ya no se bloquearán los anuncios de ese sitio web.
.