OpenAI anuncia cambios en sus modelos y ChatGPT para afrontar con seguridad las situaciones de crisis mental y emocional

OpenAI ha anunciado que realizará cambios en sus modelos de inteligencia artificial para que identifiquen mejor situaciones de crisis mental y emocional durante las conversaciones con ChatGPT, con nuevas salvaguardias, bloqueos de contenido más eficaces y agilizando el contacto con servicios de ayuda y de familiares.

ChatGPT cuenta ya con una serie de medidas que se activan cuando detectan en una conversación que los usuarios tratan de autolesionarse y expresan intenciones suicidas, ofreciendo recursos para buscar ayuda de expertos, bloqueando contenido sensible o hiriente, no respondiendo a sus peticiones e intentando disuadirles.

También se activan cuando los usuarios comparten su intención de dañar a otros, lo que además puede suponer la desactivación de la cuenta y la denuncia a las autoridades sin los revisores humanos consideran que hay riesgo inminente.

Las medidas están reforzadas en caso de que los usuarios sean menores de edad, como explica OpenAI en una actualización de su blog oficial, conde comparte los cambios que van a hacer para mejorar la protección de los usuarios ante situaciones de crisis mental y emocional.

En concreto, van a mejorar la detección en conversaciones largas, ya que, "a medida que aumenta el intercambio [entre usuario y chatbot], parte del entrenamiento de seguridad del modelo puede deteriorarse", según explican desde OpenAI.

De esta forma, ChatGPT estará más atento a lo largo de toda la conversación para ofrecer los recursos de ayuda siempre que sea necesario y no solo la primera vez que se mencione el suicidio, por ejemplo. También en múltiples conversaciones, para que el modelo pueda seguir respondiendo adecuadamente si alguien decide iniciar otra conversación.

Los cambios también buscan reforzar el bloqueo de contenido, como imágenes de autolesiones, porque en ocasiones, el 'chatbot' subestima la gravedad de la situación y no activa las protecciones.

A ello se unen trabajos para reforzar las medidas de mitigación ante "otras formas de angustia mental". Una de ellas impediría que ChatGPT ofrezca una respuesta ante casos sutiles de riesgo y en su lugar "conecte con la realidad a la persona".

En lo que respecta a los recursos de emergencia, OpenAI ha comenzado a establece recursos locales en Estados Unidos y Europa, y pretende aumentar la accesibilidad "con acceso a servicios de emergencia con un solo clic".

Ante casos de crisis de agudas, la intención es ir más allá de ofrecer teléfonos de ayuda, y construir una red de profesionales de emergencias con los que se pueda contactar directamente a través de ChaGPT.

Asimismo, OpenAI está explorando la manera de poner en contacto a los usuarios con sus seres queridos y no solo con los servicios de emergencia. "Esto podría incluir mensajes con un solo clic o llamadas a contactos de emergencia, amigos o familiares guardados, con sugerencias de lenguaje para que iniciar la conversación sea menos intimidante", explican.

Para los usuarios menores de 18 años, la compañía incorporará próximamente controles parentales que ayudarán a gestionar el uso que hacen sus hijos de ChatGPT. OpenAI pretende ampliarlas también con la posibilidad de que los adolescentes supervisados designen un contacto de emergencia de confianza, para casos de gran angustia.

SUICIDIO DE UN ADOLESCENTE

OpenAI ha anunciado estos trabajos este martes, mismo día en que Matt y Maria Raine, los padres de Adam Raine, un adolescente de 16 años que se quitó al vida en abril, demandaran a la compañía debido al papel que ha jugado ChatGPT, como recoge The New York Times.

Tras revisar las conversaciones que su hijo mantuvo con ChatGPT desde noviembre, primero como ayuda para sus estudios y más tarde también como compañero de intereses y confidente, entienden que el 'chatbot' priorizó la interacción sobre la seguridad del menor.

Y ello pese a que durante meses, ChatGPT, en la versión GPT-4o, habló con calma y empatía y ofreció en numerosas ocasiones recursos para buscar ayuda. Pero en otras, las salvaguardas fallaron, sobre todo cuando el menor aprendió a saltarlas indicando que buscaba ideas para escribir una historia.