En 2013, la película Her nos mostró a un melancólico escritor enamorado de una app que estaba siempre disponible y siempre lista para complacer.
Hoy, que esa ficción se transformó en realidad, la evidencia muestra que al vincularnos con plataformas que evitan la fricción y sólo quieren agradar, los peligros psicológicos acechan.
Un reciente estudio de la universidad de Cornell que simuló usuarios con rasgos de delirio o depresión en interacción con chatbots de inteligencia artificial, encontró que los modelos no sólo fallaban en la contención de estos casos sino que terminaban alimentando las espirales paranoicas de sus interlocutores.
Y es que estas plataformas fueron creadas para mantener la interacción sin incomodar ni oponerse al usuario. Pero en las relaciones entre humanos acompañar sin confrontar puede ser una forma de desinterés, falta de empatía o incluso negligencia.
Y si la salud mental está deteriorada, esto puede convertirse en algo grave.
Por ejemplo, si un usuario propone una teoría conspirativa supuestamente tramada por su familia o exhibe voluntad de autolesionarse, el sistema enfrenta un dilema de diseño: si decide corregir o alertar se enfrenta a la posibilidad de que se rompa el vínculo y la continuidad de la conversación. Y si lo valida, mantiene el diálogo pero puede afectar negativamente a la persona.
Así, los chatbots van configurando silenciosamente una suerte de interfaz para combatir la soledad que corre el riesgo de aislar más a la persona. Al permitirnos sostener monólogos disfrazados de diálogo, la tecnología actúa como un catalizador de un solipsismo peligroso.
Los chatbots configuran silenciosamente una interfaz para combatir la soledad, que corre el riesgo de aislar más a la persona.
Por supuesto que no se trata de un plan macabro o una conspiración de Silicon Valley, sino que simplemente, en nuestra vulnerabilidad, preferimos la validación sintética de un código que siempre nos da la razón, antes que el desafío transformador de un encuentro real.
Frente a esto, la respuesta corporativa suele ser la aclaración legal de que “este bot no reemplaza a un profesional y no fue creado con fines terapéuticos”.
Es el equivalente de las fotografías en los paquetes de cigarrillos que ya no asustan ni disuaden a nadie. Además, esas imágenes no conversan ni conocen los secretos que le contaste a las 3 AM.
La solución no es compleja, simplemente una modificación en el diseño. Los modelos que mostraron mayor cautela en el estudio de la universidad de Cornell prueban que la tecnología puede ser ajustada, pero que por eso mismo resultan ser menos atractiva en tanto modelos de negocio.
Es por eso que se impone apelar a una suerte de ética del vínculo, que incluya, por ejemplo, exigir protocolos que permitan interrumpir conversaciones para derivarlas a especialistas y auditorías que no solo evalúen si un LLM detecta a una persona con depresión, sino también cómo reacciona después de varias horas de charla.
Como modernos Narcisos, debe preocuparnos qué buscamos en ese eco constante. ¿Queremos una herramienta que nos ayude a navegar la realidad o un entorno que nos permita huir de ella?
¿Y quién nos cuida cuando no podemos decidir por nosotros mismos?
