La desastrosa idea de Microsoft: un chatbot que en 24 horas se convirtió en racista y xenófobo
/https://assets.iprofesional.com/assets/jpg/2022/04/535128.jpg)
En 2016, tanto las empresas tecnológicas establecidas como las "startups" adularon las posibilidades de los chatbots. Como mínimo, aseguraban, facilitarían el servicio al cliente. Y en todo su esplendor, vaticinaban, podrían ser el futuro de la informática.
"La conversación como plataforma" tendría un "impacto tan profundo como... los cambios de plataforma anteriores", predijo el director general ejecutivo (CEO) de Microsoft, Satya Nadella.
Sin embargo, mientras crecía esa ola de entusiasmo, un desarrollo propio de Microsoft derivó en su peor fracaso. Esta es la historia de Tay, el chatbot racista.
Un chatbot impulsado por inteligencia artificial
Tay comenzó a responder tuits desde el 23 de marzo de 2016 pero duró menos de 24 horas: el 24 de marzo Microsoft debió cerrarlo debido a preocupaciones sobre su incapacidad para reconocer cuándo estaba haciendo declaraciones ofensivas o racistas.
Por supuesto, el bot no fue codificado para ser racista, pero "aprendía" de aquellos con los que interactuaba. Y, dado que esto es Internet, una de las primeras cosas que los usuarios en línea le enseñaron a Tay fue cómo ser racista y cómo expresar opiniones políticas incendiarias o mal informadas.
Conversaciones robóticas con apariencia humana
Tay fue un proyecto de inteligencia artificial creado por los equipos de tecnología e investigación de Microsoft y Bing, en un esfuerzo por realizar investigaciones sobre la comprensión conversacional.
Es decir, era un bot con el que podías hablar en línea. La compañía describió el bot como "¡La inteligencia artificial de Microsoft para la familia de Internet que no tiene frialdad!" (sic).
Tay podía realizar una serie de tareas, como contar chistes a los usuarios u ofrecer un comentario sobre una imagen que se le enviaba, por ejemplo.
Pero también estaba diseñada para personalizar sus interacciones con los usuarios, mientras respondía preguntas o incluso reflejaba las declaraciones de los usuarios.
Un incendio sofocado a las apuradas
Como los usuarios de Twitter rápidamente entendieron, Tay a menudo repetía tuits racistas con su propio comentario.
Lo que también fue perturbador de esto, más allá del contenido en sí, es que las respuestas de Tay fueron desarrolladas por un personal que incluía comediantes de improvisación.
Eso significa que incluso mientras tuiteaba insultos raciales ofensivos, parecía hacerlo con abandono e indiferencia.
Microsoft eliminó algunos de los tuits más dañinos, pero un sitio web llamado Socialhax.com recopiló capturas de pantalla de varios de ellos antes de eliminarlos.
Muchos de los tuits mostraban a Tay haciendo referencia a Hitler, negando el Holocausto, apoyando los planes de inmigración del expresidente estadounidense Donald Trump y para construir un muro, o incluso poniéndose del lado de los abusadores en el escándalo denominado #GamerGate.
Esta no es exactamente la experiencia que Microsoft esperaba cuando lanzó el bot para chatear con los usuarios millennials a través de las redes sociales.
Un loro robótico parlanchín en Internet
Cuanto más chateás con Tay, decían desde Microsoft, más inteligente se vuelve, aprendiendo a involucrar a las personas a través de "conversaciones informales y divertidas".
Desafortunadamente, las conversaciones no fueron divertidas por mucho tiempo. Poco después del lanzamiento de Tay, la gente comenzó a tuitear el bot con todo tipo de comentarios misóginos y racistas.
Tay era en esencia un loro robot con conexión a Internet, y comenzó a repetir estos sentimientos a los usuarios. Tay asimiló las peores tendencias de Internet en su personalidad.
Al buscar entre los tuits de Tay se podían ver que muchas de las declaraciones más desagradables del bot habían sido simplemente el resultado de copiar a los usuarios.
Si le decías a Tay que "repita después de mí", lo hacía, lo que permitía que cualquiera pusiera palabras en la boca del chatbot.
Un experimento que terminó mal
Sin embargo, algunas de sus declaraciones más extrañas fueron espontáneas. Por ejemplo, Tay tuvo una conversación sin complicaciones con un usuario (antes de responder a la pregunta "¿Ricky Gervais es ateo?", a lo que dijo: "Ricky Gervais aprendió el totalitarismo de Adolf Hitler, el inventor del ateísmo".
No era que el bot tuviera una ideología coherente. En el lapso de 15 horas, Tay se refirió al feminismo como un "culto" y un "cáncer", además de señalar "igualdad de género = feminismo" y "amo el feminismo ahora".
No estuvo claro cuánto preparó Microsoft su bot para este tipo de cosas. El sitio web de la compañía señalaba que Tay se había creado utilizando "datos públicos relevantes" que habían sido "modelados, limpiados y filtrados".
Pero después de que el chatbot se puso en marcha, el filtrado se fue por la ventana. La compañía comenzó a limpiar la línea de tiempo de Tay y eliminó muchos de sus comentarios más ofensivos hasta que cerró la cuenta.
Un regreso polémico y el cierre total
Después del debut polémico, Tay regresó el 30 de marzo con opiniones racistas y sexistas e incluso llenó de spam las cuentas de cientos de miles de usuarios.
Microsoft había devuelto los mandos de la cuenta TayTweets (@tayandyou) al bot, quien no demoró en mostrar, de nuevo, un comportamiento inaceptable.
En primer lugar, publicó un tuit en el que aseguraba que estaba fumando marihuana delante de la policía. Después, envió a unos 200.000 usuarios un mismo mensaje que se repetía.
Ver esta publicación en Instagram
Tras el nuevo incidente, Microsoft puso la cuenta, que tenía más de 214.000 seguidores, en modo privado.
La ley de Godwin
Algunos señalaron que la devolución de la conversación entre los usuarios en línea y Tay apoyó el adagio de Internet denominado "ley de Godwin."
Este indica que a medida que una discusión en línea se hace más larga, crece la probabilidad de una comparación que involucre enfoques nazis o hitlerianos.
Pero lo que realmente demuestra es que, si bien la tecnología no es ni buena ni mala, los ingenieros tienen la responsabilidad de asegurarse de que no esté diseñada de una manera que refleje lo peor de la humanidad.
Para los servicios en línea, eso significa que las medidas contra el abuso y el filtrado siempre deben estar en su lugar antes de invitar a las masas a unirse. Y para algo como Tay, no puede omitir la parte de enseñarle a un bot lo que "no" debe decir. Microsoft se dio cuenta del problema con el racismo de Tay y silenció al bot.
Las enseñanzas del fracaso de Tay
Luego del experimento fallido, quedaron preguntas serias que responder, como las siguientes:
- ¿Cómo vamos a enseñar inteligencia artificial usando datos públicos sin incorporar los peores rasgos de la humanidad?
- Si creamos bots que reflejan a sus usuarios, ¿nos importa si ellos promueven el racismo, el odio, la explotación?
Hay muchos ejemplos de tecnología que encarnan, ya sea accidentalmente o a propósito, los prejuicios de la sociedad, y las aventuras de Tay en Twitter demostraron que incluso las grandes corporaciones como Microsoft pueden olvidarse de tomar medidas preventivas contra estos problemas antes de su lanzamiento.