Los 5 desastres más famosos que cometió la inteligencia artificial
Los conocimientos obtenidos de los datos y los algoritmos de aprendizaje automático pueden ser invaluables, pero los errores pueden costarle reputación, ingresos o incluso vidas. Estos errores de alto perfil en análisis e inteligencia artificial ilustran lo que puede salir mal.
El semanario inglés The Economist declaró en el 2017 que los datos, más que el petróleo, se habían convertido en el recurso más valioso del mundo.
El estribillo se repite desde entonces. Las organizaciones de todos los sectores invierten muchos recursos en datos y análisis. Pero al igual que el petróleo, los datos y el análisis tienen su lado oscuro.
Los conocimientos obtenidos a partir de análisis y acciones impulsadas por algoritmos de aprendizaje automático pueden brindar a las organizaciones una ventaja competitiva, pero los errores pueden resultar costosos en términos de reputación, ingresos o incluso vidas.
Comprender los datos y lo que le dicen es importante, pero también lo es entender sus herramientas, conocer sus datos y tener firmemente en cuenta los valores de la organización. A continuación, cinco casos de errores de análisis y de IA de alto perfil de la última década para ilustrar lo que puede salir mal.
Inteligencia artificial: una falla en artículos periodísticos deportivos
La cadena de periódicos estadounidenses Gannett anunció en agosto que suspendería el uso de una herramienta de inteligencia artificial llamada LedeAI después de que varios despachos escritos por la IA se volvieran virales por ser repetitivos, estar mal escritos y carecer de detalles clave.
Después de que las historias fueran objeto de burlas en las redes sociales, Gannett optó por suspender el uso de LedeAI en todos los mercados locales que habían estado utilizando el servicio.
Inteligencia artificial: rechazan candidatos debido a su edad
La empresa iTutorGroup acordó en agosto el pago de 365.000 dólares para resolver una demanda presentada por la Comisión de Igualdad de Oportunidades en el Empleo (EEOC) de EE. UU.
La agencia federal dijo que la compañía, que brinda servicios de tutoría remota a estudiantes en China, utilizó un software de reclutamiento impulsado por inteligencia artificial que automáticamente rechazó a las solicitantes de 55 años o más y a los solicitantes masculinos de 60 años o más.
La EEOC dijo que el software había rechazado automáticamente a más de 200 solicitantes calificados.
"La discriminación por edad es injusta e ilegal", dijo la presidenta de la EEOC, Charlotte A. Burrows, en un comunicado. "Incluso cuando la tecnología automatiza la discriminación, el empleador sigue siendo responsable".
iTutorGroup negó haber actuado mal, pero decidió llegar a un acuerdo en la demanda. Como parte del decreto de solución y consentimiento, acordó adoptar nuevas políticas antidiscriminatorias.
Inteligencia artificial: ChatGPT inventa casos judiciales
Los avances logrados en el 2023 por los grandes modelos lingüísticos (LLM) avivaron un interés generalizado en el potencial transformador de la IA generativa en casi todas las industrias.
ChatGPT, de la empresa OpenAI, está en el centro de este aumento de interés, presagiando cómo la IA generativa tiene el poder de alterar la naturaleza del trabajo en casi todos los rincones de los negocios.
Pero la tecnología aún tiene mucho camino por recorrer antes de que pueda hacerse cargo de manera confiable de la mayoría de los procesos comerciales.
Esto lo aprendió el abogado Steven A. Schwartz cuando se encontró en problemas con el juez de distrito estadounidense P. Kevin Castel en 2023 después de usar ChatGPT para investigar precedentes en una demanda contra la aerolínea colombiana Avianca.
Schwartz, abogado del estudio Levidow, Levidow & Oberman, utilizó el chatbot de IA generativa OpenAI para encontrar casos anteriores que respaldaran un caso presentado por el empleado de Avianca, Roberto Mata, por las lesiones que sufrió en 2019. El problema fue que al menos seis de los casos presentados en el escrito no existieron.
En un documento presentado en mayo, el juez Castel señaló que los casos presentados por Schwartz incluían nombres y números de expediente falsos, junto con citas y citas internas falsas. El socio de Schwartz, Peter LoDuca, era el abogado registrado de Mata y firmó el escrito, poniéndose él también en peligro.
En una declaración jurada, Schwartz dijo al tribunal que era la primera vez que utilizaba ChatGPT como fuente de investigación legal y que "desconocía la posibilidad de que su contenido pudiera ser falso". Admitió que no había confirmado las fuentes proporcionadas por el chatbot de IA.
También dijo que "lamenta enormemente haber utilizado inteligencia artificial generativa para complementar la investigación legal realizada aquí y nunca lo hará en el futuro sin una verificación absoluta de su autenticidad".
En junio, el juez Castel impuso una multa de 5.000 dólares a Schwartz y LoDuca. En un fallo separado en junio, el juez Castel desestimó la demanda de Mata contra Avianca.
Inteligencia artificial: los algoritmos identifican todo menos la Covid-19
Desde que comenzó la pandemia de la Covid-19, muchas organizaciones buscaron aplicar algoritmos de aprendizaje automático (ML) para ayudar a los hospitales a diagnosticar o clasificar a los pacientes más rápidamente.
Pero según el Instituto Turing del Reino Unido, un centro nacional de ciencia de datos e inteligencia artificial, las herramientas predictivas hicieron poca o ninguna diferencia.
La publicación estadounidense MIT Technology Review registró una serie de fallas, la mayoría de las cuales se deben a errores en la forma en que se entrenaron o probaron las herramientas. El uso de datos mal etiquetados o de fuentes desconocidas fue un culpable común.
Derek Driggs, investigador de aprendizaje automático de la Universidad de Cambridge, junto con sus colegas, publicaron un artículo en la revista Nature Machine Intelligence que exploraba el uso de modelos de aprendizaje profundo para diagnosticar el virus. El artículo determinó que la técnica no es apta para uso clínico.
Por ejemplo, el grupo de Driggs descubrió que su propio modelo tenía fallas porque estaba entrenado en un conjunto de datos que incluía exploraciones de pacientes que estaban acostados durante la exploración y pacientes que estaban de pie.
Los pacientes que estaban acostados tenían muchas más probabilidades de estar gravemente enfermos, por lo que el algoritmo aprendió a identificar el riesgo de la Covid-19 en función de la posición de la persona en el escáner.
Un ejemplo similar incluye un algoritmo entrenado con un conjunto de datos que incluía exploraciones de los tórax de niños sanos. El algoritmo aprendió a identificar a los niños, no a los pacientes de alto riesgo.
Inteligencia artificial: desastre algorítmico en la compra de viviendas
En noviembre de 2021, el mercado inmobiliario en línea Zillow dijo a los accionistas que cerraría sus operaciones de Zillow Offers y recortaría el 25% de la fuerza laboral de la compañía (alrededor de 2 mil empleados) durante los próximos trimestres.
Los problemas de la unidad de inversión de viviendas fueron el resultado de la tasa de error en el algoritmo de aprendizaje automático que utilizaba para predecir los precios de las viviendas.
Zillow Offers era un programa a través del cual la empresa hacía ofertas en efectivo sobre propiedades basadas en una "estimación Z" de los valores de las viviendas derivada de un algoritmo de aprendizaje automático.
La idea era renovar las propiedades y remodelarlas rápidamente. Pero un portavoz de Zillow le dijo a la cadena CNN que el algoritmo tenía una tasa de error media del 1,9%, y que la tasa de error podría ser mucho mayor, hasta el 6,9%, para las viviendas fuera del mercado.
CNN informó que Zillow compró 27.000 casas a través de Zillow Offers desde su lanzamiento en abril de 2018, pero vendió solo 17.000 hasta finales de septiembre de 2021.
Los eventos como la pandemia de la Covid- 19 y la escasez de mano de obra para la renovación de viviendas contribuyeron a los problemas de precisión del algoritmo.
Zillow dijo que el algoritmo lo había llevado a comprar involuntariamente viviendas a precios más altos que sus estimaciones actuales de precios de venta futuros, lo que resultó en una amortización de inventario de 304 millones de dólares en el tercer trimestre de 2021.
El cofundador y director ejecutivo de Zillow, Rich Barton, dijo que podría ser posible modificar el algoritmo, pero que en última instancia era demasiado arriesgado.