Made in Argentina: esta plataforma permite interpretar gestos faciales y traducirlos en emociones

Mediante inteligencia artificial, la agencia Wunderman Thompson (WT) Argentina desarrolló una nueva plataforma que permite interpretar gestos faciales y traducirlos en emociones.

Con el objetivo de combinar la tecnología, data y creatividad inspirando a las personas y las marcas, desde el departamento creativo de Wunderman Thompson Latam y el área de nuevas tecnologías, liderada por Alejandro Francolini, se desarrolló esta plataforma de inteligencia artificial que permite descifrar los movimientos faciales y reacciones a través de la cámara de una computadora o celular, para descubrir los sentimientos y emociones reales que transmiten las personas.

"Según distintos informes, más del 75% de las decisiones se toman de manera inconsciente, dejándose llevar por la emoción. Un claro ejemplo de esto se ve en las decisiones de compra", explicaron Daniel Minaker y Sebastián Tarazaga, jefes creativos de Wunderman Thompson Latam.

"Fue así como desarrollamos para unos de los festivales más importantes de la industria, El ojo de Iberoamérica, una categoría experimental donde no se le da un puntaje con número a las piezas, sino que las mismas son puntuadas a través de las emociones que generan en los jurados", señalaron.

El desarrollo identifica el miedo entre otras emociones.

Innovación para el marketing

Los resultados se obtienen en el momento, ya que la información se monta en una nube en GCP. Esta innovación se puede usar también en focus groups o en diversas industrias y actividades que busquen conocer el verdadero sentimiento que produce "algo" en las personas que lo ven.

En la siguiente entrevista de iProfesional, Alejandro Francolini, director de tecnología de datos y comercio electrónico de Wunderman Thompson Argentina y Chile, explica este desarrollo:

-¿Cómo es la plataforma que permite interpretar gestos faciales y traducirlos en emociones? ¿Qué componentes tiene?

-La plataforma que desarrollamos junto con el equipo de APAC de WT tiene la capacidad de reconocer las expresiones faciales de las personas y, en función de eso, detectar cuáles son las emociones que sienten viendo determinado video/imagen.

A su vez, tiene una visualización donde podemos ver esa información de forma general o segundo a segundo. Es decir, qué emoción se generó en cada segundo de la pieza, y levantada casi en tiempo real.

Básicamente, las personas se sientan delante de la computadora y, desde una web y dando acceso a su cámara, de la cual no queda ningún tipo de filmación registrada, ve X cantidad de piezas/formatos y, por reconocimiento facial, se van analizando frame by frame esas emociones categorizadas en:

• Happines (felicidad).
• Excitement (emoción).
• Sadness (tristeza).
• Neutral.
• Fear (miedo).
• Disgust (asco).

Utilizando esta información y, siempre considerando el objetivo de cada pieza, evaluamos cuál es la pieza que más emociona y mejor funciona. Esto es algo desarrollado con tecnología Google Video AI y Python, principalmente, para toda la parte de reconocimiento facial, definición y reconocimiento de las expresiones.

El desarrollo identifica rostros que expresen felicidad.

-¿Qué aplicaciones de inteligencia artificial incluye?

-Visión AI está basada en tecnologías de Video AI de Google, sumado a un desarrollo posterior realizado en lenguaje Python.

Con Google Video detectamos e identificamos frame by frame el contenido, con la capacidad de reconocer momentos, lugares y otras variables de los videos en tiempo casi real y con el código de Python realizamos toda la web, el reconocimiento fácil y reconocimiento de emociones.

-¿En qué estado se encuentra el desarrollo de la plataforma?

-La plataforma se encuentra ya desarrollada y funcional, como mostramos en el festival El ojo de Iberoamérica. Desde ya, seguimos intentando desarrollarla con mayor profundidad porque queremos explorar reconocimiento de sonidos (música por ejemplo) y seguir entrenándola para que los resultados sean cada vez más inclusivos y acertados. A su vez, hoy está pensando principalmente para desktop así que queremos mejorar la experiencia en Mobile para los usuarios.

-¿Ya hubo casos de aplicación fuera del laboratorio?

-La plataforma ya fue utilizada y lo que hicimos para el festival El ojo de Iberoamérica, especialmente, ya fue el desarrollo completo y puesta en acción de la plataforma.

Si bien la creación de la categoría, validar y comparar versus los jurados y entender cómo podía aplicarse la AI a este tipos de premio, fue experimental, la plataforma ya estaba funcionando activamente, como lo seguirá haciendo a partir de ahora.

-¿Cómo evitan los sesgos en la aplicación de la inteligencia artificial?

-Entrenando el modelo una y otra y otra vez. Afortunadamente, este modelo lo venimos entrenando hace más de dos años, con perfiles y personas de todo el mundo, aprovechando la red de WT.

En WT la inclusión y la diversidad son variables core, que nos atraviesan, y que empujamos tanto interna y externamente. Incluso hoy, el modelo tiene la capacidad de reconocer género de la persona que está viendo el contenido pero en los resultados y análisis, elegimos no tener en cuenta, para no sesgar con variable género la conversación, de ninguna manera.

Alejandro Francolini, director de tecnología de datos y comercio electrónico de Wunderman Thompson Argentina y Chile.

-¿Cuáles son los beneficios de esta plataforma para los clientes?

-Escala, tiempo, ahorro y varias más. Podemos analizar videos e imágenes, entender cómo se sienten viendo un video caso, una idea, presentación de otra personas, un concepto, hasta una presentación de un producto o packaging.

Siempre y cuando sea un video o una imágenes, podemos reconocer qué le genera a cada persona que lo ve, en cada momento.

Al ser a través de web, nos permite alcanzar una cantidad de personas que, de forma presencial, sería muy lento y también muy caro. Las personas lo hacen desde su casa, cuando tienen tiempo libre y nosotros recolectar toda la información para luego analizarla.