• 19/11/2024

Crearon una inteligencia artificial capaz de convertir las percepciones mentales en dibujos

Investigadores de la Universidad de Osaka presentaron un proyecto que permite traducir actividad cerebral en gráficos, con IA generativa Stable Diffusion
20/03/2023 - 20:50hs
Crearon una inteligencia artificial capaz de convertir las percepciones mentales en dibujos

Investigadores de la Universidad de la Universidad de Osaka, en Japón, desarrollaron un mecanismo que les permitió leer percepciones mentales y convertirlas en dibujos. Para hacer esto último, emplearon Stable Diffusion, una inteligencia artificial generativa. Así se conocen las IA capaces de crear contenido propio y original.

Stable Diffusion, al igual que DALL-E y Midjourney, es capaz de entender instrucciones en formato de texto para luego plasmar lo que se le pide en diferentes tipos de dibujos. El resultado pueden ser cuadros realistas u oníricos, con diferentes estilos y colores. Todo dependerá de cuán precisas sean las instrucciones que les demos.

Sin embargo, en el caso mencionado, los investigadores recurrieron a esta plataforma para darle un uso completamente novedoso. Tal como se menciona en el informe publicado, los voluntarios visualizaron varias imágenes, mientras se les realizaba a una resonancia magnética funcional para captar la actividad cerebral. A partir de esa información, la IA generó las imágenes.

"La tecnología entiende lo que un ojo humano ve y lo que las primeras capas de neuronas están entendiendo. Es percepción, no pensamiento. Lo que está usando la IA son las activaciones de la corteza occipital, a donde llega la información directa del ojo con muy poco procesamiento de las neuronas y del cerebro", aclara Lucas Roitman, egresado de la Universidad de Stanford e investigador de IA aplicada.

Los resultados entre los contenidos a los que fueron expuestas las personas y los gráficos generados por Stable Difussion no eran iguales, pero había muchos puntos en común, como los objetos, la disposición en el contexto y los colores.

"La IA, Stable Diffusion, no fue diseñada para funcionar con activaciones (estímulos directos del cerebro), sino con palabras. Por lo tanto, los investigadores debieron entrenarla para que aprendiera a funcionar a base de este nuevo input o lenguaje", analiza Roitman.

Crearon una inteligencia artificial capaz de convertir las percepciones mentales en dibujos
Crearon una inteligencia artificial capaz de convertir las percepciones mentales en dibujos

Y añade: "La IA ya es como un cerebro humano o animal. Es tan avanzada que puede interpretar estímulos como los que le llegan al cerebro. Tiene plasticidad, es decir que una vez que la IA funciona se la puede adaptar a otro tipo de entrada, datos o lenguaje".

Percepciones mentales en imágenes con IA: el objetivo de este proyecto

"La reconstrucción de experiencias visuales a partir de la actividad del cerebro humano ofrece una forma única de comprender cómo el cerebro representa el mundo e interpretar la conexión entre modelos de visión artificial y nuestro sistema visual", explican los investigadores Yu Takagi y Shinji Nishimoto, en el paper publicado.

Ellos proponen un nuevo método basado en un modelo de difusión para reconstruir imágenes de la actividad del cerebro humano obtenidas mediante resonancia magnética funcional (fMRI). "Más específicamente, nos basamos en un modelo de difusión latente (LDM) denominado Stable Diffusion. Este modelo reduce el cálculo coste de los modelos de difusión preservando al mismo tiempo su alto rendimiento generativo", aclaran en el documento.

Es decir que esta propuesta permite leer la actividad cerebral a un costo mucho menor que los sistemas empleados hasta ahora.

Este sistema podría utilizarse a futuro como herramienta de diagnóstico. "Puede detectar algún tipo de discapacidad visual. Permite identificar a aquellas personas que tienen un funcionamiento de los ojos correcto, pero que sufren de problemas al procesar la información", analiza Roitman.

A su vez, sería posible emplear para personas con daños o pérdida de visión. "En esos casos, por ejemplo, se podría usar la IA para generar estímulos en la corteza para generar imágenes directamente en el cerebro. De esta forma, una cámara puede hacer el trabajo de los ojos y transmitir dicho input directamente conectada al cerebro", dice el investigador.

Procesamiento de imágenes con IA: los usos a futuro

"Es de imaginarse que con esta tecnología funcionando plenamente se abre una abanico de posibilidades casi de ciencia ficción. Esto puede ir desde aplicaciones de la salud, para estudiar casos de algún tipo de complicación en el funcionamiento del cerebro e identificar el problema con precisión. Por ejemplo, en el caso de personas con alucinaciones visuales, podría permitir ‘ver' sus imágenes mentales", anticipa Daniel de Florian, doctor en física y director del Instituto de Ciencias Físicas de la Universidad Nacional de San Martín (UNSAM).

Esta propuesta permite leer la actividad cerebral a un costo mucho menor que los sistemas empleados hasta ahora

En cuanto a otros usos que se puede hacer de Stable Diffusion en el ámbito de la salud, de Florian menciona la generación de imágenes (rayos X, tomografías, etc) para diagnosticar enfermedades raras.

"Hoy día el procesamiento de imágenes con IA permite detectar enfermedades o problemas con mayor precisión que los médicos en muchos casos. Pero eso requiere primero entrenar el algoritmo con muchas imágenes que deben estar etiquetadas con su correspondiente descripción (un hueso roto, por ejemplo). Esto implica mucho trabajo manual y a veces, en enfermedades más ‘raras’, directamente no hay suficientes imágenes disponibles. Dado que Stable Diffussion produce imágenes a partir de texto, se podrían generar imágenes muy realistas simplemente desde las descripciones de las historias clínicas y luego usarlas para entrenar el sistema que analizará las imágenes de otros pacientes", señala el investigador.

Incluso no sería osado imaginar que en un futuro esto permitiría incluso leer los pensamientos más profundos. "También se va a poder utilizar la IA para interpretar imágenes que uno ve en sueños o incluso que uno recuerda o se imagina. Pero antes la tecnología debe avanzar y profundizar su entendimiento de las capas más complejas del cerebro, alejándose de lo que es la percepción y acercándose a los pensamientos más elaborados", analiza Roitman.

Si se quiere todavía un poco más allá, se podría pensar que esta tecnología abre la puerta para vivir una suerte de Matrix. Como ocurre en la película sería posible producir imágenes directamente desde el cerebro. "Sin pantallas, sin visor de Realidad Virtual y sin cámaras. Simplemente Generar imágenes ficticias directamente en el cerebro", concluye.