Universitat Oberta de Catalunya

Se han creado con un sistema de visión por computador basado en deep learning que aprovecha una base de datos de más de 1,7 millones de fotografías

Ágata Lapedriza, líder del grupo de investigación AIWELL, especializado en inteligencia artificial para el bienestar humano, ha participado en la investigación aprovechando una estancia en el MIT

“Hemos demostrado que la detección automática de incidentes en redes como Twitter es factible, y esto puede ayudar mucho a las organizaciones de ayuda humanitaria”

Un equipo internacional de investigadoras e investigadores ha diseñado un sistema computacional de aprendizaje profundo capaz de detectar desastres naturales a partir de las imágenes que se cuelgan en las redes sociales. La investigación ha aplicado herramientas de visión por computación que, una vez entrenadas con 1,7 millones de fotografías, se han demostrado eficaces para analizar, filtrar y detectar catástrofes reales. El trabajo, liderado desde el Massachusetts Institute of Technology (MIT), ha contado con la participación de Ágata Lapedriza, líder del grupo de investigación especializada en inteligencia artificial para el bienestar humano (AIWELL), adscrito al eHealth Center, y profesora de los Estudios de Informática, Multimedia y Telecomunicación de la Universitat Oberta de Catalunya (UOC).

A medida que el calentamiento global progresa, desastres naturales como por ejemplo inundaciones, tornados o incendios forestales son cada vez más frecuentes y devastadores. Como todavía no hay herramientas para predecir dónde y cuándo habrá este tipo de incidentes, articular una respuesta rápida y eficaz de los servicios de emergencia y cooperación internacional resulta fundamental para salvar vidas. “Afortunadamente, la tecnología puede jugar un papel muy importante en estas situaciones. Las publicaciones en las redes sociales se pueden utilizar como una fuente de datos de baja latencia para entender la progresión y las consecuencias de un desastre”, explica Lapedriza.

Hasta ahora, los trabajos previos en este sentido se habían centrado en el análisis textual, pero esta investigación, publicada en la revista Transactions on Pattern Analysis and Machine Intelligence, ha ido más allá. Coincidiendo con una estancia en el laboratorio de informática e inteligencia artificial del MIT, Lapedriza contribuyó a definir la taxonomía de incidentes, crear la base de datos para entrenar los modelos de deep learning y también ejecutar los experimentos que validaron esta tecnología.

Los investigadores establecieron un listado con 43 categorías de incidentes, incluyendo de origen natural (aludes, tormentas de arena, terremotos, erupciones volcánicas, sequías…) y diferentes tipos de accidentes con algún grado de intervención humana (de avión, de construcción, etc.). Este listado, junto con una tipología de 49 lugares, permitió etiquetar las fotografías con las cuales se preparó el sistema.

Los autores y autoras crearon el conjunto de datos denominado Incidents1M, que contiene 1.787.154 imágenes, para entrenar posteriormente el modelo de detección. Del total de imágenes, 977.088 tienen al menos una etiqueta positiva que las relaciona con alguno de los incidentes categorizados, mientras que hay 810.066 imágenes que contienen etiquetas de incidentes de clase negativa. Para los lugares, 764.124 imágenes son de clase positiva y 1.023.030 son de clase negativa.

Eliminar falsos positivos

Estas etiquetas negativas permitieron entrenar al sistema para que elimine los falsos positivos y entienda, por ejemplo, que una fotografía de una hoguera no corresponde a un incendio, aunque comparta características visuales similares. Con esta base hecha, el equipo entrenó un modelo para detectar incidentes “siguiendo el paradigma de aprendizaje multitarea y utilizando una red neuronal convolucional”.

Una vez consiguió entrenar el modelo de deep learning en la detección de incidentes en imágenes, el equipo lo puso a prueba en varios experimentos, utilizando esta vez un volumen de imágenes ingente descargado de redes sociales como por ejemplo Flickr y Twitter. “Dentro de estos conjuntos de imágenes, nuestro modelo podía detectar las que se correspondían a incidentes y comprobamos que había correspondencia con incidentes concretos de los cuales existía registro, como por ejemplo los terremotos de 2015 en el Nepal y en Chile”, explica Lapedriza.

Los autores y autoras han demostrado con datos reales el potencial de utilizar una herramienta basada en deep learning para obtener información de las redes sociales sobre desastres naturales y acontecimientos que requieran ayuda humanitaria. “Esto abre las puertas a que las organizaciones de ayuda humanitaria puedan enterarse de qué está pasando de manera más eficiente y puedan mejorar la gestión de la ayuda humanitaria cuando sea necesaria”, añade la experta en computación de la UOC.

Una vez logrado este hito, sin embargo, se abren nuevos retos científicos, como por ejemplo aprovechar las mismas imágenes de inundaciones, incendios u otros sucesos para cuantificar la gravedad de los incidentes de manera automática, o incluso hacer un seguimiento más efectivo de cómo evolucionan en el tiempo. Los autores y autoras de la investigación también plantean a la comunidad investigadora la posibilidad de combinar el análisis de las imágenes con el del texto que las acompaña para hacer una clasificación más cuidadosa.

Este proyecto favorece los objetivos de desarrollo sostenible (ODS) número 3, sobre salud y bienestar, y número 10, sobre reducción de las desigualdades.

Artículo de referencia

Weber, E. [Ethan], Papadopoulos, D. [Dim], Lapedriza, À. [Àgata], Ofli, F. [Ferda], Imran, M. [Muhammad] y Torralba, A. [Antonio]. (2023). Incidents1M: a large-scale dataset of images with natural disasters, damage, and incidents. Transactions on Pattern Analysis and Machine Intelligence, 45(4), 4768-4781: https://doi.org/10.1109/TPAMI.2022.3191996

UOC R&I

La investigación e innovación (I+i) de la UOC contribuye a solucionar los retos a los que se enfrentan las sociedades globales del siglo xxi mediante el estudio de la interacción de la tecnología y las ciencias humanas y sociales, con un foco específico en la sociedad red, el aprendizaje en línea y la salud digital.

Los más de 500 investigadores e investigadoras y más de 50 grupos de investigación se articulan en torno a los siete estudios de la UOC, un programa de investigación en aprendizaje en línea (e-learning research) y dos centros de investigación: el Internet Interdisciplinary Institute (IN3) y el eHealth Center (eHC).

La universidad impulsa, también, la innovación en el aprendizaje digital a través del eLearning Innovation Center (eLinC), y la transferencia de conocimiento y el emprendimiento de la comunidad UOC con la plataforma Hubbik.

Los objetivos de la Agenda 2030 para el Desarrollo Sostenible de las Naciones Unidas y el conocimiento abierto son ejes estratégicos de la docencia, la investigación y la innovación de la UOC. Más información: research.uoc.edu.