Proyecto complementario de INTEMARES
Objetivo general:
El objetivo general del proyecto DeepFish 2, partiendo del prototipo de visión artificial para la identificación y tallaje de especímenes en lonjas desarrollado en DeepFish, es avanzar en las capacidades del sistema, ampliando tanto el número de especies de peces objetivo, como de moluscos (pulpo, sepia y calamar), cubriendo una casuística mayor en tipologías de lonjas, introduciendo aspectos de trazabilidad mediante incorporación de información geo-referenciada y desarrollando un módulo de análisis y explotación de los datos proporcionados por DeepFish. También se pretende constituir un foro para la colaboración entre investigadores interesados en el reconocimiento y tallaje de especies mediante visión artificial.
Objetivos específicos:
- Ampliación y difusión del dataset.
- Adaptación del sistema de visión a nuevas lonjas.
- Adaptación de la arquitectura de red profunda.
- Desarrollo del módulo de explotación de datos.
- Implantación del sistema de visión en nuevas lonjas de la Red Natura 2000.
- Foro de colaboración sobre reconocimiento y tallaje de especies marinas mediante visión artificial.
- Difundir los resultados del proyecto.
Los resultados esperados del proyecto son los siguientes:
- R1: Nuevo dataset, ampliado a 20 especies. Más lonjas y periodos estacionales.
- R2.1: Sistema de visión para reconocimiento y tallaje de especies en dos nuevas lonjas minoristas.
- R2.2: Prototipo del sistema de visión para una lonja mayorista.
- R3: Infraestructura hardware y software de modelo de red profunda entrenada.
- R4: Software de explotación y visualización de datos con cuadro de mandos de stocks pesqueros.
- R5.1: Sistema de visión implantado en dos lonjas minoristas.
- R5.2: Prototipo de sistema de visión probado en lonja mayorista.
- R6: Evento: Foro de colaboración sobre reconocimiento y tallaje de especies marinas mediante visión artificial.
- R7.1: Participación en Congreso Internacional (UCAMI) + 1 publicación científica
- R7.2: Publicación de al menos 3 notas de prensa (inicio, mediados y fin de proyecto)
- R7.3: Difusión en la web de la entidad y redes sociales.
Resultados del proyecto
Los resultados que se han obtenido con la ejecución del proyecto son los siguientes:
Por un lado:
- Se ha ampliado el dataset de especies objetivo, etiquetado con metadatos de tipología de especie y talla, incorporando 14 nuevas especies para alcanzar un total de 32, procedentes de las lonjas de “El Campello”, Altea, Torrevieja y Moraira.
- Se ha publicado el dataset en el repositorio científico abierto ZENODO.
- Se ha elaborado un vídeo explicativo sobre la adaptación dataset a nuevas lonjas tipo.
Por otro:
- Se ha partido del prototipo del sistema de visión desarrollado en la primera fase del proyecto Deepfish para “El Campello” y se ha mejorado para su implantación y funcionamiento autónomo en la Lonja del Campello. En este vídeo se explica el sistema implantado en la lonja.
- Se ha adaptado el sistema de reconocimiento y de las imágenes en una lonja nueva mayorista (Altea), captando además imágenes en otra nueva lonja mayorista (Torrevieja) y en una nueva minorista (Moraira). En la lonja "El Campello", se ha implantado el sistema de visión de forma autónoma y en el caso de Altea, se ha mejorado y adaptado para su testeo en lonja mayorista.
En relación a la infraestructura hardware y software del modelo de red profunda entrenada, se ha abordado el problema de la identificación de especies mediante la red YOLACT++ y se ha propuesto una nueva estrategia de “Key fishes”. En relación al problema del tallado se ha profundizado en la utilización de métodos de regresión y calibrado. Además, se ha implementado una web GIS que permite visualizar sobre un mapa los datos de intensidad de pesca y se ha desarrollado un cuadro de mando para el análisis estadístico de los datos pesqueros y un informe de parámetros de interés biológico a partir de esta herramienta.
Por último, cabe mencaionar que se ha creado un foro de expertos sobre reconocimiento y tallaje de especies marinas mediante visión artificial en el que han participación 19 investigadores de 8 instituciones diferentes (5 de ellas participantes en el Programa Pleamar). Finalmente, se han desarrollado acciones de difusión, con participación en congresos (IJCNN, SOCO, SARTECO), foros (ForoPesca) y jornadas de presentación de resultados (jornadas de seguimiento y resultados).
Universidad de Alicante, Departamento de Tecnología Informática y Computación