SciELO - Scientific Electronic Library Online

 
 número49Determinación del mejor algoritmo de detección de matrículas en ambientes controlados y no controladosCaracterísticas de las Bases de Datos para el Cómputo en la Nube: Un Estudio Secundario índice de autoresíndice de assuntosPesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Não possue artigos similaresSimilares em SciELO

Compartilhar


RISTI - Revista Ibérica de Sistemas e Tecnologias de Informação

versão impressa ISSN 1646-9895

RISTI  no.49 Porto mar. 2023  Epub 31-Mar-2023

https://doi.org/10.17013/risti.49.100-114 

Articulos

Análisis automático de micrografías SEM mediante aprendizaje profundo

Automated analysis of SEM micrographs using deep learning

Iker Toscano1 

Diego Alejandro Morales Bravo1 

Miguel De-la-Torre2 

Brenda Acevedo Juárez3 

Gabriel Alberto García Mireles4 

1 Maestría en Ingeniería de Software, Centro Universitario de Los Valles, Ameca, México. iker.toscano2886@alumnos.udg.mx, diego.morales2887@alumnos.udg.mx

2 Departamento de Ciencias Computacionales e Ingenierías, División de Estudios Científicos y Tecnológicos, Universidad de Guadalajara, México. miguel.dgomora@acadeicos.udg.mx

3 Departamento de Ciencias Naturales y Exactas, División de Estudios Científicos y Tecnológicos, Universidad de Guadalajara, México. brenda.acevedo@academicos.udg.mx

4 Departamento de Matemáticas, Universidad de Sonora, México. gabriel.garcia@unison.mx


Resumen

El microscopio electrónico de barrido (SEM) es comúnmente utilizado para analizar nanopartículas de distintos materiales y mejorar métodos de fabricación, sistemas de purificación, mejoras en la industria médica, entre otras. En este artículo, se presenta un mapeo sistemático de la literatura referente al uso de técnicas de aprendizaje profundo (AP) para la detección y clasificación de nanopartículas contenidas en micrografías SEM. Los resultados reflejan que las redes neuronales convolucionales (CNN) son las técnicas más utilizadas para analizar micrografías, obteniendo una alta precisión en los proyectos realizados en las publicaciones revisadas. Como prueba de concepto, se presentan ejemplos del uso de los enfoques más comunes en micrografías SEM de CaCO3, incluyendo el uso de herramientas como OpenAI. Los resultados revelan ventajas y retos que se presentan al utilizar técnicas de aprendizaje profundo en el análisis de micrografías SEM.

Palabras-clave: aprendizaje profundo; micrografías SEM; CaCO3; nanopartículas; redes neuronales convolucionales

Abstract

The scanning electron microscope (SEM) is commonly used to analyze nanoparticles of different materials and improve manufacturing methods, purification systems, and improve the medical industry, among others. In this article, a systematic mapping of the literature regarding the use of deep learning (AP) techniques for the detection and classification of nanoparticles contained in SEM micrographs is presented. The results reflect those variants of convolutional neural networks (CNN) that are the most widely used techniques to analyze micrographs, obtaining high precision in the projects carried out in the reviewed publications. As proof of concept, examples of the use of the most common approaches in SEM micrographs of CaCO3, including tools like OpenAI, are presented. The results reveal advantages and challenges that arise when using deep learning techniques in the analysis of SEM micrographs.

Keywords: deep learning; SEM micrographs; CaCO3; nanoparticles; convolutional neural networks

1. Introducción

Las micrografías, y en particular las obtenidas con el microscopio electrónico de barrido mejor conocido como SEM (scanning electron microscope) son cada vez más utilizadas para determinar de forma fiable la caracterización de la morfología como el tamaño, la distribución de tamaños y forma de los materiales, a niveles micro y nanométricos. Esta popularización del SEM se debe en parte a las innovaciones en el campo de la microscopía, las cuales han favorecido que el SEM esté cada vez más al alcance de la creciente comunidad científica, de un número mayor de universidades y una mayor cantidad de empresas dedicadas al desarrollo de materiales para el desarrollo de nuevos productos y procesos. Este crecimiento en el uso de micrografías SEM también está relacionado con las múltiples áreas de aplicación que surgen del diseño de nuevos materiales. Así, a manera de ejemplo, en Marcellos, Soares, Naiff, & Pires, 2020 se analizan micrografías SEM para detectar cristales en la vaterita (CaCO3), y en Samuel M, Bose, & KC, 2009 se describe el proceso por el cual se analizan las nanopartículas de óxido de Zinc (ZnO2), ambas tienen múltiples aplicaciones en diferentes áreas como cosméticos, textil, catalizadores, cerámicos, sensores de gas, aditivos de caucho, pigmentos, biomateriales, y otras. Además, las últimas tienen aplicaciones en películas finas para celdas solares, optoelectrónica, transmisores y transductores, como se evidencia en Löwy, 2011, Kaya, y otros, 2019, Rühle, Krumrey, & Hodoroaba, 2021, Sharma, Jaiswal, & Duffy, 2019, y Ijaz, Gilani, Nazir, & Bukhari, 2020.

Para el análisis de las micrografías, el proceso consiste en visualizar un conjunto de partículas (aprox. 250) correspondientes a una muestra estadística representativa, midiéndolas una a una para identificar la forma y construir un histograma de la distribución de tamaños y formas. La extracción de estos datos usualmente es realizada por un experto de forma manual, o con programas informáticos comerciales o de código abierto pocas veces especializados, y se lleva a cabo de forma semiautomática. Esto, lleva a largas jornadas de trabajo, además de que este tipo de software actúa como una caja negra y puede tener un impacto negativo en el resultado de la medición al generar errores (Dyba, Dingsoyr, & Hanssen, 2007). Esta situación genera motivación para trabajar en la mejora del software.

Algunas de las tareas más comunes en el análisis automático de micrografías SEM incluyen la detección de determinadas formas de micro y nanopartículas (como esferas o cubos, etc.); la segmentación de las partículas una vez detectadas; la clasificación en alguna serie de categorías que depende de la aplicación; y la medición de determinadas características como el área, diámetro, longitud, etc. Además, dada la necesidad de grandes cantidades de datos de entrenamiento al utilizar algunos algoritmos de aprendizaje automático, también se considera importante la tarea de aumentación de datos, que permite generar micrografías sintéticas con características similares a las reales.

Actualmente, diferentes métodos son utilizados para segmentar las nanopartículas. Sin embargo, estos métodos se encuentran en etapa de investigación y desarrollo aun existiendo retos que afrontar. En algunas ocasiones existe la opción de utilizar una dispersión de luz dinámica (Dynamic Light Scattering, DLS) que se utiliza para obtener información como el volumen y la densidad (Rühle, Krumrey, & Hodoroaba, 2021). Esta técnica de análisis DLS no siempre se práctica, y no es posible observar o contabilizar las nanopartículas como en el caso de las micrografías. Recientemente se han desarrollado sistemas para obtener información como tamaño y conteo a partir de micrografías SEM de diferentes materiales, con la ayuda de técnicas de aprendizaje profundo como se demuestra en el estudio (Nartova, y otros, 2022).

Dada la necesidad de conocer a mayor profundidad los procesos existentes sobre el desarrollo de software utilizando aprendizaje profundo para la caracterización de la morfología de los materiales en micrografías SEM, este artículo tiene como objetivo describir los métodos, técnicas y tendencias empleadas en la automatización del proceso de análisis de micrografías SEM mediante un mapeo sistemático (Systematic Mapping Study, SMS) así como algunas pruebas de concepto utilizando desarrollos existentes en micrografías de los materiales como CaCO3. El documento se estructura describiendo la metodología de las investigaciones relacionadas al análisis de microscopía SEM utilizando aprendizaje profundo, mediante un mapeo sistemático y la prueba de concepto de las técnicas más relevantes encontradas en la literatura, incluyendo la metodología estándar de evaluación (Sección 2). En seguida, se presentan los resultados y se discute sobre las técnicas más actuales para el análisis de micrografías SEM y aplicación al de las técnicas en las micrografías de CaCO3 (Sección 3). Finalmente se exponen las conclusiones, y se especifican las líneas de trabajo por abordar en referencia a los hallazgos encontrados (Sección 4).

2. Metodología

2.1 Enfoques de aprendizaje profundo para el análisis de microscopías SEM

Un SMS fue realizado con el fin de evaluar el estado actual de los métodos, técnicas y tendencia en el uso de aprendizaje profundo para el análisis de micrografías SEM, las cuales contienen micro y nanopartículas. El SMS permite obtener un panorama amplio del campo de investigación, puntos de atención y tendencias de trabajos realizados hasta el momento (Petersen, Feldt, Mujtaba, & Mattsson, 2008; Carrizo & Rojas, 2018; Dyba, Dingsoyr, & Hanssen, 2007). La metodología empleada en este trabajo se describe en (Carrizo & Rojas, 2018), este consiste en tres etapas de ejecución: definición de protocolo, ejecución de la búsqueda y discusión de resultados (ver Figura 1).

Figura 1 Diagrama de flujo del proceso de SMS 

Definición del protocolo

La selección de artículos primarios pretende dar respuesta a las preguntas de investigación, para este caso en particular se consideraron las diferencias entre las técnicas y los métodos que consiguen clasificar y segmentar las nanopartículas contenidas en micrografías SEM, y la precisión de sus resultados; es así como se generaron las siguientes preguntas de investigación:

  • ¿Cuál es el objetivo de los documentos que describen los métodos de segmentación automática de nanopartículas en micrografías SEM con ayuda de aprendizaje profundo?

  • ¿Cuáles son las técnicas descritas en los documentos seleccionados para la segmentación de nanopartículas en micrografías SEM?

  • ¿Cuál es la tendencia en el uso de aprendizaje profundo para la segmentación de nanopartículas en micrografías SEM?

  • ¿Cuáles han sido los resultados del análisis desde el enfoque del uso de aprendizaje profundo en la segmentación de nanopartículas en micrografías SEM?

El alcance de SMS se refiere a la revisión de artículos primarios publicados en las bases de datos, y con los criterios de búsqueda que estuvieran escritos en idioma inglés, y durante el periodo 2017- 2022. En este estudio se emplearon las cuatro bases de datos más relevantes en el área de ciencias de la ingeniería y el desarrollo de software según Dyba, Dingsoyr, & Hanssen, 2007: Web of Science (WOS), Scopus, SpringerLink y ScienceDirect. Las palabras clave para conducir la búsqueda para la SMS fueron: “SEM”, “scanning electron microscope”, “deep learning”, “CNN”, “segmentation”, “microparticles” y “nanoparticles”, con las cuales se construyó la cadena de búsqueda general: (SEM OR scanning electron microscope) AND (deep learning OR CNN) AND segmentation AND (microparticles OR nanoparticles). Las cadenas de búsqueda para las diferentes bases de datos se construyeron en base a la cadena de búsqueda general, y fueron adaptadas a los requerimientos de cada una de las bases de datos.

Considerando las preguntas de investigación fueron generados criterios de inclusión y exclusión que se muestran en la tabla 1, los cuales se emplearon en la ejecución de la búsqueda.

Tabla 1 Criterios de inclusión y exclusión para la selección de artículos primarios 

Criterios de inclusión Criterios de exclusión
Tener relación con el uso de técnicas de aprendizaje profundo para la segmentación de nanopartículas y evalúan las metodologías, técnicas y herramientas utilizadas. Detallan el uso de técnicas de aprendizaje profundo para la detección de nanopartículas en micrografías SEM. Planteen alternativas que hagan más eficiente la recolección de datos para el entrenamiento de redes neuronales. Muestren otras metodologías sobre técnicas de aprendizaje profundo para la detección de nanopartículas en micrografías SEM. Artículos sin resultados que representen una mejora Artículos que no presenten evidencia o una metodología de desarrollo clara. Se descartaron artículos que no contengan una justificación clara del desarrollo del proyecto o sistema.

Al definir el proceso de selección se generaron cuatro filtros posteriores la aplicación de los criterios de inclusión y exclusión, asegurando la calidad de la información recopilada:

  1. Primer filtro: revisión del título.

  2. Segundo filtro: revisión del resumen o abstract.

  3. Tercer filtro: artículos sin resultados que representen una mejora mencionada en abstract.

  4. Cuarto filtro: las publicaciones restantes fueron leídas en su totalidad y se realizó un análisis minucioso de su contenido.

Ejecución de la búsqueda

Una vez que se realizó la consulta en las bases de datos, se aplicaron los criterios de inclusión y exclusión, y los 4 filtros se seleccionaron los estudios primarios que son relevantes para responder a las preguntas de investigación.

Discusión de los resultados

Un esquema de caracterización fue creado para poder enfocar y simplificar los estudios primarios obtenidos. Los aspectos generales sobre las técnicas de aprendizaje profundo para la segmentación y detección de nanopartículas en las imágenes provenientes de microscopios SEM fueron analizados. Después se identificó el origen del conjunto de imágenes utilizadas para entrenar los algoritmos de aprendizaje profundo. Además del grado de validación, que incluye si la propuesta dentro del estudio fue validada o solo es una propuesta para utilizar técnicas de aprendizaje profundo. Finalmente, se considera el porcentaje de exactitud que presentan los artículos en sus resultados.

2.2 Prueba de concepto: segmentación de micro y nanopartículas en micrografías de carbonato de calcio

Tareas automatizadas mediante técnicas de aprendizaje profundo

Una de las dificultades con los algoritmos de aprendizaje automático es la cantidad de datos de entrenamiento. En la actualidad, no hay acceso a bases de datos suficientemente grandes como para entrenar modelos en nanotecnología, biología o medicina, por lo que se han desarrollado técnicas de aumentación de datos que aseguran que los algoritmos de aprendizaje máquina aprendan, reduciendo el sobreentrenamiento. En general, se toma una imagen base y se aplican transformaciones como giros, recortes, acercamientos y adición de ruido blanco, entre otras. Entre las técnicas de aumentación de datos que se prueban en este trabajo, se incluyen las encontradas en los trabajos primarios (Nartova, y otros, 2022), así como las disponibles en la plataforma de OpenAI.

Por otra parte, las redes neuronales utilizadas para la detección de objetos utilizan una red troncal pre-entrenada para extraer características de la imagen, y luego utilizan una red de detección para realizar la predicción de la clase y la ubicación del objeto. En cuanto a la segmentación de objetos, se entrena con una representación de múltiples objetos, ya sea superpuestos o solapados. Este tipo de escenarios se encuentra en diversas aplicaciones biológicas, como el análisis morfológico de objetos moleculares o celulares, o la composición de nanoestructuras para observar objetos individuales teniendo en cuenta su tamaño y forma. Sin embargo, una limitación de estas aplicaciones es que se necesita conocer la distribución de tamaños de las nanoestructuras.

Una alternativa para la detección de nanopartículas se presenta en Monchot, y otros, 2021. En este trabajo se adapta una Mask R-CNN para la detección de nanopartículas de ZnO2 en micrografías SEM. Esta fue creada por facebook Mask R-CNN es un modelo que mejora el detector de objetos Faster R-CNN al agregar una tercera rama que produce máscaras de objeto. Esto significa que no solo se identifica la clase del objeto y su posición, sino también su forma exacta. Por lo tanto, Mask R-CNN requiere una disposición espacial mucho más fina de los objetos en las imágenes para producir las máscaras con precisión.

Un método para segmentar objetos con superposición parcial es el denominado ACED. Consiste en binarizar la imagen para obtener la silueta, eliminando el fondo. En el primer paso se extrae el contorno de los límites que pueden inferir los objetos superpuestos. Como una opción se utiliza el detector de bordes Canny para extraer los bordes.

Por otro lado, un ejemplo de sistema para identificar, medir y contar nanopartículas es el sistema LIST, que ejecuta tres etapas: (1) reconocimiento de la morfología, (2) medición del tamaño y (3) reconocimiento de la barra de escala y texto para la conversión de la escala (Figura 2). En la primera etapa se determina la morfología de las nanopartículas en la imagen SEM de entrada. A continuación, se realiza la medición del tamaño en función del tipo de morfología de entrada (Kim, Han, & Han, 2020). Finalmente, se realiza el reconocimiento de la barra de escala y texto para extraer la información de la escala y convertir el tamaño estimado en píxeles en la unidad adecuada (por ejemplo, μm o nm).

Figura 2 Flujo de procesamiento de imágenes del software LIST 

3. Resultados y discusión

3.1 Mapeo sistemático: técnicas para el análisis de micrografías SEM

Los resultados del proceso de SMS se presentan en la tabla 2. De la búsqueda en la base de datos se recuperaron 161 artículos, aplicando los criterios de búsqueda, de inclusión y de exclusión y posterior a aplicar los cuatro filtros, los artículos primarios que seleccionados se restringió a 16.

Tabla 2 Resultados de la búsqueda después de aplicar los filtros 

Base de datos Filtro
Resultados Primero Segundo Tercer Cuarto
Scopus 37 26 25 10 7
WOS 6 4 1 1 1
Springer link 68 5 5 5 5
Science Direct 50 9 6 3 3
Total 161 44 37 18 16

El resultado del análisis de los 16 artículos que se encontraron, desde la cantidad de estudios de la información sobre la temática, y por qué es de interés abordar esta problemática tan actual se obtuvo la Tabla 3.

Tabla 3 Clasificación de los artículos primarios para su análisis. 

Aspectos generales Cantidad de trabajos
Utilizan redes neuronales convolucionales para la segmentación 15
Utilizan otras técnicas para la segmentación de nanopartículas 1
Entradas para el entrenamiento
Utilizan redes GAN para generar datos de entrenamiento 4
Modelan nanopartículas en 3D 2
Analizan micrografías no sintéticas 10
Grado de validación
Muestran resultados validados 16
Resultados
Presentan resultados con una precisión mayor a 90% 5
Presentan resultados con una precisión entre 80% y 90% 3
Presentan resultados con una precisión entre 70% y 80% 1
No presentan de precisión obtenida 7

Adicionalmente se realizó la búsqueda en las bases de datos recomendadas en el área: EBSCO, IEEE y ACM, sin encontrar resultados relevantes, se encontró una fuente relevante que se agregó al análisis: Rühle, Krumrey, & Hodoroaba, 2021.

Como resultados en términos de precisión, en los estudios evaluados tenemos que tres artículos presentan una precisión por encima de un 90%: Kaya, y otros, 2019; Cabrera, y otros, 2022; Furat, y otros, 2022). Salvo algunas excepciones tenemos resultados por debajo del 80%: Dyba, Dingsoyr, & Hanssen, 2007; Riewald, Kurzhals, Bianchini, & Heino, 2022; Kavuran, 2021. Sin embargo, es importante mencionar que se encontraron importantes sugerencias, tal como el uso de CNN más robustas o datasets con una complejidad menor en las nanopartículas mostradas en cuanto a su morfología.

El análisis de los artículos primarios permitió encontrar las observaciones eficaces y métodos que presentan una alternativa automatizada en la segmentación y clasificación de nanopartículas. La mayoría de los documentos reportaron como primordial el segmentar y analizar las nanopartículas, así como caracterizar por tamaño y forma para posteriores análisis en diferentes industrias lo cual responde a la pregunta de investigación (Soosen Samuel, Bose, & George, 2009). Las técnicas que son descritas para la detección y conteo de nanopartículas corresponden al uso del aprendizaje profundo en arquitecturas CNN, las cuales mencionan ser las más eficaces, lo cual responde a la pregunta de investigación número (Löwy, 2011).

Las tendencias que se observaron para realizar estos estudios es el uso de CNN para la segmentación y detección de nanopartículas y el uso de redes GAN para clasificar por morfologías las nanopartículas, respondiendo la pregunta de investigación (Kaya, y otros, 2019). Se puede deducir que el enfoque de la inteligencia artificial para la segmentación de micro y nanopartículas en micrografías SEM es el uso de aprendizaje profundo utilizando CNN. Para esto tenemos arquitecturas como Marsk-Net, U- Net, DenseNet, que facilitan el usar estas técnicas para desarrollar metodologías que permiten tener resultados precisos. Para la implementación comúnmente se utilizan librerías como Keras y Tensor Flow, que ponen a disposición éstas y otras herramientas de aprendizaje máquina.

3.2. Análisis de los estudios primarios

Entre los artículos primarios podemos encontrar una fuerte tendencia sobre el objetivo de encontrar una alternativa al análisis de micro y nanopartículas obtenidas de microscopios empleando tecnología de aprendizaje profundo para la detección y segmentación de nanopartículas. Sobre las técnicas de segmentación se encontró que se enfocan en su mayoría en el uso de redes neuronales convolucionales (CNN). Siendo esta técnica la preferida debido a las capas que involucra para procesar información y características no lineales. Un diseño típico de una CNN aprende patrones inherentes a través de filtros aplicables en diferentes resoluciones y las compara con las imágenes de entrada. También se encontró que librerías como Keras permiten visualizar patrones de manera sencilla (Baskaran, y otros, 2021; Khairunissa & Lee, 2022; Riewald, Kurzhals, Bianchini, & Heino, 2022; Kavuran, 2021). Sin embargo, si las muestras a analizar no tienden a tener una mayor complejidad, como nanopartículas sobrepuestas unas a otras, desenfoque, ó un número muy grande de antipartículas dentro de la micrografía, se puede hacer uso de alternativas como Google inception network. Tal es el caso, del estudio de Gesho, Chaisoontornyotin, Elkhatib, & Goual, 2020, en donde se realizó el reconocimiento de nanopartículas y su tamaño.

Como entradas para el entrenamiento de las técnicas de redes neuronales en los artículos primarios, se encontró que un dataset de imágenes es necesario, y para generarlo se encontró una variedad de alternativas empleadas. Una de las técnicas a destacar es el uso de redes generativas antagónicas Generative Adversarial Networks (GAN). Estas redes hacen posible el generar nuevas micrografías a partir de unas cuantas muestras como en los siguientes artículos: Kaya, y otros, 2019; Fu, y otros, 2021; Kim, Han, & Han, 2020; Coquelin, Fischer, Feltin, Devoille, & Felhi, 2019. Sin embargo, también es común el uso de micrografías tomadas de manera tradicional de departamentos especializados en universidades (Kavuran, 2021).

3.3. Pruebas de concepto

Las micrografías que se emplearon para la prueba de concepto fueron generadas en la síntesis de micro y nanopartículas de CaCO3 en el trabajo de Hernández-Zepeda, 2022. La importancia de la obtención de estas micro y nanopartículas es porque pueden ser empleadas para la remoción de metales pesados, portador de fármacos o aditivo industrial, depende de diferentes variables como: su morfología, área superficial específica, fase cristalina y pureza. Para lograr un producto de síntesis adecuado dentro de una síntesis química, se deben controlar los disolventes y las temperaturas. La variación de estos parámetros ha demostrado tener efectos significativos en la forma, el tamaño, la uniformidad, la estabilidad y otras propiedades de las partículas (Khan, Saeed, & Khan, 2019).

En Hernández-Zepeda para la obtención de nanopartículas de CaCO3 se emplearon conchas de Crassostrea corteziensis, que son residuos que se generan del cultivo de ostiones en Boca de Camichin, Nayarit. Las conchas de esta especie están formadas de calcita que se utilizó como precursor para obtener micro y nanopartículas de CaCO3. Mediante el método de sonoquímico y como disolventes se empleó ácido cítrico y bromuro de cetiltrimetilamonio. Una serie de 12 experimentos fueron realizados, obteniendo partículas de tamaños entre 70 nm a 250 nm considerando de diferente morfología consideradas micro y nano partículas y se obtuvieron 33 micrografías.

Aumentación de datos

En la Figura 3 se muestran ejemplos de aumentación de datos a partir de una micrografía de CaCO3, las operaciones aplicadas fueron técnicas de procesamiento de imágenes utilizando la librería Pillow de Python. En una sola imagen se pueden llevar varias combinaciones de estas transformaciones. Es importante señalar que se debe de limitar el grado del giro para no generar datos que se alejen demasiado de una imagen real y puedan afectar negativamente el entrenamiento del modelo. Técnicas que se analizarán más adelante presentan en alguno de sus pasos para la aumentación de datos cambios sobre la imagen como los que se mostraron.

Los autores Coquelin, Fischer, Feltin, Devoille, & Felhi, 2019 introducen el uso de redes generativas adversariales. Las redes generativas adversariales consisten en dos redes neuronales con arquitecturas independientes que son entrenadas al mismo tiempo. El modelo GAN (generative adversarial networks) consiste una red generadora y una discriminadora. La red discriminadora tiene como tarea principal la clasificación de una imagen como reales o falsas. La red generadora busca poder crear una imagen lo suficientemente parecía a las que se encuentran en la base de datos con la que se entrenan para poder engañar a la discriminadora. El modelo entrena ambas redes y las enfrenta en una dura competición por mejorarse a sí mismas. Al final, el discriminador será capaz de identificar la mínima diferencia entre lo real y lo generado, y la red generativa será capaz de crear imágenes que el discriminador no pueda distinguir.

Figura 3 a) Micrografía de CaCO3 obtenida por microscopio SEM. b) Micrografía con transformación horizontal. c) Micrografía con giro de 1 grado. d) Micrografía con recorte. 

Para mostrar la viabilidad del uso de redes GAN como técnica de aumentación de datos se hizo una implementación de una red GAN utilizando como base de datos para el entrenamiento 200 imágenes de microscopias SEM de CaCO3 generadas en la plataforma OpenAI. Una muestra de las imágenes resultantes se puede observar en la Figura 4.

Figura 4 a) Micrografía de base para generación de variantes. b) Variaciones de la imagen original 

La arquitectura de la red discriminadora tiene de entrada una imagen de dimensiones 256 x 256 x 1 y de salida una sola neurona que indica si es real o no la imagen. El segundo modelo discriminador funciona con una capa de entrada de 128 neuronas y genera de salida una imagen del mismo tamaño que la entrada de la red discriminadora. Múltiples entrenamientos fueron realizados variando los valores del ritmo de aprendizaje de ambas redes, alguno de los resultados de estos entrenamientos se muestra en la siguiente Figura 5.

Figura 5 Se muestran las imágenes de salida de la red generadora. El número de épocas de entrenamiento es el que se muestra debajo de cada una de las imágenes. 

Aunque múltiples pruebas de entrenamiento se realizaron, no se pudo conseguir un mejor resultado que el que se muestra en la Figura 5. La dificultad de implementación de redes neuronales GAN cae en el hecho de que el entrenamiento de ambas redes sucede al mismo tiempo. El caso más común que ocurrió en esta implementación fue el problema de colapso de la medición de error por parte de la red generadora. Este colapso de error hace que la red generadora deje de aprender, ya que encuentra que las imágenes que esté generando ya son suficientes para burlar al discriminador proporcionando siempre la misma imagen sin importar el tiempo de entrenamiento. Por este motivo de dificultad, hoy en día, es por el cual la implementación de redes neuronales GAN son desplazadas por otras técnicas de aumentación de datos. Como ejemplo de esto, es el uso de plataformas de OpenIA que ya cuentan con generadoras de imágenes, por lo que es más fácil el generar bases de datos para entrenamiento.

Análisis de partículas

El proceso de canalización en la medición de nanopartículas implica la clasificación de la forma de las partículas y la obtención de una imagen binaria correcta para medir con precisión el tamaño. Se utilizan algoritmos de segmentación y procesamiento de imágenes para lograr este proceso en específico Inception-V3 entrenada con ImageNet y DenseNet. Se aplica una ecualización de histograma y una umbralización adaptativa de Otsu para obtener la imagen binaria correcta. Luego, se extraen los centros de núcleo y se examina la existencia de regiones de cáscara en la imagen binaria. La Figura 6 muestra algunas micrografías de carbonato de calcio procesadas con el software LIST. En ellas se pueden observar algunas partículas detectadas, y el resultado de binarizar la imagen.

Figura 6 Micrografías de CaCO3 después de ser procesadas por LIST 

5. Conclusiones

En este artículo se presentan los resultados de una revisión de literatura respecto de la clasificación de nanopartículas en micrografías SEM utilizando técnicas de aprendizaje profundo. Además, se exponen los principales hallazgos de una prueba de concepto referente al uso de dichas técnicas en micrografías de CaCO3.

La primera parte del artículo presenta la metodología utilizada para realizar la revisión literatura a través de un mapeo sistemático, siguiendo las recomendaciones de Petersen et al. (2008). La búsqueda de artículos se enfocó en la búsqueda automática en cuatro bases de datos (Web of Science, ScienceDirect, SpringerLink, y Scopus) utilizando como términos clave “scanning electron microscope”, “nanoparticles” y “deep learning”.

Como resultado del mapeo sistemático, se seleccionaron 16 estudios primarios, los cuales describen técnicas de aprendizaje basadas en redes neuronales profundas para realizar tareas como detectar, segmentar y clasificar nanopartículas contenidas en las micrografías. La clasificación de los estudios primarios mostró que las técnicas de segmentación usan con mayor frecuencia redes neuronales convolucionales. Además, para la generación de imágenes de entrenamiento, la mayoría de los estudios indican que las imágenes usadas fueron generadas por la misma universidad o instituto. En el caso de que dichas micrografías no puedan tomarse, existe la posibilidad de usar las redes neuronales generativas adversarias (GAN) para generar imágenes sintéticas.

En la segunda parte de este trabajo, se realizó un estudio exploratorio con las redes GAN con la finalidad de comprobar su viabilidad como técnica de aumentación de datos. El entramiento de la red se realizó con 200 imágenes de microscopía de carbonato de calcio. Sin embargo, los resultados de este estudio exploratorio no fueron satisfactorios debido al problema del colapso de la medición de error, lo que provocó que la red dejó de aprender.

Con base en los resultados del mapeo sistemático, no se puede pasar por alto la relevancia de las redes GAN para la aumentación de datos, ya que permite generar suficientes micrografías para entrenamiento. Similarmente, el software LIST permite el análisis de micrografías SEM, incluyendo la medición y el conteo, aunque presenta algunas limitantes para detectar estructuras complejas. Es en este punto donde se puede visualizar un área de oportunidad para la investigación y desarrollo de algoritmos que mejoren la tecnología actual.

Referencias

Baskaran, A., Kautz, E., Chowdhary, A., Ma, W., Yener, B., & Lewis, D. (2021). Adoption of Image-Driven Machine Learning for Microstructure Characterization. JOM, 73(11), 3639-3657. [ Links ]

Cabrera, C., Cervantes, D., Muñoz, F., Hirata, G., Juárez, P., & Flores, D.-L. (2022). Classifying nanostructured and heterogeneous materials from transmission electron. Neural Computing and Applications, 1-13. [ Links ]

Carrizo, D., & Rojas, J. (2018). Metodologías, técnicas y herramientas en ingeniería de requisitos: un (Vol. 26). SciELO Agencia Nacional de Investigacion y Desarrollo (ANID). [ Links ]

Coquelin, L., Fischer, N., Feltin, N., Devoille, L., & Felhi, G. (2019). Towards the use of deep generative models for the characterization in size of. Materials Research Express, 6(8), 85001. [ Links ]

Dyba, T., Dingsoyr, T., & Hanssen, G. (2007). Applying Systematic Reviews to Diverse Study Types: An Experience Report. First International Symposium on Empirical Software Engineering. [ Links ]

Fu, Q., Zhang, Y., Wang, P., Pi, J., Qiu, X., Guo, Z., Xu, J. (2021). Rapid identification of the resistance of urinary tract pathogenic bacteria using (Vol. 413). Springer Science and Business Media LLC. [ Links ]

Furat, O., Finegan, D., Yang, Z., Kirstein, T., Smith, K., & Schmidt, V. (2022). Super-resolving microscopy images of Li-ion electrodes for fine-feature (Vol. 8). Springer Science and Business Media LLC. [ Links ]

Gesho, M., Chaisoontornyotin, W., Elkhatib, O., & Goual, L. (2020). Auto-segmentation technique for SEM images using machine learning: Ultramicroscopy, 217, 113074. [ Links ]

Hernández-Zepeda, C. (2022). Síntesis de micro y nanopartículas de CaCO3 a partir de conchas de ostión de Crassostrea cortezinesis por el método sonoquímico. Ameca, Jalisco: Universidad de Guadalajara. [ Links ]

Ijaz, I., Gilani, E., Nazir, A., & Bukhari, A. -G. (2020). Detail review on chemical, physical and green synthesis, classification, characterizations and applications of nanoparticles (Vol. 13). Taylor and Francis Ltd. https://www.tandfonline.com/doi/abs/10.1080/17518253.2020.1802517Links ]

Kavuran, G. (2021). SEM-Net: Deep features selections with Binary Particle Swarm Optimization (Vol. 27). Elsevier BV. [ Links ]

Kaya, E., Kaya, O., Alkan, G., Gürmen, S., Stopic, S., & Friedrich, B. (2019). New Proposal for Size and Size-Distribution Evaluation of Nanoparticles (Vol. 13). MDPI AG. [ Links ]

Khairunissa, M., & Lee, H. (2022). Effective quantum mechanicsembedded nanoparticle occlusion (Vol. 24). Springer Science and Business Media LLC. [ Links ]

Khan, I., Saeed, K., & Khan, I. (2019). Nanoparticles: Properties, applications and toxicities (Vol. 12). Elsevier. [ Links ]

Kim, H., Han, J., & Han, T.-J. (2020). Machine vision-driven automatic recognition of particle size and morphology in (Vol. 12). Royal Society of Chemistry (RSC). [ Links ]

Löwy, I. (2011). Historiography of biomedicine:“bio,”“medicine,” and in between (Vol. 102). The University of Chicago Press. [ Links ]

Marcellos, C., Soares, E., Naiff, D., & Pires, G. (2020). Analyze of scanning electron microscope images using deep learning for calcium carbonate polymorph detection. https://www.nidf.ufrj.br/wp-content/uploads/2021/03/Analyze-of-scanning-.pdfLinks ]

Monchot, P., Coquelin, L., Guerroudj, K., Feltin, N., Delvallée, A., Crouzier, L., & Fischer, N. (2021). Deep Learning Based Instance Segmentation of Titanium Dioxide Particles in the. Nanomaterials, 11(4), 968. [ Links ]

Nartova, A. V., Mashukov, M. Y., Astakhov, R. R., Kudinov, V. Y., Matveev, A. V., & Okunev, A. G. (2022). Particle Recognition on Transmission Electron Microscopy Images Using Computer Vision and Deep Learning for Catalytic Applications. Catalysts, 1-13. [ Links ]

Petersen, K., Feldt, R., Mujtaba, S., & Mattsson, M. (2008). Systematic Mapping Studies in Software Engineering (Vol. 17). [ Links ]

Riewald, F., Kurzhals, P., Bianchini, M. (2022). The LiNiOsub2/sub Cathode Active. Journal of The Electrochemical Society, 169(2), 20529. https://doi.org/10.1149/1945-7111/ac4bf3 [ Links ]

Rühle, B., Krumrey, J., & Hodoroaba, V.-D. (2021). Workflow towards automated segmentation of agglomerated, non-spherical. Scientific Reports, 11(1). [ Links ]

Samuel M, S., Bose, L., & KC, G. (2009). Optical Properties of ZnO2 Nanoparticles. Academic Review, 57-65. [ Links ]

Sharma, S., Jaiswal, S., & Duffy, B. (2019). Nanostructured materials for food applications: spectroscopy, microscopy and physical properties. Bioengineering. https://www.mdpi.com/430090Links ]

Soosen Samuel, M., Bose, L., & George, K. (2009). Optical properties of ZnO nanoparticles (Vol. 16). [ Links ]

Recibido: 03 de Octubre de 2022; Aprobado: 17 de Enero de 2023

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons