¿Pueden los métodos de aprendizaje profundo ser útiles para el seguimiento de múltiples objetos en una multitud?

Mi colega Anton Milan y compañía. Recientemente publicó un documento que utiliza RNN y LSTM para realizar un seguimiento según lo solicite.

https://arxiv.org/pdf/1604.03635 …

Sin embargo, al mirar la imagen, creo que rastrear aquí será extremadamente difícil, ya que todas las abejas se ven idénticas. Además, tengo la sensación de que también pueden moverse en la tercera dimensión (mientras la imagen se toma desde la parte superior), es decir, una abeja se mueve debajo de otra abeja. En el caso de tales oclusiones, simplemente no tiene ninguna posibilidad de seguimiento preciso.

Trabajaría con una cámara de alta velocidad de cuadros y buscaría incorporar la segmentación de imágenes con detección y luego rastrear explícitamente los límites de segmentación. Tenga en cuenta que los detectores de objetos le proporcionarán cuadros delimitadores muy variados, incluso cuando la imagen haya cambiado lo más mínimo, ¡y a menudo estos no serán cuadros delimitadores ajustados! Entonces, en una escena de alta densidad, debes tomar el asunto en tus propias manos. Use un detector de objetos para inicializar el sistema, pero luego segmente las abejas individuales en los cuadros delimitadores. La alta velocidad de fotogramas (y, por lo tanto, una pequeña cantidad de cambio de un fotograma a otro) debería permitirle mantener la correspondencia entre los segmentos explícitamente. Además, puede emplear algunos de los códigos basados ​​en la optimización global de Anton Milan para realizar el seguimiento real (no basado en DL). Si siguen apareciendo nuevas abejas en la imagen, simplemente vuelva a ejecutar el detector cada pocos cuadros y verifique con la lista de segmentos de abejas que está manteniendo actualmente.

Para empezar, habría recomendado algún tipo de enfoque de segmentación a nivel de instancia, pero supongo que no tiene tantos datos de capacitación disponibles.

Sin un diseño personalizado de un sistema específicamente para esta aplicación de nicho, dudo que pueda llegar muy lejos. [La mayoría de los trabajos de seguimiento de objetos múltiples se dirigen a conjuntos de datos estándar como PETS, donde los humanos tienen aspectos algo distintos, por ejemplo, el color de sus ropas, ¡y la densidad es mucho menor!]

Generalmente, las CNN se usan para clasificar imágenes que tienen una sola etiqueta por imagen. Clasificación de imagen de etiqueta única, que tiene como objetivo asignar una etiqueta de un conjunto predefinido a una imagen.

Para clasificar una imagen que tiene múltiples tipos de abejas cae en la categoría de clasificación de imágenes de múltiples etiquetas .

Para entrenar a su modelo, asignará una imagen con múltiples etiquetas, es decir, tipos de abejas. Sin embargo, el modelo CNN no se puede extender para hacer frente al problema de clasificación de imágenes de etiquetas múltiples.

Un trabajo similar de clasificación de imágenes de múltiples etiquetas se realiza en los Institutos Nacionales de Salud en Bethesda, Maryland, donde están clasificando los informes de radiología (que tienen más de una enfermedad por imagen) usando CNN y RNN.

Han nombrado su enfoque como Modelo de cascada neuronal recurrente . generan por separado una sola anotación para cada imagen usando RNN. Luego, usando las anotaciones probadas con su modelo CNN.

Encuentre aquí: http://arxiv.org/pdf/1603.08486.pdf

De lo contrario, también se publica un trabajo de investigación sobre el tema de CNN: clasificación de imagen de etiqueta única a etiqueta múltiple donde han propuesto una estructura CNN profunda flexible, llamada Hipótesis-CNN-Pooling (HCP) .

Encuentre aquí: https://www.google.co.in/url?url …

Los métodos de vanguardia para la detección de objetos se basan en CNN. Hay dos enfoques principales:

a) CNN basados ​​en la región, donde los documentos seminales son

• R. Girshick et al., Jerarquías de características ricas para la detección precisa de objetos y la segmentación semántica, CVPR, 2014.
• R. Girshick, Fast R-CNN, ICCV, 2015.
• S. Ren et al., F-R-CNN más rápido: hacia la detección de objetos en tiempo real con redes de propuestas regionales, NIPS, 2015

b) Regresión del cuadro delimitador, donde se encuentran los documentos clave

• W. Liu et al., SSD: Detector multibox de disparo único, ECCV, 2016.
• J. Redmon et al., Solo se ve una vez: detección unificada de objetos en tiempo real, CVPR, 2016.

Por supuesto, estos son métodos de detección , no métodos de seguimiento . Sin embargo, la detección basada en cuadros parece funcionar bastante estable y no debería ser difícil agregar un método de seguimiento.

Los documentos enumerados anteriormente son solo una vista de publicaciones clave y deben verse como un punto de partida para una encuesta de literatura. Por supuesto, hay un cuerpo de trabajos en rápido crecimiento sobre este tema.