¿Cuáles son los últimos desarrollos en el seguimiento de objetos?

Hay novedades en todos los frentes.

En primer lugar, tenemos marcos basados ​​en CNN (redes neuronales constitucionales) que son lo suficientemente rápidos como para reconocer un objeto en un cuadro de video que se ejecuta a 30 fps o más. Estos marcos deben estar pre-entrenados para detectar lo que están detectando, es decir, caras. Sin embargo, mediante detección instantánea, pueden proporcionar seguimiento a un bajo costo.

En segundo lugar, tenemos marcos que pueden rastrear múltiples actores diferentes (es decir, muchos peces) en un volumen sin confundirlos a medida que se cruzan sus caminos. Estos sistemas son lo suficientemente buenos como para depender de la entrada de solo una o dos cámaras. Sin embargo, este tipo de sistema debe ajustarse para reconocer cosas específicas (es decir, patrones en las aletas de los peces) y puede requerir un procesamiento posterior para obtener resultados óptimos.

En tercer lugar, hay sistemas similares a SLAM que utilizan sensores RGB-D o conjuntos de cámaras pasivas. Pero mientras que en el pasado estos solían rastrear el movimiento de la cámara, los nuevos enfoques de fusión dinámica (DynamicFusion, VolumeDeform, KillingFusion) rastrean todos los puntos de la escena a lo largo del tiempo. Hay varias extensiones que permiten rastrear la fuente de luz y otras cosas simultáneamente con la geometría.

En cuarto lugar, tenemos intentos recientes de rastrear segmentos a lo largo del tiempo en tres dimensiones (¡así como segmentar la escena al mismo tiempo!) Utilizando solo la entrada de una cámara RGB-D o múltiples cámaras pasivas y sin información semántica de alto nivel. No muy lejos de esto, ha habido algunos sistemas que realizan el seguimiento en 3D utilizando información semántica, es decir, utilizan una red neuronal para preclasificar imágenes individuales y esta información ayuda a rastrear segmentos a lo largo del tiempo. También hay documentos que usan flujo óptico (a veces derivado de CNN) para rastrear cosas a lo largo del tiempo. Hay al menos un documento que conozco que usa CNN para rastrear superficies de un objeto arbitrario en un escaneo 3D.

Finalmente, se ha avanzado mucho en los enfoques basados ​​en plantillas, es decir, el seguimiento manual y el seguimiento de todo el cuerpo. También ha habido intentos de rastrear la geometría de la ropa (!) Que logró un éxito relativo.

Solicite referencias si un tema específico le interesa.

Buscar pyflow desde Berkeley

Actualmente, seguimiento de objetos en aprendizaje profundo para aplicaciones de conducción autónoma / autónoma.