Normalmente, entrena la red neuronal (NN) en imágenes estáticas de los objetos, generalmente capturadas desde múltiples perspectivas para que el detector pueda ser robusto para esas transformaciones. Posteriormente, el NN entrenado se puede ejecutar en cada cuadro por segundo (fps).
Es por eso que la inferencia de baja latencia es muy importante para lograr un rendimiento en tiempo real. Para el tiempo real, necesita al menos 25 fps, lo que significa que es conveniente un retraso de 1/25 segundos o menos. Como el NN procesará cada cuadro independientemente de los otros cuadros, no tendrá problemas con la detección de un objeto que no estaba presente en el cuadro anterior.
Los métodos de detección de objetos como YOLO (solo se ve una vez) ejecutan inferencias en cada fotograma y pueden alcanzar un rendimiento en tiempo real debido a su naturaleza totalmente avanzada. Por lo tanto, considere usar una arquitectura como YOLO para su NN. Si desea aprovechar la naturaleza temporal de los cuadros de video, puede agregar seguimiento a su sistema mediante el cual el proceso de detección solo se ejecuta para activar un proceso de seguimiento. Por lo tanto, algunos cuadros se pueden omitir y durante los cuadros de salto, el seguimiento está activo y el detector está inactivo. Para mayor eficiencia, el seguimiento de baja latencia debe ejecutarse a una frecuencia alta, mientras que la detección de alta latencia debe ejecutarse a una frecuencia mucho más baja, por lo que se omiten algunos fotogramas.
- ¿Qué puedo hacer si soy un experto en aprendizaje automático supervisado?
- ¿Por qué debería obtener el doble de RAM que la memoria total de mi GPU para construir una plataforma de aprendizaje profundo?
- ¿Debo usar juicios de relevancia explícitos o comentarios de clics implícitos para recopilar datos de capacitación para construir un modelo de Aprendizaje para clasificar?
- ¿Es necesario un MS o PhD en Machine Learning para trabajar en este campo en alguna empresa?
- Serie temporal: ¿Existe un enfoque para la detección de anomalías que no se base en datos de entrenamiento anteriores?
El enfoque basado en el seguimiento como se describe anteriormente puede retrasar la detección de un objeto que no estaba previamente presente en el cuadro de video porque cuando está en el modo de seguimiento solo puede rastrear aquellos objetos que fueron recogidos por el detector en los cuadros anteriores, por lo tanto, el nuevo El objeto solo puede recogerse una vez que el detector está activo. El lado positivo de esta técnica es la velocidad y la escalabilidad, ya que el detector en sí mismo puede salirse del hilo principal y escanear periódicamente en busca de nuevos objetos para rastrear.
Espero que esto ayude.
