¿Cómo funciona la red de propuestas regionales (RPN) en Faster R-CNN?

La red de propuesta de región (RPN) en la red neuronal convolucional más rápida basada en la región (Faster R-CNN) se usa para decidir “dónde” buscar para reducir los requisitos computacionales del proceso de inferencia general. El RPN escanea rápida y eficientemente cada ubicación para evaluar si es necesario llevar a cabo un procesamiento adicional en una región determinada. Lo hace al generar k propuestas de cuadro delimitador cada una con 2 puntuaciones que representan la probabilidad de un objeto o no en cada ubicación.

Los cuadros de ancla son solo referencias, se seleccionan para tener diferentes relaciones de aspecto y escalas con el fin de acomodar diferentes tipos de objetos, los objetos alargados como los autobuses, por ejemplo, no se pueden representar adecuadamente mediante un cuadro delimitador cuadrado. En Faster R-CNN utilizaron k = 9 que representa 3 escalas y 3 relaciones de aspecto. Cada regresor en el RPN solo calcula 4 valores de desplazamiento (w, h, x, y) en el cuadro de referencia correspondiente.

donde w = ancho, h = altura, (x, y) = centro

El RPN usa una ventana de 3 × 3 que se desliza sobre un mapa de características de conv de alto nivel, el tamaño efectivo de esa pequeña ventana es en realidad 177 × 177 cuando se vuelve a proyectar en la capa de entrada, por lo que el RPN está usando mucho contexto cuando haciendo las propuestas. Esta ventana 3 × 3 se vuelve a muestrear a un vector de 256 dimensiones antes de alimentar a dos capas completamente conectadas, una capa de regresión de caja ( reg ), que calcula las compensaciones de caja, y la capa de clasificación de caja ( cls ) que calcula las puntuaciones de confianza que están relacionadas a la probabilidad de objetividad. La capa reg tiene 4k salidas, mientras que la capa cls tiene 2k salidas, lo que hace que la salida RPN total por posición sea de 4k + 2k .

Entonces, en cada ubicación de la capa conv, los encabezados de regresión del cuadro delimitador generan las compensaciones del cuadro delimitador para cada cuadro delimitador, mientras que la capa de clasificación genera los puntajes de confianza que representan si un objeto está presente o no dentro de cada cuadro delimitador. Solo se procesan más las cajas con una alta probabilidad correspondiente de que el objeto esté presente. Por lo tanto, las propuestas finales en cada ubicación son las cajas de anclaje + las compensaciones de caja con una alta probabilidad de contener un objeto.

Espero que esto ayude.

¡Hola!

Como ya mencionó Vahid Mirjalili, el RPN toma todos los cuadros de referencia (anclas) y genera un conjunto de buenas propuestas para objetos. Lo hace al tener dos salidas diferentes para cada uno de los anclajes.

Si está interesado en una explicación detallada del RPN (y otras partes del modelo Faster R-CNN), puede encontrar útil esta publicación de blog:

R-CNN más rápido: por la madriguera del conejo de la detección de objetos modernos