Cómo abordar el problema de la clasificación multicapa utilizando el aprendizaje profundo

Tienes varias opciones. Me atendré a los más fáciles de implementar para esta respuesta.

La forma más fácil

Entrene una red para clasificar el tipo de automóvil y luego use las características de la última capa o una capa anterior para entrenar un SVM para el ángulo de visión y la marca. Sin embargo, esto no funcionará demasiado bien para la marca. Consulte la sección “Cómo lo haría” para encontrar una forma de remediar esto.

La forma “bastante fácil y general, pero también extraña”:

Trate cada salida como una clasificación binaria para determinar si se aplica o no una etiqueta. La red aprenderá naturalmente la correlación entre las etiquetas, pero aún así obtendrá algunas imágenes clasificadas como Toyota y Honda.

Más difícil pero probablemente mejor:

Si sus etiquetas caen en diferentes categorías de la manera en que lo hacen en su ejemplo (tipo de automóvil, marca, ángulo de visión), entonces podría usar 3 activaciones de softmax separadas para elegir la etiqueta adecuada en cada categoría. Eso significa una función de pérdida híbrida que puede ser difícil de pesar adecuadamente. Una función de pérdida híbrida es solo la suma ponderada de múltiples funciones de pérdida. Si hay otras etiquetas que no están en ninguna categoría, podría incluir una regresión logística para ellas, pero comenzará a complicarse.

Cómo lo haría:

Estoy haciendo algunas suposiciones acerca de su conjunto de datos que pueden no ser ciertas, pero que probablemente den sus ejemplos.

La marca generalmente será fácil. Todas las marcas tienen sus propios logotipos que serán visibles en la mayoría de las imágenes, ciertamente en fotos hechas profesionalmente como su ejemplo. Usaría características analíticas (en este caso, probablemente Histograma de color e Histograma de gradientes orientados) para encontrar el logotipo, luego recortaría esa región y clasificaría el logotipo (las características analíticas también funcionarán aquí, pero también lo hará un simple convenet).

Luego usaría la marca como entrada complementaria a la CNN principal que determina el tipo de automóvil utilizando una pérdida softmax. Finalmente, determinaría la vista entrenando a un SVM sobre características extraídas de la CNN.

Hay varias buenas respuestas aquí. Me gustaría compartir algunos de mis pensamientos sobre este tema.

Si está trabajando con imágenes, es difícil superar el rendimiento de las CNN (redes neuronales convolucionales). Ya se ha realizado un trabajo significativo en la clasificación de etiquetas individuales utilizando CNN. Usted mencionó ajustar AlexNet; Ese podría ser un buen punto de partida.

Una manera fácil de aprovechar este trabajo existente en su caso es capacitar a varios clasificadores, un clasificador para cada etiqueta. Este es un truco fácil para dar resultados razonables. Sin embargo, un problema importante con este enfoque es que los clasificadores funcionarán independientemente unos de otros . Es decir, su red no aprovechará las interdependencias de las etiquetas entre sí.

Esto no necesariamente tiene que ser algo malo. Por ejemplo, si su conjunto de datos tiene imágenes desproporcionadamente altas de hatchbacks de Honda, su red puede saber que si un automóvil es un Honda, hay muchas posibilidades de que sea un hatchback, y viceversa. Por lo tanto, predecirá una correlación entre la marca Honda y el tipo de automóvil hatchback debido a su conjunto de datos sesgado, aunque tal correlación puede no existir.

Para resolver esto, deberá asegurarse de tener un conjunto de datos relativamente equilibrado con respecto a todas las combinaciones de las categorías en todas las etiquetas. Esto puede ser dificil. Esto generalmente significará reunir más datos en su caso, ya que generar datos falsos no es tan simple (si tiene hatchbacks de Honda, no puede generar imágenes de sedanes Honda a partir de eso).

Sin embargo, si desea echar un vistazo a un enfoque que aprovecha las interdependencias entre las etiquetas que utilizan redes neuronales, le sugiero que eche un vistazo a este documento de Min-Ling Zhang que propone el BP-MLL (Backpropagation for Multi-Label Aprendizaje) algoritmo.

Esto no es realmente lo que se entiende por clasificación de múltiples etiquetas. Lo que tienes es una clasificación de salida múltiple.

Una posible tarea de clasificación de etiquetas múltiples sería tener imágenes que contengan varios vehículos diferentes, y debe devolver una lista de todos los vehículos en esa imagen.

En la clasificación de salida múltiple, tiene varias dimensiones de salida que necesita predecir. Esto es exactamente lo que tienes aquí.

¿No puedes modelarlo como 3 clasificadores diferentes? Primero, entrene para el sedán / hatchback, etc. … utilizando la capa final softmax (que puede manejar salidas de clase múltiple). Luego, entrene otro modelo en toyota / honda, etc. y nuevamente use la capa de salida softmax y así sucesivamente. En tiempo de ejecución, invoque los 3 clasificadores en una entrada dada, obtenga la salida deseada y úselas …

Puede codificar etiquetas binarias para sus datos. Por ejemplo, hay un total de 3 marcas de automóviles y en una imagen aparecen 2 de ellas, entonces puede codificar su etiqueta como 101. La última capa de su modelo debe ser múltiples sigmoides en lugar de un softmax. Para afinar, simplemente elimine la última capa y use la que mencioné anteriormente.