¿Los valores atípicos afectan la capacitación de las redes neuronales profundas?

Muchos valores atípicos influirán en el entrenamiento, pero algunos no . Este es el por qué.

  • Las redes neuronales se entrenan principalmente en lotes . Esto significa que en lugar de actualizar los parámetros de la red después de cada muestra, los actualiza después de 32 , 64 , 128 o más muestras. Esto significa que los errores en la dirección del gradiente utilizado para la retropropagación se suavizarán y no dará un paso directo en la dirección incorrecta debido a un valor atípico .
  • Como la mayoría de los algoritmos de aprendizaje automático, las redes neuronales usan una tasa de aprendizaje . Esto significa que los parámetros solo cambian ligeramente en cada iteración. Una muestra por sí sola solo tiene un pequeño efecto en el cambio de parámetros, es el conjunto de datos completo lo que impacta la capacitación.

Dicho esto, los valores atípicos tienen un impacto en la capacitación, es decir, limpiar su conjunto de datos lo ayudará a tener el mejor ajuste para su modelo. Cuantos más valores atípicos, más ruidosos sean los datos y una gran cantidad de valores atípicos puede distorsionar mucho su modelo .

Ellas hacen. Depende mucho de qué tipo de valores atípicos. El efecto será leve si los valores atípicos están equivocados de una manera no sistemática; digamos que la etiqueta se cambia aleatoriamente a otra etiqueta, seleccionada uniformemente de todas las demás etiquetas posibles.

Sin embargo, el efecto puede volverse muy notable si el error es sistemático. Un ejemplo de eso sería un conjunto de datos de imágenes donde el 20% de las imágenes de perros están etiquetadas como gatos.

Puede encontrar artículos relevantes buscando en Google Scholar “ruido de etiqueta de aprendizaje profundo”

Ellos si.

Depende del número y la escala de los valores atípicos. Solo una pequeña cantidad puede no ser tan crucial, pero si es demasiado, digamos que el 5% de los datos son atípicos, por ejemplo, entonces debe hacer algo. Considere que no son valores atípicos y haga que la red neuronal trabaje con ellos, o elimínelos.

More Interesting

¿Cómo pueden los informáticos monitorear una inteligencia artificial que posee mayor inteligencia que ellos?

En redes neuronales, ¿cómo se transporta la propagación hacia atrás a través de las capas de maxpool?

¿Cómo se puede evaluar la inteligencia?

¿Qué causó el "invierno AI" y cuáles fueron las primeras señales de advertencia? Dado el estado actual de la IA, ¿es probable que haya otro período de bajo interés en el campo? ¿Qué cuellos de botella serían la causa de eso?

¿Cuál es un buen libro para comenzar a aprender sobre el desarrollo de un sistema de aprendizaje automático / IA?

¿Es probable que Trump pueda hacer que Apple invierta mucho en la fabricación en los Estados Unidos? ¿Por qué o por qué no?

Si los robots toman nuestros trabajos, ¿por qué no todos vivimos en el lujo y les dejamos hacer el trabajo?

¿Realmente IBM está haciendo dinero con el sistema de control de calidad de Watson, o es solo un proyecto para comercializar el nombre de la empresa?

¿Cómo se podría crear una IA de autoaprendizaje para un videojuego?

¿Cómo se relacionan los modelos gráficos probabilísticos (PGM) con el aprendizaje automático?

¿Se puede diseñar una prueba de coeficiente intelectual para medir la inteligencia de un sistema de IA?

¿Podemos modelar alguna novela o poema como el rompecabezas de cebra? ¿Cuál será su significado como teoría de la lógica?

¿Cuáles son los videos más inspiradores sobre inteligencia artificial y robótica?

¿Cuáles son los ejemplos más exitosos de música creada por computadora?

¿Tomarías órdenes de un robot AI?