¿En qué problemas de aprendizaje profundo las redes neuronales son propensas a grandes sesgos?

Esto depende de cómo configure su red y de las estadísticas del conjunto de datos. Solo hablaré sobre los clasificadores tradicionales de redes neuronales, ya que creo que esa es la pregunta. Además, mencionaré cómo solucionar muchos de estos problemas en Keras (aunque las mismas ideas también se pueden usar en otros lugares).

Firat, considere si las entradas a la red tienen una ponderación muy desigual. Por ejemplo, si está tratando de predecir la altura de una persona a partir de la longitud del brazo y la longitud de los dedos. El gradiente en la primera capa de la red será desigual, porque la longitud del brazo es mucho mayor que la longitud del dedo; el gradiente de los pesos depende de la magnitud de las entradas, por lo que desea que las magnitudes sean aproximadamente las mismas para todas sus características de entrada. Esta es una forma en que la red puede sesgar hacia entradas particulares. La solución es normalizar sus datos de antemano para tener una media cero y una varianza. Para redes muy profundas, desea renormalizar en cada capa; Esto se logra en Keras utilizando la capa BatchNormalization, que es muy importante para el éxito de muchas redes de reconocimiento de objetos profundos.

A continuación, considere si sus salidas están distribuidas de manera desigual. Por ejemplo, supongamos que está tratando de predecir si alguien es zurdo. Hay un pequeño número de zurdos en comparación con los diestros. En este caso, debe decidir qué desea que haga su red. ¿Está buscando una alta precisión , que es (verdaderos positivos) / (verdaderos positivos + falsos positivos) o alta recuperación, que es (verdaderos positivos) / (verdaderos positivos + falsos negativos). En Keras puede realizar un seguimiento de estas métricas.

También debe tener en cuenta que la red se inclinará fuertemente hacia la clase dominante. Si las clases no están equilibradas de manera uniforme, puede obtener una precisión mejor que incluso al predecir siempre la clase dominante. Hay algunas formas de arreglar esto:

1. Utilice una función de pérdida que se penalice más por predicciones incorrectas que por recompensas correctas, como la crossentropía binaria en lugar del error cuadrático medio o la correlación de Pearson.
2. Equilibre las clases en las muestras que se envían a la red: puede hacer un muestreo aleatorio de los datos para obtener cada minibatch, pero pondera las muestras por el inverso de su frecuencia en el conjunto de datos.
3. Realice la ponderación de clase: en Keras, puede pasar el argumento “class_weights” al método de ajuste, para cambiar las magnitudes de los gradientes de las muestras de entrenamiento de acuerdo con la etiqueta de clase de salida.
4. Aumente el tamaño de su lote: esto no está estrictamente relacionado con los demás, pero ayuda a suavizar el descenso del gradiente y evita que el modelo se atasque en una especie de mínimos locales, lo que lo hace sesgado. Sin embargo, puedes probar otros trucos para prevenir los mínimos locales.

En cualquier tipo de control de bucle cerrado. Es fácil demostrar que cualquier estimación de parámetros de modelos dinámicos (¡incluso los lineales!) Estará sesgada si el algoritmo de estimación tiene en cuenta las salidas. Es por eso que entrenamos modelos en circuito abierto. Pero, ¿qué pasa si no es posible abrir el bucle? ¿Por ejemplo? Prestar dinero, admitir para universidades, aliviar la presión ambiental del carbono. No puedes simplemente abrir el bucle. Es entonces cuando las NN refuerzan los prejuicios, actúan como pendejos misantrópicos y dan malos consejos.

Cualquier cosa con un conjunto de datos muy sesgado es propenso a un alto sesgo. Por ejemplo, un conjunto de datos sobre cáncer con solo datos csv puede lograr una precisión muy alta simplemente diciendo que no para cada ejemplo.