¿Qué tan útil es el aprendizaje profundo para problemas P> N?

Yo diría que depende de la naturaleza de su problema. En general, las grandes redes neuronales convolucionales necesitan una gran cantidad de muestras para entrenarse, si las entrenas desde cero. Por lo tanto, hasta ese punto, no es eficiente para problemas de alta muestra de bajo tamaño de muestra. Sin embargo, supongamos que ya tiene una red neuronal convolucional capacitada y que desea ajustarla para resolver un problema similar (aprendizaje de transferencia). En este caso, si trabaja con la conocida red VGG16, el tamaño de entrada predeterminado es 224 * 224 píxeles y 3 canales, de modo que su tamaño de entrada (p) será 150528 (digamos 224 * 224 = 50176 si solo consideramos 1 canal de entrada). Según mi experiencia, puede lograr un buen rendimiento para algunos tipos de problemas con una cantidad de muestras mucho más pequeñas que 150528 (o incluso 50176) en el caso específico del aprendizaje por transferencia.