¿Cuáles son los buenos diagnósticos (además del rendimiento de validación) para determinar si una red neuronal se generalizará bien?

Esto en realidad sigue siendo un problema abierto. Mira este artículo:

[1611.03530] Comprender el aprendizaje profundo requiere repensar la generalización

Estoy seguro de que lo encontrará útil. También puede buscar en línea sobre este documento. Ya hay mucha discusión.

Personalmente, me importaría más su rendimiento real, en comparación con la generalidad. (Sí, son conceptos diferentes). Por lo general, después de una validación razonable, puede encontrar un modelo cuya generalidad no sea mala (bueno, no podemos asegurarnos de que sea el mejor o no). Luego, lo pondré en uso (es decir, implementación) y lo aplicaré a datos más reales. Cuando encuentre algunos datos de que el modelo actual no funciona bien (es decir, no se generaliza bien sobre estos datos), incorporaré alguna muestra nueva como esta para mejorar el modelo (ajuste fino). Los problemas relacionados en la investigación son el aprendizaje activo y la adaptación del dominio.

Echa un vistazo al artículo CVPR 2017 de este chico:

Zongwei Zhou -sobre el aprendizaje activo.

Consulte este documento sobre la adaptación del dominio:

[1612.08894] Adaptación de dominio no supervisada en la segmentación de lesiones cerebrales con redes adversas

Todavía estoy aprendiendo, pero voy a tratar de intentarlo, así que tómalo todo con una pizca de sal.

Sí, por lo que puedo decir, este es un problema bastante significativo en el campo. Intente no sintonizar el conjunto de validación. Creo que uno de los enfoques convencionales para la filtración de información es la validación cruzada de k-pliegues. La forma en que funciona la técnica es que divide todo su conjunto de datos en particiones iguales a k, ejecuta su modelo k veces, cada vez que usa una de las particiones como conjunto de prueba y el resto de las particiones son su conjunto de entrenamiento.

Con respecto a su otra pregunta, no sé mucho más que el hecho de que es una buena regla general mantener baja la complejidad de su modelo, por lo que si ve que los pesos y los sesgos son realmente inestables, puede haber potencial sobreajuste. Puede ser útil agregar un parámetro de regularización (L2) para penalizar el tamaño de los pesos / sesgos.

Puede ser de interés: Gavin C. Cawley, Nicola LC Talbot – Sobre el ajuste excesivo en la selección del modelo y el sesgo de selección posterior en la evaluación del rendimiento: http://www.jmlr.org/papers/volume11/cawley10a/cawley10a.pd