¿Existen por sí mismas redes neuronales que cambian automáticamente y que pueden cambiar su estructura interna (capas, nodos, hyerparameters)?

Google propuso recientemente AutoML que automatiza el diseño de una red neuronal adecuada para una tarea en particular. Utiliza el aprendizaje por refuerzo, donde una red neuronal controladora propone una arquitectura modelo infantil . Luego, se evalúa el rendimiento de este modelo secundario en una determinada tarea (por ejemplo, reconocimiento de imagen, modelado de idioma) y los resultados se envían de vuelta al controlador. La red del controlador luego propone otra arquitectura a partir de su espacio candidato de modelos secundarios (¡se puede diseñar una red de 10 capas de 10 ^ 10 formas!). Este proceso se reitera hasta que se encuentre una arquitectura adecuada.

Además, los hiperparámetros aprendidos una vez para un modelo no se pueden reutilizar / ajustar para otra arquitectura.

Hace algún tiempo se publicó algo de trabajo utilizando algoritmos evolutivos y aprendizaje de refuerzo para explorar el espacio de configuración de redes profundas.

El primero, en particular, utiliza un conjunto limitado de operaciones de mutación (por ejemplo, add_convolution, add_multiplication, keep_training, reinitialize, etc.) para evolucionar la población de redes candidatas.

Esos trabajos son inspiradores pero tienen una alta complejidad computacional.

Si quieres engañarte, entonces sí, pueden existir, pero al igual que las respuestas que veo a continuación, ¿de qué sirve complicar aún más la arquitectura NN al incluir muchas opciones arquitectónicas calculadas?

Casi sería como conseguir que un chico ebrio no conduzca solo, sino que le permita tratar de operar un barco en aguas ocupadas, volar aviones, operar grúas industriales y esperar que despierte y convertirse en un gran conductor de automóviles.

Cuando la estructura cambia, los parámetros entrenados ya no serán la mejor opción. El NN necesita ser reentrenado, lo que hizo que la función de cambio automático no fuera tan útil, aparte de ahorrar tiempo de giro manual.

Dicho esto, recuerdo que algunos ingenieros trataron de usar un algoritmo genético para cambiar la estructura de las NN.

More Interesting

¿Qué se entiende por agrupamiento jerárquico aglomerativo?

¿Cómo se usa el aprendizaje automático en FinTech (P2P, pagos), particularmente fuera de algo trading? ¿Alguien tiene ejemplos específicos en punto a punto, verificación de crédito, pagos, etc.?

¿Por qué la distribución previa no tiene mucho impacto en la distribución posterior cuando tenemos muchos datos?

¿Qué es un método de kernel en el contexto del aprendizaje automático?

¿Qué startups están usando el procesamiento del lenguaje natural?

¿Cómo obtienen las empresas datos de capacitación para implementar el aprendizaje para clasificar algoritmos, especialmente en el contexto de búsqueda?

¿Qué significa "tomar la media geométrica de la distribución predictiva producida por las redes de abandono exponencialmente numerosas" en redes neuronales profundas?

¿El aprendizaje automático no supervisado basado en la agrupación de datos también determina automáticamente la cantidad de agrupaciones?

¿Qué cobran por hora los contratistas en aprendizaje automático?

¿Con qué biblioteca de aprendizaje automático debo experimentar entre SparkML, Microsoft Azure ML y AWS ML?

Cómo evaluar la agrupación de k-medias en R

¿Cuál es la diferencia entre el filtrado basado en contenido y el filtrado colaborativo?

¿Qué es la agrupación de datos?

Redes neuronales convolucionales: ¿Cuáles son algunos posibles proyectos de cursos de aprendizaje automático de nivel de posgrado que utilizan CNN? Específicamente en el límite de PNL y CV.

¿Cuáles son los temas candentes para la investigación en Machine Learning?