Dada una red de aprendizaje profundo, ¿se puede entrenar para enseñar (por ejemplo, resolviendo la secuencia óptima de ejemplos o lo que sea) otra red? Si es así, ¿se puede resolver este problema (enseñanza) utilizando técnicas de aprendizaje profundo?

Bueno, hay un poco de ambigüedad en su pregunta, pero espero que esto sea útil.

Con los métodos de aprendizaje supervisado, necesita pares de entrada, valores objetivo, donde el objetivo es el valor que desea predecir a partir de la entrada. Digamos que entrena una red profunda en estos. Ahora llamemos a la salida de esa red yhat.

Podemos entrenar otra red en pares de entrada, yhat. Caruana et al mostraron que esto puede usarse para comprimir modelos profundos.

No estoy seguro de que pueda usar una red profunda para entrenar a otra red para calcular alguna otra salida. Pero tal vez sea posible.

En cuanto al aprendizaje no supervisado, podría imaginarse capacitar a una red para realizar algún tipo de agrupación (por ejemplo, codificador automático booleano sin restricciones) y utilizar las asignaciones de agrupación como valores objetivo para la otra red.