¿Por qué el preentrenamiento no supervisado actúa como un regularizador en arquitecturas profundas?

Aunque su pregunta es pertinente a las redes neuronales, mi respuesta es más genérica. Suponga que para los datos dados (X), y = f (X) es su función de predicción. Hay una infinita elección de formas de función de f. Incluso podemos restringir la forma de la función a solo 1 (por ejemplo, cada neurona usa una función sigmoidea o una función de umbral lineal).
El pre-entrenamiento no supervisado intenta aprender una representación g (X) de X. g (X) podría resultar en una representación escasa de los datos (por ejemplo, PCA, reducción de dimensionalidad no lineal, etc.). Como resultado, la función de predicción f (g (X)) ahora está más restringida. Por ejemplo, PCA ha reducido la dimensionalidad de sus datos de 10 a 3. Su función de predicción (digamos lineal) ahora tiene 3 pesos para cada una de las características. Por lo tanto, su clase de función de predicción está restringida a la forma (w0 + w1 * x1 + w2 * x2 + w3 * x3). Como puede ver, el entrenamiento no supervisado ha restringido la clase de función de su función de predicción. La regularización también logra el mismo objetivo, expresado en función de los pesos.

Tomemos la factorización de rango, por ejemplo. La factorización de rango trata de encontrar dos matrices más pequeñas que, cuando se multiplican, recrean la matriz de diseño original (la matriz de entradas). Digamos que tiene esta matriz de entrada:

[matemáticas] \ begin {bmatrix} a & a & b \\\\ c & c & d \ end {bmatrix} [/ math]

Esta matriz de entrada está mal definida (dos características idénticas / dependientes). La factorización de rango intentará descomponerla de una manera que satisfaga más de cerca esta función:

[matemáticas] \ begin {bmatrix} a & a & b \\\\ c & c & d \ end {bmatrix} = \ begin {bmatrix} u \\\\ v \ end {bmatrix} \ times \ begin {bmatrix } x & y & z \ end {bmatrix} [/ math]

Por lo tanto, intentará resolver mejor estas ecuaciones:
[matemáticas] a = u * x [/ matemáticas]
[matemáticas] a = u * y [/ matemáticas]
[matemáticas] b = u * z [/ matemáticas]
[matemáticas] c = v * x [/ matemáticas]
[matemáticas] c = v * y [/ matemáticas]
[matemáticas] d = v * z [/ matemáticas]

Tengo que hacer un gesto con la mano aquí porque ha pasado un tiempo desde que estudié este material, pero intuitivamente puedes ver que u & v capturará más señal de las columnas redundantes (el valor de u / v estará más cerca de un / c que b / d), lo que significa que x e y se llevarán a cero. De esta manera (y similar), la factorización ayuda a la regularización porque margina las columnas dependientes en el espacio incrustado (es decir, factorizado). Puede hacer un argumento similar para otras características de regularización, por ejemplo, las características con alta varianza / ruido se representarán con menos precisión en el espacio incrustado por la misma razón.