La ortogonalidad es como la independencia de primer orden, cuando interpretas las cosas de la manera correcta.
Dadas las variables aleatorias X e Y, son independientes si para cualquier función típica f y g, [matemáticas] E [f (X) g (Y)] = E [f (X)] E [g (Y)] [/ mates]. En otras palabras, la expectativa se divide. Un matemático podría pensar en la independencia como el espacio de probabilidad subyacente que se divide en un producto cartesiano de espacios, con las fuentes separadas de aleatoriedad descompuestas en cada uno.
La ortogonalidad es fundamentalmente un término geométrico. Para definir la ortogonalidad, necesita el concepto de producto interno: dos objetos son ortogonales si su producto interno es cero. Esto es en sí mismo una abstracción de la ortogonalidad en el espacio euclidiano, que es intuitiva.
- ¿En qué conjuntos de datos se formó el Sistema de traducción automática neuronal (GNMT) de Google?
- ¿Cómo se hacen los algoritmos EM?
- ¿Se puede solicitar un doctorado en aprendizaje automático sin conocimientos y habilidades de CompSci? ¿Se puede aprender en el trabajo?
- ¿Qué significa Wabbit?
- ¿Es demasiado tarde para sumergirme en Data Science, ya que se están desarrollando poderosas herramientas de aprendizaje automático y ya hay muchos científicos de datos hábiles?
La ortogonalidad aparece en probabilidad porque ciertos espacios de variables aleatorias pueden tener una estructura interna de producto. Estas variables aleatorias son las que son integrables al cuadrado, es decir, satisfacen [matemáticas] E [X ^ 2] <\ infty [/ matemáticas], que cubre muchas aplicaciones en la práctica. Para tales X e Y, puede definir el producto interno [matemática] (X, Y): = E [XY] [/ matemática]. La desigualdad de Cauchy-Scwartz es el ingrediente principal para establecer que esta definición es un producto interno.
Ahora, considere X e Y después de degradarlos, para que tengan expectativa cero.
Por construcción, [matemáticas] E [X] E [Y] = 0. [/ matemáticas].
Si X e Y son ortogonales, entonces [matemáticas] E [XY] = 0. [/ matemáticas].
Combinando estas dos últimas líneas, obtenemos la condición de independencia, pero solo para [matemáticas] f (x) = g (x) = x. [/mates]. Por lo tanto, la ortogonalidad es como una versión de independencia de primer orden.
