¿Cuál es una explicación simple de un espacio de características multidimensionales?

Me gustan las respuestas aquí y solo agregaré otra perspectiva.

El concepto es bastante fácil si piensas en un espacio de características unidimensional. Tome la presión arterial como ejemplo. Existen muchos estudios que analizan el impacto de la presión arterial en la salud. La presión arterial es la característica en este caso. Por lo tanto, uno podría tratar de predecir la esperanza de vida utilizando la presión arterial como característica, pero puede imaginar que esto podría no funcionar muy bien. Realmente necesitas más información. Por lo tanto, puede agregar niveles de colesterol, frecuencia cardíaca en reposo, índice de masa corporal y una serie de otras mediciones para ver si puede predecir la esperanza de vida de una persona. Esas mediciones adicionales también son características y ahora cada individuo tiene un vector de características multidimensionales que consiste en estas mediciones (en un momento dado de todos modos).

Con una característica única (como la presión arterial) puede trazar una distribución, por ejemplo, un histograma, de la presión arterial para una población. Incluso puede trazar un histograma bidimensional para dos parámetros como el colesterol y la presión arterial. Esto se vería como un mapa topográfico. Si la forma de la distribución era muy “diagonal” en todo el mapa, entonces podría pensar que la presión arterial y el colesterol están correlacionados, cuando uno cambia, el otro cambia junto con él. Hay formas más sencillas de probar esto que mirar la distribución 2-D, pero la distribución le dará cierta intuición.

Es muy difícil visualizar las distribuciones cuando el número de características es superior a 3. Solo tiene tres dimensiones (como máximo) para trazar las cosas. Tendría que usar algo no espacial para otros parámetros. ¿Qué tal el olor y la temperatura? “Cuando hace frío y huele a zapatos viejos y estamos parados en esta esquina, la gente parece vivir más”. Bueno, te haces una idea, ¡es difícil trazar distribuciones multidimensionales!

Los espacios multidimensionales son importantes debido a las correlaciones entre los parámetros. Entonces, por ejemplo, digamos que la presión arterial, el nivel de colesterol y el índice de masa corporal están correlacionados. Ahora, digamos que también trazamos puntos de datos de una gran población en tres dimensiones (imagine una nube de puntos) y digamos que esta nube de puntos parece formar una forma plana como una hoja de papel o un disco de papel.

De acuerdo, esto es algo interesante. Los datos que están en un plano, que son planos, en nuestro diagrama tridimensional no son realmente tridimensionales. Lo sabes porque un avión tiene dos dimensiones. Lo único que lo convierte en 3 dimensiones es que alguien de alguna manera giró el avión. Con algunos trucos matemáticos, puede girar ese plano hacia abajo a 2 dimensiones. Lo que quiero decir es que puede “transformar” cada punto de datos de 3-d a 2-d y ahora, cuando traza los datos de 2-d, se verá como el disco (u hoja) de papel en un 2-d (no rotada) trama.

Pido disculpas por esta larga y complicada historia, pero hay una razón para ello. Esa transformación que acabas de hacer te ha dejado con puntos de datos 2D. Sabes que esto es lo correcto porque los datos se veían realmente planos cuando los trazaste. ¿Pero cuáles son estas dos dimensiones? No tienen etiquetas como presión arterial, índice de masa corporal o colesterol. Son dos parámetros para los que no tenemos nombres derivados de los tres parámetros para los que sí tenemos nombres.

El punto que estoy tratando de hacer es que este es a menudo el caso en las aplicaciones de aprendizaje automático: terminas con una “representación” multidimensional derivada de parámetros sobre los que tienes cierta intuición. No tienes mucha intuición sobre la “representación”, pero hay herramientas que puedes usar para ayudar con eso. En realidad, estas herramientas son algunos de los temas principales en el aprendizaje automático.

Eso fue todo lo que quería agregar. Si escucha el término “análisis de componentes principales” o PCA, ¡no tenga miedo! Se trata de rotar hojas planas de datos flotando en el espacio (con más dimensiones).

Grados de libertad

En espacios multidimensionales, cada dimensión intrínseca de los datos está relacionada con un grado de libertad. Por ejemplo, si tiene puntos en una línea, solo tiene un grado de libertad, ya que puede moverse hacia la izquierda o la derecha sobre la línea. Lo mismo ocurre con un objeto 3D que gira en un solo eje, el objeto solo tiene un grado de libertad, si agrega un segundo eje, entonces tiene dos grados de libertad, etc.

Consideremos el conocido conjunto de datos MNIST, ¿cuáles son los grados de libertad aquí? Resulta que cada dígito tiene grados de libertad relacionados con las diferentes formas en que se puede escribir el número, para un 7 por un 7 puede agregar o no una línea de cruce, puede cambiar el ángulo entre la barra superior y el cuerpo del número, puede rotar el número, reducirlo, agrandarlo, etc. puede terminar con un número que puede ir de una docena a 30 más o menos dependiendo del número, pero eso es todo, solo hay una lista limitada de diferentes formas en que puede escribir cada uno número.

Recuerde que esto se trata de la dimensionalidad intrínseca, a menudo los datos están incrustados en un espacio de mayor dimensionalidad, MNIST generalmente está en 784 dimensiones y no tenemos tantos grados de libertad para escribir un dígito, por lo que la dimensionalidad intrínseca es menor.