¿Qué tan útil es la regresión del proceso gaussiano? ¿Tienes un buen ejemplo?

Antes de utilizar los procesos gaussianos, tiene dos preguntas principales: “¿su conjunto de datos es razonablemente pequeño?” (Menos de 1,000 está bien) y “¿tiene una buena idea sobre cómo se relacionan las etiquetas de dos puntos?”, Por ejemplo, si sabe f ( 1) = 2, ¿tienes alguna buena intuición sobre lo que te hace pensar que f (4) es? Esto es crucial para elegir una función de covarianza razonable. (aunque incluso si no lo hace, conectar y cargar datos en un GP para algún núcleo estándar como RBF no le cuesta mucho, ¡así que vea lo que sucede de todos modos!).

Es útil cuando desea una medida de incertidumbre sobre sus predicciones en lugar de solo una estimación puntual. Si su pregunta es “cuál es mi mejor conjetura para f (4)”, elija un enfoque computacionalmente más fácil, pero si desea “¿qué tan seguro estoy de que mi conjetura para f (4) solo está desactivada en 0.5”, entonces Procesos Gaussianos puede ser el modelo para ti.

Por ejemplo, si desea hacer una regresión lineal y solo le importa la estimación puntual “y = ax + b”, ¡NO USE GP! Utilice la regresión lineal … por eso existe. Pero si desea un pdf sobre los posibles valores de f (4) para que pueda responder preguntas más complejas (por ejemplo, “¿cuál es la probabilidad de que f (4) esté entre 2 y 7”), entonces un proceso gaussiano con un núcleo lineal sería tener sentido.

Los procesos gaussianos tienen dos usos principales que se me ocurren aparte de las tareas de aprendizaje automático supervisadas “típicas”:

  1. Cuadratura bayesiana (es decir, aproximando la integral de f (x))
  2. Optimización (es decir, encontrar el máximo o mínimo de f (x))

En ambos casos, a menudo funciona bien, pero solo se debe usar si evaluar “f (x)” es costoso; si “f (x)” es fácil de evaluar, use otra cosa porque (como se señaló anteriormente) los procesos gaussianos no ‘ No funciona bien con un gran número de puntos. Además, si puede tomar una derivada, algo de sabor de descenso de gradiente podría ser mejor para usted que la optimización bayesiana.

Si bien los procesos gaussianos ciertamente se usan en el aprendizaje automático supervisado, los ejemplos anteriores son un poco menos conocidos (por ejemplo, probablemente no se tratan en un curso introductorio de aprendizaje automático), así que pensé en compartirlos.

No mucho. La gaussianidad es probablemente la mejor para el tipo de trabajo teórico, pero el mundo real está muy lejos de eso. En términos de regresión, es mucho mejor usar una distribución t de estudiante o alguna otra distribución debido a colas gruesas / gordas. Asumir que tales distribuciones, especialmente para los retornos financieros (gaussiano) quizás no sea una buena idea.

Sin embargo, en su caso, lo que podría hacer es simular una función 10000 veces tal vez y luego intentar ver su histograma y calcular sus estadísticas regulares, como la asimetría de JB y la curtosis. Estoy pensando que se parecerá a la distribución normal siempre que lo que simulas sea una variable aleatoria de media 0 y estándar 1.

Mejor

More Interesting

¿Cómo se usa el aprendizaje automático en la inversión?

Si el generador y el discriminador usan SGD en Redes Adversarias Generativas, ¿por qué el entrenamiento de adversarios se llama no supervisado?

¿Cuáles son las buenas heurísticas para elegir el tamaño de un lote en el entrenamiento de la red neuronal?

¿Qué es la regresión de cresta?

Procesamiento del lenguaje natural: ¿De qué maneras puedo probar el error de aplicar un modelo de tema a los tweets, dado que no hay un corpus conocido de etiquetas de temas?

¿Tiene sentido entrenar clasificador para cada clase?

¿Una máquina aprende una ciencia o un arte?

¿Cuáles son algunas aplicaciones del aprendizaje por refuerzo (o aprendizaje por refuerzo profundo) en finanzas y economía?

Andrew Ng: ¿Qué opinas sobre la memoria?

¿Cuál es el mejor enfoque híbrido para construir un sistema de recomendación para datos de música?

¿Qué problemas o conjuntos de datos existen cuando usar el impulso da mejores resultados que usar un SGD simple?

¿Dónde puedo encontrar una biblioteca pública de algoritmos de aprendizaje automático (ML) y aprendizaje profundo (DL) con muestras?

¿Cuáles son algunos de los beneficios y desventajas de los modelos discriminativos y generativos?

¿Cómo modifica una red neuronal su peso sin entrar en un efecto de ping-pong? La función de modificación de peso se basa en el error (l * e * o [1, 2]), por lo que los valores de error altos dan modificaciones de peso drásticas.

¿Se puede utilizar el aprendizaje automático para generar mapas de forma orgánica con solo usar datos de satélite de Google?