¿Por qué el aprendizaje automático, las redes neuronales y otros enfoques de IA, por ejemplo, no se usan más ampliamente en las predicciones del mercado de valores?

Creo que se ha usado mucho, especialmente por empresas comerciales propietarias. Pero la gente lo ha estado ocultando.

He estado trabajando en el comercio algorítmico por un tiempo. Dentro de los operadores que operan actualmente, probablemente sería uno de los diez primeros en términos de montos en dólares puros negociados. Digo esto simplemente para transmitir al lector que sé un poco de lo que estoy hablando.

Hablé sobre esto en un panel de “AI y Comercio” en la Cumbre STAC en la ciudad de Nueva York esta mañana.

No tengo videos, pero tengo una transcripción y diapositivas aquí .

Q1. ¿Qué métodos de IA se utilizan hoy?

Los gerentes de cartera que trabajan para grupos y empresas en el comercio de alta frecuencia (HFT) y que tienen un punto de referencia de rendimiento total (como RenTech, Citadel y Millenium) son los que más usan la IA. La regresión lineal es, con mucho, la técnica más utilizada en HFT. Pero, más sobre esto más tarde.

En el espacio de baja a media frecuencia, las personas usan técnicas que se centran en la precisión. En este mismo espacio, veo que el aprendizaje profundo está ganando la mayor tracción con respecto a AUM, es decir, los activos bajo administración.

Por ejemplo, los hermanos Della Pietra fueron pioneros en el uso de redes neuronales para el reconocimiento del habla en la investigación de IBM. Desaparecieron sin previo aviso. Más tarde, descubrimos que comenzaron a liderar el equipo de investigación de estrategia de RenTech. En la actualidad, hay muchas empresas comerciales propietarias que utilizan inteligencia artificial, y los datos controlan cada aspecto de su comercio.

Q2 ¿Qué no parece funcionar tan bien?

Cuando intenté utilizar un método sin alguna base en la intuición de su verdadero propósito, a menudo terminé perdiendo dinero. Sin intuición, simplemente estoy persiguiendo mejores resultados en datos pasados ​​y sobreajuste. El principal desafío que tiene cada científico de datos es el sobreajuste.

Q3. ¿Qué podemos esperar en el futuro cercano?

Creo firmemente que el enfoque central en torno al aprendizaje profundo barrerá el mundo comercial. Dentro de cinco años todo será aprendizaje profundo.

Déjame mostrarte la magia que es el aprendizaje profundo.

Mira la foto de abajo.

La mayoría de ustedes recordará la hipótesis del mercado eficiente. Esto se basó en el Modelo de fijación de precios de activos de capital, es decir, CAPM. Dice que todas las acciones se mueven aproximadamente de acuerdo con el mercado cuando se multiplican por la “beta” de la acción. Ahora, supongamos que tenemos una red neuronal que toma como entradas (nodos rojos) los rendimientos de las cinco mil acciones en el mercado estadounidense. Después de una capa 2 con un nodo, debemos reproducir los mismos valores en la capa 3 que tenemos en la capa de entrada. Esto es lo que se llama la configuración del autoencoder. Las betas que aprenderemos con esta red son muy estables y son mejores que las betas CAPM. Considere la dificultad de este problema. En la capa 2, debemos recordar un solo nodo que captura la mayor cantidad de información de todo el mercado de valores. Esta es la belleza del aprendizaje profundo. Aunque las redes neuronales han existido durante sesenta años, hemos aprendido recientemente que el truco es hacer que las capas intermedias sean realmente escasas, dejándolas aprender resúmenes muy básicos de los datos de entrada.

En la mayoría de los escenarios que involucran IA en las ciencias sociales, creemos que sería mucho mejor enfocarse en aprender la estructura de los datos antes de intentar predecir los resultados. Digamos que tenemos que hacer una estrategia comercial para los mercados comerciales en función del resultado de las elecciones. Si hace la pregunta de forma independiente, por ejemplo, cómo se moverán los mercados si este candidato gana, es una pregunta bastante difícil. Sin embargo, si observa las noticias recientes sobre las elecciones y la forma en que ha reaccionado el mercado de valores, podrá ver que, a veces, cuando las noticias sobre las elecciones han dominado los titulares, los mercados han aumentado cuando el evento sugiere una mayor probabilidad de que Hillary ganando las elecciones. Esto hace que sea mucho más fácil responder lo que sucederá con los mercados el miércoles si Hillary gana las elecciones generales.

Q4. ¿Qué está impulsando las tendencias de una mayor adopción del aprendizaje profundo?

Gran pregunta Si piensas en la diferencia entre una ciencia social, como el comercio, y una ciencia pura, como descubrir la materia oscura, las ciencias sociales básicamente juegan contra los humanos. En cualquier entorno de ciencias sociales, las redes neuronales profundas tienen un buen rendimiento. La otra razón por la que estamos viendo una mayor adopción de IA es debido a la enorme cantidad de trabajo realizado por las empresas de tecnología y académicos en el campo en los últimos años. Las contribuciones de Andrew Ng, Geoffrey Hinton y, en general, de los equipos de investigación de Google y Facebook, se han unido para permitir que las pequeñas empresas comerciales y los grupos comerciales prueben ideas realmente complejas muy rápidamente con tecnologías basadas en la nube.

Quiero dar un paso atrás y afirmar que en pequeños bolsillos secretos de finanzas estos métodos han sido muy rentables durante años.

Q5. ¿Por qué la regresión lineal es más popular en el espacio HFT y por qué los métodos como el aprendizaje profundo y los árboles de decisión tienen más éxito en el espacio a mediano plazo?

Algunos aspectos que hacen que la regresión sea una gran opción para las empresas HFT es que la regresión tiene una tendencia a decir, la mayoría de las veces, que no sucederá nada. Esto permite a las empresas HFT hacer mercados la mayor parte del tiempo y cobrar el diferencial de oferta y demanda. Sin embargo, si ocurre algo realmente obvio, la empresa HFT puede reducir las pérdidas.

En el espacio de frecuencia media, el aprendizaje profundo ha mejorado mucho, ya que tiene la capacidad de aprender de datos no supervisados. Un administrador de cartera no necesitaría muchos datos etiquetados de “qué comercio debería haber hecho aquí” para entrenar un modelo de aprendizaje profundo.

Q5. ¿Cuál es el papel de los humanos ahora? ¿Cinco años más adelante?

1. Pastores
2. Influenciadores

En la gestión de carteras, siempre se necesitarán humanos para guiar el desarrollo y la implementación de los sistemas de negociación. Tendremos que seguir trabajando para mejorarlos y adaptarnos a los nuevos desarrollos.

Como describió mi amigo de la investigación de Facebook, estamos muy lejos de los sistemas puramente autónomos. En este punto, estamos haciendo que AI lave nuestra ropa sin arruinar nuestra ropa interior. El objetivo no es crear robots para comerciar. El objetivo es eliminar la injusticia que hemos construido en torno a la inversión. Cuando se trata de decidir qué medicamento usar cuando tengo fiebre, no experimento. Entonces, ¿por qué experimento y vuelvo a aprender la rueda cuando se trata de invertir? Invertir es en gran medida algo que debería ser un servicio, dominado por roboadvisores habilitados para aprendizaje automático avanzado.

La administración del dinero siempre será un servicio y, en mi opinión, habrá muchas partes de la pila de inversiones donde necesitaremos humanos.

Q6. ¿Podemos esperar que el comportamiento de los mercados cambie como consecuencia de la IA?

Mirando hacia atrás, nuestro uso de IA en HFT ha cambiado mucho los mercados. Han desaparecido dos grandes líneas de negocios que fueron un gran lastre para la economía. Uno era el negocio de corretaje de comisiones gordas. El otro grupo eran comerciantes en bancos. Ambos tenían decenas de miles de millones en ingresos hace diez años.

En términos generales, deberíamos ver menos espíritus animales en los mercados como consecuencia de la IA. Habrá menos cambios locos. Habrá menos personas que se quemarán jugando al mercado de valores. Quizás en el futuro haya un menor alcance de rendimiento superior. ¡Podríamos estar buscando un mercado verdaderamente eficiente en el futuro!

Por cierto, fue un gran lugar y uno de los mejores eventos organizados en los que he estado. Recomiendo asistir a los eventos STAC si puedes.

Muchas personas intentan tratar el mercado de valores como una serie temporal y luego usan modelos matemáticos para predecir el futuro.

Incluso hago esto como un pasatiempo a veces, y es divertido

El colapso de Bitcoin y cómo funciona la naturaleza

Y ciertamente hay algunas empresas que se especializan en comercio de alta frecuencia y / o algorítmica, siendo las más famosas las tecnologías del Renacimiento.

Pero Renaissance solo tiene activos bajo gestión de $ 65 mil millones (AUM)

Fui consultor de Blackrock en Scientific Active Equities, o SAE, un grupo de inversión dentro de Barclays Global Investors, que BlackRock adquirió en 2009,

Y utilicé la técnica de aprendizaje automático para “predecir” los mercados de valores. Pero no hicimos modelos de series de tiempo, éramos demasiado grandes para eso. Blackrock tiene $ 4.5 Trillon AUM.

Eso es 4.5 Trillon con una T.

Si hiciéramos operaciones de alta frecuencia, moveríamos todo el mercado.

Nuestro objetivo era producir sistemáticamente alfa

Gestión activa de la cartera: un enfoque cuantitativo para producir rendimientos superiores y controlar el riesgo: Richard Grinold, Ronald Kahn: 0639785316619: Amazon.com: Libros

http://lqg.org.uk/wp-content/upl …

Es decir, superar sistemáticamente el S & P500 y otros fondos indexados (por cierto, el grupo de BGI inventó el fondo indexado)

Entonces, ¿qué funciona?

Necesita tener acceso a otras formas de información. En un mundo ‘honesto’, esto es solo información disponible públicamente. Entonces, la carrera comercial de alta frecuencia se trata de obtener primero acceso a la información pública. Es decir, el mercado y las noticias.

Pero en el análisis de cartera, aplica el aprendizaje automático a ‘otra información’

Es decir, a menos que de alguna manera pueda obtener acceso temprano a información privilegiada, como parece que Blackrock pudo haber estado haciendo todos estos años (consulte el siguiente enlace)

Sin embargo, cuando estaba en Blackrock, mi enfoque consistía en utilizar el aprendizaje automático para extraer información útil de la información disponible públicamente que un humano no podía detectar fácilmente, o no podía detectar a escala.

Una técnica que desarrollé utilizó la IA para simular cómo un administrador de cartera interpreta la información que lee y aplica esto a escala. Después de todo, un administrador de cartera solo puede leer y escuchar tantas cosas. Entonces, lo que quería hacer es construir una IA que simule cómo los gerentes ‘piensan’ y luego escalarla. Puedes pensar en esto como un sentimiento sobre los esteroides. ¿Podríamos haber usado el aprendizaje profundo? Tal vez. Me hubiera encantado intentarlo.

Otro método buscó correlaciones novedosas, a veces transitorias, entre los retornos de las empresas que aparecían cada vez que publicaban nueva información. ¿Habría funcionado el aprendizaje profundo? Analizamos el análisis de datos topológicos (es decir, el enfoque de Ayasdi).

Bengio afirma aquí que

“Muchos de los trabajos académicos que supuestamente muestran excelentes resultados en la explotación de las ineficiencias del mercado no tienen una metodología válida ” .

Bueno, esa es una declaración bastante aproximada.

Con frecuencia, cuando nuevos investigadores se incorporan al mundo cuantitativo, traen consigo sus viejas formas de pensar. Las finanzas no son física. Y seguro que no es informática. Y esto toma algo de tiempo para asimilar.

Por supuesto, la metodología BGI / Blackrock, desarrollada por Khan (arriba), se basa en una gran cantidad de investigaciones ganadoras del Premio Nobel en Economía y algunas ideas centrales, la más importante es la “Hipótesis del mercado eficiente”.

Hay un problema fundamental para esta ‘hipótesis’

1. cualquier estrategia neutral del mercado será incapaz de sobrevivir grandes oscilaciones en el mercado

2. cualquier eficiencia que se encuentre será descubierta por otros comerciantes y desaparecerá pronto

Pero luego está esto:

BlackRock acuerda con NY para finalizar el programa de encuestas de analistas

Resulta que la mejor manera de descubrir cómo funcionará el mercado es simplemente preguntar a los analistas qué piensan. Y esto parece ser una forma de información privilegiada.

“Si bien BlackRock dijo que solo usó información disponible públicamente en sus encuestas, el fiscal general dijo que el momento de las encuestas y las preguntas incluidas le dieron acceso al sentimiento de analista no público”.

Entonces, ¿qué ha estado pasando realmente todos estos años? ¿Algo de esto realmente funcionó? ¿O ha sido todo una estafa? Dejaré que el lector juzgue.

Por lo tanto, existe un gran incentivo para encontrar formas reales de predecir los mercados. Si es incluso posible.

Pero tienes que ser lo suficientemente inteligente como para hacerlo y trabajar en un lugar que te permita. O sé lo suficientemente inteligente para resolverlo por tu cuenta.

Y Deep Learning suena como una excelente manera de intentarlo.

No he visto ningún estudio de esta naturaleza, pero supongo que está hablando de analizar un corpus de datos económicos / precios de acciones anteriores y usarlo para predecir el precio futuro de una acción. Además de los puntos técnicos y las críticas de esos estudios que otros han sugerido, existen razones económicas / prácticas por las cuales este método podría fallar o ser más problemático de lo que vale. Si desea información más detallada (no soy el más calificado para responder a esta pregunta), le recomiendo que lea un libro sobre inversión de valor: el Margen de seguridad de Seth Klarman es excelente si lo puede encontrar.

En primer lugar, los precios de mercado están determinados por algo más que el rendimiento pasado, y el rendimiento pasado nunca predecirá eventos de “cisne negro”. Un algoritmo de aprendizaje automático que solo se centra en el rendimiento de los precios anteriores no puede predecir una revisión negativa de un nuevo producto, una sacudida de la administración o un horrible accidente que involucre a una empresa. Si hubiera establecido un algoritmo de aprendizaje automático en las acciones de Apple en el año 2000, probablemente le habría dicho que no comprara. Sin embargo, un humano perspicaz podría haber predicho que Steve Jobs podría volver a poner en marcha a la compañía, pero el algoritmo de aprendizaje automático no lo resolvería hasta después de que el resto del mercado lo hiciera y el precio comenzara a aumentar de una manera que indicara algoritmo que la acción estaba a punto de despegar. Para entonces, probablemente sería demasiado tarde para ganar dinero con la información.

En segundo lugar, la hipótesis del mercado eficiente. La hipótesis del mercado eficiente dice que la información pública ya está incluida en el precio de cualquier acción, por lo que es inútil determinar si el precio de una acción aumentará o disminuirá. Si bien obviamente esto no es del todo cierto (se basa en la falsa presunción de que todos los jugadores en el mercado de valores son racionales y tienen una comprensión perfecta de esa información), crea varias objeciones importantes al uso de redes neuronales / aprendizaje automático . Muchas de las ideas que un algoritmo de aprendizaje automático proporcionaría a un gran costo son a) ya conocidas yb) podrían haber sido suministradas por un humano a un costo mínimo. Por ejemplo, un algoritmo de aprendizaje automático podría decirle que las acciones de Apple siempre aumentan a principios de junio, pero un niño precoz de diez años podría decirle eso, es cuando sucede WWDC. Esto apunta a otro hecho importante: si utiliza un algoritmo de aprendizaje automático para predecir los precios del mercado, comienza asumiendo que el mercado sabe más que usted. La validez de esta suposición debe ser desmentida por los choques, las crisis y las fallas de mercado de los últimos años.

Por supuesto, hay formas de superar estos problemas: haga que su algoritmo elija una cartera de acciones en lugar de tratar de predecir el rendimiento de una sola para mitigar los efectos de eventos imprevistos, y use el algoritmo de formas novedosas, como tratar de encontrar líderes variables para precios de acciones en lugares que nadie ha considerado.

No se utilizan porque la mayoría de las estrategias comerciales automatizadas son localizadas y oportunistas. Eso significa que su alcance es limitado tanto en términos de espacio como de tiempo, como Yoshua menciona en su respuesta.

Están tratando de extraer de manera oportunista algunas ganancias antes de que sus arbitrajes sean detectados y explotados por otros imitadores. O intentan resolver las ineficiencias, como los retrasos en el comercio, el mayor tiempo posible, como las empresas de comercio de alta frecuencia (HFT).

La naturaleza localizada de sus estrategias da como resultado modelos limitados para los cuales la formación de redes de IA y aprendizaje profundo produciría resultados y beneficios igualmente limitados. Tal entrenamiento parcial solo sirve para restringir aún más los posibles resultados en un campo tan complejo como la predicción y el comercio de acciones.

Las verdaderas fortunas y las famas en las finanzas son hechas por los gerentes de fondos de cobertura de celebridades y los principales comerciantes que pueden formular y detectar megatendencias y patrones que luego utilizan durante largos períodos de tiempo.

Debido al ruido constante e inmenso en los mercados, puede parecer no iniciado que, por ejemplo, las tasas de interés se mueven de manera aleatoria y al azar. Ese no es el caso, como se puede ver en el siguiente cuadro a largo plazo:

Se puede ver claramente que a partir de 2017 hemos estado en un patrón de caída de las tasas de interés de más de 35 años que ha estado afectando prácticamente todo en las economías y las finanzas.

Los ciclos de mercado son uno de los fundamentos más importantes, si no el más importante, del análisis de mercado y la predicción de lo mejor en finanzas. Sin embargo, los ciclos ni siquiera se reconocen en la teoría moderna de mercados eficientes.

Solo cuando los modelos AI y DL comiencen a lidiar con tendencias y movimientos macro a más largo plazo, la IA comenzará a hacer abolladuras y avances más graves en la predicción y el pronóstico. Nuestro mundo orientado a corto plazo aún no está allí.

¡Seriamente!

Esto es más una ventaja adicional de la fortaleza de su pregunta, en lugar de una respuesta.

La siguiente fue la predicción de mi motor ANN bombeado. Parte de mi proyecto Final Semestre en Bachilleres. Usé Levenberg-Marquardt para entrenar.

Usando datos por solo 300 días , se me ocurrió un error tan bajo como 20% .
Y esto estaba en mi humilde máquina Intel i5.

El blog completo se puede encontrar aquí:
AdvaCSE: predicción del mercado de valores

La premisa es incorrecta, algunas personas están utilizando redes neuronales en las finanzas para predecir los patrones del mercado de valores. Probablemente incluso pueda encontrar algún fondo que reclame públicamente hacerlo si lo busca en Google.

Algunas de las respuestas ya señalaron ciertos hechos, aquí hay algunas razones más por las que generalmente es muy difícil hacer que las técnicas tradicionales de IA / aprendizaje automático funcionen en el mercado de valores:
1. La predicción en el mercado de valores es difícil con una relación señal / ruido extremadamente baja. Estamos hablando de tener R-cuadrado <1% que no se ve en la mayoría de los campos donde se inventan tales técnicas. Las redes neuronales con gran flexibilidad pueden encajar en las tuercas, sin una guía muy cuidadosa. Pero entonces, ¿cómo guiar una red neuronal de 3 capas?

2. Las muestras dependen en gran medida de la configuración de series de tiempo (excepto si está en el negocio HFT). Por lo tanto, su tamaño de muestra efectivo puede no parecerse a lo que parece. Y muchas de las formas habituales de hacer inferencia se vuelven poco confiables.

Esto no quiere decir que los modelos no sean útiles. Pero generalmente los que funcionan mejor son los muy simples.

Muy interesante, pero me encontré con un sitio web Ideas de comercio para nuevas oportunidades que usa IA para acciones de predicción, que también aparecieron recientemente en el artículo.

Inteligencia Artificial + Espíritu Emprendedor – Examina la innovación que está ocurriendo en el sector de inicio de IA

Este sería un gran avance en el mercado de valores y para el comerciante que desea obtener buenas ganancias.

La premisa de su pregunta es falsa. La mayoría de los artículos publicados que hacen algo directo en realidad no tienen un gran rendimiento, especialmente cuando se tienen en cuenta los costos de transacción. Las empresas de inversión generalmente tienen que obtener ganancias sobre una gran cantidad de capital que el uso de este tipo de algoritmos realmente no funcionaría (es decir, los volúmenes de transacción afectarían el precio de mercado) … por supuesto, podrían hacer algo así en varias acciones diferentes o algo así.

Ciertamente no ganarás dinero si estás lidiando con cosas que están aprendiendo de los datos del día a día.

Si no lo sabe, debo decirle que el 55% del comercio mundial se realiza a través de algoritmos, especialmente por fondos de cobertura. Estas grandes empresas de inversión designan el número máximo de científicos de datos para crear o improvisar el algoritmo continuamente. Estos científicos de datos pertenecen principalmente a NN , IA, IR y matemáticos. Entonces ganan mucho dinero. Pero volviendo al papel ya que el papel tiene muchas restricciones y está hecho para una condición particular del mercado, por lo tanto, no es práctico.