¿Cómo se usa el aprendizaje automático en las finanzas cuantitativas?

Gracias por el A2A.

Ray Dalio, CEO del fondo de cobertura más grande del mundo, Bridgewater, dijo una vez en una entrevista que construye sus ideas de inversión leyendo periódicos realmente viejos. En particular, volvería a los periódicos de períodos de eventos económicos importantes como la Gran Depresión, usaría esa información para formular una visión sobre el mercado, realizar un intercambio en papel y ver cómo se habría desempeñado el intercambio. Laeeth Isharc, uno de mis escritores favoritos de Quora y ex jefe de renta fija en Citadel, dijo algo similar sobre la lectura de periódicos viejos en varias de sus respuestas, como aquí, aquí, aquí y aquí.

Estaba realmente fascinado cuando me enteré por primera vez de este periódico. Pero luego me di cuenta de que esto no es muy diferente del aprendizaje automático. Lo que hacen los principales operadores discrecionales como Ray Dalio y Laeeth Isharc es entrenar su propio cerebro para convertirse en un mejor tomador de decisiones al estudiar historia. Lo que hacen los principales traders sistemáticos es que entrenan a la máquina para convertirse en un mejor tomador de decisiones analizando datos históricos.

Los operadores sistemáticos ciertamente han ido en aumento en los últimos años, pero hay una razón por la que no han eclipsado por completo a los operadores discrecionales. Es porque hay ciertas cosas que las máquinas simplemente no pueden aprender mejor que los humanos. (Podría decirse que leer periódicos viejos para generar ideas macro de comercio es un ejemplo). De hecho, la distinción entre comerciantes discrecionales y comerciantes sistemáticos se ha vuelto más sutil. Se sabe que los primeros emplean el aprendizaje automático para buscar noticias relevantes con el fin de mejorar su productividad. El último, que es el grupo en el que estoy más calificado para comentar, ciertamente no pone a las máquinas a cargo de todo. Para ilustrar este punto, echemos un vistazo a los principios que los principales operadores sistemáticos acatan:

  • Se adhieren a modelos simples. En general, prefieren los modelos lineales de la vieja escuela a los modelos complejos de IA, como las redes neuronales, y por buenas razones. La primera razón es que, en la práctica, el costo de este último no puede justificarse por su ligero rendimiento superior al anterior. De hecho, los modelos más complejos conllevan un mayor costo de investigación y desarrollo. Por ejemplo, la complejidad requerirá que pase más tiempo trabajando en los riesgos de sobreajuste. Mientras tanto, el mercado evolucionará y no lo esperará. La segunda razón es que los modelos complejos, debido a su falta de sentido común, corren un riesgo inexplicable y desastroso en ciertos momentos. David Siegel, cofundador de Two Sigma, dijo en una entrevista reciente que “la inteligencia artificial de hoy no tiene nada que se parezca al sentido común, y el sentido común es una característica clave de la inteligencia”. El sentido común es útil especialmente en tiempos de extrema condiciones de mercado, porque las condiciones de mercado extremas, por definición, rara vez se encuentran en los datos de la muestra y, por lo tanto, es menos probable que se manejen bien con modelos de caja negra complejos. Con un modelo lineal tradicional, puede aumentarlo más fácilmente con sentido común. Y esto se explicará en el próximo principio.
  • Piensan en el sentido común como el mejor regularizador individual. (OK, estoy abusando un poco del término “sentido común”. Lo que el sentido común para los operadores experimentados puede no ser sentido común para los no comerciantes. Lo que realmente quiero decir con sentido común es, en términos de aprendizaje automático, conocimiento del dominio). mencionado anteriormente, el aprendizaje automático toma malas decisiones frente a eventos extremos, de los cuales no ha habido escasez en los últimos años. Con un modelo lineal tradicional, puede aumentarlo incorporando sentido común o tener el sentido común temporalmente. Por ejemplo, puede decir algo como “la regresión, debido a cualquier razón, tal vez multicolinealidad, produce un coeficiente no intuitivo, necesito trabajar en eso”. O, “Si un factor particular en mi combinación lineal de factores pierde un cierto cantidad de dinero, dejaré de comerciarlo y trataré de entender por qué ”. No hay vergüenza en decidir discrecionalmente que un sistema de comercio automatizado debe cerrarse; incluso lo mejor de lo mejor lo ha hecho. Citando un artículo de Bloomberg: “En agosto de 2007, el aumento de los impagos de hipotecas envió a varios de los mayores fondos de cobertura cuantitativa […] a una caída en picada. […] Los expertos dicen que la ruta le costó a Medallion casi $ 1 mil millones, alrededor de una quinta parte del fondo, en cuestión de días. Los ejecutivos de Renaissance, recelosos de que el caos continuo aniquilara su propio fondo, se prepararon para rechazar su propio dial de riesgo y comenzar a vender posiciones ”. Sí, estamos hablando de Renaissance Technologies, el indiscutible medallista de oro en el mundo de las acciones cuantitativas.
  • Adquieren y estudian implacablemente nuevos conjuntos de datos. Si está en las finanzas el tiempo suficiente, se dará cuenta de que los precios de los activos están influenciados por una gran cantidad de factores independientes. Como resultado, el estudio de conjuntos de datos nuevos y alternativos tendrá una mejor oportunidad de rendir frutos que intentar extraer más provecho de un conjunto de datos existente, o tratar de encontrar un mejor método de conjunto para combinar las señales existentes. Pero la clave aquí es que decidir qué conjuntos de datos mirar no es aprendizaje automático. Es aprendizaje humano. Nuevamente es regularización basada en el sentido común. Puede ser un experto en aprendizaje profundo, pero si no comprende cómo funcionan los mercados, terminará inyectando datos irrelevantes en sus modelos. La consecuencia de esto es que sus modelos son débiles, incluso en muestra, o están excesivamente equipados.

Hablando de aprendizaje profundo, actualmente hay un nivel loco de exageración y FOMO a su alrededor. Pero como alguien que está razonablemente bien conectado en la industria comercial, no conozco a nadie que haya utilizado con éxito el aprendizaje profundo para superar sus modelos lineales de la vieja escuela. Claro, puedes ganar dinero usando el aprendizaje profundo, pero ¿es realmente mejor? Lo que sucede con el aprendizaje automático en general es que son completamente empíricos. Nadie puede predecir si un modelo en particular funcionará o no para un problema en particular; la gente solo puede encontrar explicaciones después de haberlo intentado. El aprendizaje profundo se ha demostrado en problemas como el reconocimiento de imágenes y la reproducción, pero ciertamente no en el comercio. Mi explicación posterior es que no es un buen modelo para datos extremadamente ruidosos, como las series de tiempo financieras. Había entrevistado a varios académicos respetados de aprendizaje profundo, incluidos algunos compañeros coroanos, dándoles un conjunto de datos financieros para que los miraran. Tienden a aturdirse por el nivel de ruido en los datos y sospechan rápidamente que no es posible construir un modelo predictivo con ellos. En cierto modo, tienen razón: si simplemente arroja estos datos a un modelo de aprendizaje profundo, inevitablemente se sobreajustará, sin importar cuántas técnicas de regularización intente. Pero de nuevo, no tienes que usar el aprendizaje profundo. Puede probar un modelo mucho más simple y utilizar el conocimiento del dominio para regularizarlo. Al final del día, el comercio es un juego divertido donde es posible ganar dinero con un R cuadrado de 0.01. Pero no hace falta decir que tiene que ser un R-cuadrado fuera de muestra de 0.01.

Última palabra de precaución. A partir de hoy, el aprendizaje automático es menos importante en las finanzas cuantitativas de lo que piensan los extraños. La razón por la que escuchas sobre la palabra de moda todo el tiempo es porque suena sexy y, por lo tanto, atrae dinero y talento. Por supuesto, hay algunas organizaciones a gran escala y startups bien financiadas que están invirtiendo en proyectos de investigación y desarrollo de vanguardia. puntería comprender conjuntos de datos cualitativos no estructurados como el discurso de Janet Yellen. Pero dudo mucho que hayan valido la pena todavía, ya que todavía hay muchas frutas más bajas para obtener en conjuntos de datos cuantitativos estructurados. Sin embargo, en el futuro, el aprendizaje automático probablemente tendrá un lugar mucho más grande en esta industria, porque su capacidad de aprender continuará mejorando y superará casi inevitablemente la capacidad de aprendizaje de los humanos. En particular, todos podemos esperar el día en que las máquinas finalmente puedan usar tanto sentido común como los humanos. Y para eso, probablemente necesitemos algoritmos que puedan aprender de una cantidad increíble de datos cualitativos, porque el sentido común de los humanos se desarrolla a través de años de experiencia personal y miles de años de evolución.

Soy un operador profesional y he movido miles de millones de dólares en acciones a través de sistemas de comercio electrónico. Déjame decirte tres formas en que he usado Machine Learning.

  • Para mejorar lo que ya hago. Cuando apliqué por primera vez un análisis de datos serio a mi negociación, identifiqué 36 estrategias de negociación discretas que implementé y ejecuté números en cuatro aspectos de las transacciones aplicadas: qué arriesgar, cuándo tomar ganancias, relación beneficio / pérdida, deslizamiento. Con este análisis, enfaticé algunos oficios más que otros, apreté o aflojé mi tolerancia al riesgo, y así sucesivamente. Las ganancias totales aumentaron en un 50%.
  • Para automatizar lo que ya hago. Las computadoras no tienen la misma amplitud de juicio que yo, pero pueden aprender a copiar mis mejores cosas. Utilizamos lo que se llama aprendizaje supervisado, lo que significa que le mostramos un montón de mis operaciones y le pedimos que creara un algoritmo de imitación. Encuentra más oportunidades que yo y puede administrar más posiciones, aunque no las intercambia tan bien. Las ganancias totales aumentaron en un 30%.
  • Para ampliar lo que ya hago. Comenzamos con cosas con las que ya intercambié y agregamos un par que sospeché que era útil. Lo alimentamos a través de una red neuronal, lo que significa que combina esas entradas y les da cada una de varias ponderaciones, luego enjuaga y repite varias veces, para generar nuevas estrategias. Esto se vuelve exponencialmente efectivo cuanto mejor lo hagas, por lo que el primer lanzamiento produce poco beneficio, el siguiente un poco, y finalmente mucho.

Al hacer todo esto, he aprendido dos cosas realmente importantes. Hasta que reorientamos nuestro pensamiento sobre cómo avanzar, estábamos tratando de llenar el océano con un cuentagotas. Necesitábamos una herramienta más adecuada que un cuentagotas y un objetivo más concentrado que el océano.

  • La habilidad clave del comerciante es distinguir la señal del ruido. Úsalo. La mayoría de las personas piensan que arrojarán una gran cantidad de datos en bruto a una computadora y escupirá intercambios brillantes. Las posibilidades son demasiado amplias para esto. La habilidad del comerciante debe aplicarse para reducir los problemas por órdenes de magnitud. ¿Qué predictores usaremos? ¿Qué partes móviles de las estrategias queremos mover? ¿Cómo vamos a agrupar las estrategias?
  • Es más difícil definir qué es una buena estrategia de lo que piensas. “Maximizar las ganancias” o “minimizar las pérdidas” suena genial, pero hay altibajos en la vida de cualquier estrategia comercial. Importa si sus perdedores son demasiado grandes o frecuentes, o si sus ganadores significativos son muy poco frecuentes. Así que comenzamos a usar nuestros propios ojos para comparar las distribuciones de ganancias / pérdidas de las estrategias aplicadas a los datos de muestra, en lugar de confiar en que elija la mejor estrategia por sí mismo.

¡Los mejores deseos!

El aprendizaje automático y la inteligencia artificial son temas candentes con respecto a las finanzas cuantitativas. La compañía de fondos más grande del mundo (Blackrock) anunció recientemente que reemplazaría a algunos de sus analistas con computadoras que emplean aprendizaje automático e inteligencia artificial. El fundador y CEO de Blackrock, Laurence Fink, dice: “La democratización de la información ha dificultado mucho la gestión activa. Tenemos que cambiar el ecosistema, eso significa confiar más en big data, inteligencia artificial, factores y modelos dentro de las estrategias de inversión cuantitativa y tradicional ”

La empresa cree que los algoritmos de aprendizaje automático adecuados podrían elegir acciones y también analistas tradicionales.

El proceso de aprendizaje automático

Hay muchos tipos de algoritmos de ML, y algunos de los problemas de nivel superior que se utilizan para resolver incluyen: regresión, clasificación y predicción. El movimiento de código abierto ha proporcionado muchas herramientas de ML gratuitas, y he encontrado que Python es un gran lenguaje para usar con estas bibliotecas de ML debido a la cantidad de paquetes de código abierto disponibles y al soporte de la informática científica.

  • El flujo de trabajo básico utilizado en la creación de soluciones ML requiere los siguientes pasos.
  • Identifique el problema que ML resolverá (por ejemplo, si está clasificando, prediciendo o realizando un análisis de regresión sobre algo, etc.)
  • Determine qué datos se utilizarán como entrada y cuál es la salida anticipada.
  • Genere los datos que utilizará el algoritmo. Asegúrese de que los datos sean válidos y limpios. Si faltan algunos de los datos, ¿se tienen debidamente en cuenta?
  • Divida sus datos en un conjunto de datos de entrenamiento y un conjunto de datos de prueba.
  • Utilice los datos de entrenamiento para “enseñar” el algoritmo. En este caso, el algoritmo recibe los datos de entrada y resultado.
  • Use los datos de prueba para ver lo que predice el algoritmo y compárelo con los datos reales.

Si los resultados no son satisfactorios, el algoritmo se puede modificar y repetir el proceso.

Aquí hay un próximo seminario web sobre Introducción al aprendizaje automático para finanzas cuantitativas

Puede registrarse aquí y obtener más información sobre Machine Learning for Trading:

Introducción al aprendizaje automático para las finanzas cuantitativas

Lo he usado para eso exactamente. Aquí hay algunas formas en que lo he usado o considerado usarlo y las reglas que sigo para usarlo.

  1. Tiene un pequeño papel.
  1. Ningún modelo ML es lo suficientemente robusto como para no fallar catastróficamente en condiciones anómalas. No lo dejas comerciar. Lo dejas aconsejar.
  • Detección de anomalías
    1. Tengo un sistema de ML separado para advertir sobre condiciones aparentemente anómalas, en cuyo caso mi sistema dejará de operar
  • Filtración
    1. A veces uso un sistema de clasificación para predecir si el intercambio que planeo hacer será rentable o no. Si ese sistema sugiere una baja probabilidad de ganancias, omítala.
  • La construcción de señales para datos extraños que usted sabe está relacionada pero no puede explicar cómo
    1. Clima, patrones de vuelo, precios de los activos en diferentes mercados, clasificaciones de televisión, etc. Todos tienen ciertos activos con los que están correlacionados (y tienen mucho que ver con ellos), pero es una interacción muy compleja y no quiero dedicar tiempo a cuantificar a mano. Un algoritmo de ML a veces puede hacer eso por mí.
  • Ajuste de parámetros
    1. Algunas estrategias comerciales tienen parámetros que sé que deben estar en un cierto rango (bastante ajustado) en todo momento, pero diferentes valores en ese rango son mejores en diferentes momentos. Para eso, podría usar una regresión logística para determinar cuánto más arriba del límite inferior del rango se debe establecer el parámetro. Solo uso esto en tres condiciones:
    1. No importa en qué parte de ese rango establezca el parámetro, será, en promedio, rentable.
    2. En las pruebas, encuentro que el parámetro óptimo cambia lenta y suavemente
    3. En las pruebas, encuentro que controlar el parámetro de esta manera es muy efectivo

    El aprendizaje automático es fundamentalmente una herramienta para analizar grandes conjuntos de datos. Como tal, es muy útil para analizar datos financieros (que es inherentemente masivo). Una buena explicación del por qué es de QuantStart.com:

    Habilidades profesionales de Quant Finance: ¿qué buscan los empleadores?

    Y también sobre cómo:

    Guía para principiantes sobre el aprendizaje automático estadístico – Parte I

    Esta es una cuestión de cómo se utilizará el aprendizaje automático WILL en las finanzas cuantitativas, ya que sigue siendo una nueva incorporación al campo y su uso crecerá. Hace 20 años, lo más cerca que estuvimos del aprendizaje automático en un sistema de pruebas de producción fue una búsqueda de algoritmos genéticos de precios pasados ​​combinada con una simulación de Montecarlo de probables movimientos futuros de precios.

    Hoy, probablemente, todas las tiendas de comercio de accesorios de tamaño decente o los fondos de cobertura están experimentando con nuevos desarrollos en aprendizaje automático y hardware muy superior al que teníamos hace solo cinco años, y están probando muchas cosas diferentes.

    Mi favorito personal no es tratar de reemplazar un Quant con aprendizaje automático, sino más bien hacer que cada Quant sea más productivo convirtiendo el aprendizaje automático en el equivalente de muchos asistentes. Pero las muchas formas en que se está utilizando el aprendizaje automático en cualquier número de empresas muy secretas es probablemente mucho más amplio de lo que puedo suponer.

    Las máquinas pueden encontrar correlaciones.

    La historia se repite, y el mercado de valores no es diferente.

    Las computadoras pueden poner en perspectiva las cifras comunes de todas las acciones con fines de lucro y diseñar una fórmula basada en pruebas A / B. Si todas las acciones con cierta especialidad tendieron a obtener ganancias a lo largo de la historia, es probable que la próxima acción también lo haga.

    Las computadoras pueden probar millones de técnicas diferentes en un abrir y cerrar de ojos, y al menos una de esas pruebas dará resultados.

    Por ejemplo, si todas las acciones con bajas relaciones P / E obtuvieron ganancias a lo largo de la historia, la máquina puede encontrar la correlación entre las relaciones P / E y las ganancias instantáneamente, mientras que puede llevar a los humanos meses, si no años, de pruebas y análisis.

    Las computadoras pueden encontrar las correlaciones entre las variables y las ganancias, que de otro modo serían muy sutiles para que los humanos las identificaran. Luego, la computadora puede probar con las variables, hasta el punto de alcanzar una fórmula óptima para decidir si comprar o vender una acción.

    Quants hará uso de todo tipo de matemáticas sofisticadas, incluido el llamado aprendizaje automático (principalmente un nuevo nombre para un perro viejo: estadísticas, correlación, regresión) para ofuscar productos para que las personas menos técnicas, especialmente el público, los legisladores y los reguladores, se queden muy por detrás de lo que realmente hacen (ganar dinero básicamente con nada bueno, especialmente sin ningún bien público). En la superficie, lo que hacen puede parecer muy sofisticado, y en cierta medida lo es para sus pequeños propósitos egoístas, pero al final no solo es muy superficial, sino absurdo, por no decir abusivo.

    A pesar de toda esa sofisticación, no hay una sola prueba de que los cuantos o hacer muchas matemáticas en finanzas superen las conjeturas educadas pero no matemáticas en el mercado, aparte de tal vez mejorar la respuesta de tiempo porque los algoritmos de lucha sobre quién hace las cosas primero ahora dominan el panorama financiero (porque los precios de mercado asimilarán cualquier información disponible, borrando cualquier ventaja del uso de dicha información a menos que se obtenga ilegalmente). Ni siquiera se ha demostrado que algunos / la mayoría de los algoritmos utilizados en las finanzas superen a las conjeturas educadas simples (de nuevo, aparte de, por ejemplo, acelerar las transacciones o crear salvaguardas para los propietarios del dinero), ni siquiera mejores que las apuestas aleatorias a largo plazo. Por supuesto, para atraer a más clientes, todo se reduce a quién se comercializa mejor, y todos los quants siempre dicen que están por encima del promedio para obtener ganancias, lo que obviamente es imposible.

    Su propósito principal es crear la apariencia y la sensación de saber lo que están haciendo como si no estuvieran cubriendo los incumplimientos y fallas de sus acciones superficiales que pueden afectar las ganancias de los accionistas y, en última instancia (y lo más importante), sus impuestos. -pago: bonos, que es todo lo que les importa, sin tener en cuenta los trabajadores reales y los productos reales hechos por el trabajo real.

    Algunas personas en las finanzas (y especialmente los jefes) pueden saber esto, algunas, tal vez la mayoría, pueden no saberlo y tal vez nunca lo hagan porque al final es contra su propio interés verlo (encontrarían una vida superficial desperdiciada basada en el abuso ) e incluso un mayor conflicto de intereses al reconocerlo, ya que aceptarían que son en su mayoría fraudes, por lo que no espere que les guste esta respuesta =) Pero, en resumen, no hay un uso bueno o real del aprendizaje automático en las finanzas, especialmente en finanzas especulativas.

    Machine Learning es esencialmente una herramienta para encontrar relaciones no lineales entre una gran cantidad de datos. El análisis estadístico tradicional se basa en medidas lineales o estimadores lineales.

    Por lo tanto, la correlación no es un buen ejemplo, ya que la correlación es principalmente una relación lineal entre los datos financieros. Aquí, donde la mayoría de las herramientas estadísticas se basan en: Relaciones lineales en espacios vectoriales.

    Machine Learning trae el aspecto de análisis no lineal.

    Por ejemplo, Deep Learning está utilizando la teoría del Grupo de renormalización para dividir las inferencias.

    Aquí, un ejemplo de las relaciones no lineales de Machine Learning aplicadas en Finanzas:

    https://goo.gl/MLNwlN

    Sí, se usa en finanzas cuantitativas. Sin embargo, el uso varía y el término aprendizaje automático es bastante amplio. Un modelo determinante simple es el aprendizaje automático, mientras que existen técnicas más complicadas, como las redes neuronales. Realmente depende de la estrategia cuantitativa. Pero creo que el uso está aumentando con más datos y el énfasis del campo en el aprendizaje automático, la inteligencia artificial y los grandes datos.

    Hay una competencia comercial llamada Numerai donde obtienes (entrenas y pruebas) datos (cada semana) y con técnicas de ML estás desarrollando predicciones para el conjunto de datos de prueba. Creo que este es el ejemplo más directo de LD en finanzas cuantitativas.

    Hace algún tiempo, escribí una publicación donde comparo diferentes algoritmos de ML en datos brutos de Numerai.

    Existen muchos algoritmos de aprendizaje automático diseñados para aprender y hacer predicciones sobre los datos. Los algoritmos de ML se pueden usar para predecir una categoría (problema de clasificación de abordaje) o para predecir la dirección y la magnitud (problema de regresión de abordaje).

    Recientemente me encontré con este artículo de QuantInsti sobre aprendizaje automático que ayuda en el mundo comercial. Debe revisarlo y ver si responde a su pregunta: ow.ly/E6NK30bFkbj

    El aprendizaje automático ha hecho un cambio tremendo en la forma en que operan las instituciones financieras. Este artículo pretende arrojar luz sobre “Cómo el aprendizaje automático puede redefinir los préstamos”, analizar y comprender cada aspecto desde sus conceptos básicos hasta el punto de cómo puede contribuir al sector de préstamos.

    Más información sobre el aprendizaje automático en el sector financiero: cómo el aprendizaje automático puede redefinir los préstamos – Habile

    Encuentre graduados en Carnegie Mellon y Stanford para ayudarlo a bucear profundamente. Esas escuelas tienen fuertes ecosistemas QF + ML.

    More Interesting

    ¿Obtener un título en CS me ayudará a entrar en el aprendizaje automático y la IA?

    ¿Deberían los tweets de Tay hacernos preocuparnos por el estado de la humanidad?

    ¿Cuáles son algunos programas / juegos populares que pueden aprender del usuario y mejorar automáticamente?

    ¿Son las redes neuronales generalmente reversibles?

    ¿Cuáles son varias cosas que deben considerarse al elegir un algoritmo de aprendizaje automático como SVM, redes neuronales, árboles de decisión, etc.?

    ¿Cuáles son las mejores API de aprendizaje automático para usar para la predicción?

    ¿Cuál es el propósito de usar más de 1 capa completamente conectada en una red neuronal convolucional?

    ¿Qué es la ingeniería de características y el aprendizaje automático supervisado?

    ¿Por qué las IA en ciencia ficción se presentan como inmortales, cuando las computadoras de consumo solo duran de 3 a 5 años, e incluso las profesionales solo de 20 a 40 años?

    ¿Cuál es el algoritmo utilizado por los monstruos perseguidores en Pac-Man?

    ¿Cómo combina Eureqa bloques de construcción matemáticos en ecuaciones?

    ¿Cuáles son los algoritmos de control de movimiento del robot de última generación para diferentes aplicaciones robóticas a partir de 2016?

    ¿Se puede crear conciencia en AI usando MDP y redes neuronales?

    ¿Cuáles son algunos métodos para etiquetar datos de entrenamiento para una red neuronal?

    ¿Dónde puedo encontrar una comparación de las funciones de activación en redes neuronales profundas?