¿Cuáles son algunos temas de investigación matemáticamente rigurosos en aprendizaje automático y aprendizaje profundo en la actualidad?

Los enfoques actuales de AI y ML son de naturaleza estadística y no pueden generar modelos o descubrir mecanismos causales a partir de datos (a veces los científicos ayudan con AI y ML pero nit AI o ML ellos mismos, y las personas se confunden creyendo que es AI o ML).

Las tendencias y los métodos, incluido el aprendizaje profundo, son enfoques de caja negra que funcionan increíblemente bien para describir datos pero proporcionan poca o ninguna comprensión de los mecanismos de generación. Como consecuencia, tampoco pueden ser escalables a dominios para los que no fueron entrenados, y requieren toneladas de datos para ser entrenados antes de hacer algo interesante, y necesitan capacitación cada vez que se les presentan (incluso un poco) datos diferentes .

Con suerte, AI y ML se incorporarán más a los enfoques basados ​​en modelos, dejando atrás las estadísticas tradicionales e incorporando los primeros principios universales algorítmicos. Esto significa impulsar la ciencia fundamental en lugar de simplemente lanzar más recursos computacionales para resolver todo como lo hacen la IA y el ML actuales.

Los ejemplos anteriores potentes de enfoques basados ​​en modelos incluyen el modelado de ecuaciones diferenciales, pero esos enfoques también han carecido de los mecanismos para explorar y actualizar (y por lo tanto mejorar y escalar) modelos y, por lo tanto, lo que se necesita son enfoques fuertes basados ​​en el ciclo de datos modelo. Afortunadamente, estamos avanzando en esa dirección, aquí nuestro enfoque orientado a la causalidad basado en la inferencia computacional dinámica:

Un cálculo de información algorítmica para el descubrimiento causal y los sistemas de reprogramación

Y aquí un video explicando el método:

Al principio, los resultados pueden parecer menos impresionantes en comparación con las noticias sobre el aprendizaje profundo (DL) que golpea a los humanos en Go, etc. Y hay razones para estar entusiasmado con eso, ya que DL es una herramienta muy poderosa para extraer y analizar datos. El DL eventualmente se incorporará al conjunto de herramientas que los científicos de datos aplicarán por defecto, al igual que las personas hacen análisis de regresión lineal (DL es en realidad un análisis de regresión con esteroides). Sin embargo, los científicos fundamentales continúan empujando desde la dirección opuesta hacia el modelado y la comprensión en lugar de reducir los números de los datos.

Por ejemplo, el documento anterior muestra cómo un motor puede generar modelos casi óptimos a partir de observaciones naturales o inducidas para crear mecanismos generadores que reproduzcan el sistema que a su vez reproduzca los datos, proporcionando así una comprensión profunda de las causas y los medios de dirección para manipularlos. , algo que queremos hacer si queremos, por ejemplo, curar enfermedades en lugar de tratarlas, por mencionar solo un ejemplo. En este otro documento, una aplicación del método anterior podría modelar aspectos de la evolución natural que han permanecido misteriosos (por ejemplo, explosiones de diversidad, la aparición de genes, etc.) y también pueden acelerar los algoritmos evolutivos naturales y artificiales:

[1709.00268] Las mutaciones algorítmicamente probables reproducen aspectos de la evolución, como la tasa de convergencia, la memoria genética, la modularidad, las explosiones de diversidad y la extinción en masa.

Este video también muestra cómo ha impactado la investigación sobre la cognición:

Bueno, aquí hay una tabla muy bonita para ti:

Esto muestra la distribución de las áreas matemáticas más importantes para el aprendizaje automático. Las siguientes son formas en que cada campo es aplicable, de esa manera usted sabe qué temas desea estudiar en función de los conceptos matemáticos que le resulten más difíciles o más interesantes.

• Temas de álgebra lineal

• Análisis de componentes principales
• Valor singular de descomposición
• Descomposición propia de una matriz
• Descomposición LU
• Descomposición / Factorización QR
• Matrices Simétricas
• Ortogonalización y Ortonormalización
• Operaciones matriciales
• Proyección
• Valores propios y vectores propios
• Espacios vectoriales y normas

• Combinatoria
• Reglas de probabilidad y axiomas
• Teorum de Bayes
• Variables aleatorias
• Varianza y Expectativas
• Distribuciones condicionales y conjuntas
• Distribuciones estándar
• Funciones generadoras de momentos
• Estimaciones de probabilidad máxima / posterior
• Anterior y posterior

• Cálculo diferencial e integral
• Derivados parciales
• Funciones de valores vectoriales
• Gradiente direccional
• Distribución hessiana, jacobiana, laplaciana y lagragiam

• Estructuras de datos (árboles binarios, hashing, pila)
• Programación dinámica
• Algoritmo aleatorizado y sublineal
• Gradiente / Descensos estocásticos
• Método Primal-Dual

• Límites
• Topología
• Espacios métricos
• Mucho mas

Esperemos que esto te haya ayudado:

Fuentes:

1. Las matemáticas del aprendizaje automático

Esa es una pregunta bastante buena y directa también, por lo tanto, permítanme enumerar algunos de los problemas matemáticos básicos que aún están abiertos en términos de ML / DL:

1. Optimización no convexa : no todas las funciones de costo serían de naturaleza convexa, algunas de ellas son arbitrarias (no convexas) y es muy complejo encontrar mínimos globales en tales funciones. La investigación aún está en curso en esta área.
2. Aprendizaje por transferencia : si ha aplicado DL / ML, sabrá que actualmente todos los modelos de entrenamiento comienzan desde cero o pesas inicializadas aleatoriamente. Las investigaciones se están haciendo matemáticamente en términos de aprendizaje de transferencia incluso hoy, para construir modelos que puedan aprovechar los recuerdos / la experiencia de modelos similares para evitar que los modelos DL comiencen a entrenar desde cero cada vez que se lanza un nuevo problema a una red neuronal. Esta es una parte del refuerzo del aprendizaje profundo que todavía es muy complejo de construir debido a sus complejidades matemáticas abiertas.
3. Mínimos globales contra locales : aunque hemos tenido suficientes investigaciones en términos de DL y optimización, pero todavía hay un problema abierto. ¿Identifica si un mínimo alcanzado es local o global? Hay muchos métodos como comparar f (xa) y f (x + a) con f (x) [fuerza bruta], pero no hay un algoritmo claro para manejar esto, por lo tanto, evitando que una función de optimización se atasque en un mínimo local.
4. Esquemas de regularización : DL generalmente tiene técnicas de regularización L2 o Dropout, pero cada vez se realizan más investigaciones matemáticas para evitar que el aprendizaje se ajuste demasiado.

Aprendizaje profundo:-

El aprendizaje profundo es uno de los algoritmos de aprendizaje automático que utilizan muchas capas de unidades de procesamiento no lineal principalmente para la extracción y transformación de datos. Los algoritmos de aprendizaje profundo se basan básicamente en representaciones distribuidas. La creciente demanda de sistemas mejorados y la interacción humana actúa como un factor impulsor para el mercado.

Descargue el folleto en PDF para obtener más análisis de investigación técnica y profesional de sistemas de aprendizaje profundo

Como los algoritmos de aprendizaje profundo ofrecen asistencia experta y ayudan principalmente a los humanos a ampliar sus capacidades. El mercado ha sido segmentado por aplicaciones que incluyen reconocimiento y procesamiento de señales, minería de datos, visión artificial, reconocimiento de imágenes médicas y satelitales, robótica, entre otros.

Aprendizaje automático:-

El mercado global de aprendizaje automático como servicio (MLaaS) está aumentando rápidamente debido principalmente a la revolución de Internet. El proceso de conectar el mundo prácticamente ha generado una gran cantidad de datos que está impulsando la adopción de soluciones de aprendizaje automático. Esto se debe a que la implementación del aprendizaje automático mejora la velocidad y la precisión de las funciones realizadas por el sistema.

Descargue el folleto en PDF para obtener más información sobre la investigación del aprendizaje automático

Además de esto, la adopción de tecnologías de análisis avanzadas de varios sectores verticales de la industria, como el cuidado de la salud y las ciencias de la vida, BFSI, comercio minorista, telecomunicaciones y fabricación, está contribuyendo al crecimiento del aprendizaje automático como un mercado de servicios. Las soluciones de aprendizaje automático como servicio también se adoptan en los sectores verticales de la industria para mejorar la capacidad de toma de decisiones de las máquinas.

Fabricación, venta minorista, telecomunicaciones, salud y ciencias de la vida, BFSI y otros son los segmentos en los que el mercado global de aprendizaje automático como servicio se clasifica en función del uso final. De ellos, el segmento de la salud y las ciencias de la vida es el principal contribuyente al mercado, principalmente debido a la creciente necesidad de aprendizaje automático en el sector para integrar datos estructurados y no estructurados. Los datos generados son principalmente de registros de salud electrónicos (EHR), datos genómicos y de reclamos.

Esos en realidad no están siendo investigados mucho hoy. Muchos nuevos enfoques y algoritmos se centran en métodos numéricos, topología, diversos campos de la geometría. La optimización no convexa ha generado bastante investigación en el campo de la geometría algebraica numérica, lo que probablemente conducirá a nuevos algoritmos una vez que el poder de cálculo sea suficiente para hacerlo práctico en el diseño de algoritmos.

Hay montones y montones de direcciones. Te sugiero que te mantengas en contacto con las charlas y sus diapositivas correspondientes de profesores que trabajan en DL. Siempre hay una diapositiva que habla sobre trabajos futuros o direcciones de investigación, etc.

Verifique en Chillycon la actualización más relevante que se está produciendo en todo el mundo.