¿Qué teoría de aprendizaje automático necesito saber para ser un profesional de aprendizaje automático exitoso?

La lista a continuación probablemente no es exhaustiva, pero contiene las primeras cosas que pensé. ¡Esperemos que sean los más importantes / fundamentales! (Aunque estoy seguro de que me perdí algo).

Teoría estadística del aprendizaje:

Sobreajuste: un concepto central en el aprendizaje automático es el sobreajuste. En términos generales, el sobreajuste ocurre cuando entrenas un modelo que captura las idiosincrasias de tus datos de entrenamiento. Un modelo que se adapte a los datos de entrenamiento no puede generalizarse bien a nuevos ejemplos de pruebas no vistos, que en última instancia es lo que queremos que hagan la mayoría de los modelos de aprendizaje automático.

Error de generalización: una forma de cuantificar el sobreajuste es a través del error de generalización. En términos generales, el error de generalización mide la brecha entre el error en el conjunto de entrenamiento y el conjunto de prueba. Por lo tanto, cuanto mayor es el error de generalización, más se ajusta el modelo.

Equilibrio sesgo-varianza: a veces, está bien si el modelo que entrena se sobreajusta siempre que el error de generalización no sea demasiado grande. Por ejemplo, si entrena un modelo complejo que logra un error de 0.2 en el conjunto de entrenamiento y un error de 0.5 en el conjunto de prueba, eso podría ser deseable para un modelo simple que logra un error de 0.5 en el conjunto de entrenamiento y un error de 0.6 en el conjunto de prueba. A pesar de que el modelo simple se adapta menos, era tan simple que aún funciona peor en el conjunto de prueba en comparación con un modelo complejo que se adapta más. El equilibrio entre sesgo y varianza es una forma de razonar sobre este tema: ¿cuándo tiene sentido usar un modelo más complejo a pesar de que se adapta más?

Minimización empírica del riesgo: cuando la mayoría de las personas piensa en el aprendizaje automático, probablemente piensan en la minimización empírica del riesgo. Es decir, quieren un modelo que logre un bajo error en algún conjunto de entrenamiento. Sin embargo, es importante tener en cuenta cuáles son los supuestos de la minimización empírica del riesgo. Lo más notable es que el conjunto de entrenamiento se muestrea independientemente de la distribución de prueba que realmente le interesa. Si se viola esta suposición, puede obtener modelos de aprendizaje automático que no se comportan de la manera deseada (consulte Algoritmos y sesgo: Q. y A. Con Cynthia Dwork).

Validación cruzada (estadísticas): por lo general, no se pueden probar los datos sobre los que se entrenó, se deben dividir los datos existentes en conjuntos de entrenamiento y prueba. Sin embargo, esto es un desperdicio estadístico y también aumenta la variabilidad ya que no está probando en cada punto de datos a su disposición. La validación cruzada es una forma de evitar eso al rotar lo que hay en los conjuntos de entrenamiento versus prueba.

Intervalo de confianza: la forma cuantitativa más directa de comparar dos modelos es observar sus respectivos errores de prueba (por ejemplo, mediante validación cruzada). Sin embargo, ¿cómo sabemos si dos números realmente reflejan diferencias significativas entre los dos modelos o simplemente se deben a algunos efectos espurios causados ​​por un tamaño de muestra finito? Los intervalos de confianza son la forma más común de lidiar con este problema.

Prueba de hipótesis estadística: un concepto relacionado con los intervalos de confianza es la prueba de hipótesis estadística. Lo más común para usar esto es responder si dos modelos tienen precisiones estadísticamente distinguibles. La forma en que se implementan típicamente las pruebas de hipótesis estadísticas implica el uso de intervalos de confianza y el establecimiento del tamaño de los intervalos de confianza en un ancho apropiado con el nivel de significación estadística deseado.

Bootstrapping (estadísticas): otra forma de evaluar la variabilidad del modelo es mediante bootstrapping, que efectivamente toma muestras del conjunto de entrenamiento con reemplazo para generar nuevos conjuntos de entrenamiento que son estadísticamente similares al conjunto de entrenamiento original.

Modelado estadístico:

Métricas | Kaggle: es importante comprender cuál es su métrica de elección para cualquier problema de modelado que esté resolviendo. Para algunas tareas, solo le importa que su modelo pueda hacer buenas predicciones en la parte superior (p. Ej., Clasificación en la búsqueda web), por lo que una métrica como [correo electrónico protegido] es apropiada allí.

Regularización (matemáticas): la regularización tiene dos propósitos. Primero, se usa comúnmente para controlar el sobreajuste, de modo que el modelo aprendido no sea demasiado complejo. En segundo lugar, las diferentes opciones de regularización reflejan diferentes supuestos sobre lo que significa “simple”. Por ejemplo, el uso de la regularización L1 fomenta la escasez en el modelo entrenado e interpreta que tiene pocos parámetros distintos de cero. Por otro lado, el uso de la regularización L2 fomenta que la norma del modelo aprendido sea baja e interpreta que es simple como de pequeña magnitud.

Tipos y tareas de aprendizaje automático: las personas a menudo piensan en el aprendizaje supervisado cuando piensan en el aprendizaje automático (y, de hecho, la mayoría de los temas enumerados aquí se describen a través del lente del aprendizaje supervisado). Pero el aprendizaje supervisado no es la única configuración de aprendizaje. Otros incluyen el aprendizaje no supervisado, el aprendizaje semi-supervisado, el aprendizaje transductivo, etc. Es importante comprender qué tipo de problema de aprendizaje está enfrentando. Si prefiere lidiar con el problema de aprendizaje supervisado, eso a menudo significa descartar datos para los que no tiene etiquetas. A veces eso es bueno, y a veces eso no es tan bueno.

Correlación versus causalidad: es importante tener en cuenta al inspeccionar un modelo aprendido que muchas cosas aprendidas por el modelo son puramente correlación y no deben interpretarse causalmente.

Mejoramiento:

Descenso de gradiente estocástico: la mayoría de los modelos de aprendizaje automático se entrenan mediante alguna forma de descenso de gradiente estocástico. En general, es útil comprender cuándo funcionan bien los diferentes métodos, para que pueda entrenar sus modelos de manera más eficiente.

Descenso de gradiente acelerado de Nesterov: un concepto importante en el descenso de gradiente es el impulso, del cual el método de Nesterov es posiblemente el ejemplo más hermoso. Momentum suele ser extremadamente útil para acelerar el entrenamiento.

Análisis convexo: es importante comprender cuándo su problema de aprendizaje es convexo versus no convexo. Los problemas de aprendizaje convexos siempre convergen en el mismo modelo óptimo, por lo que no tiene que tener demasiado cuidado con la forma en que entrena (aparte por razones de velocidad). Los problemas de aprendizaje no convexos pueden atascarse en los óptimos locales, por lo que el modelo que obtiene puede variar mucho. Como tal, a menudo es importante tener cuidado sobre cómo inicializar el problema de aprendizaje no convexo.

Álgebra lineal:

Norma (matemáticas): las normas se utilizan mucho en el aprendizaje automático. Por ejemplo, muchas formulaciones de regularización se escriben como normas. Comprender el comportamiento de las diferentes normas lo ayudará a decidir qué tipo de regularización desea imponer.

Matriz_ (matemáticas): muchas veces, los datos y los modelos se expresan mediante matrices. A veces, puede ahorrar mucho tiempo de cómputo al ser inteligente sobre cómo ordenar las operaciones de la matriz. Otras veces, puede descubrir cómo transformar sus datos en el formato que utilizan algunas herramientas de aprendizaje mediante el uso de transformaciones matriciales.

La transformación de blanqueamiento estadístico: un enfoque particularmente útil para estandarizar sus datos es el blanqueamiento. Es bueno entender qué suposiciones están incorporadas en el blanqueamiento, para que tenga una buena idea de cuándo el blanqueamiento funcionará y no.

Panorama:
En estos días, se están desarrollando muchas herramientas que pueden automatizar muchos de los problemas descritos anteriormente y, por lo tanto, harán que el aprendizaje automático sea más intuitivo y fácil de usar para más personas. Por ejemplo, muchos paquetes de aprendizaje automático ya realizan validación cruzada automáticamente. Sin embargo, esas herramientas están lejos de ser perfectas, por lo que tener una sólida comprensión de los fundamentos teóricos será muy beneficioso a largo plazo, ya que le permitirá usar y componer de manera más inteligente las herramientas existentes para lograr cualquier tarea de modelado de datos que desee. estás tratando de resolverlo.

Siga estos 6 PASOS FÁCILES para aprender los conceptos básicos del APRENDIZAJE DE MÁQUINAS en 3 meses.

¡¡Buena suerte!!

El aprendizaje automático es un campo realmente vasto y de rápido desarrollo. Será abrumador solo para comenzar. Sin duda, ha estado rebotando en el punto donde necesita usar la máquina para descubrir cómo construir modelos: ha pensado en lo que debe hacer; Sin embargo, cuando se filtran en la web algoritmos concebibles, recientemente hay un número excesivo de alternativas.

Para aprender el aprendizaje automático, debes ser mejor que el promedio en matemáticas. Estas son las matemáticas que debe aprender teniendo en cuenta el objetivo final para estar preparado.

• Álgebra lineal-Álgebra lineal– MIT 18.06 Álgebra lineal por Gilbert Strang
• Teoría de la probabilidad-Probabilidad y estadística – MIT 6.041 Análisis de sistemas probabilísticos y probabilidad aplicada por John Tsitsiklis
• Cálculo
• Cálculo multivariante
• Teoría de grafos
• Métodos de optimización
• Cualquier lenguaje de programación ampliamente utilizado para ML como python, MATLAB o C ++.

PD: recomendaría Python aquí como lenguaje y recomendaría los siguientes enlaces:

• Aprendizaje automático con texto en scikit-learn (PyCon 2016)
• Aprendizaje automático en Python con scikit-learn
• Aprendizaje automático con Python

https://www.youtube.com/watch?v= … https://www.youtube.com/watch?v= …

Una vez cumplidos estos requisitos, puede por fin comenzar a considerar Machine Learning.

¿6 PASOS FÁCILES para utilizar el APRENDIZAJE DE MÁQUINAS?

Este es el lugar donde comienza la diversión. Ahora, se espera que la base comience a echar un vistazo a algunas informaciones. Antes de comenzar, he enumerado 30 cosas que todos deberían saber en Machine Learning . La mayoría de las empresas de aprendizaje automático tienen básicamente el mismo proceso de trabajo:

PASO 1.) Fabrica tus fundamentos de aprendizaje automático estudiando material relacionado con el tema:

a.) Las conferencias de Andrew Ng’s Machine Learning son un gran comienzo :

b.) Escuela de verano de aprendizaje automático :

c.) Un enlace a la lista de reproducción completa está aquí (Lecture Collection | Machine Learning)

https://www.youtube.com/view_pla …

d.) Certificado de aplicaciones y minería de datos de Stanford :

http://scpd.stanford.edu/public/ …

e.) Introducción a la Inteligencia Artificial por el Prof. Deepak Khemani IIT Madras

http://nptel.ac.in/courses/10610 …

f.) ” La mejor introducción de aprendizaje automático que he visto hasta ahora”.

PASO 2.) Tome un curso en línea

Lo principal que aconsejo a alguien que necesita ingresar al aprendizaje automático es tomar el curso en línea de Andrew Ng.

Creo que el curso de Ng es especialmente directo y excepcionalmente eficiente, por lo que es un conocimiento extraordinario para alguien que necesita ingresar a ML. Me sorprende cuando las personas me revelan que el curso es “excesivamente fundamental” o “excesivamente superficial”.

En el caso de que me revelen que solicito que aclaren el contraste entre la Regresión logística y el SVM, PCA lineal frente a la factorización matricial, regularización o descenso de gradiente. He hablado con aspirantes que afirmaron años de encuentros de LD que no sabían la respuesta a estas preguntas. En su mayor parte, se aclaran claramente en el curso de Ng.

Hay muchos otros cursos en línea que puede tomar después de este, pero ahora está en su mayor parte preparado para pasar a la siguiente etapa.

Vea mi publicación anterior 10 mejores videos, profesores y cursos sobre aprendizaje automático para principiantes y avanzados

PASO 3.) Algunas sugerencias de libros

Mi paso posterior sugerido es obtener un libro de ML decente (mi lectura más abajo), leer las secciones de introducción principales y, después de eso, pasar a cualquier parte que incorpore un algoritmo, usted está interesado. Cuando haya descubierto ese algo, salte a él, vea cada uno de los puntos de interés y, en particular, impleméntelo. En el paso anterior del curso en línea, a partir de ahora habría actualizado algunos algoritmos en Octave. Sea como fuere, aquí estoy buscando ejecutar un algoritmo sin ninguna preparación en un lenguaje de programación “real”. En cualquier caso, puede comenzar con una simple, por ejemplo, Regresión logística regularizada en L2, o k-means, pero también debe impulsarse a actualizar todos los más intrigantes, por ejemplo, SVM. Puede utilizar una implementación de referencia en una de las muchas bibliotecas existentes para asegurarse de obtener resultados equivalentes.

• El razonamiento bayesiano y el aprendizaje automático de David Barber
• El aprendizaje automático de Kevin Murphy: una perspectiva probabilística
• Google dice que el aprendizaje automático es el futuro
• Los elementos del aprendizaje estadístico de Hastie, Tibshirani y Friedman
• Reconocimiento de patrones y aprendizaje automático de Bishop
• Andrew Ng OpenClassRoom Stanford
• Aprendizaje automático de Mitchell

También hay numerosos libros excelentes que llaman la atención sobre un tema específico. Por ejemplo, Sutton and Re-Inforcement Learning es una obra de arte. Además, el libro Deep Learning (accesible en la web) prácticamente se está convirtiendo en un ejemplo antes de ser distribuido. Sea como fuere, necesita un par de esos libros para reunir una comprensión equilibrada y hasta cierto punto del campo.

Vea mi publicación anterior 10 eBooks gratuitos de lectura obligatoria sobre conceptos básicos de aprendizaje automático .

También puede ir específicamente a un trabajo de investigación que presente un algoritmo o enfoque que le interese y salte a él.

PASO 4.) Algoritmos más esenciales

Se confía en usted para conocer los aspectos básicos de un algoritmo esencial.

Vea mi anterior post 15 algoritmos que los ingenieros de aprendizaje automático deben saber .

En cualquier caso, aparte de los algoritmos, también es fundamental saber cómo configurar sus datos (selección de características, transformación y compresión) y cómo evaluar sus modelos. Tal vez, para empezar, podría ver nuestro Aprendizaje automático en el ejercicio de instrucción scikit-learn en SciPy 2016. Se condensa una gran parte de los rudimentos al presentar la biblioteca scikit-learn, que puede resultar útil para la ejecución y otros exámenes. :

PASO 5.) Juega con algunos conjuntos de datos enormes que son de acceso abierto.

Descubra un conjunto de datos que le parezca especialmente interesante o sobre el que tenga hipótesis y compruebe si tiene razón.

a.) Datos del gobierno de EE. UU. http://www.data.gov/

b.) Compite en Kaggle o construye algo con uno de sus conjuntos de datos, es información realmente divertida y genuina. https://www.kaggle.com/

” Kaggle es una plataforma para concursos de modelos predictivos y análisis en los que empresas e investigadores publican sus datos y los estadísticos y mineros de datos de todo el mundo compiten para producir los mejores modelos”.

Kaggle lo expone a una amplia gama de problemas de Machine Learning, las competencias de Kaggle lo ” obligan ” a codificar y volver a codificar su solución de la manera más eficiente posible, haciendo compensaciones entre tiempo de programador, tiempo de CPU, RAM, etc. Cada competencia tiene un foro donde los competidores se ayudan mutuamente a abordar el problema. Competirá contra algunos de los mejores ingenieros del mundo. Finalmente, los reclutadores están recorriendo las tablas de Kaggle en busca de ingenieros talentosos. Podrías encontrar una nueva posición .

Debería comenzar su kaggle con Titanic porque, debido a que hay muchos scripts / problemas accesibles, tendrá la capacidad de construir diversos tipos de modelos que también le permitirán comprender algunos de los algoritmos de aprendizaje automático.

A continuación, puede retomar un tema interesante. Reclutamiento de Facebook porque, dada la facilidad de la estructura de datos y la extravagancia del contenido , puede unir las tablas correctas y hacer un cálculo profético sobre esta.

Cuando haya terminado con estos dos, debe estar listo para abordar temas más interesantes de acuerdo con su interés.

He enumerado 40 proyectos divertidos de aprendizaje automático para principiantes en aprendizaje automático. Cuando haya terminado, puede echar un vistazo a los 35 principales proyectos de aprendizaje automático en Github para obtener más inspiración.

Algunos sitios que pueden ayudarlo a solucionar problemas : https: //stackoverflow.com,http: //www.gitxiv.com/ , http://www.arxiv-sanity.com/ , https://arxiv.org/

PASO 6.) Juega un papel con un aprendizaje automático centrado en el producto o en un evento Attend ML.

El grupo que busca debe estar cargado de ingenieros a quienes desea instruir y aprender. Esto lo mejorará para convertirse en un buen ingeniero de aprendizaje automático. Del mismo modo, al dividir un grupo de productos, descubrirá rápidamente cómo la ciencia y la hipótesis del aprendizaje automático varían de la capacitación. Específicamente, cómo la conducta del cliente le mostrará algo nuevo cada día.

Vaya a eventos de aprendizaje automático donde puede darse cuenta de lo que la gente hace en las charlas y ponerse manos a la obra con hackatones, ejercicios de instrucción y talleres como:

La conferencia de aprendizaje automático

Conferencia de estratos de O’Reilly

PyData

Conferencia de datos enriquecidos de Crowdflower

PD: desea conocer los últimos recursos de AI y ML en profundidad en la web, DEBE ver esta página de índice aquí .

CONCLUSIÓN:

No dudes en fallar . La mayor parte de su oportunidad en el aprendizaje automático se gastará tratando de entender por qué un algoritmo no funcionó como esperaba o por qué obtuve los errores que son comunes. La perseverancia es crítica.

Simplemente déjalo salir. En caso de que piense que la regresión logística puede funcionar … intente con un pequeño conjunto de datos y perciba cómo funciona. Estas actividades iniciales son un cajón de arena para asimilar las técnicas al caer plano, así que aproveche y pruebe todo lo que sea un buen augurio.

En ese momento … en caso de que sea rápido para llevar el tocino a casa haciendo aprendizaje automático, cree su propio sitio. Cree un sitio web que muestre cada una de las empresas que ha eliminado. Muestra cómo los hiciste. Demostrar los productos finales. Hazlo hermoso Tener imágenes decentes. Haz que sea capaz de procesar. Haga un artículo que otra persona pueda obtener y luego confíe en que una empresa puede ver todo el trabajo que realiza.

Para comenzar con ML, debes entender que ML no es algo que sea 100% preciso : la mayoría de los casos son solo una conjetura decente y grandes cantidades de iteraciones. Por lo tanto, pensar en un pensamiento único es difícil por regla general , en vista del tiempo y los recursos que gastará en la preparación del modelo. Por lo tanto, no intente dar sentido a las soluciones usted mismo: busque documentos, proyectos y expertos que puedan ayudarlo. Cuanto más rápido obtengas experiencia, mejor. ¡¡Todo lo mejor!!

Para ser un profesional de aprendizaje automático exitoso, los requisitos previos que son imprescindibles son:

1. Python: Python se ha vuelto muy popular en el campo del aprendizaje automático debido a todos los paquetes y marcos. Entonces, el primer paso debería ser aprender Python.
2. Álgebra lineal básica: esto es importante especialmente en el aprendizaje profundo porque trabajará con datos en forma de matrices multidimensionales. Debe comprender las matemáticas para crear sus modelos de manera eficiente.
3. Cálculo diferencial: esto no es imprescindible si solo desea crear algunos proyectos de ML. Pero, si realmente desea convertirse en un profesional de ML e ingresar a la investigación o la industria, debe comprender el cálculo diferencial, especialmente para el aprendizaje profundo
4. Estadísticas y probabilidad: el aprendizaje automático se trata principalmente de predicciones y de encontrar correlación en los datos y, por lo tanto, este campo de las matemáticas también es importante. Tome algunas clases de nivel principiante y luego aprenda sobre la marcha.

Después de eso, necesitará saber cómo funcionan varios algoritmos y cuál es mejor para su caso de uso. Recomendaría seguir a varios investigadores de ML en Twitter para mantenerse al día con los avances actuales. Además, el subreddit de aprendizaje automático en Reddit es un gran lugar para mantenerse al día con los desarrollos recientes en ML.

Si está estudiando por su cuenta, le recomendaría tomar los Nanodegrees de Udacity para ML y Deep Learning, ya que son excelentes para enseñarle ML aplicado y varios marcos. Pruebe su Nanodegree de Machine Learning: ingeniero de Machine Learning | Udacity

Recientemente entrevisté a Xavier Amatriain, mejor conocido por su trabajo en Machine Learning, VP Engg de Quora y ex-Netflix.

Habiendo construido muchos productos exitosos de ML, habló extensamente sobre cómo construir productos exitosos de aprendizaje automático, los elementos involucrados, cómo comenzar, los detalles involucrados, etc.

De acuerdo con Xavier:

El enfoque inicial para construir productos de ML es mantener una regla y decir que esto es lo que mi producto necesita hacer cada vez que encuentra esta o aquella información. Pero después de controlar su regla, el siguiente paso debería ser una forma más inteligente de resolver esto y no mediante una regla codificada a mano.

Ahí es cuando el aprendizaje automático se implementa.

Es una entrevista de video interesante y cualquiera que planee construir productos de ML debe mirarla para conocer las mejores prácticas.

Es un video de 4 minutos junto con la transcripción. Si está interesado, puede verlo aquí: la clave para el aprendizaje automático exitoso en el desarrollo de productos

Gracias

Echa un vistazo por ti mismo:

• 5 libros electrónicos para leer antes de entrar en una carrera de aprendizaje automático
• 10 libros gratuitos que debes leer para el aprendizaje automático y la ciencia de datos

Una lista breve e incompleta es:

• Lo esencial

• Programación, en Python y / o R
• Minería de datos mediante el uso de alguna herramienta, por ejemplo, Weka
• Estadística
• Diseño experimental
• Métodos cuantitativos
• Preparación de datos / limpieza / reducción de dimensiones

• Ingeniería de características
• Privacidad de datos
• Extracción de textos
• Análisis de series temporales multivariables
• Soporte para la toma de decisiones
• Análisis gráfico dinámico
• Aprendizaje profundo

Además del título en informática, sugeriría tomar varios cursos de matemáticas: cálculo, álgebra lineal, estadística, teoría de la probabilidad, métodos numéricos / optimización y análisis / topología real (ya que le dará una base para probar las propiedades de su algoritmos). Si va a ser un investigador en el campo, necesitará comprender las matemáticas de cada pieza para comenzar a recombinarlas en nuevos algoritmos.

La lista de Yisong Yue es un excelente punto de partida para un practicante de ML. La única omisión de relevancia que veo en la lista es adquirir una comprensión profunda de la teoría general de la inferencia inductiva. Las variaciones de esta teoría (AIXI et al.) Están actualmente a la vanguardia de la próxima frontera en ML, siendo pioneras de personas como DeepMind.

¡Pero te sugiero que recurras a la teoría general de la inferencia inductiva solo DESPUÉS de haber revisado la lista de Yisong Yue!

El mejor recurso disponible basado en el comentario de Yisong Yue es leer el libro de Kevin Murphy, Aprendizaje automático: una perspectiva probabilística.

Te sugiero que continúes con tu licenciatura en Ciencias de la Computación e intentes tomar algún curso sobre álgebra lineal, procesamiento de señales y probabilidades / estadísticas.

Las matemáticas no deberían ser un obstáculo en un nivel básico, no es muy difícil (acerta tus derivadas parciales)

Puede comenzar con el curso Andrew Ng Machine Learning: Machine Learning – Stanford University | Coursera, hay una sesión real en este momento.

Para redes neuronales artificiales (ANN) y retropropagación:

1. Álgebra lineal básica.
2. Estadísticas básicas (específicamente análisis de regresión).
3. Programación básica de la computadora.
4. Una leve idea de lo que significa una “derivada”.

De lo contrario, el aprendizaje automático es un campo bastante grande y puede requerir muchos conceptos diferentes, pero lo anterior le ayudará a comenzar a escribir programas interesantes.

Si no sabe por dónde empezar, Machine Learning en coursera.org.

1. Un muy buen maestro y ambiente de aprendizaje.
2. Matemáticas
3. Codificación
4. Ingeniería (ayudaría)
5. Estadística
6. Los conceptos básicos sobre el aprendizaje automático (que puedes leer)

¿Alguien más por ahí que quisiera ayudar aquí?