Cómo explicar el aprendizaje automático y la minería de datos a personas no informáticas

Lo primero es que el aprendizaje automático no se trata de mangos. Se trata del cerebro.

Si le piden que vaya a la tienda y obtenga 3 cosas, probablemente las recordará. Pero si se le pide que obtenga 5 o 6, puede olvidar 1 o 2. Y si se le pide que obtenga 15 – weeeell, digamos que la precisión no será tan alta, a menos que haya una conexión.

Lo mismo con las tareas. Los viejos chistes sobre la multitarea están equivocados. Ninguno de nosotros es multitarea, solo hacemos las cosas secuencialmente y las dividimos en pequeños trozos, por lo que parece ser multitarea.

Tomemos una tarea simple. Dispara a todos los alienígenas en Space, Invaders, por ejemplo.

Problemas de coordinación mano-ojo para trabajar primero, con un retraso entre lo que vemos y nuestra reacción. Calculamos trayectorias, tanto las suyas como las nuestras, haciendo cálculos complejos para permitir este retraso.

Luego tratamos de recordarlos: manejamos uno o dos, pero luego nos topamos con nuestro problema de memoria. También nos topamos con nuestro problema de acción secuencial, teniendo que preocuparnos por el que nos dispara, los puntos de valor de la nave espacial en la parte superior y los objetivos a los que disparamos. A medida que se acelera, nos supera: extrañamos más, nos golpean con más frecuencia, no podemos ver todo de una vez.

Juego terminado. La próxima vez, por supuesto, hemos aprendido un poco. Lo hacemos un poco mejor. Y tenemos una fiebre de dopamina por hacerlo. Por eso los juegos son adictivos.

Ahora imagine que la computadora hace la misma tarea. Tiene una memoria que es, para estos fines, infinita. Puede manejar millones de transacciones por segundo. Y puede calcular trayectorias desde muchos más puntos de datos, utilizando algoritmos.

Entonces comienza perdiendo vidas, perdiendo objetivos y no viendo las naves espaciales. Pero acumula datos. Pronto tiene cientos, luego miles, luego millones de movimientos como su base de datos. También ha intentado cientos de acciones, aprendiendo de cada una lo que funciona y lo que no. Simplemente haciendo más de lo que funciona y menos de lo que no funciona, crea rápidamente un conjunto de algoritmos altamente evolucionado y complejo para cubrir todas las posibilidades, todas las cuales dicen “Si esto sucede en la pantalla, haga esto”.

Ahora llamamos a esto aprendizaje experiencial. Es lo que intentamos acelerar en las escuelas, para los humanos. También se conoce como aprendizaje de refuerzo: cada experiencia refuerza lo que se sabe que funciona, por lo que se centra en esas acciones. A eso lo llamamos entrenamiento.

La diferencia está en la escala, entre las personas y las computadoras. Con solo dejar el sistema Space Invaders para jugar, aprendió de cientos de juegos.

Esto es exactamente lo que el equipo de Google DeepMind ha estado haciendo para crear Inteligencia Artificial General. Esto difiere de un programa en que el sistema aprende por sí mismo lo que debe hacerse y cómo hacerlo bien, en lugar de simplemente ser programado por una persona. La reciente conferencia de Strachey por Demis Hassabis explica esto con excelente simplicidad: la parte de Space Invaders dura 18 minutos.

Entonces el equipo de Hassibis se mudó a Go. Aquí entra en juego la minería de datos. Deep Mind examinó las principales plataformas de juegos en línea: millones de personas en todo el mundo que juegan entre sí en línea. Para empezar, descargaron 100,000 juegos: al analizar lo que funcionó en cada uno de estos juegos, el sistema pudo aprender muy rápido. Luego se estableció para jugar contra sí mismo y mejoró exponencialmente. Pronto analizaron 90 millones de juegos, más de lo que cualquier persona podría experimentar en su vida.

En cuestión de meses había alcanzado el nivel de Campeón de Europa, ganando 5-0. A finales de esta semana, Demis cree que habrá alcanzado el nivel de Campeón del Mundo: lo está poniendo a prueba con un partido contra el mejor jugador de GO en la última década: Lee Sedol. Míralo aquí desde el miércoles (9 de marzo de 2016): https://www.youtube.com/channel/ …

Algunas conclusiones:

1. Las máquinas pueden ser más lentas para aprender que los humanos, pero el tiempo de la máquina tiene un costo mínimo. Por lo tanto, se les puede dejar jugar contra ellos mismos, o incluso hacerlo en segundo plano. Por lo tanto, aprende de muchos más datos que el aprendizaje humano.
2. Las máquinas tienen una cantidad de memoria prácticamente infinita y, con una recuperación rápida, pueden acceder a todas ellas en un tiempo razonable de reflexión. Pueden acceder a datos abiertos desde una gran cantidad de tareas en todo el mundo y acceder a millones de puntos de datos en milisegundos.
3. Las máquinas pueden almacenar múltiples acciones en la memoria y, aunque todavía son secuenciales, el tiempo del ciclo es mucho más rápido que el de los humanos. Por lo tanto, al parecer, pueden realizar múltiples tareas a través de muchas más acciones que los humanos.
4. Este aprendizaje automático no está sujeto a sesgos humanos, como desear que una acción en particular sea correcta, eliminar las sugerencias de otros humanos, la evaluación subjetiva ponderada (establecer los parámetros de evaluación para que el suyo gane) y la extrapolación de muestras pequeñas.

Un pensamiento final …

Las máquinas no dejan de aprender cuando alcanzan lo mejor que podemos hacer. Continúan aprovechando sus fortalezas de más datos, procesador más rápido y menos sesgos para ir más allá de las capacidades humanas. Las nuevas tecnologías, como las computadoras cuánticas, que realmente realizan múltiples tareas, transformarán la capacidad.

“Cuando llegó el auto, no fue suficiente para ser un caballo más rápido o un caballo más fuerte, todos los caballos quedaron obsoletos”.

“En la primera revolución industrial, eliminamos las limitaciones del músculo humano. En la segunda, eliminamos todas las limitaciones de la mente humana” Erki Brynolfsson

Trataré de hacer una analogía con ejemplos de vida. Por supuesto, no voy a cubrir todos los temas, pero algunos términos populares que puede haber escuchado en ML están aquí.

El aprendizaje automático se trata de tomar decisiones basadas en pruebas y errores y es una versión de estadísticas más orientada a la aplicación. La idea básica es tomar decisiones basadas en cierta cantidad de información que tiene.

Clasificación basada en datos

1. Has visto a personas arruinar sus vidas fumando. Tomas la decisión de que ni tú ni tus hijos fumarán porque aprendiste en la vida que fumar mata.
2. Has observado que las personas gordas tienden a tener enfermedades del corazón. Usted decide que tratará de mantenerse delgado, de lo contrario sufrirá enfermedades cardíacas.

Matemáticamente, has observado una tonelada de datos y has creado una regla para la clasificación. Has decidido que cierta característica significa clase A, de lo contrario clase B.

Descenso de gradiente

1. Cuando tocas un plato caliente, te lastimas, retiras tu mano. Es poco probable que toque una placa caliente nuevamente a propósito. O usas mitones la próxima vez.
2. Mientras lanzas dardos a un objetivo, no lo haces bien en el primer disparo. Mueves tu puntería y cambias la fuerza, lo que te hace pensar que te acercarás a la diana. Vuelves a fallar, calculas de nuevo y cambias de táctica de nuevo, hasta que te acercas mucho o tocas el blanco (o te aburres después de perder un montón de tiempo y dejarlo)

Matemáticamente, estás haciendo prueba y error. Si observa un intento aleatorio, calcule el error cometido. Luego calcula el cambio en su técnica que espera que conduzca a un mejor resultado. Entonces prueba la nueva técnica.

Aprender en línea

1. Tú juegas black jack. Según la secuencia de cartas que ves, tomas una decisión rápida si golpeas o te quedas
2. Usted es un comerciante, obtiene datos secuenciales de una acción, decide cuándo comprar y vender.

Matemáticamente, ahora se enfrenta a la tarea de tomar decisiones rápidas. Basado en la información previa que tiene y mirando lo que sucede, decide rápidamente. Por ejemplo, ha mantenido el recuento de cartas en Black Jack, y sabrá cuándo desea aumentar las apuestas si el recuento es alto.

Transferir aprendizaje

1. Tu madre te enseñó a elegir las naranjas. Ella te envía al supermercado a comprar manzanas. Aunque no sabes cómo hacerlo, puedes usar algo de sentido común para hacerlo.
2. Sabes cómo jugar al tenis, no debería tomar mucho tiempo recoger la calabaza.

Esto es esencialmente lo que los recursos humanos de las empresas llaman habilidades transferibles.

Regresión

1. Obtiene los datos del precio de la vivienda frente al área de la vivienda. Trazas esto en un gráfico. Ves que es casi una línea recta. Aproximadamente trazas la línea recta y ahora crees que puedes predecir el precio de la casa si alguien te dice el área.

Las máquinas lo hacen de una manera más matemática y formal.

Ahora reemplázate con una máquina y dale a la máquina algunos pasos a seguir para que pueda aprender las mismas cosas que tú. Una máquina carece del poder de pensamiento para manejar un escenario inesperado, pero no comete errores en base a lo que ha aprendido (y es más rápido que usted). Así que ahora, la máquina está aprendiendo de su entorno, y lo llamamos Machine Learning.

Digamos que tiene un problema y quiere rectificarlo con la ayuda de una máquina (los humanos somos perezosos). Entonces, lo primero que debe hacer es enseñarle a la máquina cómo resolver el problema. En términos simples, esto es aprendizaje automático. Cualquier problema que desee resolver en Machine Learning (se denominará ML de ahora en adelante) se reduce a uno de los dos subproblemas principales (a veces puede ser una mezcla) que son Clasificación o Regresión. Tratemos de entenderlos mejor.

Clasificación

Vamos a entender qué clasificación es con la ayuda de un pequeño ejercicio. ¿Cómo reconocemos usted o yo una fruta en particular, por ejemplo, una naranja o una manzana? Para este experimento, suponga que tiene los ojos vendados y que puede tocar la fruta.

¿Qué es lo primero que harías? Sostenga la fruta e intente descubrir la forma de la misma. Si no es cónico o tiene una forma aproximadamente esférica u ovalada, puede reducir muchas opciones como el plátano o la piña. Lo mejor que puede hacer es comparar el tamaño de la fruta con el tamaño de su palma. Si la fruta se ajusta exactamente a su palma, puede descartar las opciones de que sea una cereza o una uva. ¿Qué harías después? ¿Puedes obtener información usando la textura de la superficie de la fruta? Si la superficie es relativamente lisa, puede ser una manzana o una guayaba. Si es rugoso, puede ser una naranja o un aguacate. ¿Es esta información suficiente para saber si la fruta es una manzana o una naranja? No, obviamente necesitaríamos más información. Digamos que se le permite probar una pequeña porción de la fruta. Si sabe dulce, existe la posibilidad de que la fruta sea una manzana y si es agria, podría ser una naranja. Incluso esta información junto con el conocimiento pasado de la forma y la textura puede no ser suficiente a veces para diferenciarlos. Ahora, si se revela el color de la fruta, puede confirmar la fruta con cierta confianza pero, de nuevo, hay manzanas que son verdes. Finalmente, cuando veas la fruta, puedes decir con seguridad si es una manzana o una naranja o ninguna. Uno podría preguntarse, ¿por qué se le pidió que pensara en este experimento en primer lugar? ¿Serías capaz de adivinar la fruta sin toda la información que reuniste usando el tacto y el gusto? Cada experiencia le proporcionó información adicional sobre la naturaleza de la fruta. Así es como nosotros, como humanos, percibimos los objetos que nos rodean. Tratamos de comparar la nueva información obtenida ahora, con nuestras experiencias pasadas y si hay una coincidencia, tratamos de agruparlos. Si no se encuentra una coincidencia, la agregamos como un nuevo conjunto de información para futuras comparaciones. Para simplificar, así es como nuestro cerebro entiende una manzana / naranja. Estos pequeños conjuntos de las llamadas experiencias se denominan ” características ” en el lenguaje de aprendizaje automático. Estas características nos ayudan a comprender la naturaleza de la fruta (puede extenderse a otros objetos también) bajo observación. Los tipos de frutas, es decir, naranjas y manzanas, se denominan clases (2 en este caso, pero pueden ser más que eso).

Esto (manzana vs naranja) es un ejemplo simple de un problema de clasificación binaria, es decir, dado un conjunto de “características” clasifica la fruta en una de las dos clases. La siguiente pregunta es: ¿puedes hacer todo este experimento sin tener una experiencia previa de tocar o probar una naranja o una manzana (o ambas)? No es posible, ¿verdad? Si no viste o tocaste una manzana (o naranja) anteriormente en tu vida, no es posible clasificar la fruta como una manzana (o una naranja). Entonces, las experiencias previas con las frutas que tienes se vuelven muy importantes antes de pensar en la clasificación.

La rama del aprendizaje automático se basa completamente en esta premisa. Analicemos el término aprendizaje automático. Estás ayudando a la máquina a aprender algo, tal como le enseñas a un niño. ¿Como es posible? La forma más simple es dar a la máquina suficientes ejemplos (en este caso, experiencias con manzanas y naranjas) para que cuando encuentre una nueva fruta intente usar su experiencia previa para comprender si la fruta es manzana / naranja. En cierto modo, le está diciendo a la máquina que, si la fruta es roja / verde y sabe dulce, podría ser una manzana y si es amarga y anaranjada, es una naranja. Así que has desempeñado el papel de un “maestro” o un ” supervisor ” al decirle a la máquina cada vez que la experiencia particular es causada por una manzana o una naranja. Como hay un supervisor que le dice a la máquina que la experiencia corresponde a una de las clases (naranja o manzana), esto se llama Aprendizaje supervisado . A veces puede suceder que comparta sus experiencias (suave, sabe dulce, de color rojo, etc.) con la máquina, pero no proporcione ninguna información sobre la clase (naranja / manzana) de la fruta y espere que la máquina aprenda sobre su propio. Este tipo de técnica se llama aprendizaje no supervisado . Sin supervisión porque realmente no le está diciendo a la máquina qué fruta es, sino simplemente proporcionándole algunas experiencias (características).

Las experiencias que tuvo con estas frutas, que compartió con la máquina, generalmente se llaman datos de capacitación . Utilizando los datos de entrenamiento, la máquina desarrolla reglas para clasificar una nueva experiencia en una de las clases (manzana o naranja). Pero, ¿podrá la máquina diferenciar entre manzanas y naranjas si los datos de entrenamiento que se le dan solo tienen experiencias con manzanas (o naranjas pero no ambas)? No, también debería ver o sentir cómo se ve y sabe una naranja para diferenciarla de una manzana. Por lo tanto, un conjunto de datos de entrenamiento válido tendría experiencias de manzanas y naranjas. Las nuevas experiencias en las que se evalúa la máquina se denominan datos de prueba. Por lo tanto, el conjunto de datos de prueba solo tendría las características de las frutas, pero no las etiquetas. Dicho todo esto, la clasificación puede describirse en breve como, dados los datos de entrenamiento válidos, clasificar una muestra de prueba en una de las clases disponibles.

Esta parte explica qué es la clasificación. Para acortar esta respuesta, estoy dando el enlace a mi blog donde la regresión se explica de manera similar. Espero que esto haya sido útil.

PD: Esta es mi primera respuesta larga en Quora.

Seamos cortos, dulces y no quisquillosos.

Machine Learning (ML), como su nombre indica, implica permitir que las máquinas / computadoras aprendan (con el tiempo) a tomar decisiones. Cuáles son esas decisiones y cómo se toman, forman el núcleo de ML y hay muchas matemáticas sofisticadas para apoyarlo.

En general, ML se utiliza para realizar tres tipos de acciones, a saber. clasificación, agrupamiento y predicción. En la clasificación, normalmente tenemos abundantes datos ‘etiquetados’ y el alcance de nuestro espacio de decisión se conoce a priori. Por ejemplo, si un clasificador está expuesto solo a imágenes etiquetadas de gatos y perros y si se muestra una nueva imagen, la clasificará como una de la categoría, incluso si es una vaca. Sin embargo, puede ser útil en muchas situaciones en las que el dominio de las decisiones está preestablecido, por ejemplo, para la detección de fraude con tarjeta de crédito: solo desea saber si una transacción es legítima o fraudulenta.

La agrupación en clúster trata los casos en los que tiene datos pero no hay información al respecto. Imagine que se le muestran imágenes pero no están etiquetadas … así que corresponde al clasificador (o usted) formar ciertos grupos o grupos basados ​​en alguna noción de similitud. por ejemplo, entre un conjunto de imágenes puede construir grupos basados ​​en si son animales (gato, perro, vaca) o pájaros (cuervo, gorrión) u otro conjunto como herbívoro (vaca, gorrión) y carnívoro (gato, perro, cuervo) . Aquí la noción de similitud juega un papel importante, porque no sabemos de antemano lo que estamos viendo. Nuestro cerebro hace esta agrupación y agrupación de objetos todo el tiempo en función de nuestras nociones percibidas sobre las cosas y los objetos.

Finalmente, la predicción significa aprender de los datos históricos para predecir el futuro o al menos el presente. El pronóstico del tiempo, el movimiento del precio de las acciones, la tasa de rotación de clientes, etc. son algunos ejemplos.

Sin embargo, ML no es ciencia mágica o de cohetes. No existe un algoritmo de “uno para todos” como lo establecen los Teoremas de No Free Lunch. Los algoritmos de ML dependen de los datos, dependen de los parámetros y dependen del objetivo. Sin embargo, es sorprendente cuando comienzas a observar su conexión con la toma de decisiones reales de nuestra mente, que generalmente damos por sentado.

Hablaré sobre un aspecto / técnica del aprendizaje automático / minería de datos.

Permítanme comenzar con una situación ciertamente inventada. Supongamos que hay un montón de pequeñas bolas que flotan mágicamente en una habitación. (Tenga paciencia conmigo …) Nos gustaría saber si hay alguna estructura particular en las posiciones de las bolas. Por ejemplo, ¿las bolas tienden a agruparse en ciertas áreas? ¿Las bolas evitan ciertos puntos? ¿Están distribuidos uniformemente en todas partes?

Sin embargo, la habitación está completamente oscura, por lo que no podemos ver nada. Pero sí tenemos una cámara flash que nos permite tomar fotos de las bolas flotantes en la habitación.

Entonces tomamos una foto, y se ve así:
De esta foto no podemos discernir mucha estructura, si es que hay alguna, en las posiciones de las bolas. Las bolas se ven más o menos uniformemente distribuidas desde esta perspectiva. Así que intentamos movernos lateralmente y tomar otra foto desde ese nuevo punto de vista.
Las bolas aún se ven distribuidas al azar, sin patrones particulares. Intentemos tomar una foto desde un ángulo más alto.

Hmm, todavía no hay nada notable aquí. Bien, probémoslo por última vez, bajando nuestra perspectiva.
Ah-ha! Acabamos de descubrir algo interesante: parece que las bolas están ubicadas cerca del suelo o cerca del techo de la habitación, y no hay bolas ubicadas entre esos dos grupos. Para descubrir esta estructura, necesitábamos tomar una foto de la habitación desde un ángulo “bueno”. La estructura no pudo haber sido descubierta desde los ángulos “malos” anteriores.

En la situación que acabo de describir, estamos viendo puntos de datos tridimensionales: las posiciones de nuestras bolas flotantes se describen mediante una colección de 3 números (coordenada x, coordenada y y coordenada z). Pero hay problemas en los que nuestros puntos de datos se describen mediante colecciones de números mucho más grandes. Por ejemplo, un registro médico de un paciente del hospital puede constar de 500 números: fecha de nacimiento, altura, peso, presión arterial, fecha de la última visita al hospital, colesterol, etc., etc. Podemos estar interesados ​​en averiguar si estos datos apuntan ¿Tiene alguna estructura? Por ejemplo, ¿los puntos de datos de las víctimas de ataques cardíacos están agrupados de alguna manera? Si es así, si en el futuro identificamos el punto de datos de un nuevo paciente del hospital como cercano a ese grupo, entonces podemos etiquetarlo como en riesgo de sufrir un ataque cardíaco. (Nota: en realidad, probablemente no sería tan simple, por supuesto).

Los datos en este caso son difíciles o imposibles de visualizar para un humano. ¿Cómo podemos visualizar 500 dimensiones? Del mismo modo que no pudimos ver nada en el ejemplo artificial de “cuarto oscuro” anterior, tampoco podemos “ver” puntos de datos en 500 dimensiones. En mi ejemplo anterior, estábamos tomando fotografías bidimensionales de puntos de datos tridimensionales, y también podríamos tomar “fotografías” de dimensiones inferiores de 500 puntos de datos dimensionales de manera análoga.

Entonces, al tomar estas “fotografías” desde los “ángulos” apropiados, podemos encontrar estructuras y patrones en los datos que de otra manera serían difíciles de encontrar. Este es un ejemplo de lo que habla la gente cuando habla de la cuestión de “encontrar ideas” en “big data”.

Para los expertos: he intentado describir / motivar el análisis de componentes principales para laicos. Los gráficos anteriores se hicieron con matplotlib.

La minería de datos es un mundo amplio en sí mismo.

Algunos pasos básicos de la minería de datos son
1. Recolectando datos
2. Datos de limpieza
3. Análisis de datos
4. Inferencias estadísticas
5. Modelo de regresión

En la minería de datos, se extrae información útil de un conjunto de datos. Esta información se puede utilizar para la formulación de políticas, en inversiones y en varios otros campos.

Ahora doy un ejemplo para mostrar cómo nos afecta la minería de datos.
1. Ahora suponga que un organismo de investigación atmosférica realiza una investigación sobre la relación entre la contaminación y el asma. En su hallazgo, descubrieron que los pigmentos de carbono son la causa principal del asma. Por lo tanto, un gobierno puede utilizar esta investigación para elaborar políticas para controlar la contaminación del aire, especialmente los pigmentos de carbono que causan asma.

2. Ahora vea que las empresas como S&P extraen los datos del mercado de valores y realizan análisis estadísticos manteniendo otras fuerzas del mercado como la demanda, la economía y otras e invierten en consecuencia.

Hoy en día, la minería de datos se usa en todas partes en los sitios web para brindarle opciones relevantes para comprar productos o una oferta al rastrearlo con la ayuda de cookies, en motores de búsqueda y en cualquier lugar que pueda imaginar para facilitarle la vida.

Una pequeña descripción de la minería de textos. En la minería de texto, puede hacer recuperación de información, análisis léxico y muchas otras cosas.
Ejemplo para entender la minería de texto
1. Al hacer minería de texto podemos recuperar una información como asumir un texto
“John es un ingeniero de software que vive en la Vía Láctea. Trabajó para Stark Industries”
Entonces, supongamos que teníamos un sistema que realiza minería de texto (es decir, minería de datos) y hacemos una pregunta
P: ¿Dónde vive John?
El sistema da la respuesta
Respuesta: Vía Láctea

Q: donde trabaja John
Respuesta: Industrias Stark

Todos los asistentes personales como Siri, Google Now, IBM Watson y otros utilizan la minería de datos (minería de texto) para darle respuestas.

2. Mediante la minería de texto (análisis léxico) también puede encontrar la frecuencia de una palabra, reconocimiento de patrones y muchas otras cosas.

Descargo de responsabilidad: no soy un experto, pero ciertamente soy un entusiasta de estos dos campos increíbles. Así que definitivamente voy a responder esto porque me encantó cuando finalmente entendí lo que significaba Machine Learning.

Voy a explicar esto con la ayuda de una historia, una historia muy larga.

Atrás quedaron los días en que las computadoras eran máquinas ingenuas que no podían hacer nada más que seguir las instrucciones especificadas en la carta. Mire a una máquina (una computadora o un programa de computadora, por ejemplo) como un recién nacido que realmente no tiene una idea de los problemas que enfrentaría en el mundo real. Afortunadamente para él, sus padres están absolutamente encantados de guiarlo y ayudarlo en las etapas iniciales para que pueda entender cómo funciona el mundo. Están cien por ciento dedicados a este niño porque este es su primer y único hijo hasta ahora.

En resumen, los padres están listos para enseñarle y él tiene la capacidad de aprender.

El año y medio inicial, cuando el niño aprende muy poco de lo que llevaría a sus últimos años, su estilo de vida cambiaría por completo. Por ejemplo, no usará pañales después de unos años ni tomará leche de un biberón. Entonces comenzaremos a rastrear su proceso de aprendizaje, digamos desde el segundo año.

Supongamos que todos los niños tienen el mismo potencial y que la inteligencia de un niño es directamente proporcional a lo bien que los padres son capaces de enseñarlo y guiarlo. La mayor parte de la enseñanza se basaría en qué tan bien el niño observa a los padres, lo que a su vez depende de cuán interesantes y observables sean los padres.

Voy a suponer que el niño es completamente ingenuo pero tiene todo el potencial requerido para convertirse en un niño súper inteligente que crecería hasta convertirse en as de ortografía y olimpiadas de matemáticas por igual.

El niño debería comenzar a dar sus primeros pasos. Se da cuenta de que sus padres no están acostados en el piso / cama / cuna todo el día, sino que están caminando y participando en actividades. Al niño le parece más interesante que pasar todo el tiempo rodando por el suelo.

Entonces le pregunta a sus padres “Mamá, papá, ¿cómo hago esta caminata y esas cosas?”

Sus padres dicen: “Vaya, es bastante complicado. Entonces, lo que debes aprender a hacer primero es ponerte de pie”.

Él pregunta “Claro que suena fácil. Pero espera, ¿cómo hago eso?”

Dicen: “Tus piernas son capaces de soportar tu propio peso, así que intenta pararte sobre tus piernas como nosotros”.

El niño dice “Claro. Suena como un juego de niños” (¿Ves lo que hice allí?)

Los padres se sientan y deciden mirarlo después de decir todo eso. Pero espera, el niño no sabe qué es una pierna o una mano. Entonces decide probarlo todo.
Primero estira la mano, ya que son las primeras partes del cuerpo que puede ver claramente. Intenta levantarse con las manos. Él termina en una posición donde no pasa nada, ya que sus piernas yacen en el suelo.

Él piensa “Bueno, eso fue incómodo”.

Entonces decide eliminar su obstáculo inmediato. Las piernas. Intenta eliminar los obstáculos por completo y comienza a tirar de las piernas. Eso fue doloroso y ahora sus padres al ver su situación le están dando algunas palabras de sabiduría.

“No todos los recursos son inútiles. Simplemente podrían no ser inmediatamente útiles”.

Kid piensa “Eso debe ser cierto porque todavía les queda esa parte del cuerpo”.

Entonces decide eliminar temporalmente el obstáculo haciendo que sus piernas hagan lo mismo que sus manos. Él termina en una posición de cuatro patas. Durante el proceso, se da cuenta de que las piernas son más fuertes que sus manos y parecen estar más cómodos haciendo este trabajo que sus manos. Entonces toma la mejor opción de los dos y decide continuar con la tarea de ponerse de pie con las piernas. Después de algunas pruebas, allí está él, de pie como sus padres.

Una máquina o un programa es similar a este recién nacido. Es ingenuo pero tiene la capacidad de aprender y, afortunadamente, tiene un algoritmo que está absolutamente encantado de ayudarlo y está completamente dedicado a este programa / máquina porque esta es su única preocupación.

¿Pero cómo aprende una máquina? ¿Aprende como nosotros? ¿Tiene una intuición? Bueno, más o menos. Le enseñamos a ser intuitivo, pero no tanto como nosotros.

Ahora, el niño puede ponerse de pie. Todas las mañanas se despierta, termina el desayuno y se levanta. Se pone de pie hasta la hora del almuerzo y luego termina el almuerzo y se levanta de nuevo. Eso fue divertido por unos días. Luego les preguntó a sus padres si estaba listo para caminar.

Los padres dicen “¿Por qué no?”

Así que decide imitar a sus padres, ya que los ha observado caminando. Intenta poner ambos pies hacia adelante, se cae. Ahora sabe que no debe adelantar los dos pies para no sufrir lesiones. Luego trata de poner ambos pies hacia atrás, se cae. Ahora sabe que no debe poner los dos pies hacia atrás. Ahora ha aprendido a caminar.

El proceso de aprendizaje de una máquina es algo similar.

Los humanos aprendemos por asociación. Por ejemplo, cuando el niño se cayó después de poner ambos pies hacia adelante o hacia atrás o decir cuando se topa con una pared mientras camina, aprendió lo que sucede cuando hace todo esto. Entonces, cada vez que camina, todavía es capaz de poner ambos pies hacia adelante o caminar contra una pared, pero no lo hace porque dio como resultado resultados indeseables en el pasado.

Una máquina aprende por eliminación. Cada vez que una máquina se cae al poner ambos pies hacia adelante, elimina dicha acción en el futuro porque aprendió que
la acción produce resultados indeseables. Entonces, una vez que la acción ha sido eliminada, no se trata de adelantar los dos pies. La máquina aquí ha eliminado su capacidad de realizar acciones indeseables, limitando así la cantidad de opciones que tiene para elegir.

Los problemas de aprendizaje automático se clasifican en general en dos tipos:

1. Clasificación
2. Regresión

Clasificación:

Los problemas de clasificación tienen salidas binarias .

Son nuestras preguntas diarias si o no. ¿Es esta una naranja o no? ¿Debo comprar esta acción o no? ¿Este paciente tiene cáncer o no?

Considera esto. El niño ha aprendido a caminar y los padres quieren que él también aprenda otras cosas. Entonces deciden que él enseñe sobre frutas. Traen una bolsa de manzanas y otra bolsa de naranjas. Mantienen a ambos frente a él. Le dan parámetros que distinguen entre una manzana y una naranja.

Al final del proceso, el niño aprende a distinguir de la siguiente manera:

• Si la piel es lisa, es una manzana, si es natural, es una naranja.
• Las naranjas son casi redondas y las manzanas generalmente no son redondas.
• Las naranjas y las manzanas tienen un olor diferente.

Los padres están felices de que el niño haya aprendido a diferenciar entre las dos frutas. Él recibe un abrazo extra ese día y se van a trabajar. Cuando regresan a casa esa noche, lo ven jugando con un limón. Le preguntan con qué está jugando. Él dice “Mamá, papá, estoy jugando con una naranja”.

Ahora, ¿el niño está bien o mal? Técnicamente, mal. Pero para un niño cuyo conocimiento de las frutas se limita a las manzanas y las naranjas, tiene razón. Los limones están más cerca de las naranjas que las manzanas . Habría llegado a la conclusión de que es un limón basado en comparaciones con su conjunto de parámetros distintivos. Así habría sido el proceso de pensamiento:

• La piel no es lisa pero claro. Entonces esto podría ser una naranja y no una manzana.
• Esto es casi redondo. Entonces esto podría ser una naranja y no una manzana.
• Esto no huele a manzana. Pero huele a naranja.
• Esta es una naranja.

Así es como funciona un algoritmo de clasificación. La máquina tiene datos de entrada. Por ejemplo, una tabla que enumera los tamaños de los tumores y si son malignos o benignos. Entonces, cuando la máquina obtiene un nuevo tamaño que no forma parte del conjunto de datos, lo compara con la lista conocida y devuelve malignos si está más cerca de un tumor maligno o devuelve benignos.

Regresión:

Las regresiones son bastante complicadas y no son fáciles como problemas de clasificación. El niño no puede manejar el resto de su vida con solo determinar si la fruta es una manzana o una naranja.

Los padres lo llevan a una juguetería para su cumpleaños. Se le pide que elija y se pierde por las elecciones. Cuando era niño, tendrá sus propios requisitos, por lo que decide jugar con cada juguete durante 5 minutos y decide en función de qué tan brillante es el color, cuántas funciones tiene, cuánto ruido hace y parámetros similares. Entonces, si le gustó el juguete, la próxima vez comprará otro juguete más cercano a este si decide comprar uno nuevo o el mismo juguete si quiere uno más.

Esto es similar al funcionamiento de un algoritmo de regresión. Se debe diseñar un algoritmo de regresión de modo que cubra todos los parámetros necesarios. No solo uno o dos. Pero la función más cercana a todos los parámetros.

La fácil definición de Big Data, minería de datos, inteligencia empresarial y análisis

Big Data Analítica. Minería de datos. Inteligencia de Negocio. Hmmm

Pregunte a diez personas qué significan estos términos y es probable que obtenga quince respuestas diferentes. ¿Alguna vez quisiste una explicación simple de cada uno y cómo difieren (probablemente, ya que estás leyendo esto :)? Dejame explicar. (Para aquellos que desean una respuesta más detallada, consulte mi publicación reciente aquí: BI, Big Data, análisis: ¿Cuál es la diferencia? – Clear Peak)

[Los súper técnicos no siguen leyendo, lo siguiente te volverá loco].

En términos simples …

Business Intelligence (BI) es un método para comprender cómo le está yendo a una empresa al observar los datos en sus sistemas informáticos. Por ejemplo, si una empresa ejecutaba Salesforce.com: la plataforma de éxito del cliente para hacer crecer su negocio: la plataforma de éxito del cliente para hacer crecer su negocio para rastrear su actividad de ventas y SAP u Oracle para rastrear sus libros financieros, la inteligencia de negocios puede extraer los datos desde ambos sistemas en una única base de datos integrada (contenedor) y proporciona una vista simplificada de la información. Piense mirando al revés el desempeño de la compañía en múltiples sistemas en cuadros y gráficos. La tecnología se vuelve compleja pero el concepto es sencillo. Por cierto, los profesionales en Tecnología de la Información (TI) consideran que este tipo de datos están “estructurados”, que es otra forma de decir que los datos se encuentran en contenedores (de base de datos) que son fáciles de entender (bueno … al menos para nerds como yo) .

Por el contrario, Big Data es un método para comprender los patrones y comportamientos de las personas, como los clics en aplicaciones de redes sociales y sitios web corporativos (entre muchos otros). ¿Por qué una empresa querría hacer eso? Para que puedan determinar qué quieren los clientes (en función de su comportamiento) y brindarles una mejor experiencia “digital” para que puedan comprar más con el tiempo. A medida que la publicidad se traslada a las aplicaciones y a la web, esta capacidad se vuelve cada vez más importante a medida que se venden a usted y a mí. Por cierto, los profesionales en TI consideran que este tipo de datos son “no estructurados”, que es otra forma de decir que los datos se encuentran en archivos sueltos que deben recopilarse, integrarse y analizarse. Piense en tomar cientos de miles de notas escritas a mano y buscar información tiende a atravesarlas. Doloroso ¿verdad?

La minería de datos es un método para aplicar las matemáticas a grandes conjuntos de datos y encontrar tendencias útiles o interesantes. Piense en buscar “tendencias desconocidas conocidas” (tendencias que desea comprender pero que no ha resuelto) y “tendencias desconocidas desconocidas” (tendencias que no sabía buscar). La minería de datos puede ocurrir sobre los sistemas de BI y Big Data o cualquier otra base de datos ordinaria. La magia está en la capacidad de identificar cosas que suben o bajan juntas a través de conjuntos de datos que son simplemente demasiado grandes para que los humanos puedan clasificarlos. Es algo poderoso (especialmente para geeks como yo).

La analítica es un método para visualizar datos de una manera fácil de entender. Piense en un mapa de calor o diagrama de clúster. Nuestros cerebros están conectados para comprender imágenes y “los datos como una imagen” es de lo que se trata la analítica. Analytics puede ubicarse sobre los sistemas de BI y Big Data o cualquier otra base de datos ordinaria. Los análisis pueden contar historias con datos que no entenderemos de otra manera. Ahora esto es algo que todos podemos “entender”.

[ver más haciendo clic aquí]

Paso 1 : ¿Sabes cómo multiplicar dos números?
“¡Sí!”
Supongamos que una persona X no lo hace. ¿Puedes darle un proceso paso a paso para que para todos los problemas de multiplicación que tenga en el futuro, el método dé la respuesta correcta?
“¡Sí! Para multiplicar dos números, sigue los siguientes pasos …”
(Y describirán el algoritmo de multiplicación convencional).

Paso 2 : ¿Sabes cómo reconocerme?
“¡Sí!”
Supongamos que una persona X no lo hace. ¿Puede darle un proceso paso a paso para que cada vez que vea a alguien en el futuro, pueda saber si soy yo o no?
Obviamente no pueden. Si intentan describir tu rostro, no es correcto. Porque la descripción de tu cara nunca será completa, y siempre será posible construir una cara (tal vez artificial) que satisfaga esas propiedades, pero que no se parezca a ti.

Pueden identificarlo no por algún método paso a paso a prueba de tontos para hacerlo, sino porque tienen muchas de sus imágenes en su memoria a las que pueden asignar su nueva imagen. Este proceso implica incertidumbre e implica aprender de la experiencia: las personas nuevas no podrán reconocerte a menos que hayan visto tu rostro (en realidad, o en una fotografía).
El aprendizaje automático (y la inteligencia artificial en general) imita este proceso natural de aprendizaje de la experiencia para inferir en el futuro.

La mejor manera es darles ejemplos como:

Aprendizaje automático

Se puede programar una máquina para calcular dimensiones, luego se le dan muchas imágenes de gatos y perros, cada imagen se almacena por su categoría “gato” o “perro”.

Luego, la máquina guarda cada dimensión de imagen diferente y la guarda en su categoría específica, por lo que la máquina aprende cómo se ve un gato y una geometría.

Con las imágenes más especificadas que se le dan, generalmente millones de fotos, la máquina se vuelve más precisa para saber aproximadamente si una foto es para un gato o un perro en sí misma sin darle la categoría.

Minería de datos

Si tomamos los mapas de Google como ejemplo, usted se para en el mapa en la posición A, yendo a la posición F, tiene 2 caminos a la izquierda y a la derecha, la izquierda lo lleva a la posición B y a la derecha a la posición C, la máquina mira la distancia y C es más corto, toma C, desde C solo tiene una ruta que es D, entonces toma D, ahora combina la calle C y D y ambos combinados son más largos que la distancia de A a B, por lo que se detiene y vuelve a A luego se mueve a B, desde B solo hay una ruta a una posición llamada E, por lo que va de B a E, ahora combina la distancia A a B y B a E ahora A-> B-> E se compara con A -> C-> D luego la máquina encuentra que A-> C-> D es más corto, así que va al punto D y busca rutas y encuentra solo una ruta que lleva directamente al punto F donde necesitamos llegar, se mueve de D a F y ahora combina A-> C-> D-> F y encuentra que es más grande que A-> b-> E, así que va al punto E y busca rutas, la más corta que encuentra es la ruta E a F, por lo que va de E a F ahora se combina nuevamente para obtener A-> B-> E-> F, como obtuvimos a donde queremos en ambas rutas, ahora se compara por última vez y encuentra que A-> B-> E-> F es más corto que A-> C-> D-> F, por lo que lo elige y se detiene allí.

Este es un método de extracción de datos en el algoritmo de Tree, es solo una técnica para que la máquina aprenda, ya que la máquina aprendió la distancia y la mejor ruta al extraer datos, la próxima vez solo usará los datos que aprendió sin la necesidad de minarlo de nuevo.

Esos son simples ejemplos de exámenes y deberían ayudar a explicar el LD y el DM, para situaciones complejas de la vida real será más difícil explicárselo a alguien externo al tema sin alguna ayuda visual que creo que está disponible en línea.

Comencemos especificando que el análisis intelectual de datos ( Data Mining ) es un término general con muchos componentes. En pocas palabras, Data Mining es toda la variedad de métodos de análisis de datos:

• Correlación
• Agrupamiento
• Regresión
• Espectral
• Factorización
• Componente
• Discrecional
• Análisis de series temporales

Además, existen muchos métodos utilizados para modelar, clasificar y procesar datos:

• Método de árbol de decisión
• Varios tipos de redes neuronales
• Múltiples métodos de aprendizaje automático.
• Métodos de lógica difusa
• Algoritmos genéticos
• Algoritmos evolutivos, etc.

Estos métodos están destinados a descubrir patrones y plantillas ocultos dentro de los datos, que, a su vez, pueden ser desestructurados, no triviales y tienen varias anomalías y expulsiones de datos inesperadas.

Machine Learning (ML) es uno de los enfoques para la estructuración de datos y para encontrar patrones ocultos no triviales dentro de los datos. Esto se explica mejor en el siguiente ejemplo de aplicación de aprendizaje automático de la vida real .

Tenemos los datos de 10.000 ventas cerradas de apartamentos en alguna ciudad. Cada caso tiene los datos como:

1. Área total del departamento
2. Número de habitaciones
3. Número de pisos en la casa y en qué piso está el apartamento
4. Ubicación del apartamento (suburbios, áreas residenciales, etc.)
5. Disponibilidad de estacionamiento
6. Distancia a la estación de metro más cercana
7. Etc.

También sabemos el precio pagado por cada uno de estos apartamentos, después de todo. Todas las características de los apartamentos mencionados anteriormente (ubicación, distancia al metro, área total, etc.) se denominan ” características “, mientras que el precio esperado es el ” objetivo “. Nuestro objetivo es evaluar los apartamentos aún no vendidos en función del análisis de las ofertas cerradas. Los métodos de ML ayudan a comprender las conexiones entre las características y el objetivo . El proceso de construir un modelo claro y reproducible de conexiones entre las características y el objetivo (independientemente del método de ML elegido) se denomina capacitación. Una vez completada la capacitación, recibimos una especie de calculadora, que permite elegir un objetivo apropiado para cualquier conjunto de características .

Espero que mi respuesta te haya sido útil. Si tiene alguna pregunta, comuníquese conmigo a través de Linkedin o escriba directamente a través del formulario de contacto en nuestro sitio web

Analogía 1: Crecer en el mundo

Desde la infancia has estado conociendo, observando e interactuando con las personas. Su comportamiento e impresión en ti se almacena en tu cerebro. Tu cerebro se convierte en un gran centro de datos. Sigue agregando más datos a medida que conoce a nuevas personas. Pronto podrá adivinar cómo será su experiencia con la próxima persona que conozca. La persona sonríe bien, usa gafas y tiene el pelo corto. Te vuelves amigable con él porque otras personas sonrientes que usan especificaciones son buenas para ti. Entonces llega un hombre grande de 6 ‘con barba y diente roto y tú huyes de niño. Todo esto es parte de la minería de datos dentro de su cerebro.

A medida que creces, te das cuenta de que las gafas, la barba y el tamaño no son las únicas cosas que pueden decirte cómo son las personas. Empiezas a ver su posición en la sociedad y su comportamiento en situaciones nuevas. Entonces los atributos relevantes pueden cambiar. Sus algoritmos mejoran por sí mismos. Esto es aprendizaje automático.

Analogía 2: Creencia en Astrología

Esta es toda mi suposición y estoy trabajando para verificar mi creencia. Su fecha de nacimiento tiene una suma que los psíquicos, astrólogos, numerólogos llaman Número de nacimiento . Hace cientos de años, habrían notado que hay patrones en la personalidad de una persona y su número de nacimiento. Por ejemplo, las personas con el número de nacimiento X son buenas para inventar analogías extrañas pero interesantes (como esta). Las personas con el número de nacimiento X son malas en las relaciones. A medida que conocieron a más personas con el número de nacimiento X que tenían malas relaciones, esto se sumó al “apoyo” y la “confianza” de sus datos. Luego, después de conocer a una persona con el número de nacimiento X , felizmente casados ​​durante 20 años con una persona con un cierto número de nacimiento Y , hicieron una adaptación a sus reglas de predicción. Esto siguió aumentando hasta el punto en que pudieron predecir los tipos de personalidad hasta el 99% de las veces.

Entonces, esta es nuevamente una combinación de minería de datos y aprendizaje automático

Ps. Todavía no creo en la astrología.

Analogía 3: Gestión empresarial

Recopila muchos datos de los procesos de su gran tienda minorista. Cada vez que alguien realiza una compra, la computadora en el mostrador de facturación agrega un registro a su base de datos. Soy un visitante habitual en su tienda y hoy traje un bolígrafo caro y un bloc de notas. Se crean dos registros:

Ahora la primera parte es organizar los datos. Verá si hay registros como

Te desharás de ellos. Esto se llama LIMPIEZA.

Los registros en la base de datos se almacenarán en un Data Warehouse, que es una gran base de datos organizada de una manera que simplificará el proceso de encontrar buenos resultados.

Ahora realiza CLUSTERING.
Descubrirá las transacciones / las personas / los productos que están relacionados con un grupo. Por ejemplo, las personas que compran artículos de papelería en su tienda estarán en un grupo. Puede usar esta información para ver información interesante como Las personas que compran almohadillas caras compran bolígrafos baratos y no compran nada más que compra una ama de casa común.

Luego viene la CLASIFICACIÓN
Si una persona que tiene 23 años, no tiene trabajo y no gana mucho, viene a su tienda a buscar una computadora nueva, no la va a comprar.

ASOCIACIÓN MINERA
Una persona que trajo una pluma costosa de $ 100 compra principalmente algunas novelas también. Puede usar esta información para modificar su tienda para que la sección de bolígrafos esté muy alejada de la sección de novelas. La persona tendrá que recorrer un largo camino por múltiples pasillos, lo que puede hacer que compre otra cosa en el camino.

REGRESIÓN
Cuando realizó una venta de Navidad con un 20% de descuento en todos los productos para niños, tuvo una ganancia excedente de $ 50,000 en el último año. Dependiendo de los productos y sus cantidades / costos disponibles en este momento, este año puede ganar hasta $ 60,000 de ganancias incluso con una oferta de descuento del 30%.

Hay muchas cosas así. Pero ahora, cualquier persona nueva en Data Mining habrá visto lo suficiente como para estar interesado en aprender cómo funciona todo esto.

Machine Learning está diseñado para optimizar problemas que no son obvios o no se pueden resolver solo por deducción humana (o no podemos hacerlo lo suficientemente rápido como para que valga la pena el esfuerzo).

Presentamos a Zid , un robot feliz de ir-suerte-hace-solo-lo-que-permites-hacer-hacer pollo Eres el maestro de Zid y adora tu propia existencia.

Como maestro de Zid , tienes la capacidad de permitir que Zid experimente una satisfacción existencial extrema a tu lado. También tienes la posibilidad de que Zid experimente un gran remordimiento.

La felicidad humana es un problema que no se resuelve y no es obvio. Zid intentará muchas cosas para hacerte feliz. Algunos fallarán … la mayoría fallará miserablemente … pero una vez que comienza a aprender (es decir, recibe puntos de puntuación), puede comenzar a mantener una puntuación optimizada sostenida a largo plazo.

La diferencia a destacar aquí es que el Aprendizaje Automático se puede utilizar para evaluar problemas con un conjunto de datos cambiante o con objetivos objetivos cambiantes.

Tal vez el año pasado te encantaba tomar una cerveza a las 5 p.m. todos los días, pero este año prefieres que sea a las 6 p.m. Zid debe programarse con un conjunto de algoritmos que buscarán resultados óptimos y luego comenzar a realizar pruebas de límites para tratar de lograr puntajes cada vez más altos.

Un día, Zid te traerá una caca. Debe asegurarse de restar puntos para esto … y asegurarse de no reír o sonreír …

Reemplazar Zid con sitio web
Reemplazar cerveza con notificación
Reemplazarlo con usuarios
Reemplazar puntos con compromisos del usuario

“El sitio web le envía una notificación a las 5 p.m., pero la gente no lo prefiere a esta hora”.

La primera pregunta es: ¿cómo aprenden los humanos?

El aprendizaje automático está tratando de imitar el proceso de aprendizaje humano.

Los humanos aprenden tomando la información que se nos da sobre las conexiones entre los conceptos (es decir, “amarillo” y “patito de goma”, “peludo, cola larga, orejas cortas” y “gato”).

Luego viene el proceso de prueba y error, mientras tratamos de aplicar nuestro conocimiento a nuevas situaciones , y ver si nuestra aplicación está confirmada o corregida.

Con cada confirmación, aprendemos a hacer esa conexión en el futuro. Con cada corrección, aprendemos a NO hacer esa conexión en el futuro, y qué conexión hacer en su lugar.

(Puede leer sobre esto con más detalle en una guía que escribí específicamente para no expertos en tecnología sobre aprendizaje automático y búsqueda de Google).

Básicamente, las máquinas reciben conjuntos de datos (léase: información sobre conexiones entre cosas). Luego se les presentan algunos datos y se les pide que completen el resto (hacer una conexión por su cuenta, en base a datos anteriores). Luego, su conexión hecha a sí misma se confirma (fortaleciendo la capacidad de hacer esa conexión en el futuro) o se corrige (debilitando la probabilidad de que hagan esa conexión en el futuro).

Aunque todavía soy un principiante en el aprendizaje automático y solo he trabajado en esta área durante dos años hasta ahora, creo que es uno de los temas más fáciles de explicar a cualquier ser humano pero el más difícil de aplicar. La mejor manera de explicar cualquier tema de Ciencias de la Computación a una persona que no sea de Ciencias de la Computación es comenzar con “por qué” y luego ir a “qué”.

La razón principal por la que el mundo está experimentando con Machine Learning es que hay un límite de optimización en el diseño de algoritmos convencionales, lo que significa diseñar un algoritmo universal que funcione en todas partes del mundo. Con una cantidad cada vez mayor de datos, estos algoritmos solo pueden funcionar más rápido hasta cierto límite. Por ejemplo, está comprobado que una clasificación basada en comparación no puede realizarse en menos de [math] nlog (n) [/ math] time, dados los números [math] n [/ math] para la ordenación. Pero tenemos que realizar más rápido que esto. Por lo tanto, el aprendizaje automático es una forma de hacer algoritmos mucho más rápidos y eficientes al encontrar patrones en los datos. Básicamente, es un método para desarrollar algoritmos centrados en datos. Por ejemplo, el reconocimiento facial es una gran aplicación del aprendizaje automático en el que los patrones de caras se extraen y se corresponden con uno de los patrones existentes.

Sin embargo, todos sabemos que “con gran poder, vienen grandes complejidades”. El diseño de un algoritmo de aprendizaje automático es un proceso muy complejo y lento que pasa por muchas pruebas y experimentos, pero es una de esas cosas en las que cada falla lo motiva a tener éxito porque la solución tiene un impacto directo en las personas.

Ahora, uno debe preguntarse “si es tan increíble, ¿por qué no podemos verlo?”. Déjame darte algunos ejemplos increíbles de aprendizaje automático. La parte superior de la lista es la búsqueda de Google, que es probablemente el primer lugar donde se aplicó el aprendizaje automático a una escala tan grande. Cuando buscas algo, ves que la cantidad de resultados está en millones, pero solo lleva un milisegundo obtener la lista. El siguiente sería Amazon, donde hay tantos productos y sería muy desafiante si una persona busca su producto deseado. Sin embargo, el sistema de recomendación es un algoritmo de aprendizaje automático que rastrea su patrón de compra y luego recomienda lo que le gusta y mantiene esos artículos en la parte superior de su resultado de búsqueda.

Hadoop es el nuevo almacén de datos. Es la nueva fuente de datos dentro de la empresa. Hay una prima para las personas que saben lo suficiente sobre las entrañas de Hadoop para ayudar a las empresas a aprovecharlo : James Koibelus, analista de Forrest er Research.

Big Data está en todas partes y los trabajos de Big Data están en todas partes. Dejemos atrás los clichés y comencemos: un profesional de Hadoop puede ganar un salario promedio de $ 112,000 por año y en San Francisco el salario promedio puede llegar a $ 160,000. Ahora que tenemos toda su atención, permítanos profundizar en lo que queremos decir exactamente con un profesional de Hadoop y cuáles son las funciones y responsabilidades de un profesional de Hadoop.

¡La mala calidad de los datos le cuesta a las empresas estadounidenses hasta $ 600 mil millones anuales!

Primero una introducción sobre algunas habilidades generales que se esperan de los profesionales de Hadoop

• Capacidad para trabajar con grandes volúmenes de datos para derivar Business Intelligence
• Analice datos, descubra información, obtenga información y proponga estrategias basadas en datos
• Es bueno tener un conocimiento de lenguajes OOP como Java, C ++, Python
• Teorías de bases de datos, estructuras, categorías, propiedades y mejores prácticas.
• Conocimiento de instalación, configuración, mantenimiento y seguridad de Hadoop
• Una inclinación analítica de la mente y la capacidad de aprender, desaprender y volver a aprender seguramente es útil.

He escrito una serie de publicaciones en el blog para mi empresa Fliptop que explican la clasificación, la regresión logística, los árboles de decisión y el ajuste insuficiente / excesivo. Se centran en el aprendizaje automático aplicado a los datos de ventas y marketing, pero no requieren un conocimiento previo de esto, y están destinados específicamente a lectores no técnicos:

Puesto 1: Clasificación
Puesto 2: Regresión logística
Post 3: árboles de decisiones y bosques al azar
Publicación 4: Sesgo, varianza y sobreajuste

La diferencia entre la minería de datos y el aprendizaje automático se puede explicar a través de una analogía con dos equipos de arqueólogos. El primer equipo de arqueólogos enfoca su esfuerzo en eliminar escombros que se encuentran en el camino de objetos valiosos y ocultos de la vista directa. El objetivo principal del equipo es excavar el área, encontrar nuevos descubrimientos valiosos, y luego empacar sus equipos y seguir adelante. Un día después, volarán a otro destino exótico y comenzarán un nuevo proyecto sin relación con el sitio que excavaron el día anterior.

El segundo equipo de arqueólogos también se dedica a la excavación de sitios históricos, pero lo hacen utilizando una metodología diferente. Deliberadamente evitan excavar el pozo principal durante varias semanas. En ese momento, visitan otros sitios arqueológicos relevantes en la región y examinan cómo se excavaron cada sitio. Después de regresar al sitio de su propio proyecto, aplican este conocimiento para excavar pozos más pequeños que rodean el pozo principal.

Los arqueólogos luego analizan los resultados. Después de reflexionar sobre su experiencia excavando un pozo, optimizan sus esfuerzos para excavar el siguiente. Esto incluye predecir la cantidad de tiempo que lleva excavar el pozo, comprender la varianza y los patrones encontrados en el terreno local y desarrollar nuevas estrategias para mejorar la precisión de su trabajo. A partir de esta experiencia, pueden optimizar su enfoque para formar un modelo estratégico para excavar el pozo principal.

Si aún no está claro, el primer equipo se suscribe a la minería de datos y el segundo equipo al aprendizaje automático.

A nivel micro, tanto la minería de datos como el aprendizaje automático parecen similares y utilizan muchas de las mismas herramientas. Ambos equipos se ganan la vida excavando sitios históricos para descubrir artículos valiosos. Pero en la práctica, su metodología es diferente. El equipo de aprendizaje automático se centra en el autoaprendizaje, dividiendo su conjunto de datos en datos de entrenamiento y prueba, y mejorando las predicciones futuras basadas en la experiencia previa. Mientras tanto, el equipo de minería de datos se concentra en excavar el área objetivo de la manera más efectiva posible antes de pasar al siguiente trabajo de limpieza.

Digamos que la máquina es un bebé de diez meses y usted está tratando de enseñarle qué es una manzana y qué es una pera. Cada vez que encuentre una manzana, se la muestra y le dice “manzana” (él dice “bla”); cada vez que encuentras una pera, la sostienes frente a él y dices “pera” (él dice “bla”). Para desarrollar la capacidad cognitiva de nuestro bebé genio, los padres diligentes seguimos mostrándole cientos y miles de manzanas y peras con el tiempo, y un día sucede la magia, nuestro bebé Machine dice “manzana” cuando ve una manzana. Continuará cometiendo errores de vez en cuando, cuando una manzana nueva no se parece a las tradicionales que ha visto antes, pero cada vez menos se equivocará. Después de un tiempo, la máquina Baby sabrá suficientes caracteres de manzana para reconocer incluso manzanas o rodajas de manzana envejecidas. Decimos que ha sido entrenado o aprendido, ¡ahora puede hacer cosas!

La minería de datos es como la minería real pero con datos: sabe que está buscando algo, como piedras preciosas con oro, o algunas características del cliente (por ejemplo, una mujer atractiva) que es particularmente valioso para usted, pero no sabe exactamente qué son o donde se encuentran. Entonces, con un objetivo en mente, se combinan montañas de datos equipados con herramientas como modelos estadísticos u otros algoritmos avanzados, con la esperanza de encontrar el gran valor.