¿Por qué tantos estadísticos no quieren convertirse en científicos de datos? ¿Por qué no están interesados ​​en Big Data?

Tengo que decir que muchas de las respuestas anteriores son terribles, ya que realmente pierden el punto aquí. He estado trabajando como científico de datos durante 3 años y doy un curso sobre ciencia de datos en la industria. Sin embargo, mi experiencia es pura matemática.

Dos puntos para responder a su pregunta:

1. Data Science * es * Estadísticas aplicadas. De la misma manera que las Matemáticas Aplicadas se relacionan con las Matemáticas Puras, el científico de datos tiene el objetivo principal de usar herramientas preexistentes para resolver problemas del mundo real. Hay muchos casos en los que, en un intento de resolver un problema aplicado, se crea una nueva teoría, pero este no es el objetivo principal. A algunos matemáticos no les gusta trabajar en el campo aplicado porque quieren trabajar en hacer contribuciones teóricas novedosas al campo, y no simplemente adoptar marcos preexistentes para resolver problemas que surgen en la naturaleza. Decir que las estadísticas no están interesadas en Big Data es una tontería. Big Data en sí mismo como un término es otra palabra de moda que se está lanzando: tanto para el estadístico como para el científico de datos, el objetivo es desarrollar (o usar en el caso aplicado) modelos estadísticos que infieran correctamente los resultados.
2. Por otro lado, hay un poco de mal uso y exageración centrado en el término “científico de datos”. En este momento hay una gran burbuja en la que todos quieren etiquetarse como científicos de datos, incluso si carecen de las habilidades necesarias y no conocen ninguna estadística. Un ingeniero de software que lea sobre regresión logística y bosques aleatorios podría intentar migrar a ese título sin ningún tipo de capacitación previa. ¿Imagina a alguien llamándose a sí mismo matemático que no publicó ningún artículo ni obtuvo un doctorado? La frustración es comparable.

Al final, un buen científico de datos es un buen estadístico aplicado con un kit de herramientas adicional: software / ingeniería de datos / habilidades de piratería. Sin embargo, el término se ha diluido debido a la exageración centrada en el campo tal como existe actualmente. Sin embargo, creo que a medida que se expande la investigación AI / ML, la distinción entre estadístico y científico de datos (este término puede evolucionar y volverse más granular también) será menos evidente.

Um … las estadísticas no son obsoletas.

En mi trabajo como científico de datos, los métodos estadísticos son los que funcionan para mí el 90% del tiempo. Por supuesto, ayuda si sabe que gran parte del aprendizaje automático está basado en estadísticas o puede estar motivado por medios estadísticos.

Tal vez los estadísticos con los que está hablando están un poco molestos por su no común, pero bastante incorrecta, declaración de que las estadísticas son obsoletas. Tal vez están hartos de todo el bombo en torno a la ciencia de datos, que, una vez más, es en gran medida estadístico, si se hace correctamente. Tal vez están un poco molestos porque no los toman en serio en asuntos en los que deberían tomarse en serio.

Por supuesto, algunos estadísticos prefieren el trabajo teórico. (Me encanta la teoría, pero por el bien del trabajo práctico). O trabajo que no tiene grandes datos disponibles. O realmente se preocupan por cosas que no me importan personalmente, en mi trabajo, pero que pueden ser una forma técnicamente mejor de hacer las cosas.

Mira … no hagas opiniones sobre cosas de las que no estás seguro.

Uno de mis ejemplos personales favoritos de alguien que pensaba que estaba seguro de que algo me socavaba en un contrato una vez, afirmando que mis métodos estadísticos eran obsoletos porque eran estadísticos . Menos de 3 meses después, me contrataron para limpiar el horrible desastre que su algoritmo (OLS, IIRC, pero sin prestar atención a ninguna suposición o incluso lógica) hizo en un entorno de producción.

Puede ser que sus estadísticos de muestra no sean la representación correcta de los estadísticos de población . Viniendo de un fondo de estadísticas y ciencias de la computación, estoy descubriendo que muchos estadísticos están realmente entusiasmados con los nuevos problemas que pueden resolver ahora.

También es muy importante comprender en qué área está trabajando el estadístico.

Alguien que trabaja en finanzas está dispuesto a probar técnicas de aprendizaje profundo en comparación con todos los demás métodos de pronóstico.

Si está trabajando en problemas de tipo de PNL, puede ser interesante construir modelos utilizando un bosque aleatorio o un modelo de omisión de gramo que no son estadísticas tradicionales pero que ayudan a resolver problemas.

Si el estadístico está trabajando en el área de biología computacional, el análisis de red es algo diferente. La combinación de las estadísticas con la informática aumenta el horizonte para comprender el problema y resolverlo.

La lista continúa. Es un momento emocionante para resolver un problema utilizando un enfoque basado en datos, ya sea en la academia o en la industria.

En mi opinión, las estadísticas son el conjunto principal de habilidades que buscaría en un científico de datos, pero no es el único conjunto de habilidades. Es decir, si todo lo demás es igual, cuanto más fuerte sea alguien en estadísticas, mejor sería en ciencia de datos, ingeniería de aprendizaje automático o finanzas cuantitativas. Por lo tanto, estaría de acuerdo con los otros puntos señalados en que las estadísticas ciertamente no son “obsoletas” y en realidad son un campo cada vez más valioso.

Sin embargo, definitivamente he entrevistado a doctores en estadísticas en el pasado que no encajaban bien con los roles para los que estaba contratando. En más de un caso, en realidad no eran tan buenos en estadísticas (creo que esto no tiene nada que ver con las estadísticas, pero con la forma en que funciona la academia en general en estos días: muchas personas pasan por un doctorado haciendo un trabajo duro por sus asesores y en realidad no aprenden muchos fundamentos).

Pero más concretamente, otros dos conjuntos de habilidades que son importantes para los roles de la industria que mencioné son la ingeniería de software y la experimentación . Alguien que solo puede escribir código en SAS o Stata y tiene dificultades incluso para recoger R probablemente no sea la mejor opción. Del mismo modo, algunos estadísticos teóricos tienen poco interés en trabajar realmente con conjuntos de datos reales. Muchas de estas personas permanecen en la academia o terminan uniéndose a compañías realmente grandes en roles estrechos que juegan con sus fortalezas.

La ciencia de datos implica mucho más que solo estadísticas.

Además de ser bueno en estadísticas, un científico de datos también tendrá que ser muy competente en programación . Tiene que ser minucioso con los conceptos de ingeniería de software como Sistemas Distribuidos, Algoritmo, Estructuras de Datos; Técnicas de aprendizaje automático y algoritmos; y tiene que sentirse cómodo con los lenguajes de programación, especialmente Python, R, SAS y Java. Además, también se requeriría un conocimiento práctico de las herramientas de Big Data como Hadoop, Hive y Pig.

Todos los requisitos mencionados anteriormente son conceptos básicos de informática. Requieren habilidades de codificación intensas. Por lo tanto, una persona tiene que estar devotamente interesada en la programación para ingresar a Data Science, ya que cubre la mayoría de las funciones en este campo.

Una persona que es Estadística puede no estar interesada en la Programación. Por lo tanto, es muy probable que esa persona no esté interesada en Big Data.

Yo trabajo para COSO IT . Somos consultores y formadores de Data Science, Big Data, Inteligencia Artificial, Aprendizaje automático y análisis . Después de trabajar con varios proyectos en varias tecnologías más recientes , también compartimos nuestro conocimiento a través de la capacitación en varias tecnologías más recientes. Nuestra capacitación es casi en tiempo real con desafíos reales que enfrentamos mientras trabajamos en el proyecto.

¡La mejor de las suertes!

Me dijeron personas que se llamaban a sí mismas estadísticas que lo que estaba haciendo no eran estadísticas. Sin embargo, la ciencia de datos ha inventado una serie de nuevas metodologías estadísticas, puede leer sobre la mía aquí: My Best Data Science, Machine Learning y artículos relacionados. Los míos no se superponen con las estadísticas clásicas, por lo que supongo que la falta de reconocimiento por parte de los estadísticos. Sin embargo, mi marco estadístico simple, escalable, eficiente, automatizable y unificado (datos a modelo en lugar de modelo a datos como en el enfoque clásico) ha sido adoptado por los ingenieros de software y prácticamente cualquier profesional, excepto los estadísticos.

Curiosamente, mi experiencia original fue en estadística (ver Mi viaje de ciencia de datos) pero cambié mi título a científico de datos recientemente, e incluso a científico de negocios más recientemente. Creo que se puede decir lo mismo sobre las personas en investigación de operaciones, procesamiento de señales, control de calidad, ciencias actuariales y otras: solían ser estadísticos, pero con el tiempo evolucionaron hasta el punto de que llamarse a sí mismos estadísticos ya no tenía sentido (muchos estadísticos son en realidad, bioestadísticos.) Al final del día, lo que importa no es su título (se puede cambiar en un instante) sino lo que hace y si le gusta.

Solo puedo suponer que estás siendo deliberadamente provocativo al mostrar tanta arrogancia hacia las estadísticas.

Por supuesto que no es obsoleto.

Las estadísticas son solo uno de varios elementos de la ciencia de datos. Un científico de datos puede tener una sólida comprensión de las estadísticas básicas, pero no al nivel de un estadístico puro.

Cuando se trata de interpretar datos y evaluar la validez de las hipótesis, los estadísticos son los verdaderos expertos. Esta experiencia no se está volviendo obsoleta en el corto plazo. Mientras que los científicos de datos usan un amplio conjunto de habilidades para construir productos de datos, los estadísticos usan su conocimiento especializado para comprender los datos en un nivel más profundo.

Si alguien tiene un doctorado y una amplia formación científica en estadística, obviamente significa que está interesado en la investigación teórica, que es algo completamente diferente a la ciencia de datos.

Si siempre te bañas en la crema, ¿por qué demonios necesitas la leche?

Los estadísticos NO son obsoletos. En realidad son raros.

Trabajo en el campo de Big Data y ML y confío en mí, buscamos talentos que puedan entender el gran conjunto de datos que limpiamos todos los días.

Data Science ha reducido al 80% la limpieza de datos y el 20% de generación de información (ironía de pareto).

Las máquinas en realidad no pueden entender la mierda, todavía no son conscientes, es el poder de las estadísticas lo que realmente nos ayuda a descubrir qué infieren las salidas de una máquina.

Eso genera los ingresos, no el bombo publicitario.

Entonces, nunca subestimes el poder de los estadísticos comunes …

En estos campos de trabajo es importante distinguir medios y objetivos. En el pasado, los humanos tenían que ser tanto los medios como los objetivos. Los humanos necesitaban entender, ejecutar y desafiar las estadísticas. Y también definir preguntas e hipótesis para probar e investigar. Hoy en día, la parte de ejecución está siendo asumida por las computadoras, y el campo de trabajo cambia hacia el objetivo: qué preguntas hacer, cómo desafiar los datos / información, etc. Se vuelve mucho más exploratorio y creativo y menos matemático. Sería perfectamente normal que ese cambio causara resistencia. Me imagino a estadísticos científicos acérrimos que temen perder su valor agregado. Mi respuesta a eso es: ¡abrace el futuro, sucederá, y adapte y adopte!

Podría haber un par de razones. Primero, consideremos los campos donde hay una gran necesidad de científicos de datos. Además de la academia, podríamos ver que la industria de la tecnología, el comercio minorista, el comercio electrónico, el dominio financiero, los dominios de transporte, el dominio de la atención médica, los recursos humanos, etc. tienen un requisito extenso para los científicos de datos.

Entonces, como los estadísticos e investigadores, tener solo las habilidades estadísticas necesarias o las habilidades de programación por sí solas no sería suficiente para trabajar en los dominios de la industria mencionados anteriormente.

Además de estos, la industria también busca científicos de datos con conocimientos empresariales suficientes, conocimiento específico del dominio (por ejemplo, experiencia laboral previa en finanzas, fabricación, logística, etc.) y con experiencia laboral previa, los equipos de proyectos líderes también son considerados requisitos previos importantes por parte de varias empresas.

Teniendo en cuenta solo los grandes datos, que es un ecosistema totalmente diferente, donde los estadísticos pueden necesitar trabajar más con la gestión de datos en diferentes marcos (lo que requiere habilidades técnicas completamente diferentes, como la competencia en Java, Scala, Hadoop, Spark, No SQL), en lugar de Encontrar información de los datos. (Esto podría depender, algunos estadísticos podrían estar implementando Machine Learning en estos grandes conjuntos de datos, ¡eso sería divertido!)

Entonces, desde un punto de vista estadístico puro, estos requisitos adicionales de experiencia empresarial, requisitos de habilidades pueden ser algo que tendrán que adquirir durante un período de tiempo mientras trabajan en trabajos regulares de la industria. Y para la mayoría esto puede no parecer interesante inicialmente. Pero la mayoría se une a la industria, solo para contribuir con sus habilidades actuales.

Etiquetas …

Bill está dando sentido a los resultados masivos en terapia génica en un hospital importante, pero él es solo un estadístico.

Jack está luchando con datos desordenados durante todo el día para que la gente vea más de 20 segundos. anuncios de 12 seg. anuncios, pero bueno para él, es un científico de datos.

Harry puede hacer ambas cosas con los datos de su motor de avión. Como estadístico formalmente entrenado, era un poco reacio a todas estas afirmaciones de Deep Learning. Ahora ese es el 90% de su tiempo. No importa, su esposa todavía les dice a sus amigos que él es un científico de cohetes.

Y Peter era un verdadero científico de cohetes en el MIT antes de convertirse en un analista de riesgos junior “porque el dinero era considerablemente más atractivo”.

“Estos son solo números, realmente, simplemente cambias lo que estás sumando …”

Solo uno de estos personajes es ficticio (precaución, lenguaje fuerte):

La estadística, particularmente la teoría estadística, no es obsoleta. Esa investigación sienta las bases para todas las herramientas que SE SOMBEN en big data / data science. Si todos nuestros estadísticos dejaran la teoría para la ciencia de datos, estaríamos en un montón de problemas en los próximos años, cuando será necesario desarrollar nuevos métodos y enfoques basados ​​en la investigación teórica.

Primero, las estadísticas no son obsoletas, como tampoco lo son las matemáticas o la física. La estadística es una disciplina central para cualquier científico / analista de datos.

Personalmente, no conozco un doctorado en estadísticas que denuncie explícitamente Big Data y Data Mining.

¿Pero pensar en las razones por las cuales podría ser la naturaleza no estructurada de Big Data? La mayoría de las veces es un texto, un sonido, un video, un blog, etc., algo que no tiene un modelo de datos.

Ver Leo Brieman, “” Modelado estadístico: las dos culturas “. Simplemente busca en Google.

Algunos, incluido yo mismo, consideramos que este es uno de los textos fundamentales para la minería de datos / análisis de datos, ya que ha evolucionado hasta el presente. Cuando uno tiene un choque de culturas, el mismo hecho puede tener interpretaciones radicalmente diferentes. Lea ese documento y vea por qué más estadísticos ortodoxos ven el big data / machine learning como lo hacen.

¿Dónde estoy parado? Veo Big Data, Data Science, Analytics como una rama de la lógica. Donde uno está tratando de entender una pregunta a través de técnicas matemáticas para descubrir su estructura y si puede usarse para responder una pregunta.

Hay varios conceptos erróneos en su declaración. Primero, los desafíos de Big Data hoy están en el ámbito de la ingeniería de datos, no de la ciencia. En segundo lugar, Data Science es un término moderno para las estadísticas aplicadas. El término fue acuñado a fines de la década de 1960 por el brillante John Tukey y tiene tanto futuro hoy como hace cincuenta años. En tercer lugar, el aprendizaje automático es una combinación de estadística, informática y optimización. Los estadísticos “puros”, o estadísticos matemáticos, están interesados ​​en los aspectos matemáticos de las estadísticas y están construyendo las bases sobre las cuales el aprendizaje automático, la ciencia de datos y la ingeniería de datos pueden crecer, florecer y desarrollarse.

Un contexto para estudios académicos, orientación profesional y compromisos.

Puedes ver esto de varias maneras. Pero los que se destacan incluyen interés personal, competencia, expectativa financiera y posición académica. El primero trata de su interés natural o inclinado en el campo de estudio, estadística o ciencia de datos. El primero trata de aplicaciones de probabilidad, inferencia estadística y muestreo, experimentos y aplicaciones. La estadística más teórica se ocupa de la teoría de la medida, o aplicaciones de una rama de las matemáticas. El segundo trata de su habilidad o reconocimiento por parte de sus compañeros en el mismo campo. Esto significa que pueden continuar justificadamente su trabajo, investigación o profesión en estadísticas con una recompensa, crédito o reputación en estadísticas. El tercero se refiere a los ingresos financieros, o la responsabilidad de cuidar la propia vivienda, comida y bebida, relaciones y obligaciones con la ciudad y el gobierno en general. Esto significa que deben lidiar con el trabajo práctico y los costos, impuestos o gastos que deben por sus actividades. El cuarto trata con un departamento académico, la posición en su campo y la estabilidad del campo. Esto significa que las estadísticas se ubican entre diferentes asignaturas en cualquier universidad moderna y suficientemente desarrollada. Tiene una edad de fundación, una historia en un sentido mundial, una relación de campo con otros campos, una reputación académica, áreas de aplicación académica y profesional, y asociaciones con empresas, gobiernos u organizaciones. Una estadística moderna ha mostrado valor en sus estudiantes que solicitan trabajos, es decir, estadísticos o puestos aliados. Estos aparecen notablemente en el gobierno, el cuidado de la salud, la manufactura, el personal de investigación para otras ciencias y una contribución académica en compañías con una utilización moderna de datos. Una educación estadística típica no cubre la misma profundidad ni amplitud en computadoras, redes, suficiente teoría y aplicaciones, y una instalación de programación pragmática común a todas las especialidades en informática. No invierten durante sus estudios universitarios ni de posgrado, en su plan de estudios requerido, la misma base para diseñar, implementar y hacer software en una escala de sistemas o producción.

La decisión de una persona de especialización, título, carrera y contribuciones a la sociedad.

Cualquier estudiante de estadística, licenciatura, maestría o doctorado en particular puede reconocer estos problemas como pragmáticos, sensibles y relevantes. Consideran dicho contexto con cualquier decisión académica, profesional y profesional más amplia, ya sea que esto contribuya en académicos, empresas privadas, gobiernos u organizaciones. Si deciden no a una carrera profesional, de investigación o académica en ciencia de datos, aún pueden proporcionar una contribución indirecta como científicos de datos. Pero no pueden llegar al conocimiento central, al conjunto de habilidades básicas ni a la orientación central para un campo emergente. Al final de la vida de una persona, las contribuciones a su comunidad y su posición en una sociedad más grande, obtienen la libertad de decidir su estudio, trabajo y función. Realizan su trabajo, como todos los demás empleados, en un mercado libre sujeto a un gobierno general.

Cuando el Data Scientist necesita 1,000 muestras para llegar a una conclusión, el Estadístico solo necesita 100 o menos. El aprendizaje profundo es fenomenalmente exitoso cuando tiene grandes conjuntos de datos, pero generalmente requiere decenas de miles de observaciones para despegar.

Machine Learning le permite intercambiar datos por conocimiento y experiencia en el dominio. Esto tiene mucho sentido cuando los conjuntos de datos son grandes, pero muchos de los problemas interesantes en el mundo se basan en datos pequeños: he visto problemas con solo unos cientos de observaciones, pero donde valía incluso una mejora del algoritmo del 1% 6 figuras. Todo el aprendizaje automático en el mundo no ayudará mucho, ese es el momento de revelar las estadísticas de la vieja escuela.

La ciencia de datos sin estadísticas es como la formación de hielo sin torta.

Muchos problemas interesantes involucran datos pequeños.

Big data presenta muchos problemas, principalmente porque las personas que no cuentan con la capacitación adecuada lo analizan con tanta frecuencia.

Muchas de las personas que emplean científicos de datos tienen expectativas completamente irrazonables.

Los científicos de datos a menudo se emplean en áreas que algunos estadísticos no encuentran atractivos por varias razones.

Si puedo agregar otra explicación para el desinterés de muchos estadísticos en Big Data, Machine Learning y Data Mining, incluso si no comparto su desinterés. Una gran cantidad de estadísticos trabajan en campos científicos y / o entornos experimentales en lugar de en el mundo del comercio minorista, las redes sociales, el reconocimiento de imágenes y los motores de búsqueda. Francamente, pueden sentir que los registros de ventas de Amazon de minería de datos o las conexiones de Facebook son, en el mejor de los casos, no en su campo de experiencia, en el peor de los casos, un uso trivial de sus habilidades.

También sería interesante ver si hay una diferencia de edad significativa entre los analistas que se identifican como Estadísticos y los que se identifican como Científicos de Datos. Parte de las actitudes puede ser una cuestión generacional: los estadísticos dicen a los científicos de datos que “¡Salgan de mi césped!” 🙂