R requiere que los datos se carguen en la RAM, ¿eso no dificulta el trabajo con grandes conjuntos de datos? En caso afirmativo, ¿cómo es R tan popular entre los científicos de datos?

Sí, tienes razón en que el espacio de trabajo de R se basa en la RAM.

Digamos que tengo 8 GB de RAM, eso significa que el conjunto de datos máximo que puedo analizar en R es en realidad mucho menor que 8 GB , porque debe haber espacio adicional para los datos intermedios generados por la manipulación de datos, sin incluir el escenario donde un algoritmo ingenuo como un anidado El bucle puede hacer que la memoria se desborde fácilmente.

Por lo tanto, usar R para grandes conjuntos de datos es muy difícil. De hecho, sería muy lento o imposible. A pesar de eso, R es muy popular porque:

• Soporte sólido, con tantos paquetes que se adaptan a casi todas las necesidades. Por lo tanto, desea analizar un gráfico de la matriz de adyacencia, simplemente llame al paquete “Igraph” de la biblioteca. Trazado? Lattice, ggplot2, ggvis, etc. ¿Aprendizaje automático? Lineal, regresión logística, k-significa paquetes de agrupamiento están todos allí.
• Los sustitutos cercanos: SAS, SPSS, son muy caros.
• Rápido para análisis de datos exploratorios y prototipos prácticos de productos de datos y muchos otros usos rápidos. Por ejemplo, le interesa ver cómo se ve una pequeña pieza de un conjunto de datos de 600GB antes de usar una herramienta más poderosa para analizarlo, puede usar R para analizar las primeras 10,000 filas en ese conjunto de datos y ver qué hay allí. R es, por lo tanto, muy bueno para la exploración rápida de datos.

Cuando se trata de grandes conjuntos de datos, quizás la computación en la nube (AWS) es una mejor opción. En los centros de computación de alto rendimiento, generalmente hay grupos de computadoras que tienen enormes RAM, sin embargo, por lo general, los analistas de datos utilizan herramientas escalables como el marco Hadoop para analizarlos. Además, generalmente esas son operaciones costosas (si eres un ejército de un solo hombre, debes comprar créditos de AWS o Azure para ejecutar), por lo tanto, R se usa primero para analizar pequeños subconjuntos de esos grandes conjuntos de datos para asegurarte Las grandes operaciones no desperdician créditos.

Si está cargando un conjunto de datos muy grande (por ejemplo, más de 2 GB) en R, probablemente no esté utilizando R de la forma prevista.

El enfoque que uso para analizar grandes conjuntos de datos es a) cargar mis datos en una base de datos tradicional optimizada para grandes conjuntos de datos como mySQL o MSSQL b) realizar agregaciones y / o muestreos del gran conjunto de datos yb) cargar el extracto más pequeño en R para analizar.

Si bien es cierto que las bases de datos tradicionales necesitarán acceder al disco para realizar consultas, también tienen una gran cantidad de optimización incorporada (almacenamiento en caché, índices, etc.) que las hacen ideales para almacenar grandes bases de datos.

Toda la base de la ciencia de datos y las estadísticas en general es que tratará de sacar conclusiones sobre una población dada una muestra de datos mucho más pequeña.

Si bien eso es cierto, muchos científicos de datos tienen acceso a computadoras con una cantidad increíblemente grande de RAM. Recientemente estuve en una “competencia de datos” y nos dieron computadoras con 120 gb de RAM, lo que no está cerca de lo que algunos científicos de datos obtienen de tener un grupo de computadoras. Allí, teníamos mucha potencia informática, pero no había manera de que pudiéramos acercarnos a cargar la mitad de TB de datos dados. Incluso si pudiéramos cargar esa cantidad de datos en la memoria, la eficiencia de los algoritmos que elegimos ejecutar y qué tan rápido / cuántos núcleos tenemos que calcular serán los factores que harán que los tiempos de ejecución sean más largos.

Cuando se trata de R, el lenguaje está bien desarrollado, de código abierto y es fácil de usar, y la documentación lo convierte en un gran activo para los científicos de datos más avanzados para aquellos que todavía están aprendiendo los pormenores (como yo). Personalmente, creo que Python es una gran alternativa a R y comparte muchas similitudes en el pensamiento (como lo hace casi cualquier paquete estadístico), pero ofrece un método un poco más eficiente de manejo de datos en memoria comparado con R.

La RAM ya no es tan costosa, por lo que la cantidad que prácticamente puede poner en una estación de trabajo o servidor a menudo es suficiente. Los biólogos que generan los datos con los que trabajo utilizan instrumentos que cuestan decenas, si no cientos de miles de dólares; gastar $ 10k en una máquina con 256GB de RAM y un montón de núcleos para analizarlo es fácil de defender. Todavía no hemos necesitado más, pero podría presentar un argumento convincente para utilizar una fracción del presupuesto ligeramente mayor pero aún pequeña en algo aún más robusto.

Por supuesto, no siempre puedes lanzar hardware a los problemas. Si su análisis solo usa fragmentos de datos en ese momento, hay paquetes * que pueden mover bloques transparentemente entre la RAM y el disco según sea necesario, mientras que fingen ser una estructura de datos normal, aunque necesitan una configuración inicial.

Si tiene un patrón de acceso más aleatorio, entonces necesita repensar el método, o realmente lo necesita todo en la memoria a la vez (y luego pasar a otro idioma realmente no lo ayudaría).

* La opción obvia es ff (CRAN – Package ff),
pero creo que también es posible con HDF5 (rhdf5).

Por eso tenemos “memoria virtual”. Mi MacBook solo tiene 8G de ram, pero tiene mucho más espacio de intercambio. Ejecuto una aplicación con mucha memoria y mi editor y ella procesan los intercambian en el disco. No es eficiente, sin duda, pero puedo direccionar más datos de los que tengo memoria.