¿Cómo deberíamos acelerar el procesamiento de datos del lenguaje R?

Lo primero que debe hacer es comprender si su problema es de memoria intensiva, CPU intensiva o ambos. Esencialmente, debe analizar el algoritmo que va a utilizar y analizar si necesita memoria rápida o grande, CPU rápida o ambas. Una vez que comprenda en qué área se encuentra su problema, debe evaluar las diversas tecnologías en consecuencia.
Lo siguiente es aislar la tarea pesada y, como lo sugiere Yingkang Xie, escribir en un idioma de nivel inferior. R ofrece enlace a C con .C función C ++ con RCpp y RCpp11, Java con R Rjava.
Varios paquetes como multinúcleo, nieve, Rmpi ​​y Rhadoop, solo por nombrar algunos, lo ayudarán a abordar diferentes tipos de problemas.

1) Evite los bucles for / while, use vectorización y aplique / lapply / tapply en su lugar.
2) Computación paralela, procese los datos con múltiples núcleos o incluso múltiples máquinas.
3) Escriba las interfaces en C, pase los datos al lenguaje de programación de bajo nivel para acelerar el procesamiento de datos.

Hay otras formas de acelerar los programas de R. Una es guardar el código R como un archivo de lenguaje de marcado de modelado predictivo (PMML) y usar nuestro motor de puntuación sobre Spark para hacer predicciones basadas en el modelo. Esto permitiría calificar el modelo en un conjunto de datos mucho más grande de lo que es posible de otra manera. Esto también haría uso de un grupo de nodos y aceleraría el código R. Más detalles están disponibles en nuestro próximo artículo en Dr. Dobb’s | Cosas buenas para desarrolladores serios: herramientas de programación, código, C ++, Java, HTML5, nube, móvil, revista Testing.

La otra posibilidad es invocar el código R en un grupo de nodos Storm encapsulando cada invocación dentro de un perno Storm. Esto se puede usar como un método paralelo de datos para acelerar / escalar la ejecución del código R sobre Storm.

Estoy de acuerdo con la respuesta de Xie, hoy en día los desarrolladores de R están estudiando la programación GPU-CUDA ya que ofrecen velocidades mucho más altas en operaciones matriciales.

He escrito regresión múltiple en CUDA, actualmente está en la etapa de optimización una vez que está hecho, lanzará R-Package para el mismo. Puedes seguirlo aquí … github.com / ironmanMA

¿Has pensado en cambiar tu BLAS predeterminado (Atlas en la mayoría de los sistemas) con OpenBLAS o MKL de Intel? Proporciona aceleraciones significativas sobre operaciones grandes.