Cómo manejar unos 8 millones de tweets (17 GB) para un paso de preprocesamiento

Supongo que Apache Solr puede serle útil. Procesamos 400GB de datos usando solr. Primero indexamos datos usando solr, después de eso para cada oración de entrada realizamos la tarea “Corrección de oración” usando estos datos indexados. Por cada pequeña oración que alcancemos alrededor de 16-20 o más en solr, obtenga la frecuencia de las palabras (ngrams) y sugerencias de solr y aplique un proceso complicado en ella. Este proceso finaliza en 2-3 segundos. El tiempo que lleva indexar 400 gb de datos es de casi 7 horas en un servidor azul con 32 GB de RAM y usando un solo fragmento en solr.

• Primero indexa los datos de tuits en solr
• Obtener tweets de solr basados ​​en la identificación de tweet
• realizar el proceso de limpieza
• Realice la indexación de los documentos que desea utilizar para LDA (Solr tiene una funcionalidad incorporada para tf / idf y cálculo de frecuencia de palabras que podrían ayudarlo además)
• Aplicar LDA
• almacenar el resultado de nuevo a solr

En solr puede crear diferentes fragmentos y distribuir el procesamiento a través de diferentes nodos, lo que puede procesar más rápido.

Dado que los datos que tiene son bastante grandes, no tanto en GB como en la cantidad de cosas que deben hacerse, le aconsejaría cambiar los engranajes a un algoritmo de computación distribuida, como el uso de Apache Hadoop o Apache Spark. Sin embargo, involucrarlos requiere escribir un algoritmo de MapReduce y conocimiento previo o Java / Python o incluso Scala en el caso de Spark. Si conoce alguno de estos, pase a estas plataformas y su tiempo total se reducirá drásticamente en función de la cantidad de nodos que utilice para funcionar.

En caso de que no conozca ninguno de estos, intente usar subprocesos múltiples. Este módulo está disponible en casi todos los lenguajes de programación. Sin embargo, para seguir adelante, es posible que deba distribuir tweets en diferentes archivos, como File1: 0-1 millones de tweets, etc. Usar un trhread definitivamente ayudaría a reducir el tiempo. Pero asegúrese de no terminar usando demasiados hilos ya que todas las operaciones sucederían simultáneamente en la RAM, y su programa mostrará un error: SIN MEMORIA.

En resumen, si conoce los algos de MapReduce, considere usar Hadoop o Spark.
De lo contrario, use el subproceso múltiple en cualquier lenguaje de programación que desee. Distribuya datos en diferentes archivos (idealmente la cantidad de hilos que va a ejecutar). Para cada uno de estos hilos, puede definir la lógica.

Código de subprocesamiento de muestra en Python

#! / usr / bin / python
hilo de importación
tiempo de importación
# Definir una función para el hilo
def print_time (threadName, delay):
cuenta = 0
mientras cuenta <5:
time.sleep (retraso)
cuenta + = 1
print “% s:% s”% (threadName, time.ctime (time.time ()))
# Crear dos hilos de la siguiente manera
intente: thread.start_new_thread (print_time, (“Thread-1”, 2,)) thread.start_new_thread (print_time, (“Thread-2”, 4,))
excepto:
imprime “Error: no se puede iniciar el hilo” mientras 1: pasa

Cuando se ejecuta el código anterior, produce el siguiente resultado:

Hilo-1: Dom 24 de mayo 1:32:19 2014 Hilo-1: Dom 24 de mayo 1:32:19 2014
Hilo-2: Dom 24 de mayo 1:32:20 2014 Hilo-1: TSun 24 de mayo 1:32:20 2014
Hilo-2: Dom 24 de mayo 1:32:21 2014 Hilo-1: Dom 24 de mayo 1:32:21 2014
Hilo-1: Dom 24 de mayo 1:32:22 2014 Hilo-2: Dom 24 de mayo 1:32:22 2014
Hilo-2: Dom 24 de mayo 1:32:22 2014 Hilo-2: Dom 24 de mayo 1:32:22 2014

¿Qué quieres lograr en última instancia? Extracción del tema?
Eche un vistazo a nuestro twistiller: Twistiller Feeds – CorticalIO Demo
cortical.io está utilizando un algoritmo independiente del lenguaje, basado en neurociencia (en lugar de estadística).
velocidad del rayo…

No soy competente en este tema, pero puedo sugerir algunas cosas. Matlab y R quizás te ayuden. Porque estas herramientas pueden manejar archivos grandes y se especializan en estadísticas y análisis.
Puede comenzar aquí Vista de tareas CRAN: Alto rendimiento y computación paralela con R

Le sugiero que alquile un servidor con 50 GB de RAM y procese sus datos o realice el aprendizaje automático con un simple script de Python.

17 GB caben en la memoria de una sola máquina y realmente no debería distribuirse.

Creo que GENSIM se adapta a tus necesidades
https://radimrehurek.com/gensim/