¿Cuáles son algunas de las arquitecturas de big data más complejas con análisis que conoces?

Hola,

Déjame ayudarte con esto.

Hadoop

La plataforma más importante para el análisis de big data es la plataforma de procesamiento de datos distribuidos de código abierto Hadoop (plataforma Apache), desarrollada inicialmente para funciones rutinarias como la agregación de índices de búsqueda web. Pertenece a la clase de tecnologías NoSQL (otras incluyen CouchDB y MongoDB) que han evolucionado para agregar datos de maneras únicas. Hadoop tiene el potencial de procesar cantidades extremadamente grandes de datos al asignar principalmente conjuntos de datos particionados a numerosos servidores (nodos), que resuelven individualmente diferentes partes del problema mayor y luego los integran nuevamente para el resultado final. Puede servir en los roles gemelos, ya sea como organizador de datos o como herramienta de análisis.

Colmena

Facebook ha desarrollado una arquitectura de soporte de Hadoop en tiempo de ejecución que aprovecha SQL con la plataforma Hadoop. Esta arquitectura se llama colmena; permite a los programadores de SQL desarrollar sentencias de lenguaje de consulta Hive (HQL) similares a las sentencias SQL típicas. Sin embargo, HQL está limitado en los comandos que reconoce.

Espero que esto responda a su pregunta.

Para obtener más información sobre Big Data y visualización de datos , consulte este blog:

https://goo.gl/TwZ5pt

More Interesting

¿Qué porcentaje del conocimiento humano global ya es accesible en internet? ¿Existe una medida para la cantidad de conocimiento cargado en la red mundial?

¿Puedo usar RStudio para la minería de datos donde necesito tomar un conjunto de datos de detección de intrusos? ¿Alguna sugerencia?

¿Cómo funciona un algoritmo aleatorio en general? ¿Hay algunos algoritmos de aprendizaje automático también involucrados?

¿Cuál es el mejor extractor de datos web?

¿Cuáles son algunas ideas o proyectos en Machine Learning o análisis de big data en un hackathon?

¿Existe alguna mejor práctica o técnica para modelar bases de datos / conjuntos de datos para big data y / o aprendizaje automático?

¿Cuál es la mejor tecnología para aprender entre big data, computación en la nube y aprendizaje automático, y por qué?

¿Qué antecedentes se requieren para la ciencia de datos?

¿Qué son la ciencia de datos y el aprendizaje automático?

¿Qué trabajo se da a los estudiantes de primer año en el análisis de datos?

¿Qué tan comunes son los métodos bayesianos en la industria?

¿Cómo obtengo un trabajo de análisis orientado a datos en LinkedIn u otra empresa enfocada en análisis sin muchos antecedentes en matemáticas, estadísticas o disputas de datos?

¿Qué es la ciencia electrónica?

¿Por qué proceso decide si usar R o Python (Pandas) para leer y analizar grandes conjuntos de datos con formato CSV?

¿Qué conjunto de habilidades debe poseer uno para obtener un trabajo en ciencia de datos o análisis?