¿Cómo es la integración de MapReduce con otro almacenamiento de objetos como Swift y Ceph? ¿Es integrable?

Sí. Es muy posible integrar Hadoop con otros sistemas de archivos.

Tus resultados variarán. Por ejemplo, ya hay integraciones de sistemas de archivos para S3 que probablemente harían que Swift funcione bien. La integración de S3 funciona razonablemente bien, pero la falta de coincidencia de impedancia entre Hadoop y S3 hace que el rendimiento sea un poco decepcionante.

Además, existe el sistema MapR que es Hadoop y muchos componentes del ecosistema de código abierto combinados en un paquete completamente probado con un sistema de archivos más avanzado. El uso de MapR FS conlleva una serie de ventajas significativas, ya que obtiene una operación altamente escalable y totalmente de lectura y escritura.

Es probable que Ceph se pueda usar en un nivel similar a S3. Ceph en su núcleo es un almacén de objetos y no está diseñado para funcionar en los niveles de rendimiento y escalabilidad necesarios para Hadoop. Es probable que esto genere frustración si espera que Ceph satisfaga todas las necesidades de su sistema de archivos para un clúster Hadoop. Por otro lado, dar acceso a un sistema de archivos Ceph para programas Hadoop es probablemente relativamente fácil.

Sí, es integrable pero no lo he intentado, así que permítanme decir algo básico sobre el flujo de datos y la integración de Hadoop y MySQL. Por ejemplo, en el archivado de datos, donde los datos antiguos se pueden guardar en hadoop para su posterior análisis y MYSQL basado en OLTP, donde se necesita hadoop para el análisis. Para este propósito, podemos usar Apache sqoop donde obtiene datos de MYSQL y lleva a hadoop donde puede estar la colmena Apache utilizado para almacenar estos datos, pero no es adecuado para el tiempo real. Para el aplicador hadoop en tiempo real se puede utilizar con MYSQL

More Interesting

¿Cuáles son los pros y los contras de Amazon Kinesis y Rackspace ZeroVM?

¿Cuál podría ser el problema cuando el tablero dice que no se puede establecer una conexión de punto final a keystone en el software de nube OpenStack?

Heroku + Urban Airship o Kii Cloud: ¿por qué usar PaaS sobre BaaS para aplicaciones móviles?

¿Puedo construir mi propia PC en la nube para juegos y algunas cosas de edición?

¿Qué tecnología debo usar para crear un sitio web de redes sociales que maneje el tráfico para 100 personas a la vez?

¿Qué especialización es mejor para el flujo de ingeniería: computación en la nube o análisis de big data?

¿Los documentos / fotos en la nube de Google (Drive, Docs, Photos) son tan 'míos' como los de mi disco duro, legalmente hablando?

¿Qué está familiarizado con los términos comunes que se utilizan principalmente en la computación en la nube?

¿Cuánto espacio en disco necesito para un servicio en la nube como Dropbox?

¿Google Cloud o Amazon Web Services son mejores para el reconocimiento de imágenes AI?

¿Qué es la USP de Amazon Web Services?

¿Qué hace para mantener y desarrollar una VPC de AWS?

Soy ingeniero informático y ahora, para mis maestros, tengo opciones en las principales, como desarrollador de software o informática móvil y en la nube, ¿cuál elegir?

¿Qué certificación de AWS sugeriría para un desarrollador Java / J2EE con 10 años de experiencia?

¿Cuáles son buenos ejemplos de soluciones que son buenos candidatos para la arquitectura de Micro Services?