Big data a un nivel muy alto solo juega con muchos datos (> 5 Gb) con algunos softwares realmente geniales como Apache Storm, Hadoop, SAP, etc. Como digamos que desea analizar la cantidad de teléfonos exportados desde China para un año fiscal dado.
Ahora la nube es solo otro término elegante (desde la perspectiva del usuario) para un servidor remoto en el que puede instalar un sistema operativo como Windows / Linux y ejecutar algoritmos con los softwares mencionados anteriormente en sus datos.
Entonces, la única diferencia que hace la nube es la escala. Básicamente dice: oye, tu tarea es demasiado lenta para ejecutarse en una máquina grande, déjame darte otra por algún tiempo para que puedas calcular más rápido. Y puede continuar agregando estas máquinas, es decir, escalar horizontalmente su sistema en función de sus requisitos de carga de trabajo.
- ¿Por qué los servidores dedicados son más costosos que los de la nube?
- ¿Podemos hacer Amazon VPC como nube privada?
- ¿Cuál es la mejor plataforma de gestión de la nube de código abierto?
- ¿Por qué DigitalOcean está tan ansioso por brindar sus servicios de forma casi gratuita?
- ¿Puedo construir mi propia PC en la nube para juegos y algunas cosas de edición?
Lo mismo vale para el almacenamiento. Puede almacenar cantidades virtualmente ilimitadas de datos en lugares como AWS S3 o Google Storage. Pero debe tenerse en cuenta que este no es el almacenamiento local con el que está trabajando, es un tipo de almacenamiento en red, aunque AWS tiene una nueva característica que también le permite escalar su almacenamiento local. Es una oferta un poco costosa, pero no obstante.
Entonces, el secreto está fuera, no existe una gran diferencia en la ejecución de softwares de grandes datos en su sistema local o en la nube, a excepción de la escala de los recursos informáticos.
Ahora, lo que dije anteriormente es la forma convencional de usar la nube. Pero si está dispuesto a desembolsar más efectivo, siempre hay una salida más fácil. Se llama Software as a Service (SaaS) y en este caso AWS proporciona un servicio llamado AWS EMR y AWS spark. Están especialmente diseñados para el análisis de Big data. Estaba teniendo una conversación con uno de los ingenieros de Amazon y dijo que estos servicios son capaces de manejar datos en tiempo real a velocidades de 1 Mbps desde un solo nodo. Entonces son realmente muy poderosos.
