El mes pasado, ExtremeTech te reveló la verdadera escala de la pornografía en Internet. En cualquier momento, la transmisión de videos para adultos probablemente utiliza alrededor del 30% del ancho de banda total de Internet, lo que equivale a alrededor de 6 terabytes de pornografía que se consumen cada segundo . ¿Pero qué pasa con el otro 70%? Netflix, YouTube y otros sitios de video no para adultos son enormes cerdos de ancho de banda, posiblemente representando hasta el 40% del tráfico de Internet. Los archivadores digitales, como Rapidshare y Megaupload, representan alrededor del 10% del tráfico en todo el mundo. La navegación web y el correo electrónico (¡y el spam!) Son otro 15%. Y luego está la computación en la nube.
Hoy, la gran mayoría de los sitios y servicios web están alojados en la nube. Con esto quiero decir que, en lugar de empresas (como Ziff Davis / ExtremeTech) que gestionan su propio hardware, se utilizan servicios informáticos y de almacenamiento en la nube de terceros. Amazon Web Services (AWS), Microsoft Azure y Google son tres ejemplos destacados de grandes grupos de nubes, pero hay cientos de operaciones más pequeñas que varían en tamaño desde un centro de datos completo hasta unos pocos bastidores.
El poder de la nube se basa en el hecho de que puede ser forzado y forzado a realizar tareas tan dispares como una supercomputadora basada en la nube, el correo web o el simple almacenamiento de documentos. En un solo clúster en la nube, Google puede alojar y servir petabytes de videos de YouTube y almacenar todos sus correos electrónicos y documentos. Sin embargo, de todas las facetas de la nube, hoy nos vamos a centrar en el almacenamiento en la nube.
- ¿Qué es un buen instituto de capacitación en computación en la nube en Banglore?
- ¿La computación en la nube tiene ataques de inyección SQL?
- ¿Qué sectores de la industria están adoptando de forma activa (o más agresiva) el modelo de nube para la gestión de sus necesidades de TI?
- ¿Qué curso de computación en la nube tiene demanda?
- ¿Cómo se desarrollarán los eventos para Dropbox cuando Apple y Google ingresen a su espacio (es decir, el paquete de aplicaciones de iOS y Google)?
Un centro de datos de Microsoft
Si bien el almacenamiento puede no ser tan atractivo como los terabytes de RAM y miles de núcleos de CPU, es la forma más confiable de medir el tamaño de la nube, especialmente cuando tenemos en cuenta el uso del ancho de banda. A partir de la cantidad total de almacenamiento, también podemos calcular el costo del almacenamiento en la nube, y a partir de ahí, finalmente podemos averiguar por qué Google, Microsoft y Dropbox están cayendo sobre sí mismos para proporcionar servicios de almacenamiento en la nube.
Al igual que la historia porno, primero comenzaremos con algunos números teóricos y luego pasaremos a algunas figuras del mundo real (y hardware) de Backblaze, un proveedor de respaldo en la nube.
Petabytes
En su mayor parte, los números reales de las grandes empresas, como Google, Facebook, Amazon y Microsoft, son pocos y distantes. Sin embargo, si recorre la web, surgen algunas cifras aproximadas:
- Facebook, en su presentación de IPO, dijo que almacena más de 100 petabytes (PB) de medios (fotos y videos). No es poco realista decir que Facebook probablemente tenga un almacenamiento total de capacidad mucho más allá de eso, una vez que tenga en cuenta las copias de seguridad y otros datos (actualizaciones de estado, me gusta, etc.), posiblemente en el rango de 300 PB.
- Microsoft admitió recientemente que Hotmail almacena más de 100 petabytes y que SkyDrive, con “17 millones de clientes”, almacena 10 PB de datos. Al igual que Facebook, la capacidad total de Microsoft, una vez que tenemos en cuenta el resto de Azure y sus propiedades web, es probablemente más de 300 petabytes.
- Megaupload es relativamente pequeño en comparación, aparentemente almacena solo 25 petabytes.
- Amazon, en lugar de darnos una cantidad fácil y agradable de petabytes, anuncia el número total de objetos almacenados por su servicio de almacenamiento en la nube S3. A partir de abril de 2012, Amazon S3 almacenaba 905 mil millones de objetos. Si suponemos un tamaño promedio de 100 KB, eso es alrededor de 90 petabytes; si el tamaño promedio es de 1 MB, son 900 petabytes, ¡casi un exabyte!
- Dropbox, hace un año, almacenó “más de 10 petabytes” de datos. Tenía 25 millones de usuarios en ese momento y 100 millones de usuarios en la actualidad, por lo que, en igualdad de condiciones, la compañía ahora almacena alrededor de 40 PB de datos.
Para poner estas cifras en perspectiva, una computadora promedio probablemente tiene un disco duro de 500GB o 1TB, y un petabyte es 1024TB. Por lo menos, entonces, los centros de datos de Microsoft y Facebook albergan más de 100,000 discos duros. Sin construir hardware personalizado, puede comprimir 48 unidades en un gabinete de 4U. Después de tener en cuenta el equipo de red, eso significa que probablemente esté viendo alrededor de 400 discos duros por rack de 40U, o 250 racks, cada uno de los cuales ocupa alrededor de un metro cuadrado de espacio en el piso. Esto puede parecer mucho, pero cuando considera que Google, Amazon, Facebook y Microsoft implementan regularmente centros de datos con planos de más de 30,000 metros cuadrados (más de 300,000 pies cuadrados), en realidad no es tanto. En la gran escala de las cosas, se dedica mucho más espacio a los servidores (es decir, CPU) y equipos de red.
Banda ancha
En cuanto al ancho de banda, tenemos aún menos datos de los grandes. Sabemos que, a partir del año pasado, se guardaban un millón de archivos cada cinco minutos, por lo que hoy, con cuatro veces más usuarios, eso es 800,000 archivos por minuto. Amazon S3, que es significativamente más grande que Dropbox, maneja “650,000 solicitudes por segundo”.
Si suponemos que el archivo promedio almacenado en Dropbox es de 500 KB (una combinación de fotos, videos y documentos), Dropbox almacena un total de 400,000 megabytes (0.4TB) por minuto, o 6.7GB por segundo (54Gbps). No tenemos ningún dato sobre la cantidad de datos que Dropbox envía por minuto (es decir, personas que descargan archivos de su Dropbox), pero probablemente sea del orden de 10 a 20 Gbps.
Amazon S3, que se utiliza principalmente para almacenar archivos estáticos para sitios web (imágenes, hojas de estilo, videos), probablemente tenga un tamaño de archivo promedio más bajo que Dropbox. Si suponemos un tamaño promedio de 100 KB por archivo, entonces 650,000 solicitudes por segundo equivalen a un total de 61 gigabytes de datos transferidos por segundo, o 488 Gbps. Esto está muy cerca de la cifra de 800 Gbps que estimamos para un sitio porno grande, lo que equivale a alrededor del 2% del tráfico total de Internet: ¡Amazon es bastante grande!
Facebook y Microsoft, con entre 100 y 300 PB de almacenamiento cada uno, probablemente se encuentren en algún lugar entre Dropbox y Amazon en términos de uso de ancho de banda, tal vez 200 Gbps por pieza.
