¿Cuál es la mejor manera de descargar 10 TB de datos a través de Internet?

Depende un poco de cómo se almacenan los datos en el otro extremo.

Si está almacenado en varias computadoras, entonces recomiendo usar Torrent, pero si está en una sola computadora en el otro extremo, entonces recomiendo FTP.

Además, recomiendo usar un cliente FTP que pueda continuar con las transferencias. Con esa gran cantidad de datos, lo que lleva a un tiempo de transferencia bastante largo, personalmente esperaría que la conexión se cortara de vez en cuando.

Ahí es donde entra en juego la continuación de las transferencias; si se corta la conexión, simplemente reiniciará la transferencia y seleccionará “continuar transferencia” cuando la aplicación le indique qué hacer debido a un archivo duplicado.

A lo largo de los años, he movido muchos bits y las veces que FTP me ha fallado totalmente puedo contar fácilmente con los dedos de una mano, con bastante margen.

Mi cliente FTP preferido es FileZilla, que es gratuito y está disponible para la mayoría de las plataformas, y sí, definitivamente admite la reanudación de transferencias de archivos interrumpidas.

Otra cosa que recomiendo es que divida los datos en piezas de 100Mb, por ejemplo, con la aplicación zip.

Si sus datos son de texto (por ejemplo, una base de datos), el archivo zip también podría apretarlos un poco más, lo que reduce el tiempo de transferencia … pero, de nuevo, si ya son datos comprimidos, como videos o archivos de audio, no se comprimirán mucho, si acaso.

Otro enfoque sería obtener un montón de discos 1T, dividir los datos para decir fragmentos de 900Mb, transferir los datos a los discos, envolverlos con burbujas y simplemente usar un servicio de mensajería para transferirlos.

No recomendaría usar FTP porque tiene muy poca protección contra errores. He usado SFTP con bastante éxito porque la capa SSL proporciona una funcionalidad adicional de protección contra errores debido a la autenticación de los paquetes.

También recomendaría usar un servicio de optimización de transferencia de archivos como Aspers faspex On-demand, esto es rápido y confiable. ¡Pero cuesta dinero!

BitTorrent es una solución, pero no es tan óptima para las conexiones punto a punto.

Es posible que desee leer esto también: Cómo transferir grandes cantidades de datos a través de la red.

Finalmente, está Globus GridFTP como una alternativa a Aspers, pero no tengo experiencia en ello.

http://toolkit.globus.org/toolkit/data/gridftp/

Si desea mover datos rápidamente, es difícil superar el modelo de transferencia de datos en paralelo que utiliza BitTorrent. Esa siempre será mi solución para mover grandes cantidades de datos rápidamente. De ese modo, hemos alcanzado con éxito velocidades de transferencia sostenidas de 120 Gbps de host a host, incluso a largas distancias con alta latencia.