¿Cómo puedo migrar datos del almacenamiento en la nube de Google a buckets de AWS S3?

No hay forma directa de hacerlo. Tienes tres opciones para esto:

1. Si tiene una cuenta de Google Compute Engine, cree un servidor virtual allí y puede extraer los datos de Google Cloud Storage en su servidor de Compute Engine y llevarlos al depósito S3.

2. Del mismo modo, puede iniciar una instancia EC2 en AWS y realizar la misma actividad desde allí

Para las dos opciones anteriores, necesitará el tipo correcto de permisos configurados para sus depósitos de Google Cloud Storage y AWS S3

3. Descargue algunas herramientas de terceros que se pueden instalar en su máquina local y pueden realizar la operación de descargarla a su máquina local y cargarla en S3. Pero esta opción sería mucho más lenta ya que todo se descargará primero a su sistema.

1. La forma más simple. Descargue de Google Storage y cárguelo a Amazon S3.
   Suponiendo que ya tiene cuentas con Google Cloud y AWS y el acceso para leer o escribir en ambas áreas de almacenamiento. Si solo puede transferir manualmente algunos archivos, luego descárguelos de la nube de Google a su local, inicie sesión en Amazon s3 y cargue el archivo. Sin embargo, esto puede llevar demasiado tiempo para archivos más grandes.
2. En segundo lugar, puede usar el comando gsutil cp. Necesitará una instancia EC2 en amazon y una vez que se inicie, copie el par de claves aws (archivo .pem) a su local y ssh en la instancia EC2 para ejecutar el comando gsutil cp (algo como a continuación) y copie todos los archivos de Google Cloud para s3.
   ssh “ruta del archivo de par de claves”
   gsutil cp

Te recomiendo PicBackMan. PicBackMan lo ayuda a cargar y realizar copias de seguridad de sus fotos en sus cuentas en línea de forma automática, una o más, para que sus recuerdos siempre estén seguros. Y es rápido.

Es una de nuestras herramientas que facilita múltiples servicios donde puede cargar sus fotos / videos como Flickr, SmugMug, Dropbox, Box, OneDrive, GoogleDrive, Amazon S3, YouTube.

PicBackMan ofrece ‘Migración’ mediante la cual puede transferir fotos / videos de un servicio a otro. De este modo, sus datos de Google Cloud se migrarán fácilmente a Amazon S3.

PicBackMan creará álbumes con el mismo nombre que en su Google Storage, pero debe tener en cuenta que Amazon S3 permite o mantiene solo un nombre único de Buckets. Estoy seguro de que conoce los criterios de nombre del cubo de Amazon.

-Debes descargar, instalar y registrarte en PicBackMan.

-Conecte su cuenta de Amazon S3.

-Conecte su cuenta de Google Cloud.

-Vaya a la pestaña Migrar de la aplicación PicBackMan, seleccione la cuenta de origen para migrar.

-Compruebe la casilla correspondiente a su cuenta de destino.

-Pulsar el botón Migrar.

El resto será atendido por PicBackMan. También puede ver el estado en vivo del proceso de migración.

PicBackMan también admite la función ‘Dedupe’ para que se puedan deducir la carpeta de la máquina local, así como las cuentas en línea también.

Hadoop Distcp es una buena forma de mover grandes cantidades de datos entre diferentes sistemas de archivos. Estos son los pasos que utilicé para transferir datos entre Google Cloud Storage y S3 usando distcp.

1. Creé un clúster Hadoop de 3 nodos usando Google Dataproc. Si está configurado correctamente, debería tener acceso a sus archivos GCS sin tener que agregar ninguna configuración adicional.
2. Una vez que el clúster termine de inicializarse, ingrese SSH en el nodo maestro y ejecute el siguiente comando.

  hadoop distcp \ 
   http: // gs: //  /  / \
   http: // s3a: // :  @  / 

Esto debería copiar los datos de GCS a S3.

Google o Amazon no proporcionan esta herramienta. como Himanshu Sachdeva notó que podría girar una instancia en cualquiera de las dos y transmitir por allí.

Eso es esencialmente lo que hace mi empresa. Sin embargo, todo está preconfigurado y optimizado y le ahorrará tiempo.

conozco el procedimiento pero aún no lo he completado. Simplemente intente de esta manera … .gsutil le permite realizar operaciones de cubo s3. pero las credenciales de AWS deben agregarse al archivo de configuración de bots de gsutil. pero antes de eso debe agregarse (para el cliente de Python ) después de eso, intente este código a continuación, intente enumerar los cubos de su s3 … por “gsutil ls s3: // nombre_cubeta”

  gsutil ls gs: // cubo
 gsutil rsync -d -r gs: // my-gs-bucket s3: // my-s3-bucket

Puede hacerlo usted mismo, por supuesto, descargando sus archivos en un almacenamiento local y luego cargándolos en el S3. Sin embargo, hay algunas empresas que lo hacen. Nuestro producto, Rivery, puede proporcionarle una forma suficiente de llevar datos de varias fuentes (incluidos GCS y muchas otras API, FTP y Azure Blob Storage) a su S3, y desde ellos subirlo a su Redshift, o simplemente ponerlo en tu cubo

¿Has mirado en rsync de Google Utilities?

rsync – Sincroniza el contenido de dos cubos / directorios | Documentación de almacenamiento en la nube
El | Google Cloud Platform