Descargo de responsabilidad: soy gerente de producto para los servicios de Amazon Kinesis: Streams, Firehose y Analytics.
Una combinación de los servicios de Kinesis funcionaría mejor para su caso de uso.
Kinesis Streams proporciona una forma de ingerir datos de transmisión en AWS. Puede escribir aplicaciones de consumo para leer del flujo de datos y transformar o procesar sus datos en tiempo real. En su caso, puede PONER sus registros CSV en un Kinesis Stream (por ejemplo, rawInputStream; o tener un flujo diferente para cada uno de sus formatos CSV: su llamada) y escribir su aplicación de consumidor para ejecutar las transformaciones requeridas. Después de la transformación, PONGA sus registros recién transformados en un nuevo Kinesis Stream (digamos, transformado Stream) desde la misma aplicación de consumidor. En este punto, transformstream tendría los registros transformados en un formato consistente, listo para el análisis.
- Mi empresa maneja muchos datos confidenciales. ¿Cuál es el proveedor de alojamiento de datos en la nube más seguro que debo usar?
- ¿Cuáles son las tecnologías habilitadoras para Cloud Computing?
- ¿Cómo la popular adaptación de tabletas y teléfonos inteligentes condujo a la computación en la nube?
- Cómo recibir datos de la nube usando Arduino
- Cómo asignar un nombre de dominio (no registrado con Route 53) a una instancia de AWS EC2
Kinesis Analytics determina automáticamente el esquema de transmisión de datos y lo pone a disposición para su análisis mediante SQL. Puede usar transformerstream como entrada para su aplicación Kinesis Analytics y escribir código SQL para su análisis en tiempo real. Los resultados de SQL se pueden transmitir a un nuevo Kinesis Stream o un Kinesis Firehose. Kinesis Firehose permite persistir la transmisión de datos en S3, Redshift o Elasticsearch para un análisis posterior según sea necesario.
Espero que esto ayude.
