¿Cómo comenzar con Apache Spark y dónde buscar un buen entrenamiento?

Durante el último año he usado varios recursos para aprender Apache Spark. He enumerado algunos de ellos a continuación. En ausencia de capacitación en el aula de uno de los empaquetadores establecidos de Spark (Databricks, Hortonworks, MapR, Cloudera,…
¿Qué es la ventana en Apache Flink?

Introducción a la transmisión de Windows en Apache Flink Primero, comprendamos qué significa ventana en Flink. Apache Flink es un procesador de flujo que tiene un mecanismo muy flexible para construir y evaluar ventanas sobre flujos de datos…
Con el desarrollo de marcos informáticos escalables como TensorFlow y Spark, ¿seguirán siendo relevantes los marcos de una sola máquina? NumPy podría ser solo API.

El paradigma informático de “máquina única” no ha perdido nada de su relevancia. Es por eso que las plataformas distribuidas como Spark y Storm se esfuerzan por ocultar la complejidad de distribución detrás de los dialectos de una…
Si envío una aplicación Spark en mi computadora portátil a un clúster Yarn remoto, ¿debo instalar el binario Spark en los nodos de Hadoop?

Si esos nodos remotos van a estar trabajando en términos de ejecutar su aplicación spark, entonces sí necesita instalar el binario Spark en esos nodos. La idea es que ejecute un comando de envío de chispas en su…
¿La mayoría de los algoritmos de aprendizaje automático se ejecutan en lotes, o se ejecutan cada vez que obtienen un nuevo bit de datos?

Necesitamos hacer dos distinciones aquí. En primer lugar, debemos distinguir el tipo de aprendizaje. Hay dos formas de entrenar modelos de aprendizaje automático: Aprendizaje sin conexión: el modelo se entrena una vez en datos históricos. Después de que…
¿En qué casos tengo que usar un entorno distribuido y en qué casos no?

Mi experiencia ha sido en gran medida con modelos que tratan con texto, por lo que puede que no se aplique a los modelos que toman imágenes / video como entrada ( aunque a menudo se cita a…
¿Cuál es la mejor arquitectura de chispa (big data) crees que para este caso de uso?

No sé cómo construir arquitectura para el siguiente caso de uso: Tengo una aplicación web donde los usuarios pueden cargar archivos (pdf y pptx) y directorios para procesar. Una vez completada la carga, la aplicación web coloca estos…
¿Cuál es el proceso para realizar algunos proyectos pequeños en componentes de big data?

Gracias por el A2A. Como ya se ha dicho, no hay nada que le impida descargar todos los componentes y herramientas necesarios a su alrededor. Descargue la VM de inicio rápido de Cloudera para configurar rápidamente un clúster…
¿Qué tecnologías usarías para anonimizar datos en temas de Kafka y por qué?

La anonimización debe realizarse lo más arriba posible, por lo que si pudiera, lo haría en la fuente, antes de que los datos lleguen a Kafka. Siempre un enfoque más escalable y seguro / compatible: nunca tendrá información…
¿Qué es un lago de datos en el contexto de big data?

Usuarios de Data Warehousing, Data Lakes, BI y Analytics: ¡Durante mucho tiempo, el grito de rally ha sido BI y análisis para todos! Sin embargo, un lago de datos es mucho más ágil, lo que lo hace maduro…

Supreme Topics

¿Qué impacto tendrá la reciente adquisición de Genee por parte de Microsoft en las empresas competidoras de programación de reuniones como x.ai, Clara Labs, Julie Desk y Skedool?

¿Cuál es el papel de las capas OSI cuando abrimos una página web?

¿Por qué es técnicamente difícil rastrear piratas de películas y sus ubicaciones de servidor antes de que las películas se filtren en sitios web de torrents como Pirate Bay? ¿Cómo se manejan estos problemas en diferentes países?

¿Qué es la RAM y el teclado?

Tecnología inalámbrica: ¿por qué una llamada de teléfono celular no se cae cuando se mueve de una torre a otra?

¿Cuáles serían las consecuencias si la inteligencia artificial se vuelve capaz de comprender cosas más allá de la comprensión humana?

¿Cómo empiezo a aprender o fortalecer mi conocimiento de las estructuras de datos y algoritmos?

¿La humanidad será robótica?

Cómo acceder a Facebook en mi escuela cuando está bloqueado de wifi y todos los servidores proxy también están bloqueados

¿Qué es la virtualización de E / S?

Cómo aprender algoritmos anticolisión RFID

¿Puede un gobierno central prohibir Bitcoin dentro de su territorio haciendo cumplir que todos los ISP con licencia bloqueen el puerto 8333?

¿Cuáles son los tipos y dónde utilizamos los sensores de Internet de las cosas (IoT)?

¿Cuáles son algunos buenos recursos para jóvenes profesionales y empresarias?

¿Cómo calculamos la complejidad espacio-temporal de un algoritmo?