Apache Spark La tecnología cambia la vida futura

¿Cómo son relevantes los proyectos como Apache Spark para la inteligencia artificial?

No lo creo. Las arquitecturas totalmente deterministas de alto rendimiento pertenecen firmemente a la informática. La IA no es determinista. Su paralelismo es asociar las respuestas a las entradas (pero no de manera exclusiva) utilizando criterios ambientales para…

¿Cuáles son los 10 mejores algoritmos de minería de datos o aprendizaje automático? En 2006, la Conferencia IEEE sobre minería de datos identificó los 10 algoritmos principales. ¿Siguen siendo válidos?

(También puede leer la versión en español de esta respuesta aquí) Identificar los 10 algoritmos principales en el resumen es un ejercicio bastante complicado a menos que haya una dimensión clara para hacer la comparación. ¿Popularidad? ¿Utilidad? Mérito…

Cómo gestionar y desarrollar un producto de big data

Puede planear usar Hadoop con herramientas poderosas adicionales como Mahout que le brindan una forma directa de construir un motor de recomendaciones. Amazon S3 sería una buena opción. Sin embargo, para sus necesidades iniciales, un buen sistema regular…

¿Cuál es la mejor tecnología para procesar big data además de Hadoop y Spark?

Debería expresar con más precisión qué piensa con el término tecnología. Cuando se refiere a Hadoop, considera un conjunto de tecnologías que abarcan el sistema de archivos, la base de datos y el software de procesamiento. En el…

¿Cuál es la mejor implementación distribuida de Word2Vec: Gensim o Spark?

Según este documento, Sistema de capacitación de Word2vec distribuido eficiente en red para vocabularios grandes, junio de 2016, no existe una implementación distribuida verdaderamente eficiente de word2vec, aunque se podría implementar en la línea descrita en el documento…

¿Cómo combinaría Apache Spark y CUDA para implementar un marco de aprendizaje profundo?

Esto es algo sencillo, así que estoy tratando de adivinar de dónde viene la pregunta, para obtener una respuesta más útil. Y en parte, supongo que viene más desde la perspectiva de Spark que desde DL o CUDA.…

Cómo fusionar archivos pequeños en Amazon S3 usando Spark

Aquí hay un ejemplo en Python que combina archivos .lzo que contienen líneas de texto. Para otros tipos de compresión, deberá cambiar el formato de entrada y el códec de salida. Tenga en cuenta que este código también…

¿Apache Spark es un buen marco para implementar Reinforcement Learning?

Spark se puede usar para el aprendizaje de refuerzo profundo y, de hecho, ya lo hemos implementado. deeplearning4j / rl4j Reinforcement Learning y DQN, aprendiendo a jugar desde píxeles Deeplearning4j se basa en Spark como una capa de…

¿Hadoop MapReduce está muerto y será reemplazado por Apache Spark?

Hola raunak goyal Si bien estoy tentado a decir Sí después de trabajar en ambos, prefiero decir que no sucederá pronto. He trabajado con un par de clientes que desean incorporar tecnologías Big Data para reemplazar sus sistemas…

¿Por qué las personas almacenan grandes datos utilizando buffers de protocolo (o equivalente)?

Contestaría su pregunta con otra: ¿cuál sería la alternativa? Para muchos casos de uso, el clúster Spark efectivamente tiene un solo “almacén de datos”, y es HDFS. HDFS no tiene ninguna funcionalidad de tipo de base de datos…