Utilizan diversas técnicas en big data y computación distribuida. Por ejemplo, consulte SparkML o Apache Heron. Además, herramientas como TensorFlow están diseñadas con la mentalidad de ejecutarse en múltiples GPU y centros de datos.
Algunos ejemplos de tales marcos / paradigmas son:
- Google MapReduce
- Chispa – chispear
- Google Cloud BigTable
- GraphLab
- VFML (Aprendizaje automático muy rápido)
- Apache SystemML
- ¿Pueden el aprendizaje automático y la inteligencia artificial ayudar al poder judicial en la toma de decisiones?
- ¿Cómo se pueden explicar, comparar y contrastar CPU, FPU y GPU?
- ¿Debo terminar una licenciatura en CS si realmente no quiero ser ingeniero de software?
- ¿Es obligatorio tener un conocimiento de la ciencia de datos antes de comenzar el aprendizaje automático?
- ¿Por qué se utilizan diferentes funciones de pérdida con diferentes algoritmos de aprendizaje automático?
Por lo que he leído en algunos artículos, estos algoritmos se ejecutan de forma incremental, lo que significa que con la llegada de un nuevo usuario a la red social, no se ejecutará todo desde cero. También hay una gran cantidad de muestras en el fondo y muchas de ellas dependen de la estimación y la aproximación, especialmente si se ejecuta en una red social donde la precisión de la sugerencia de amigos no importa tanto como una transacción en Amazon.
A continuación se puede ver un DAG de tubería para la clasificación de imágenes:
Procesamiento de flujo en tiempo real usando Apache Heron Heron
SparkML: Guía de programación de Spark ML
Curso EDX sobre aprendizaje automático distribuido con Spark Aprendizaje automático distribuido con Apache Spark
Además, puede encontrar el papel de Unicornio interesante http://db.disi.unitn.eu/pages/VL…
Aprendizaje automático de gran escala de extremo a extremo con KeystoneML
http://www.cs.nthu.edu.tw/~shwu/…
^ “Muchas de las ideas presentadas en esta tesis ya han tenido un impacto práctico como se plasma en los paquetes de software de código abierto KeystoneML y Apache Spark MLlib “.
Si está buscando un tutorial para comenzar a usar Spark + TensorFlow, este es uno bueno: Aprendizaje profundo con Apache Spark y TensorFlow
