¿Cuál es la mejor biblioteca de aprendizaje profundo en la etapa actual para trabajar en grandes datos? ¿Cuáles son algunas alternativas para las bibliotecas a gran escala?

Un área donde el brillo TensorFlow está en la informática distribuida, y cuando comienza a trabajar con grandes conjuntos de datos, la distribución de su entrenamiento es una consideración seria.

El siguiente documento lo llevará por el camino correcto en cuanto a algunas de las consideraciones que deben tenerse en cuenta al crear un sistema distribuido optimizado para el rendimiento.

Modelos de alto rendimiento | TensorFlow

Recuerde que su sistema es tan rápido como la parte más lenta (también conocido como cuello de botella): sus nuevas GPUs solo pueden procesar datos tan rápido como su CPU puede alimentarlos, preste especial atención a su canal de entrada que a menudo se descuida.

Use Python Theano, admite entrenamiento de modelo basado en GPU y optimización automática de código en la evaluación de expresiones matemáticas
Más detalles aquí
Bienvenido – Documentación de Theano 0.6

Creo que no se trata de datos sino del propósito.

Si te gusta investigar o al menos quedarte con el framework Python, Pytorch es la mejor biblioteca. Muy rápido, flexible, fácil de depurar, bien estructurado. Es la biblioteca de mis sueños para ser franco.

Si desea implementar su modelo en una plataforma (teléfono móvil, placa, etc.) Caffe o incluso el nuevo hermano Caffe2. Está listo para implementarse con la selección de back-end automática lista para usar basada en la plataforma objetivo.

Si quieres tener todo en Python. Luego Tensorflow o Mxnet. Debo advertirle que estas bibliotecas se sienten como escribir C ++ en sintaxis de Python y tienen una curva de aprendizaje realmente empinada.

Si te gusta investigar pero en otro idioma. Opte por Mxnet, que yo sepa, la mejor biblioteca en términos de portabilidad a muchos idiomas como Scala, R, JavaScript, etc.

Pero diría que la mejor biblioteca es la que mejor conoce si no tiene una preocupación particular.

Puedes dar una plataforma distribuida de aprendizaje profundo un intento. Creo que hacen algún tipo de técnica de promedio de modelos utilizando un marco de computación distribuido.

Creo que TensorFlow y Keras son dos mejores bibliotecas para trabajar en grandes datos.

TensorFlow puede manejar datos grandes de tres maneras:

1. Es compatible con GPU y CUDA, para que pueda ejecutar el aprendizaje profundo con grandes datos de entrenamiento con un buen rendimiento.
2. admite la implementación distribuida, lo que significa que puede implementar y ejecutar TensorFlow en varios servidores host utilizando Spark.
3. Puede encontrar muchos códigos de ejemplo para TensorFlow en Internet.

Recomiendo Keras también porque es bastante más fácil escribir código que TensorFlow. Dado que Keras es un contenedor para TensorFlow, escribir código para Keras simplemente funciona en el tiempo de ejecución de TensorFlow.

Por lo general, todas las bibliotecas de aprendizaje profundo admiten capacitación basada en múltiples CPU o GPU para trabajar con grandes conjuntos de datos. Por ejemplo, Theano, Caffe, Deeplearning4j.
Vea esta evaluación comparativa de rendimiento de Caffe: http://caffe.berkeleyvision.org/ …

TensorFlow es uno; otros generalmente están hechos a medida. H20 y Darch tienen una escalabilidad bastante buena en R para el tipo de problemas que encuentro, pero probablemente no manejarían el problema de memoria para almacenar imágenes grandes. Intente buscar en Python Theano o TensorFlow, ya que esto debería resolver algunos de los problemas de memoria.

pruebe deeplearning4j: aprendizaje profundo distribuido y de código abierto para la JVM
funciona muy bien con Hadoop