¿Qué aspecto de los algoritmos de las redes de aprendizaje profundo requieren GPU además de, o en lugar de, CPU, y por qué?

Si bien las GPU funcionan a frecuencias más bajas, por lo que no pueden realizar una tarea específica tan rápido como las CPU modernas, generalmente tienen muchas veces la cantidad de núcleos. Por lo tanto, podemos usarlos para tareas paralelas.
Casi todas las tareas realizadas en el proceso de capacitación y decodificación son operaciones matriciales. Multiplicar una matriz mxn (la matriz de peso) con una matriz nxb (vector de entrada como un mini lote) puede dividirse en m * b tareas separadas que pueden ser paralelas. Cuando tienes matrices grandes, esta aceleración se vuelve muy significativa. Otras compañías como NVIDIA han escrito algoritmos muy eficientes para el hardware que puede usar para estas aplicaciones (como la biblioteca cuBLAS).
Sin embargo, escribir sus propias funciones no es demasiado difícil y siempre es interesante escribir, ya que necesita pensar en cómo ejecutar estos trabajos en paralelo. Te daré un ejemplo de una función bastante simple. Supongamos que está tratando de implementar una capa LSTM, que tiene compuertas que se multiplican por elementos con “propuestas” para controlar el flujo de información. Cuando ahora multiplica por elementos dos matrices mxn desea ejecutar la misma llamada “función de núcleo” m * n veces. Estas funciones se envían a un cierto número de ‘bloques’ que tienen un cierto número de ‘hilos’.
En CUDA, esta función podría verse así:

__global__ void Kern_MulMatrix (float * lhPtr, float * rhPtr, int segLen, float * resPtr) {

int pos;
pos = (blockIdx.x * blockDim.x) + threadIdx.x;
if (pos resPtr [pos] = lhPtr [pos] * rhPtr [pos];
}
}

lhPtr apunta a la matriz que es la primera matriz y rhPtr apunta a la segunda matriz. segLen es igual a m * n.
“(BlockIdx.x * blockDim.x) + threadIdx.x” le da a cada núcleo ejecutado una ID diferente que comienza con 0.

Una GPU es bastante buena para Deep Learning, lo que le permite operar a su velocidad máxima donde los algoritmos normales podrían funcionar mucho mejor en una CPU.

Elementos de arquitectura específicos que tiene una GPU y se utiliza con el aprendizaje profundo:

1. El ancho de banda de memoria de una GPU. Las GPU de gama alta tienen cientos de GB / s de ancho de banda de memoria externa donde una CPU tendrá decenas de GB / s.
2. Longitud de un vector de cálculo. Típicamente, cualquier unidad de cómputo maneja 32 flotadores / reloj en una Gpu donde una CPU puede hacer 8 (usando AVX). Las últimas tarjetas de Nvidia incluso pueden hacer 64 medios flotadores por reloj.
3. La cantidad de unidades de cálculo. Decenas para GPU de gama alta, y normalmente 4 para una computadora de escritorio i7.
4. Bibliotecas altamente optimizadas. NVidia hizo un gran trabajo al proporcionar muy buenas bibliotecas de Deep Learning.
5. Soporte Hyper Threading. Por lo general, se programan muchos más subprocesos en paralelo para ocultar las latencias (de memoria), donde un i7 solo admite dos hiperprocesos.

Entonces, en total, esto le da una gran ventaja a las GPU para el aprendizaje profundo.

Tenga en cuenta que no puede comparar directamente un núcleo de CPU con un núcleo Cuda, por lo que una GPU no es 1000 veces más rápida como podría indicar una comparación ingenua.

Las GPGPU son más capaces de realizar operaciones en matrices y vectores (que contienen números de coma flotante). Además, las GPU están optimizadas para un mayor rendimiento en lugar de latencia.

Las redes neuronales (y algunos otros algoritmos de aprendizaje automático) se pueden representar como gráficos computacionales (esto lo hacen bibliotecas como CUDA, Theano, TensorFlow, etc.) y, por lo tanto, se pueden identificar rutas independientes que se pueden ejecutar en paralelo.

Por lo tanto, las GPU definitivamente son computacionalmente más potentes para las tareas de Deep Learning.

Porque las CPU son increíblemente lentas en comparación con las GPU.

El Titan X (~ 6600 GFLOPS) es 17 veces más rápido que el i7-5960x (~ 380 GFLOPS) para cálculos de punto flotante de precisión simple. Hay tarjetas Quadro con proporciones similares para doble precisión. El único problema es que las GPU requieren un algoritmo altamente paralelo para aprovechar la velocidad.

Además, el Titan X solo usa aproximadamente el doble de potencia que un 5960x, lo que significa que tiene un rendimiento ~ 8x mejor por vatio.

Verá, los algoritmos de aprendizaje profundo no requieren el uso de una GPU, permiten el uso de uno.

Creo que es porque la red de aprendizaje consta de muchas operaciones matriciales y las GPU están diseñadas para realizarlas. (porque los cálculos gráficos también consisten en operaciones matriciales).

Las CPU normales se crean para realizar operaciones aritméticas lógicas o básicas y cada operación de matriz debe “traducirse” a operaciones simples para calcularla en la CPU, que es más lenta en comparación con la computación acelerada por hardware en la GPU

Las redes neuronales son inherentemente muy paralelas. Por lo tanto, las GPU son una opción natural para acelerarlas.

Una CPU seguirá funcionando, pero cuando comienzas a usar redes cada vez más grandes, se vuelve bastante lenta.

Respuesta simple,

La CPU es bazuca, mata una tarea Muy rápido

Gpu es ametralladora, mata muchas tareas rápido

La red neuronal tiene muchos pesos para actualizar en lugar de uno solo

Entonces, la respuesta de cuál es la mejor ahora depende de usted 😀