A2A.
Leon Palafox dio una buena respuesta. Solo agregaría que hay varios tipos de procesamiento paralelo en IA, y en particular en el aprendizaje profundo.
En el aprendizaje profundo, los parámetros de una red neuronal pueden constituir una matriz * muy * grande con millones o incluso miles de millones de elementos. Esos parámetros deben actualizarse a medida que la red “aprende”. Actualizarlos implica la multiplicación, por lo que observará algunas matrices de matriz muy grandes. Puede intentar hacerlo en una sola caja y calcular el peso de las semanas a medida que su red aprende, o puede fragmentar la matriz en muchos núcleos para acelerar el proceso.
- ¿Es el método de conjunto ampliamente utilizado en el campo de la industria? ¿En qué ocasión utilizamos el método de conjunto en el aprendizaje automático?
- ¿Cuáles son los argumentos de Jitendra Malik contra las redes neuronales?
- ¿Cómo podría ayudar el chip TrueNorth de IBM a mejorar Watson?
- ¿Se puede usar la suma de todo el conocimiento sobre Quora para la inteligencia artificial?
- ¿Cómo agrega la función de activación la no linealidad a las redes neuronales?
Si utiliza el procesamiento por lotes para hacer que las redes aprendan, puede enviar diferentes lotes a diferentes máquinas, entrenar modelos separados en esos lotes en paralelo y luego promediar los parámetros que todos los modelos han aprendido. Esto se llama paralelismo de datos.
Alternativamente, si sus ejemplos son muy grandes (digamos una imagen de todo lo que sucede en una imagen de la Tierra), puede estacionar diferentes redes en diferentes partes de la entrada y hacer que se especialicen en esa región. Eso se llama paralelismo modelo.
