¿Cómo se puede usar MapReduce en problemas de optimización?

No usaría mapreduce para esto, hay demasiados cálculos de ida y vuelta que no son adecuados para mapreduce. Para big data, usaría el descenso de gradiente estocástico y lo haría en línea o si tuviera que calcular su gradiente en un lote, hacerlo con un servicio RPC con cada máquina calculando el gradiente para un pequeño subconjunto. Después de haberlo hecho muchas veces, diría que he tenido mejores resultados con el enfoque de aprendizaje en línea.
Si * tiene * que usar mapreduce, puede alimentar sus datos con el mapeador y luego realizar el aprendizaje en línea en un solo reductor.

Mapreduce framework desafortunadamente se desempeña muy mal en tareas de procesamiento iterativo como el procesamiento de gráficos. El problema clave es que la reducción de mapas opera en la localidad de datos pero está diseñada para la comunicación más baja entre nodos, la mayoría de los algoritmos iterativos se resuelven mucho mejor en el algoritmo BSP en lugar de la reducción de mapas. Los algoritmos BSP se procesan mucho mejor al aprovechar sistemas como neo4j a pequeña escala o Giraph & Hama a gran escala.
El mapa de razones clave reduce las fallas, ya que hace que los datos se materialicen y almacenen en cada iteración, y cada información almacenada se replica en las máquinas, lo que causa un disco y una E / S de red de gran tamaño en cada iteración. Un nuevo participante en este espacio que evita estos problemas específicos es Spark. Este sistema evita ambos problemas al fusionar iteraciones y materializar datos solo cuando es necesario. También almacena y retiene datos en la memoria, lo que permite un procesamiento iterativo más rápido.
Hemos creado varios prototipos en torno al aprendizaje automático en Spark para una iteración más rápida y flexible usando Scala y Java.