Hay muchas formas de escalar las redes neuronales. El nivel de hardware es la forma común de llegar en este punto.
Sin embargo, hay trabajos para escalar estos algoritmos a dispositivos móviles utilizando la optimización de nivel de software.
Una de las formas es podar las redes neuronales. Hay muchos documentos sobre este tema. Puede ver algunos ejemplos recientes de Compresión profunda , NoiseOut, Poda inteligente en capas.
- Cómo saber cuándo usar el aprendizaje automático y cuándo no
- Cómo encontrar grupos en estos datos
- ¿Por qué necesitamos barajar entradas para el descenso de gradiente estocástico?
- ¿Cómo agrega Quora el aprendizaje automático a su aplicación web?
- ¿Cómo funciona el algoritmo de recomendación de YouTube?
Y hay investigaciones para reducir las redes neuronales mismas. En muchos campos de aplicación se ha visto que profundizar no es la forma de seguir mejorando los resultados. O la mejora obtenida no es suficiente en comparación con el costo de cálculo. Sin embargo, en retrospectiva, podría ser que no hemos encontrado una manera de profundizar con estas aplicaciones. Según la historia, sabemos que, antes de ResNet, era más difícil profundizar.
Ahora, un aspecto interesante es podar las redes neuronales a pequeña escala. Un ejemplo de tal investigación es SqueezeNet. La red es realmente pequeña en comparación con muchos modelos de última generación. Y bajo poda es más pequeño. Afirman que una red neuronal sub 0.5MB puede alcanzar la precisión de nivel AlexNet.
