Asumo aquí que sabes lo que es la cuantización. Según wikipedia: “La cuantización , en matemáticas y procesamiento de señales digitales, es el proceso de mapear un gran conjunto de valores de entrada a un conjunto más pequeño (contable)”.
Ahora, si desea asignar el número de valores a los valores de salida x, utilizará un cuantificador [math] \ lceil {\ log_2 x} \ rceil [/ math].
Entonces, básicamente un cuantificador de 1 bit mapeará el conjunto de entrada en 2 valores. Como un solo bit puede usarse para representar 2 clases, por lo tanto, el proceso se llamará cuantización de 1 bit.
- ¿Dónde se usa una máquina de desbarbado?
- ¿Cuán realista es la película El vendedor ambulante?
- ¿Qué técnicas de compresión de datos se pueden usar para publicar más de 127 caracteres en Twitter?
- ¿Cómo debo elegir una pista de informática?
- Voy a seguir un CSE en la universidad ahora. Estoy obteniendo un MacBook Pro para Rs 60k (descuento para estudiantes, originalmente 79k), ¿debería hacerlo? ¿Tengo una mejor opción que esta?
¿Cómo es relevante en el entrenamiento de redes neuronales?
Se muestra que la cuantificación de 1 bit puede reducir el requisito de ancho de banda para el intercambio de datos en paralelismo de datos sin afectar mucho la precisión. Obviamente habrá una reducción en la precisión, pero la mejora del rendimiento general sería significativa.
Referencia: Descenso de gradiente estocástico de 1 bit y aplicación a la formación distribuida en paralelo de datos de DNN de voz – Microsoft Research
