¿Qué algoritmos de máquina requieren escala / normalización de datos?

Todos los algoritmos basados ​​en la distancia requieren escala. Esto incluye todos los algoritmos de ajuste de curvas (regresiones lineales / no lineales), regresión logística, KNN, SVM, redes neuronales, algoritmos de agrupamiento como el agrupamiento de k-medias, etc.

Los algoritmos que se utilizan para la factorización de la matriz, la descomposición o la reducción de la dimensionalidad como PCA, SVD, máquinas de factorización, etc. también requieren normalización.

Los algoritmos que no requieren normalización / escala son los que se basan en reglas. No se verían afectados por ninguna transformación monotónica de las variables. La escala es una transformación monotónica: el orden relativo de un valor menor a mayor en una variable se mantiene después de la escala. Ejemplos de algoritmos en esta categoría son todos los algoritmos basados ​​en árboles: CART, bosques aleatorios, árboles de decisión potenciados por gradiente, etc. Estos algoritmos utilizan reglas (series de desigualdades) y no requieren normalización.

Además, los algoritmos que se basan en distribuciones de las variables, como Naive Bayes, tampoco necesitan escalarse.