¿Por qué el vecino más cercano es un algoritmo ‘perezoso’?

Los algoritmos de vecino más cercano, por ejemplo, K-Nearest Neighbours (K-NN) son algoritmos muy “simples”, pero esa no es la razón por la que se los llama perezosos ;). K-NN es un estudiante perezoso porque no aprende una función discriminatoria de los datos de entrenamiento, sino que memoriza el conjunto de datos de entrenamiento. Por ejemplo, el algoritmo de regresión logística aprende los pesos del modelo durante el tiempo de entrenamiento. Por el contrario, no hay tiempo de entrenamiento en K-NN. Por otro lado, el paso de “predicción” en K-NN es relativamente costoso: cada vez que desea hacer una predicción, está buscando al vecino más cercano en todo el conjunto de entrenamiento (tenga en cuenta que hay trucos como BallTrees y KDtrees para acelerar esto un poco.

Para resumir: un estudiante ansioso tiene un modelo apropiado o un paso de entrenamiento. Un alumno perezoso no tiene una fase de entrenamiento.