Hay dos formas de hacerlo con los árboles de decisión, una que requiere modificaciones en el algoritmo del árbol de decisión y otra que no. Ambos se basan en el hecho de que uno de los resultados del aumento es un nuevo peso para cada instancia, con las instancias de entrenamiento que se clasificaron incorrectamente en peso y todas las demás disminuyeron en peso. Entonces, por ejemplo, podría terminar con una instancia con un peso de 1.8 y otra con un peso de 0.7.
Reponderación
En este enfoque, modifica sus criterios de ganancia de información (o índice de ganancia o coeficiente de Gini o cualquiera que sea su criterio de división favorito) para incluir los pesos de la instancia en el cálculo. Esto suele ser relativamente, ya que volver a pesar para un peso, digamos, es esencialmente lo mismo que tener w copias de la misma instancia (aunque no puede tener 1.8 copias, las matemáticas no se preocupan por copias parciales).
- ¿Qué tan 'neurales' son las redes neuronales?
- ¿Cuáles son las diferencias entre la red neuronal artificial (informática) y la red neuronal biológica?
- Como ingeniero de ASIC, ¿cómo debo prepararme para la era del aprendizaje automático?
- ¿Qué tipo de proyectos de aprendizaje automático puedo hacer? ¿Qué libros me recomiendan aprender? Estoy interesado en usar Python.
- ¿Qué son las redes adversas generativas (GAN)?
Remuestreo
Si su algoritmo es un cuadro negro, entonces muestra aleatoriamente con reemplazo basado en los pesos. Luego se introduce esto en el clasificador del árbol de decisión. Entonces, por ejemplo, la instancia con un peso de 1.8 es 1.8 / 0.7 = 2.6 veces más probable que se incluya en el conjunto de entrenamiento que le da al clasificador para construir el siguiente nivel.
En general, se prefiere volver a pesar, porque tiene una varianza más baja.
