Cuando un algoritmo de árbol de decisión se enfrenta a dos atributos que producen divisiones igualmente buenas en un árbol, ¿cómo eligen uno sobre otro?

Respuesta corta:

No habrá diferencia al seleccionar atributos con el mismo IG. rpart selecciona la primera y mejor columna variable en el marco / matriz de datos. Solo si algún atributo tiene una mejor ganancia de información, se guardará; de lo contrario, se mostrará la primera columna.

CARRITO: ¿Selección del mejor predictor para dividir cuando las ganancias en la disminución de impurezas son iguales?

Otros casos

  1. Si se trata de un pequeño árbol de decisión, puede ver la ganancia de información después de la división de cada atributo (alogoritmo basado en anticipación), construir el árbol y, según su comprensión teórica de los datos, elija un atributo. De lo contrario, puede construir los dos árboles y hacer una prueba de validación.
  2. Si se trata de una clasificación de texto, el árbol de decisión verificará el orden alfabético de los atributos. Por ejemplo, si Lovely = 0.5 y Ugly = 0.5, elegirá Lovely.
  3. Como el paso 2 es costoso y generalmente usa el aprendizaje automático cuando no está seguro de la relación entre las variables, puede intentar usar otros modelos.
  4. El algoritmo se detiene cuando la división no conduce a ninguna mejora en IG para todos los nodos.