¿Cuándo debe usarse el bosque aleatorio sobre la regresión logística para la clasificación y viceversa?

Si sus datos son linealmente separables, vaya con regresión logística. Sin embargo, en el mundo real, los datos rara vez son linealmente separables. La mayoría de las veces los datos serían un desastre desordenado.

En tales escenarios, los árboles de decisión encajarían mejor, ya que DT es esencialmente un clasificador no lineal. Como DT es propenso a un ajuste excesivo, los bosques aleatorios se utilizan en la práctica para generalizar mejor el ajuste. RF proporciona un buen equilibrio entre precisión y sobreajuste.

Como tal, en resumen, debe usar RF cuando sus datos demuestren relaciones no lineales. Para relaciones lineales, SVM o clasificadores logísticos serían suficientes.

• Si su problema / datos son linealmente separables, primero intente la regresión logística. Si no lo sabe, comience con la regresión logística porque esa será su línea de base, seguida de un clasificador no lineal, como un bosque aleatorio. No olvide ajustar los parámetros de regresión logística / bosque aleatorio para maximizar su rendimiento en sus datos.
• Si sus datos son categóricos, entonces el bosque aleatorio debería ser su primera opción; sin embargo, la regresión logística puede tratarse con datos categóricos [1].
• Si desea resultados fáciles de entender, la regresión logística es una mejor opción porque conduce a una interpretación simple de las variables explicativas.
• Si la velocidad es su criterio, entonces la regresión logística debería ser su elección [2].
• Si sus datos no están equilibrados, entonces el bosque aleatorio puede ser una mejor opción [3].
• Si el número de objetos de datos es menor que el número de características, no se debe utilizar la regresión logística [4].
• Por último, como se señala en este documento, ya sea en el bosque aleatorio o en la regresión logística, “los modelos parecen funcionar de manera similar en todos los conjuntos de datos con un rendimiento más influenciado por la elección del conjunto de datos en lugar de la selección del modelo ” [5].

Notas al pie

[1] Cómo lidiar con variables categóricas no binarias en regresión logística (SPSS)

[2] https://arxiv.org/ftp/arxiv/pape …

[3] http: //davidsiroky.faculty.asu.e …

[4] https://www.ncbi.nlm.nih.gov/pmc …

[5] http://www.diva-portal.org/smash …

La regresión logística debe usarse con más frecuencia cuando tiene clases separables limpia y linealmente. Eso es lo que busca la regresión logística en los datos: una separación lineal de clases a lo largo de las variables dadas.

Obviamente, esto se vuelve más difícil cuando agrega más variables a la mezcla, lo que significa que la regresión logística funciona peor en condiciones de alta dimensionalidad. Eso significa que normalmente pasarías a un bosque aleatorio si tienes muchas variables.

Pero los dos tienen un rendimiento comparable, a veces, y realmente depende del conjunto de datos. Como ejercicio, debe probar ambos (ya que, a decir verdad, el código para ambos es realmente básico) y evaluar el resultado para descubrir por qué uno es mejor que el otro.

Siempre que no necesite un modelo interpretable o tenga más predictores que observaciones (aunque sugeriría una regresión potenciada con aprendices base lineales en lugar de una regresión logística o una técnica basada en topología / geometría). Vea mi artículo reciente sobre esto para obtener más detalles sobre el problema: Farrelly, CM (2017). Topología y Geometría en Machine Learning para Regresión Logística.

Cuando sus variables independientes (características) son categóricas, el bosque aleatorio tiende a funcionar mejor que la regresión logística. Con variables continuas, la regresión logística suele ser mejor. Dicho esto, todo depende de los detalles del problema que se está resolviendo.

Si bien muchas selecciones de modelos dependen del rendimiento y otros criterios comerciales. Una regla general es usar modelos basados ​​en árboles cuando tiene muchas variables categóricas en sus IDV y si tiene muchas variables continuas en sus IDV puede optar por modelos lineales (regresión logística).