¿Necesitamos aplicar una prueba de significación estadística en el aprendizaje automático?

Es una buena práctica reunir una población de resultados al comparar dos algoritmos de aprendizaje automático diferentes o al comparar el mismo algoritmo con diferentes configuraciones.

La repetición de cada ejecución experimental 30 o más veces le proporciona una población de resultados a partir de los cuales puede calcular el rendimiento medio esperado, dada la naturaleza estocástica de la mayoría de los algoritmos de aprendizaje automático.

Si el rendimiento medio esperado de dos algoritmos o configuraciones es diferente, ¿cómo sabe que la diferencia es significativa y qué importancia tiene?

Las pruebas de significación estadística son una herramienta importante para ayudar a interpretar los resultados de los experimentos de aprendizaje automático. Además, los resultados de estas herramientas pueden ayudarlo a presentar mejor y con mayor confianza sus resultados experimentales y elegir los algoritmos y configuraciones correctos para su problema de modelado predictivo.

Lee mas…

Si, absolutamente. Puede crear un conjunto de datos absurdo generado aleatoriamente y lanzarlo a un algoritmo, y el cálculo devolverá un modelo. Sin diagnósticos como la significación estadística o los intervalos de confianza, es difícil medir la estabilidad de un modelo a las perturbaciones en la entrada.

Otro lugar donde las pruebas de significación son absolutamente esenciales es la inferencia causal. El poder predictivo no implica significación estadística. Las inferencias causales en presencia de todos los observables pertinentes se realizan mediante pruebas de significación estadística.

More Interesting

Cómo crear mi propia biblioteca de tokenizadores en PNL

Cómo comenzar a aprender sobre redes neuronales y conceptos de aprendizaje automático y ponerlos en uso en la vida real sin conocer las matemáticas avanzadas

¿Cuántas imágenes necesita un buen sistema de aprendizaje automático para aprender un nuevo concepto?

¿Las redes de cápsulas reemplazarán a las redes neuronales?

¿Existe una buena herramienta de aprendizaje de idiomas?

Cómo comenzar a trabajar en conjuntos de datos de Kaggle

Cómo demostrar que una pequeña mejora en un puntaje F es estadísticamente significativa

¿Cuál es la diferencia entre el aprendizaje de refuerzo basado en modelos y sin modelos?

¿Por qué se usan capas completamente conectadas en el "extremo" [lado de salida] de las NN convolucionales? ¿Por qué no antes?

¿Cuál puede ser un buen problema de investigación computacional para trabajar con el conjunto de datos de Wikipedia?

¿Cuál es la derivación matemática de la regresión logística?

Cómo convertirse en un experto en aprendizaje automático y PNL desde principiantes

¿Qué es el aprendizaje profundo para un principiante?

Cómo obtener una pasantía de investigación en aprendizaje automático o inteligencia artificial en una universidad de los EE. UU., Ser indio trabajando en una startup

¿Cuáles son las características importantes para el análisis de sentimientos basado en aspectos en el enfoque de aprendizaje automático? ¿Qué algoritmos se pueden usar para extraer estas características?