Will Naive Bayes dará un buen resultado si el conjunto de entrenamiento es mucho más pequeño que el no. de características en un clasificador de aprendizaje automático?

Naive Bayes es probablemente uno de los mejores clasificadores para este tipo de problema (muchas tareas de clasificación de texto tienen el mismo carácter: las características son la presencia o ausencia de palabras, y se ha demostrado que Naive Bayes funciona muy bien en las tareas de clasificación de texto). Si bien la representación de Naive Bayes no es tan expresiva como otras, es muy buena para aprovechar al máximo un pequeño número de muestras.

Tanto el enfoque basado en el árbol de decisión como el del vecino más cercano van a tener dificultades con este tipo de datos: el vecino más cercano tendrá dificultades porque en 100,000 dimensiones nada se acerca a nada; y los árboles de decisión tendrán dificultades porque se sobreajustarán con 100,000 atributos. Las redes neuronales tendrán los mismos problemas, porque hay demasiados parámetros para entrenar.

El único otro clasificador que podría funcionar bien con este tipo de datos será la máquina de vectores de soporte, especialmente si puede encontrar un núcleo específico de dominio.

Depende. Naive Bayes podría ser mejor que otros para usted porque su conjunto de datos es muy pequeño y NB no se ajusta demasiado como otros. Pero generalmente se considera una técnica ingenua. Funciona bien solo porque su ingeniería / limpieza de datos ha sido ingenua.

Le animo a que aumente el tamaño del conjunto de datos. Este es un truco común para pequeños conjuntos de datos. Especialmente si tiene un conjunto de datos de imagen, puede crear más versiones de su imagen girando, ampliando, etc.

No dude en ponerse en contacto conmigo dejando un mensaje en mi sitio web arindampaul.me

Sí, podría funcionar.
Asegúrese de que lo siguiente sea cierto antes de usar Naive Bayes:
1. Los campos son todos nominales. Los datos ordenados y numéricos no funcionan con Naive Bayes.
2. Uno puede encontrar muchos valores cero de probabilidad si la muestra es pequeña, asegúrese de que haya un valor predeterminado para cero probabilidades.

Es posible que deba modificar los anteriores si las clases no están equilibradas.

Otros métodos que sugeriría probar:
1. Aplicar un algoritmo de clasificación después de un algoritmo de reducción de dimensionalidad si es posible. Entonces, primero haga un PCA y luego aplique SVM / Neural Nets / Random Forest.
2. Use un kernel específico de dominio en SVM como se sugiere en algún otro kernel. Tiene los mismos efectos que hacer la reducción de dimensionalidad y luego la clasificación.

More Interesting

Cómo interpretar los resultados de dos modelos de clasificación.

¿Por qué usamos convolución en redes neuronales?

¿Podemos lograr mejor que una disminución sub-lineal en el error al aumentar el número de muestras en regresión lineal?

¿Hay algo que Deep Learning nunca podrá aprender?

¿Estamos presenciando las primeras etapas del uso de ML en la industria o cree que la aplicación de ML hacia la industria ya está muy extendida?

¿Por qué es tan difícil automatizar la inferencia variacional?

Cómo entrenar un modelo de Keras con un gran conjunto de datos y luego ajustarlo con un conjunto de datos más pequeño de interés

¿Qué tan buena será una carrera en IA / aprendizaje automático en el futuro?

¿Qué significa el espacio de hipótesis en Machine Learning?

Cómo detectar si a una cadena le faltan espacios entre palabras

¿Por qué mi modelo de regresión produce valores negativos para SalePrice en los datos de prueba?

¿Deberíamos comenzar con Tensorflow, Keras o Sonnet para desarrollar un sistema de predicción de datos de series temporales? ¿Debemos usar solo lenguajes basados ​​en Python?

¿Qué haces como programador de Machine Learning y qué hace que lo que haces sea interesante?

¿Cuáles son las condiciones de Dirichlet en una serie de Fourier? ¿Son necesarias las condiciones de Dirichlet?

¿Qué deparará el futuro para los desarrolladores en la era del aprendizaje profundo y la IA? ¿Cuáles serán las tendencias y cómo sobrevivirán los desarrolladores?