¿Cuál es el mejor método de selección de características cuando los datos del tren tienen más características que el número de puntos de datos? ¿Asumir que los datos son muy grandes?

¿Hay alguna tarea específica en la que esté trabajando o le interese en general?

Una buena manera de verificar si la selección de características es buena es ejecutar t-SNE y visualizar los datos. Si es posible separar visualmente distintas clases, también es posible construir un buen modelo de predicción basado en las mismas características.

En general, en caso de tener más características que el ejemplo de aprendizaje, creo que las redes neuronales son una buena opción para el modelo de predicción. De todos modos, en el caso de seleccionar redes neuronales, debe decidir cuántas unidades estarán en la capa de entrada (es decir, el número de entidades) y las capas ocultas. Una buena forma de seleccionar una configuración adecuada es ejecutar un diagnóstico de error de desviación de sesgo. Si el error en el conjunto de entrenamiento es bajo y el error en el conjunto de prueba es grande, intente utilizar la menor cantidad de funciones. En caso de que tanto el error de entrenamiento como el de prueba sean grandes, intente utilizar un mayor número de funciones.

No hay una respuesta general para la pregunta, pero creo que puede construir un buen modelo empleando el diagnóstico descrito anteriormente.

Usaría alguna versión de tf – idf
para la ponderación de características, y luego un límite para descartar características inútiles.
Aquí hay una encuesta de métodos de selección de características.

En mi opinión, el principal problema aquí es la escasez de datos, para lo cual es posible que desee utilizar
Bootstrapping o Bootstrap agregando. Ambos métodos utilizan el remuestreo de los datos para construir mejores clasificadores.

Los conjuntos de datos que considera se denominan de alta dimensión. El libro académico más citado en esta área es
Estadísticas de datos de alta dimensión: métodos, teoría y aplicaciones por SA van de Geer

Una buena visión general le da a esta página:
1.11. Selección de características

Hay muchas más respuestas que puede encontrar en quora que respondieron a preguntas similares (una instancia ¿Cuáles son algunos algoritmos de selección de características?).