Cómo extraer términos importantes de datos de texto no estructurados

La limpieza de texto es una parte importante del análisis de texto. Los datos de texto contienen espacios en blanco, signos de puntuación, palabras vacías, etc., que deben eliminarse de los datos antes de poder realizar cualquier análisis. Los siguientes pasos de preprocesamiento se deben realizar antes de hacer cualquier análisis en R.

1. Creación de Corups: Una biblioteca muy útil para realizar los pasos mencionados anteriormente y la minería de texto en R es el paquete ” tm “. La estructura principal para administrar documentos en tm se llama Corpus, que representa una colección de documentos de texto.

library("tm")

docs <- Corpus(VectorSource(data))

1. Minúsculas : Convierta el texto a minúsculas, de modo que palabras como "escribir" y "Escribir" se consideren la misma palabra para el análisis
2. Eliminar números : también es importante eliminar números del texto.
3. Eliminar puntuación: ¿ Cómo eliminar la puntuación del corpus? ; '":
4. Eliminar espacios adicionales
5. Eliminación de palabras de detención: elimine palabras de detención en inglés, por ejemplo, "the", "is", "of", etc.
6. Derivación: La derivación es el proceso de reducir las palabras flexionadas (o algunas veces derivadas) a su raíz, base o raíz de la palabra. Por ejemplo, cambiar "automóvil", "automóviles", "automóvil", "automóviles" a "automóvil"

El siguiente es el código R para el proceso de limpieza de datos anterior

# Convert the text to lower case

docs <- tm_map(docs, content_transformer(tolower))

# Remove numbers

docs <- tm_map(docs, removeNumbers)

# Remove english common stopwords

docs <- tm_map(docs, removeWords, stopwords("english"))

# Remove punctuations

docs <- tm_map(docs, removePunctuation)

# Eliminate extra white spaces

docs <- tm_map(docs, stripWhitespace)

Para detener el texto, necesitaremos otra biblioteca, conocida como SnowballC.

Usando la biblioteca SnowballC para detener texto

# Text stemming (reduces words to their root form)

library("SnowballC")

docs <- tm_map(docs, stemDocument)

# Remove additional stopwords

docs <- tm_map(docs, removeWords, c("clintonemailcom", "stategov", "hrod"))

Después de estos pasos, nuestro corpus de texto está limpio y listo para cualquier análisis.

Parece que estás tratando esto como un problema de dos etapas, cuando en realidad es un problema de una etapa. Al extraer términos de datos no estructurados, sin mirar el problema para el que necesita extraerlos, está potencialmente privando a su clasificador de características importantes.

Si el problema es la reducción de la dimensionalidad, debe buscar técnicas como la asignación de Dirichlet latente (LDA) o el análisis semántico latente (LSI). Reducen la dimensionalidad de sus documentos de manera no supervisada. Las características extraídas también pueden ser utilizadas por un clasificador de aprendizaje automático.

Si el objetivo final es específicamente un objetivo de aprendizaje supervisado, debe considerar técnicas de selección de características. Algunos de estos están disponibles en API Reference – documentación de scikit-learn 0.19.0. Específicamente, mire en chi2 y la información mutua. También se sabe que reescalar pesos usando tf – idf mejora el rendimiento en una variedad de tareas de Clasificación de texto.