Magia del análisis de texto con PNL

La magia del análisis de texto con PNL: una guía paso a paso con herramientas Vtrans


Introducción
El procesamiento del lenguaje natural (PLN) está revolucionando la forma en que analizamos datos textuales. Desde el análisis de sentimientos hasta los chatbots, técnicas de PLN como Bag of Words (BoW), TF-IDF y los modelos de clasificación permiten a las empresas extraer información útil. En esta guía práctica, crearemos un clasificador de sentimientos con reseñas de películas y exploraremos cómo Vtrans PNL Toolkit simplifica el preprocesamiento y la optimización de modelos. ¡Comencemos!

Descripción general del conjunto de datos

Usaremos un conjunto de datos de reseñas de películas de Kaggle etiquetado por sentimiento (1=positivo, 0=negativo). Tras importar los datos con Pandas, comprobamos su estructura:

pitón

importar pandas como pd

df = pd.read_csv( 'película.csv' )

df.head( 10 )

El conjunto de datos contiene 8488 reseñas, con etiquetas equilibradas (4318 negativas, 4170 positivas). Sin valores nulos: ¡excelentes noticias!

Preprocesamiento de texto: limpieza para obtener mejores características

Los datos de texto sin procesar son desordenados. Así es como los limpiamos con Vtrans Text Cleaner (o métodos manuales):

  1. Eliminar caracteres especiales y conversión a minúsculas

    pitón

    		importación re

    		oraciones = []

    		para texto en df[ 'texto' ]:

    		limpiado = re.sub( '[^a-zA-Z]' , ' ' , texto).lower()

    		oraciones.append(limpiado)

  2. Eliminación de palabras vacías
    Utilice las palabras clave de NLTK o la biblioteca de preprocesamiento Vtrans para una eliminación eficiente:

    pitón

    		de nltk.corpus importar palabras vacías

    		palabras_de_detención = set (palabras_de_detención.palabras( 'inglés' ))

  3. Derivación vs. lematización

    • La lematización (PorterStemmer) reduce las palabras a raíces: “amoroso” → “lov”.
    • La lematización (WordNetLemmatizer) utiliza la morfología: “mujeres” → “mujer”.
    pitón

    		desde nltk.stem importar PorterStemmer

    		ps = PorterStemmer()

    		stemmed = [ps.stem(palabra) para palabra en oración.split() si palabra no está en stop_words]

Extracción de características: BoW, TF-IDF y N-gramas

1. Bolsa de palabras (BoW) con CountVectorizer

Convertir texto en características numéricas:

pitón

desde sklearn.feature_extraction.text importar CountVectorizer

cv = CountVectorizer(palabras_de_detención=palabras_detención)

características = cv.fit_transform(oraciones)

Características iniciales: 48.618 (reducidas a 32.342 tras la derivación).

2. TF-IDF para importancia ponderada

TF-IDF prioriza palabras poco comunes pero significativas. Utilice el optimizador Vtrans TF-IDF para un cálculo más rápido.

pitón

desde sklearn.feature_extraction.text importar TfidfVectorizer

tfidf = TfidfVectorizer(rango_ngram=( 1 , 2 ), características_máximas= 5000 )

características = tfidf.fit_transform(df[ 'clean_text' ])

Capacitación y evaluación de modelos

1. Clasificadores Bayesianos Ingenuos

  • GaussianNB : rendimiento deficiente (precisión de prueba del 62,5 %, sobreajuste).
  • BernoulliNB : Mejores resultados (81% de precisión).
pitón

de sklearn.naive_bayes importar BernoulliNB

clasificador = BernoulliNB()

clasificador.fit(X_train, y_train)

2. Métricas de rendimiento


Matriz de confusión:

[[354 75]

[ 89 331]]


Precisión: 82,4 % | Exactitud: 0,83 | Recuperación: 0,82

Optimización con Vtrans Automation

  1. Limpieza avanzada : elimina palabras de una sola letra y caracteres repetitivos.
  2. Ajuste de hiperparámetros : use Vtrans AutoML para encontrar ngram_range y max_features óptimos.
  3. Reducir el sobreajuste : equilibrar la precisión de la prueba de entrenamiento (89,8 % → 82,3 %) con la regularización.

Pruebas en el mundo real

Validar el modelo en entradas personalizadas:

pitón

reseñas = [ "¡Esta película fue una pérdida de tiempo!" , "¡Una obra maestra cinematográfica!" ]

limpiado_reseñas = vtrans_clean(reseñas) # Uso de Vtrans Cleaner

predicciones = clasificador.predict(tfidf.transform(cleaned_reviews))

Salida: [0, 1] (¡Detección precisa de sentimientos!).

Conclusión

Desarrollamos un clasificador de sentimientos robusto mediante técnicas de PLN y mejoramos la precisión del 62 % al 82 %. Para proyectos escalables, aproveche Vtrans NLP Suite para automatizar el preprocesamiento, el ajuste de modelos y la implementación. ¿Listo para descubrir información más detallada? ¡ Pruebe Vtrans Free Tier hoy mismo!

¡Feliz codificación! 🚀

Conclusiones clave

  • Limpie el texto rigurosamente: las palabras vacías, las derivaciones y las expresiones regulares son importantes.
  • BernoulliNB supera a GaussianNB para la clasificación de texto binario.
  • Los n-gramas y TF-IDF mejoran la captura de contexto.
  • Las herramientas de Vtrans optimizan los flujos de trabajo: ¡céntrese en los conocimientos, no en el texto estándar!

¡Avísame si quieres profundizar en los transformadores o en las tuberías Vtrans personalizadas!

08 mayo 2025 — kevin
Izquierda Posts antiguos Regresar a Artículos técnicos Posts recientes Derecha

Dejar un comentario