Estrattore di n-grammi

Cosa ti dice ogni lunghezza di n-gramma

Come lo strumento divide il tuo testo

• Tutto viene convertito in minuscolo, quindi “The” e “the” finiscono sulla stessa riga.
• Una parola è qualsiasi sequenza ininterrotta di lettere, cifre o apostrofi. Ogni altro carattere (punteggiatura, simboli, ritorni a capo) è un separatore e viene scartato.
• I confini di frase non vengono rispettati. L’ultima parola di una frase e la prima della successiva possono comunque formare un n-gramma: valuta con prudenza le coppie a cavallo di due frasi. Se la cosa è rilevante, analizza una frase o un paragrafo alla volta.
• Le stopword restano. Non viene filtrato nulla al posto tuo: se vuoi solo espressioni con valore semantico, elimina quelle righe dal CSV dopo l’esportazione.
• Le parole si riconoscono da spazi e punteggiatura. L’italiano separa le parole con gli spazi, quindi lo strumento funziona subito. Tieni però presente che l’apostrofo resta attaccato: “l’articolo” viene contato come una parola sola, distinta da “articolo”. Cinese, giapponese e thai, invece, non mettono spazi tra le parole: un’intera frase arriva come una sola parola e va segmentata prima (jieba, MeCab, un segmentatore per il thai).

Quando rimuovere le stopword

Le stopword sono parole funzionali ad altissima frequenza: in inglese “the”, “a”, “of”, “and”; in italiano “il”, “di”, “che”, “e”. Lasciarle riempie l’elenco dei bigrammi di scarti come “of the” e “di che”. Questo estrattore le conserva, quindi elimina quelle righe dall’esportazione quando cerchi espressioni con valore semantico, e tienile quando studi lo stile, l’attribuzione d’autore o modelli linguistici in cui sono proprio le parole funzionali a portare il segnale.

Caso d’uso SEO

Per un articolo che punta a “nginx config generator”, controlla:

• Che il bigramma e il trigramma target compaiano nei primi 20. Se “nginx config” è al 40esimo posto, probabilmente stai usando troppo poco il termine.
• Che tu non stia facendo keyword stuffing. Se è al primo posto con un margine enorme, il testo si legge come spam.
• Che esistano vicini semantici. Bigrammi correlati come “server block”, “proxy pass” e “ssl certificate” rassicurano i motori di ricerca sul fatto che l’argomento sia davvero coperto.

Uso in NLP e in ambito accademico

• I modelli linguistici usano le frequenze degli n-grammi per il livellamento e il backoff (Kneser-Ney, Good-Turing).
• Gli studi di attribuzione d’autore confrontano le distribuzioni dei trigrammi tra i possibili autori.
• La valutazione della traduzione automatica (BLEU) assegna un punteggio in base alla sovrapposizione di n-grammi tra la traduzione prodotta e quella di riferimento.