Il DTPN si propone di misurare la polarità di un documento assumendo come indicatore di osservazione un lessico nel quale alcune parole selezionate sono classificate come positive o negative. A ogni parola individuata attraverso il conteggio viene attribuito una valore pari alla sua occorrenza nel documento. L’Indice di Negatività è calcolato come rapporto tra il totale delle occorrenze dei termini negativi e il totale dei termini positivi. Come si è detto, in base alla Pollyanna Hypotesis secondo la quale le occorrenze di termini positivi tendono a superare le occorrenze di termini negativi, la soglia di negatività di un documento è stata fissata convenzionalmente al 45%.
In questa prova di validità prendiamo come riferimento due strumenti di osservazione e misura del sentiment che si basano, come il DTPN, sull’utilizzo di un lessico predisposto a questo scopo. Il principio generale che sta alla base del costrutto teorico di questi strumenti è sempre lo stesso ma la tecnica utilizzata diverge per la misura di intensità della polarità e/o per la definizione di “documento” al quale applicare la procedura.
Per il DTPN un documento è un testo o la partizione di un corpus di documenti secondo un determinato criterio. Per esempio il romanzo “I promessi sposi” è un testo sul quale si può osservare se esprime un tono generale positivo o negativo. Se assumiamo “I promessi sposi” come un corpus, possiamo valutare la positività o la negatività di ogni capitolo. Il DTPN - per essere efficace - deve rispondere ai criteri generali di rappresentatività statistica del corpus; come riferimento possiamo assumere la soglia di estensione lessicale di ca. 20.000 occorrenze.
NRC Word-Emotion Lexicon è basato su un lessico multilingue di 14.000 lemmi al quale sono associate diverse categorie di emozioni (anger, anticipation, disgust, fear, joy, sadness, surprise, trust) e la polarità (negative, positive). La lista è stata sottoposta alla validazione di utenti online e attribuisce a ciascun termine un punteggio di intensità da 0 (neutralità) a 6 (Mohammad & Turney, 2010 e 2013). La procedura è disponibile nel software statistico R con il pacchetto Syuzhet e l’output fornisce un indicatore che rappresenta la media dei punteggi positivi e negativi dei termini individuati rispetto alle occorrenze del documento analizzato. Il punteggio può essere assunto come indicativo, ma andrebbe verificato caso per caso (come DTPN, d’altra parte), non solo per l'implicita ambiguità delle parole e per l’assenza del contesto, ma anche e soprattutto per la traduzione della lista dall’inglese che, in alcuni casi, è discutibile [1].
L’applicazione TAll (Text Analysis for All) per il software R, sviluppata da un team dell’Università di Napoli Federico II (Misuraca & Spano, 2020; Aria et al., 2022; D'Aniello et al., 2024, Aria et al., 2024), mette a disposizione un algoritmo per l’estrazione della polarità dei documenti che, per la lingua italiana e sulla base del lessico NRC Word-Emotion Lexicon, calcola la polarità assegnando a ciascun documento un valore da -1 a +1. L’ampiezza del documento è scelta a priori dall’analista: l’intero documento o la sua partizione in frammenti secondo determinati criteri. La procedura individua il contesto in cui appare la parola e l’algoritmo tiene conto degli indicatori della negazione e degli eventuali amplificatori e de-amplificatori. L’output è sintetizzato in grafico a torta che riporta i valori percentuali in cinque categorie: very negative, negative, neutral, positive, very positive).
Il primo confronto è stato effettuato su una selezioni di dodici famosi romanzi della letteratura italiana [2]. Nella tabella 1 sono sintetizzati i risultati delle misurazioni effettuate utilizzando le tre modalità indicate. Per rendere confrontabili le misure i valori sono stati “normalizzati” sulla base del rapporto tra osservazioni negative e positive sul modello dell’Indice di negatività di TaLTaC (i risultati originali in dettaglio sono consultabili qui).
Tab. 1 - Indice di negatività per dodici romanzi della letteratura italiana
secondo le tre modalità di calcolo utilizzate
Come era prevedibile, i tre indicatori sono concordi nell’individuare il tono più negativo nel romanzo di Emilio Salgari: Le tigri di Mompracem. C’è una discordanza sul meno negativo che per DTPN è Cuore di Edmondo De Amicis, per Syuzhet è I Viceré di Federico De Roberto, per TALL è Malombra di Antonio Fogazzaro. Trattandosi di romanzi con una forte connotazione drammatica non sorprende che la soglia di negatività del 45% per il DTPN sia superata da tutti i testi in elenco. In ogni caso il coefficiente di correlazione tra le tre modalità di misurazione è positivo per tutte le coppie:
DTPN Vs R-Syuzhet r = +0,787
DTPN Vs TALL r = +0,931
R-Syuzhet Vs TALL r = +0,922
Il secondo confronto (tab. 2) è stato effettuato sui testi delle Considerazioni finali della Relazione annuale del Governatore della Banca d’Italia [3] con riferimento a undici anni caratterizzati da eventi economici e sociali molto diversi tra loro: il boom economico del 1959-1961; la crisi dei subprime del 2008; la pandemia del Covid del 2020-21; l’invasione russa dell’Ucraina del 2022 e l’attacco di Hamas a Israele del 2023 (i risultati originali in dettaglio sono consultabili qui).
Tab. 2 - Indice di negatività per le Considerazioni finali
della Relazione annuale del Governatore della Banca d’Italia
secondo le tre modalità di calcolo utilizzate
Le relazioni si presentano complessivamente con un tono positivo, secondo la soglia di negatività del 50% di DTPN, con i punteggi più positivi del biennio di riferimento 1960-1961. Il tono meno positivo si osserva, secondo DTPN, nel biennio di riferimento 2021-2022, in cui si sono fatti sentire più duramente gli effetti del Covid, prima, e della guerra in Ucraina, dopo. Su questa osservazione concordano le misure di Syuzhet, mentre TALL presenta andamenti più oscillanti, con il valore meno positivo attribuito al 2008, l’anno di maggiore incidenza della crisi dei subprime. In generale la performance dei tre indicatori è correlata positivamente in tutte le coppie:
DTPN Vs R-Syuzhet r = +0,964
DTPN Vs TALL r = +0,878
R-Syuzhet Vs TALL r = +0,868
La prova di validità delle misurazioni con DTPN, pur con tutte le cautele del caso, è ampiamente superata. Va sempre ricordato che la polarità delle parole secondo il criterio positivo-negativo deve essere verificata nel contesto dei documenti analizzati. Rispetto alle altre modalità di calcolo, il Dizionario esteso dei Termini Positivi e Negativi, che si integra pienamente nel software di analisi automatica dei testi di TaLTaC, trae vantaggio dalla totale trasparenza e semplicità del conteggio delle occorrenze. Inoltre con questa modalità di calcolo l’analista può sfruttare agevolmente l’utilizzo di liste personali che hanno lo scopo di “depurare” il DTPN dei termini ambigui più frequenti, nei rispettivi contesti d’uso, oppure dei termini che potrebbero presentare una inversione della polarità. Proprio con questo obiettivo di “controllo” è particolarmente utile l’analisi del linguaggio specifico (cioè significativamente sovra-utilizzato tra le partizioni di uno stesso corpus) e del linguaggio peculiare (sovra-utilizzato nel corpus rispetto a un particolare lessico di riferimento).
Note
[1] Una spiegazione chiara ed esaustiva del funzionamento di NRC Emotion Lexicon e della sentiment analisys in generale è presente nel recente manuale di Arjuna Tuzzi, Fondamenti di analisi dei dati testuali, Carocci, Roma, 2024; cap. 9: "Capire gli umori".
[2] I testi sono disponibili in Liber Liber .
[3] La collezione è disponibile sul sito della Banca d’Italia .
Riferimenti bibliografici
Aria M., Cuccurullo C., D’Aniello L., Misuraca M., Spano M. (2024). Comparative science mapping: a novel conceptual structure analysis with metadata. Scientometrics, 129, 7055–7081.
Aria M., Cuccurullo C., D’Aniello L., Misuraca M., Spano M. (2022). Text Summarization of a scientific document: a comparison of extractive unsupervised methods. In Proceedings of the 16th International Conference on Statistical Analysis of Textual Data - Vol. 1, VADISTAT Press/Edizioni Erranti, pp. 67-73.
D'Aniello L., Aria M., Cuccurullo C., Misuraca M., Spano M. (2024). Extracting knowledge from scientific literature with an integrated Text Summarization approach. In A. Dister, D. Longrée (eds.), Mots comptés, textes déchiffrés (JADT24), vol. 1, Presses Universitaires De Louvain, pp. 239-248.
Misuraca M., Spano M. (2020). Unsupervised analytic strategies to explore large document collections, in D.F. Iezzi, D. Mayaffre, M. Misuraca (eds.), Text Analytics. Advances and Challenges, Springer, Heidelberg, pp. 17-28.
Mohammad S., & Turney P. (2010). Emotions evoked by common words and phrases: Using mechanical turk to create an emotion lexicon. In Proceedings of the NAACL HLT 2010 workshop on computational approaches to analysis and generation of emotion in text, pp. 26-34.
Mohammad S. & Turney P. (2013). Crowdsourcing a Word-Emotion Association Lexicon. Computational Intelligence, 29 (3), pp. 436-465.
