Il test è stato eseguito, il software ha restituito p = 0,032, e adesso bisogna scrivere una frase. È qui che si concentra la maggior parte degli errori di statistica nelle tesi — non nel calcolo, che ormai fa la macchina, ma nella frase che lo commenta.
Il valore p è la quantità più citata e meno compresa di tutta la statistica applicata. Vediamo che cosa misura esattamente, le quattro frasi che il relatore segnerà in rosso, e come riportarlo in modo che nessuno possa contestarlo.
Che cosa misura davvero il valore p
Il valore p risponde a una domanda molto più stretta di quella che ci si aspetta. È la probabilità di osservare un risultato estremo almeno quanto quello ottenuto, ammesso che l’ipotesi nulla sia vera.
Le due condizioni contano entrambe. «Estremo almeno quanto» significa che il calcolo include anche tutti i risultati più marcati del vostro, non solo quello osservato. E «ammesso che l’ipotesi nulla sia vera» significa che il valore p parte dal presupposto che non ci sia alcun effetto: è un ragionamento condizionale, non una misura della realtà.
Da qui discende la conseguenza che quasi tutti sbagliano: il valore p vi dice quanto sarebbero sorprendenti i vostri dati se non ci fosse alcun effetto. Non vi dice quanto sia probabile che un effetto esista. Sono due domande diverse, e la seconda non si può rispondere con il valore p da solo.
Le quattro frasi da non scrivere
| Frase sbagliata | Perché è sbagliata | Formulazione corretta |
|---|---|---|
| «p = 0,032: c’è il 3,2 % di probabilità che l’ipotesi nulla sia vera.» | Inverte il condizionamento. Il valore p assume l’ipotesi nulla, non la valuta. | «Se non vi fosse alcuna differenza, dati come questi si osserverebbero nel 3,2 % dei casi.» |
| «p = 0,21: le due medie sono uguali.» | L’assenza di prova non è prova di assenza. Il test può semplicemente non avere potenza sufficiente. | «I dati non forniscono evidenza sufficiente di una differenza.» |
| «p = 0,001: l’effetto è molto grande.» | Il valore p non misura la grandezza dell’effetto, ma la sua compatibilità con il caso. | «L’effetto è statisticamente significativo; la sua entità è d = 0,28, dunque modesta.» |
| «p = 0,06: il risultato tende alla significatività.» | La soglia è stata fissata prima. Un valore poco sopra non „tende“ da nessuna parte. | «Con α = 0,05 il risultato non è significativo; l’intervallo di confidenza va da −0,04 a 0,71.» |
La seconda riga è la più costosa nelle tesi, perché trasforma un risultato onesto in un’affermazione insostenibile. Un risultato non significativo resta un risultato, e va scritto come tale.
La soglia dello 0,05 non è una legge di natura
È una convenzione, adottata per comodità e diventata abitudine. Non c’è nulla di qualitativamente diverso fra p = 0,049 e p = 0,051: sono due numeri quasi identici che ricadono da parti opposte di una linea tracciata a mano.
Da questo derivano due regole pratiche. La prima: fissate α prima di guardare i dati, e scrivetelo nel capitolo metodologico. La seconda: riportate il valore p esatto, non solo «significativo» o «n.s.». Chi legge deve poter giudicare da sé quanto il risultato sia al limite.
Significativo non vuol dire importante
È il punto che cambia il modo di leggere qualunque risultato. Il valore p dipende da tre cose: l’entità dell’effetto, la variabilità dei dati e la numerosità del campione. Quest’ultima è quella che si controlla, ed è quella che confonde.
Con un campione molto grande, differenze irrilevanti sul piano sostanziale diventano significative: due gruppi che differiscono di due decimi di punto su una scala da 1 a 10 produrranno p < 0,001 se le osservazioni sono decine di migliaia. Con un campione piccolo accade l’opposto: un effetto reale e rilevante può non raggiungere la soglia semplicemente perché i dati non bastano.
Ne segue la regola che nessun relatore contesterà: il valore p non va mai riportato da solo. Accompagnatelo sempre con una misura di entità dell’effetto — d di Cohen per un confronto fra medie, r per una correlazione, η² per un’analisi della varianza, l‘odds ratio per un esito binario — e con un intervallo di confidenza.
L’intervallo di confidenza è in realtà più informativo del valore p, perché comunica due cose insieme: se lo zero è incluso (l’informazione del test) e quanto è precisa la stima (l’informazione che il valore p non dà). Un intervallo che va da 0,01 a 3,80 è «significativo» e allo stesso tempo quasi inutile.
Prima domanda: censimento o campione?
C’è un caso in cui il valore p non serve affatto, e nelle tesi che lavorano su dati svizzeri ricorre più spesso di quanto si creda.
L’inferenza statistica serve a passare da un campione a una popolazione. Se il vostro dato è la popolazione, quel passaggio non esiste. Le statistiche di registro dell’Ufficio federale di statistica sul numero di studenti — quante persone sono iscritte, in quale tipo di scuola universitaria, in quale anno — non sono stime campionarie: contano tutti. Se confrontate due anni e la differenza è di 1 200 persone, quella è la differenza, e calcolarci sopra un valore p non ha senso. I dati di questo tipo sono descritti nell’articolo sugli studenti universitari in Svizzera.
Diverso è il caso delle indagini campionarie. Quando l’UST rileva quante ore a settimana gli studenti dedicano allo studio e al lavoro, interroga un campione: la cifra pubblicata è una stima, ha un errore associato, e i confronti fra sottogruppi richiedono l’apparato inferenziale. È la situazione descritta nell’articolo sul tempo dedicato allo studio e al lavoro.
Chiedetevi sempre da quale delle due famiglie proviene il vostro numero, e scrivetelo. È una distinzione che pochi studenti esplicitano e che qualifica immediatamente il capitolo dei risultati.
Come riportarlo
Lo standard più diffuso richiede la statistica test, i gradi di libertà, il valore p e la misura di entità dell’effetto, nell’ordine:
t(78) = 2,19, p = 0,032, d = 0,49, IC 95 % [0,04; 0,94]
Quattro accortezze pratiche:
- Riportate il valore p esatto a tre decimali. L’unica eccezione è quando è molto piccolo: in quel caso si scrive p < 0,001, perché il valore preciso non è affidabile.
- Non scrivete mai p = 0,000, che il software mostra per arrotondamento. Una probabilità nulla non esiste.
- Le lettere che indicano statistiche (t, p, d, r, M, SD) vanno in corsivo; i nomi dei parametri greci no.
- Decidete se usare la virgola o il punto decimale e siate coerenti in tutta la tesi. In italiano si usa la virgola, mentre molti manuali di stile internazionali usano il punto: verificate le indicazioni della vostra scuola universitaria e non alternate.
Nel testo, il valore p accompagna sempre un’affermazione sostanziale, mai il contrario. Si scrive «il gruppo con tutoraggio ha ottenuto punteggi superiori (t(78) = 2,19, p = 0,032, d = 0,49)» e non «il test è risultato significativo». La statistica sostiene la frase, non la sostituisce. Le misure descrittive che precedono questa frase — medie, deviazioni standard, numerosità per gruppo — vanno presentate prima, come spiegato nell’articolo sulla statistica descrittiva nella tesi.
Domande frequenti
Posso usare α = 0,10 se il campione è piccolo?
Solo se lo dichiarate prima e lo giustificate, ad esempio in uno studio esplorativo o in un pretest. Alzare la soglia dopo aver visto i dati, perché il risultato non ha raggiunto 0,05, è una manipolazione e si riconosce facilmente.
Che cosa faccio se una sola ipotesi su tre risulta significativa?
Le riportate tutte e tre, con lo stesso dettaglio. Selezionare i risultati riusciti è uno degli errori più gravi che una tesi possa contenere, e in una tesi ben scritta l’ipotesi non confermata è spesso il punto di partenza della discussione più interessante.
Serve una correzione se eseguo molti test?
Sì, se state verificando molte ipotesi sullo stesso insieme di dati: con venti test indipendenti, in media uno risulta significativo per puro caso. Esistono correzioni di diversa severità; l’essenziale è dichiarare quanti test avete eseguito e quale correzione avete applicato.
Il valore p dipende dal test scelto?
Sì, e questa è una ragione in più per fissare il test in fase di progettazione, sulla base del tipo di variabile e delle assunzioni, e non provarne diversi finché uno restituisce un numero gradito.
Un risultato non significativo rovina la tesi?
No. Una tesi si valuta sull’impianto metodologico e sulla qualità del ragionamento, non sull’esito del test. Un risultato nullo discusso con onestà, con la potenza dello studio e i limiti del disegno, vale più di un risultato significativo ottenuto forzando l’analisi.
In sintesi
Il valore p è la probabilità dei dati sotto l’ipotesi nulla, non la probabilità dell’ipotesi. La soglia dello 0,05 è una convenzione da fissare in anticipo. La significatività dipende dalla numerosità del campione, quindi non va mai riportata senza una misura di entità dell’effetto e un intervallo di confidenza. E prima di tutto: verificate se il vostro dato è un campione o l’intera popolazione, perché nel secondo caso il test non serve.
E quando dai risultati bisognerà ricavare un capitolo che si legge: Tesify vi accompagna nella stesura della tesi, capitolo per capitolo.