A quanto servono i sondaggi elettorali che sbagliano così tanto?

09/06/2013 – Si possono predire i risultati delle elezioni? Case study: elezioni politiche 2013.

Sono passati tre mesi dalle elezioni politiche che hanno consegnato al paese un parlamento diviso, che ci ha messo molte settimane per trovare una maggioranza “stabile”.

Ma tutto ciò era prevedibile? Ossia, siamo in grado con i sondaggi di prevedere con buona accuratezza il risultato delle elezioni? O è il “termometro” stesso a essere sballato? E gli instant poll, gli exit poll e le proiezioni sono affidabili o le cifre sono buone – quello sì – per fare share e intrattenere gli spettatori incollati davanti allo schermo, quasi fosse la finale di Champions?

Questo post cercherà di dare alcune risposte a queste domande, studiando la situazione in modo sperimentale.

Come sappiamo i sondaggi sono tra gli strumenti principe delle trasmissioni televisive politiche della sera. Ma quanto possono effettivamente approssimare il risultato di una elezione?

Prendiamo 4 tra le principali case di sondaggi italiane: Tecné (che in queste elezioni ha lavorato principalmente per Sky); Ispo (che ha lavorato per Porta a Porta); Ipsos (che ha lavorato per Ballarò); e Lorien.

Figura 1

Figura 2

Figura 3

Figura 4

Legenda: i pallini rossi sono i risultati del centrosinistra nei vari sondaggi, i punti blu il centrodestra, i punti neri il movimento 5 stelle, le x sono i risultati definitivi delle tre forze. Le barre verticali sono l’incertezza associata ai vari sondaggi, ossia le barre d’errore.

NB: le barre d’errore rappresentano il 95% di probabilità che entro quella barra ricada il valore vero.

Quello che vedete sono i vari sondaggi disponibili prima delle elezioni politiche del 2013 per quelle che sono risultate le tre coalizioni italiane più votate.

Risulta evidente che i sondaggi riescono abbastanza bene a predire il risultato della coalizione di centrodestra capeggiata da Silvio Berlusconi, meno quella di centrosinistra (leader Bersani) e molto peggio quella di Beppe Grillo, ossia il Movimento 5 Stelle. Neanche visivamente la “curva” che mostra la progressione di Beppe Grillo nei sondaggi riesce efficacemente a spiegare questo boom, che può essere imputato sia a un’esplosione del M5S negli ultimi 15 giorni, sia ad un’incapacità dei sondaggi ad avvicinarsi al risultato vero: visivamente se si prolunga l’andamento per esempio nei sondaggi di Tecné si arriva a un 20% scarso. È stato ipotizzato da autorevoli statistici che il mutamento delle abitudini delle persone, soprattutto dei giovani, potrebbe aver portato a questa predizione errata. In altre parole: la maggior parte dei sondaggi viene fatta con la guida del telefono, o comunque tramite delle tabelle con il numero di casa di varie persone, e la scelta viene fatta in maniera del tutto casuale. Ma obbiettivamente i giovani non usano più il telefono fisso per comunicare, usano il telefono mobile. E spesso quando sentono la parola “sondaggio” riagganciano senza tanti complimenti.

Ora, è possibile condurre un’analisi statistica su questi dati e anche su altri dati a disposizione degli altri sondaggi, ossia considerare l’ultimo sondaggio disponibile e fare un test di compatibilità (statisticamente parlando un “test normale“) per vedere se effettivamente il sondaggio è consistente. Questo è il risultato di questa analisi sui vari sondaggi delle varie case:

Tabella 1

Il fatto di accettare o rifiutare è legato alla confidenza del 95%: se il risultato vero sta all’interno della banda del 95% di confidenza del sondaggio, allora possiamo dire che il valore predetto è compatibile con quello reale, ossia il sondaggio ha una buona aderenza con quello che poi si è verificato.

Come si vede dai “no” in rosso, facendo una stima approssimativa i vari sondaggi sono riusciti a individuare entro l’errore un risultato e mezzo su 4. In particolare quello che è stato il risultato del centrodestra viene ben predetto da tutti i sondaggi precedenti, quello di Scelta Civica viene predetto circa da un sondaggio su due, i risultati degli schieramenti di MoVimento 5 Stelle e di Italia Bene Comune non sono compatibili con nessun sondaggio. Inoltre la percentuale che i sondaggi assegnano a Scelta Civica è sempre al limite della confidenza del 95%.

Come noi tutti sappiamo i sondaggi possono essere pubblicati fino a 15 giorni prima delle elezioni, dopo non è più possibile per legge. Ovviamente questo è quello che dovrebbe accadere di norma, ma sappiamo anche che nella quindicina pre-elezioni circolano parecchi sondaggi “ufficiosi”. Nella figura successiva abbiamo tenuto conto anche di questi sondaggi clandestini.

Figura 5

Anche qui si ripete lo stesso fenomeno che avevamo riscontrato nei sondaggi fino a 15 giorni prima del voto: abbiamo un miglioramento nell’individuazione della percentuale di Scelta Civica, che a volte nei sondaggi prima dell’8 febbraio era fuori dal limite di confidenza del 95% in certi sondaggi. Ma vediamo che, finanche all’ultimo sondaggio, le percentuali di centrosinistra e M5S sono nettamente diverse da quelle che poi saranno in realtà: i sondaggi sovrastimano la percentuale di Italia Bene Comune di almeno 3-4 punti percentuali e sottostimano il MoVimento 5 Stelle di almeno 5 punti percentuali.

Sembra, almeno da quello che esce dalla nostra analisi, che i sondaggi, soprattutto in situazioni incerte come quella di queste elezioni, non siano in grado di predire il risultato definitivo. E questo vale sia per i sondaggi prima del “silenzio elettorale” che anche quelli usciti durante i 15 giorni prima delle elezioni.

Nelle prossime puntate vedremo instant polls, exit polls e proiezioni.

Autore: Alessandro Sabatino | Fonte: tagli.me | Immagine in apertura: opendatablog.ilsole24ore.com