From: dataparadigm

Seleziondo il numero di “papabili” si ottiene la probabilita’ di elezione implicata dalle quotazioni dei bookmakers.

Paolo Franchi sul Corriere ha scritto ieri un articolo critico nei confronti dei partiti e della loro incapacità di comprendere la realtà che li circonda. Partiti che sempre più spesso si affidano a sondaggisti invece che al “nasometro”. Nell’articolo, Franchi non risparmi anche una bordata ai “sondaggisti”

I sondaggi, nel cui uso è maestro, dicono di sì, anche se (specie quando, come in questo caso, i sondaggisti già anticipano sui giornali i risultati delle loro rivelazioni) non è facile stabilire in quale misura si limitino a registrare una tendenza effettiva degli elettori, o almeno del campione di elettori intervistato, e in quale invece (di fatto) concorrano a promuoverla.

Avendo letto l’articolo di Franco, mi sono chiesto se alcune dinamiche sondaggi elettorali giustificano le critiche di condotte “strategiche” da parte dei sondaggisti. Esiste cioè una una sistematica propensione di alcuni istituti di sondaggi a prevedere quote di voto più alte per alcuni schieramenti politici piuttosto che altri?

Per rispondere a questa domanda, abbiamo bisogno di dati. Dati sui sondaggi. Fortunatamente, Termometropolitico.it ha raccolto e “digitalizzato” i sondaggi elettorali effettuati dall’Ottobre 2006 al 29 Gennaio 2013. Sono 32 gli istituti di sondaggio presenti nel dataset di Termometro Politico. In totale, abbiamo a disposizione 684 sondaggi. Termometro Politico non ha ancora incluso gli ultimi sondaggi, quelli dal 30 Gennaio al 9 Febbraio (Dal 9 Febbraio i sondaggi non potranno essere piu’ diffusi per via della (Legge 22 Febbraio 2000, n. 28)[http://www.camera.it/parlam/leggi/00028l.htm]).

Per rendere l’analisi centrata alla campagna elettorale che si sta svolgendo, considererò’ soltanto i dati dal Gennaio 2012 e scarterò’ dal campione gli istituti che hanno effettuato meno di 10 sondaggi nel periodo considerato. Di seguito riporto il numero di sondaggi per ciascun istituto di ricerca presente nel campione.

Andamento dinamico delle previsioni

Il grafico seguente illustra il trend dei cinque maggiori partiti politici nel periodo Gennaio 2012-Gennaio 2013.

Ciascun punto rappresenta un sondaggio elettorale. Il colore del punto identifica l’istituto che ha rilasciato il sondaggio. La linea continua indica un’approssimazione locale dell’andamento dei sondaggi. Tecnicamente è la linea di regressione polinomiale pesata localmente; in pratica, ci aiuta a comprendere l’andamento del quota elettorale prevista dai sondaggi di un dato partito politico nel tempo.

Dalla figura è possibile rintracciare dei trend elettorali che sono ben noti: l’aumento dei consensi del Movimento Cinque Stelle nel periodo Gennaio 2012-Luglio 2012 e la loro relativa flessione nel periodo Dicembre 2012-Febbraio 2013. La caduta di consensi del PDL fino al Dicembre 2012 e la rimonta berlusconiana di Gennaio. La costante flessione dei partiti minori, UDC e SEL, la costante crescita del PD che si arresta e si inverte nel periodo che coincide con la rimonta del PDL.

E’ interessante notare come alcuni sondaggisti tendano a sopravvalutare o sottovalutare sistematicamente il consenso di alcuni partiti. Questa tendenza è molto evidente nel caso del movimento Scelta Civica Monti (SCM). Il prossimo grafico mostra la linea di regressione locale e i sondaggi nel periodo Dicembre 2012 - Gennaio 2012.

Come si vede chiaramente nel grafico, IPSOS e LORIEN tendono a stimare una frazione di voto per SCM molto più alta rispetto a SWG e SPINCON. Per il caso di SCM abbiamo pochi sondaggi a disposizione visto che il movimento SCM è nato alla fine del 2012. E’ possibile individuare delle sistematicità di questo tipo anche per altri partiti/sondaggisti? Si.

Usando tecniche di regressione possiamo isolare la tendenza di certi sondaggisti a attribuire una proporzione di voto più alta ad alcuni partiti “controllando” per il periodo in cui è stato rilasciato il sondaggio. Il grafico seguente ordina gli istituti di sondaggio in base alla loro tendenza a “sovrastimare” o “sottostimare” certi partiti.

Il grafico può essere interpretato nel seguente modo. Gli istituti di sandaggi sono ordinati, per ciascun partito, in base alla loro tendenza ad attribuire una quota di voto più alta relativamente agli altri sondaggisti. Quanto maggiore è il valore rappresentato nel grafico per un sondaggista (per un dato partito) tanto maggiore è la propensione a sovrastimare la quota di voto (per quel partito e per il dato sondaggista).

Bisogno comunque essere cauti nell’interpretazione del grafico. I valori attribuito a ciascun sondaggista possono solo essere interpretati in maniera relativa essendo infatti la differenza della media dei sondaggi dell’istituto rispetto alla media dei sondaggi degli altri istituti nel mese di riferimento. Il grafico ha pertanto soltanto valore ordinale e non cardinale.

Differenze fra sondaggisti

SPINCON tende ad attribuire alla LEGA quote più elevate rispetto agli altri sondaggisti, TECNE al contrario attribuisce al carroccio, in media, quote di voto più basse. SWG stima quote in media più elevate per il M5S, mentre SPINCON quote in media più basse. LORIEN “premia” il PDL che invece viene mediamente “penalizzato” da IPSOS. Da notare che per quanto riguarda il PD, 6 degli otto istituti considerati attribuiscono quote molto simili con SPINCON e SWG i due istituti che tendono a “sottovalutare” il voto al Partito Democratico.

Non è corretto concludere però che queste differenze siano da attribuire ad un atteggiamento strategico. Le differenze possono essere spiegate dall’errore di campionamento e, in particolare, dalle correzioni che i sondaggisti applicano al dato “crudo” che ottengono dal campione.

Performance: il caso del 2008

Concludo analizzando le performance dei sondaggisti alle ultime elezioni politiche, quelle del 13 Aprile del 2008.

Il seguente grafico mostra per ciascun istituto di sondaggi (fra quelli che hanno rilasciato sondaggi nel periodo febbraio/marzo 20008) la quota di voto attribuita al PD, PDL, UDC, LEGA e Sinistra L’Arcobaleno (SA) (punto BLUE) e la quota di voto effettivamente ottenuta alle elezioni (punto ROSSO).

La tabelle che segue riporta la media dei sondaggi (ottenuta calcolando la media delle predizioni fra i diversi istituti) e il dato effettivo.

Tutti gli istituti di sondaggi hanno sbagliato la predizione per la Sinistra Arcobeleno. Gli undici istituti di sondaggi attribuivano una quota superiore di consenso di quella effettivamente ottenuta. La media calcolata fra tutti gli istituti è del 7.1%, mentre la percentuale raggiunta dal SEL è stata del 3.1%.

Al contrario, i sondaggisti hanno sottostimato il voto per la LEGA. Hanno attribuito in media il 5.1% mentre il carrocci ha ottenuto l’8.3% dei voti.

Il voto per il PDL è stato leggermente sovrastimato. Una media del 39.2% contro il 37.4% effettivamente ottenuto. Anche per l’UDC la tendenza è stata quella di sovrastimare il voto (6.33% la media fra i sondaggisti, 5.6% la frazione di voti effettivamente ottenuta). Anche la quota di voto del PD è stata leggermente sovrastimata, ma la differenze sono minime (33.56% la media dei sondaggisti contro il 33.1% effettivamente ottenuto).

Valutazione sintetica

Per concludere, riportiamo una misura di qualità aggregata dell’istituto basata sulla performance nel 2008. La tavola che segue riporta il Mean Square Forecasting Error (MSE) per ciascun istituto. Un valore più elevato del MSE corrisponde ad una performance peggiore. Si noti che la misura di qualità è calcolata soltanto per i cinque partiti già considerati nel grafico. Qualora si considerassero gli altri partiti il ranking fra istituti potrebbe subire delle variazioni.

L’ISTAT ha annunciato il rilascio degli indici che misurano le variazioni delle retribuzioni contrattuali.

Di seguito parte del comunicato ISTAT:

Nel mese di dicembre l’indice delle retribuzioni contrattuali orarie registra un incremento dello 0,1% rispetto al mese precedente e dell’1,7% rispetto a dicembre 2011. Nella media del 2012 la retribuzione oraria è cresciuta dell’1,5% rispetto all’anno precedente.

Con riferimento ai principali macrosettori, a dicembre le retribuzioni orarie contrattuali registrano un incremento tendenziale del 2,2% per i dipendenti del settore privato e una variazione nulla per quelli della pubblica amministrazione.

La stampa ha dato un risalto negativo alla dinamica delle retribuzioni contrattuali che viene fuori dall’analisi dei dati. Si è fatto notare che (a) l’1,5% su base anuale è il calo più consistente dal 1995 (primo anno di disponibilità dell’indice); (b) la crescità dei prezzi nel periodo di riferimento è stata superiore alla crescita delle retribuzioni.

Come al solito, la verità è un pò complessa.

Le borse di tutto il continente sono crollate, il rendimento del BTP decennale al 6.19% e uno spread BTP/Bund che ha toccato i 459 punti base.

A scatenare l’inferno è stata la Grecia. Il primo ministro greco George Papandreou ha condizionato la ratifica dell’accordo ad un referendum popolare da tenersi il prossimo Gennaio. Il terzo piano di salvataggio studiato da Francia, Germania e l’Institute of International Finance con il quale si doveva estinguere il fuoco della crisi ha finito per esserne il principale propellente.

Ma se l’inferno è stato ancora una volta scatenato dalla Grecia, nelle sue fiamme brucia più che mai l’Italia.

Nessuno nel pieno delle proprie facoltà mentali può credere che i leader Europei possano effettivamente riuscire a domare il panico che sta investendo i mercati.

Non basterebbe più un colpo di coda della classe politica italiana volto ad implementare quelle riforme strutturali, ormai pacchiano cliché di talk show di pessima qualità. Non fraintendetemi: molte delle riforme espresse in letterine e articoli di giornale sono necessarie affinché l’economia possa crescere a tassi più in linea con le nostre ambizioni. Ma siamo di fatto entrati in una nuova pericolosissima fase della crisi finanziaria.

L’unico argine che si può frapporre al collasso dell’euro è la Banca Centrale Europe. Non la BCE versione tedesca, quella dell’inflazione al 2% °no matter what”, ma la BCE versione bazooka—prestatore di ultima istanza. E non ci pare una grande pretesa quella di una Banca Centrale che faccia il suo mestiere.

Ho appena letto il Manifesto degli Indignati, che altro non è che una lettera al Presidente della Repubblica. Sono rimasto colpito dalla qualità della scrittura. Eccellente direi. Non voglio minimamente entrare nel merito delle rivendicazioni generazionali del testo, ma un passaggio del Manifesto lettera mi ha lasciato molto perplesso:

Caro Presidente, garantire e difendere la Costituzione oggi vuol dire rifiutarsi di pagare il debito, così come consigliano diversi premi Nobel per l’Economia;

Addirittura non uno, ma diversi premi Nobel avrebbero consigliato all’Italia di fare default. Mi sarò perso qualcosa?

Dal Financial Times, Split opens over Greek bail-out terms.

A split has opened in the eurozone over the terms of Greece’s second €109bn bail-out with as many as seven of the bloc’s 17 members arguing for private creditors to swallow a bigger writedown […] While hardliners in Germany and the Netherlands are leading the calls for more losses to be imposed on the private sector, France and the European Central Bank are fiercely resisting any such move.

Questa divisione sembra essere la causa delle perdite sui listini europei. Da Bloomberg, European Stocks Slide as Man Group Tumbles:

European stocks fell, snapping the biggest three-day rally in 16 months, after a report that some countries are demanding private creditors take bigger writedowns on Greek bonds. Asian shares rose and U.S. futures fluctuated.

Barroso, su Tobin Tax e Eurobond, dalla Stampa, Barroso: Si a eurobond e Tobin Tax Basta con l’unanimità nell’Ue”

Sì a eurobond e Tobin Tax, stop all’unanimità a tutti i costi: l’Unione europea deve modificare i Trattati per andare oltre questa regola. Lo ha detto il presidente della Commissione europea nel Discorso sullo stato dell’Unione alla plenaria di Strasburgo. Per Josè Manuel Barroso, «Il passo non può essere dettato dal più lento». Barroso ha annunciato che la Commissione Ue ha adottato ufficialmente oggi la proposta per introdurre un sistema comune di tassazione sulle transazioni finanziarie: la Tobin tax, se adottata dal 2014, potrà dare un gettito annuo di 55 miliardi.

Martin Wolf, sul Financial Times, Fear and loathing in the eurozone. Articolo tradotto in Italiano sul ilsole24ore.it, L’euro all’ultima spiaggia:

[Wolf cita l’ultimo rapporto del Fondo Monetario che descrive il processo per cui crisi finanziarie innescano spesso crisi del debito pubblico] Gli effetti di diffusione dei problemi degli Stati della zona euro hanno colpito i sistemi bancari locali, ma si sono estesi anche alle banche di altri Paesi. In aggiunta a queste vulnerabilità dirette, le banche si sono assunte rischi indiretti sul debito pubblico degli Stati prestando soldi a banche che detengono titoli di Stato a rischio. I rischi degli Stati si ripercuotono anche sulle passività dei bilanci delle banche, perché le garanzie statali hanno perso implicitamente valore, si è ridotto il valore dei titoli di Stato usati come garanzia, sono aumentati i margini di garanzia e il declassamento del rating degli Stati si è portato dietro un declassamento del rating delle banche

Da linkiesta.it, A Bruxelles l’Italia vota “con gli speculatori”,

Settembre doveva essere il mese decisivo, quello in cui l’Unione europea prendeva una decisione sulla vendita allo scoperto dei Credit default swap, i prodotti che assicurano contro il fallimento degli Stati. Londra si oppone ma - apparentemente a sorpresa - anche l’Italia è contraria. Dietro la mossa di Roma alcune paure: compresa quella che possa calare la propensione al rischio, allargando ulteriormente gli spread.

Si riapre il dibattito sul successore di Draghi a Via Nazionale. Dal ilsole24ore.it, Governo diviso, duello su Bankitalia:

Il candidato in pole position, peraltro, era e rimane il direttore generale di via Nazionale, Fabrizio Saccomanni […] […] da un punto di vista formale non ha potere d’iniziativa sulla nomina […]. Ma va da sè che il parere del responsabile di via XX settembre conta […] la sua preferenza [cade su] Vittorio Grilli, attuale direttore generale del Tesoro insediato alla guida di via Nazionale. […] Anche se in tutte le sedi istituzionali deputate a perfezionare la scelta le bocche sono rimaste cucite nella serata di ieri è trapelato che il ministro dell’Economia avrebbe spezzato una lancia per la nomina di Grilli sia con il presidente della Repubblica sia con Berlusconi.

Il Financial Times ha realizzato un applet che visualizza in modo utile e accattivante i risultati degli stress test europei dello scorso luglio.

I risultati sono stati pubblicati dall’European Banking.

E’ necessario disporre di un abbonamento per poter utilizzare l’applet. Per chi ne fosse sprovvisto ecco uno screenshot che mostra l’indebitamento di una “celeberrima” banca italiana:

Titoli del debito pubblico italiano in possesso di Unicredit: 46.7 miliardi di euro.

Capitalizzazione di Unicredit [ad oggi, Settembre 26 2011]: 12.96 miliardi di euro.

Su lavoce.info del 22 Settembre 2011 è stato pubblicato un articolo a firma di Ludovico Poggi dal titolo “L’ISTAT si (rifà) il trucco”. Il titolo gioca sulla rinnovata veste grafica del sito Istat per puntare l’indice contro un presunto trucco statistico perpetrato dall’Istituto di Statistica.

Il nuovo www.istat.it è stato lanciato qualche settimana fa. La vesta grafica è moderna e rappresenta un notevole salto di qualità rispetto al vecchio sito. Una delle funzioni del nuovo sito permette di ottenere grafici temporali on-demand di alcune variabili macroeconomiche di particolare importanza. Queste variabili sono:

1. PIL;
2. prezzi al consumo;
3. prezzi alla produzione;
4. produzione industriale;
5. numero di occupati;
6. tasso di disoccupazione;
7. retribuzioni;
8. indice vendite commerciali al dettaglio.

L’articolo de lavoce.info fa notare che se viene richiesto il grafico del prodotto interno lordo, il grafico prodotto mostra il Pil in variazioni percentuali tendenziali. [Il grafico del PIL come ottenuto dall’interfaccia Istat è riportato di seguito.]

Grafico del PIL come ottenuto dal sito www.istat.it [25 Settembre 2011”]

Dove sta il trucco? Il grafico potrebbe dare l’impressione che il PIL sia tornato ai livelli pre-crisi dopo aver toccato il minimo nel primo trimestre 2009. Questa interpretazione della rappresentazione grafica è errata. Un rapido sguardo all’andamento del Pil in livelli è sufficiente per accorgersi che il Pil è ancora ben lungi dall’essere tornato ai livelli pre-crisi. Per esempio, il valore del Pil nel secondo trimestre 2011 era di circa il 5% più basso rispetto al suo valore nel primo trimestre 2008.

Pil trimestrale a valori concatenati e destagionalizzati. Valori espressi in milioni di euro.

Ma è veramente un trucco? Iniziamo col dire il grafico riporta correttamente la dicitura “variazioni % tendenziali”. Infatti, se di trucco si tratta, riguarda la scelta di plottare le variazioni tendenziali e non i livelli. Enrico Giovannini, presidente dell’Istat, ha replicato in un post sempre su lavoce.info lamentandosi dell’articolo di Poggi perchè “tende a far credere al lettore che l’Istat abbia scelto il grafico del tasso di variazione invece che quello in livello per fare trucchi”. Giovannini continua:

Dovendo scegliere un solo grafico riguardante il PIL per l’home page, si è ritenuto opportuno concentrare l’attenzione sul dato sintetico più significativo, cioè sul tasso di variazione tendenziale, più che sul livello assoluto.

La scelta del tasso tendenziale è stata effettuata perché ritenuta migliore rispetto alle alternative. Bisogna allora chiedersi se la variazione tendenziale fornisca il dato sintetico più informativo.

Tassi e livelli. Prima di pronunciarci sull’information content, sarà bene spiegare cos’è la variazione tendenziale. Ho infatti il sospetto che pochi (parlo dei non addetti ai lavori) sappiano cosa “tendenziale” stia a significare.

Il tasso di variazione (trimestrale) tendenziale è definito come il tasso di variazione fra il valore di una variabile nel trimestre in questione e il suo valore nello stesso trimestre dell’anno precedente. Quindi la diminuzione del 6.7% nel primo trimestre 2009 non è rispetto al quarto trimestre 2008, ma al primo trimestre 2008. Nel primo trimestre 2010 il grafico è nell’area positiva, perché queste variazioni sono rispetto ai trimestri del 2009, l’anno nero della crisi. Si possono naturalmente considerare le variazioni trimestre su trimestre; in questo caso parliamo di variazioni percentuali congiunturali.

Il tasso di variazione trimestrale congiunturale è definito come il tasso di variazione fra il valore di una variabile nel trimestre in questione e il valore della stessa nel trimestre immediatamente precedente. Molto probabilmente è questo il tasso a cui molto sono più abituati a pensare. Visto che né lavoce.info né l’Istat hanno pubblicato un grafico delle variazioni congiunturali del Pil, ho provveduto a crearne uno che allego qui di seguito.

Pil trimestrale a valori concatenati e destagionalizzati. variazioni % congiunturali

Quale dato sintetico contiene più informazione? Una statistica è più informativa se contiene più informazioni sui dati che si stanno analizzando. Per esempio, se abbiamo a disposizione un campione di osservazioni, la media campionaria è meno informativa della distribuzione di frequenza. La distribuzione di frequenza è un dato sintetico più ricco della media: possiamo sempre risalire alle media campionaria avendo a disposizione le frequenze, ma non è possibile fare il contrario.

In modo analogo, il grafico delle variazioni, siano esse tendenziali o congiunturali, non ci permette di risalire ai livelli. Sapere che il Pil è cresciuto dell’1% fra il primo trimestre 2009 e il primo trimestre 2008 non fornisce alcuna informazione sul livello del Pil nei due trimestri in questione. Al contrario, la conoscenza dei livelli di una variabile nei trimestri consente di risalire alle variazioni (sia tendenziali sia congiunturali).

Ne consegue che è il grafico in livelli ad essere il “dato sintetico più informativo”. (In realtà un grafico temporale non è di per sé un dato, ma una sua rappresentazione pittorica.) E’ vero che la statistica è l’arte di sintetizzare dati complessi mediante indicatori facilmente intellegibili, ma è altrettanto vero che le possibilità odierne consentono di rilassare il trade-off fra sintesi e completezza.

L’Istat dovrebbe consentire all’utente di scegliere le modalità di rappresentazione sintetica delle informazioni. In assenza di questa scelta, il grafico di default dovrebbe essere il grafico in livelli.

A proposito di completezza, allego qui sotto una tavola con i dati sul PIL in livelli, in variazioni tendenziali e variazioni congiunturali. (Valori concatenati a prezzi 2000).