Autore di questo post è Anna Rinaldi, ricercatrice in Economia Comportamentale e docente di Economia e Valutazione delle Politiche Sociali e di Sviluppo presso l’Università degli Studi di Bari Aldo Moro – 

In Italia la cultura della valutazione delle politiche, intese all’inglese come policy, non ha mai preso piede. Si avvicendano i Governi e si rinnova il balletto delle “riforme”. Generalmente si inizia con quella della scuola. Ogni governo deve avere la sua, ma quali siano gli obiettivi di queste riforme, e perché le decisioni prese dal governo precedente debbano essere riformate o cancellate non viene esplicitato quasi mai. Bisogna cambiare stratificando una serie di norme successive dagli obiettivi incerti e dai risultati ambigui.

La valutazione delle politiche consentirebbe anche all’elettore/cittadino stesso di scegliere il politico da eleggere, non solo in base a preferenze generali ma, più nel concreto, sulla base della capacità di adottare misure che funzionano.

La storia che porta al premio Nobel per l’economia 2019 attribuito a Abhijit Banerjee, Esther Duflo e Micheal Kremer potrebbe essere un buon esempio da seguire per l’Italia e altrettanti paesi democratici. Questa storia incomincia in Messico, con quella che passerà alla storia come la più famosa delle politiche di contrasto alla povertà, Progresa. Correva l’anno 1997 ed il Presidente messicano Ernesto Zedillo Ponce de Leon non confidava ciecamente nella riconferma del Partito Rivoluzionario Istituzionale (PRI), e così il suo staff.

Fortunatamente Zedillo era un economista: laureatosi nell’università di Yale, aveva lavorato alla Banca Centrale del Messico, per poi dedicarsi alla politica. In quegli anni particolarmente difficili per il Messico, stretto tra pressioni sociali interne e crisi monetarie internazionali (effetto Tequila), Zedillo era ben intenzionato ad attuare delle politiche di contrasto a povertà e disuguaglianza. Così nacque Progresa, l’esempio di scuola dei c.d. Conditional Cash Transfer (CCT), i sussidi condizionati: trasferimenti di denaro all’elemento femminile della famiglia che venivano rinnovati il mese successivo, a patto che il mese precedente i figli fossero stati mandati a scuola e sottoposti alle visite mediche.

Progresa fu disegnata da un gruppo di accademici, coordinati da un altro economista, Santiago Levy, sottosegretario al Bilancio con un dottorato alla Boston University. Sorprende come, in un paese in cui i risultati delle elezioni si conoscono sempre prima della chiusura delle urne, le competenze dei politici fossero proprie quelle giuste per il posto che occupavano. Tra gli obiettivi dichiarati di Zedillo e Levy vi era quello di far sopravvivere Progresa anche ad un eventuale cambio di governo, e per farlo decisero di misurare l’impatto della politica in maniera rigorosa, e di sottoporre i risultati all’attenzione della comunità scientifica e dell’opinione pubblica, in modo da non lasciare spazio a dubbi.

I tre Nobel 2019 per l’Economia, Esther Duflo, Micheal Kremer e Abhijit Banerjee

Scelsero di predisporre, una valutazione d’impatto controfattuale, randomized controlled trials per l’appunto, che oggi è la ragione del Nobel a Duflo, Banerjee e Kremer. Gli RCT sono oggi spesso considerati il gold standard della valutazione d’impatto, perché randomizzati e perché controfattuali. Ma facciamo un passo indietro.

Valutazione vuol dire molte cose. All’interno dell’insieme più generico della valutazione, esiste un sotto-insieme che si chiama valutazione di programma, che a sua volta, contiene un altro sotto-insieme che è la valutazione di impatto. Innanzitutto, valutare significa rispondere a una domanda, che di solito è inerente a un programma (politica, intervento). All’esito dovremo aver compreso se le risorse e il danaro impiegati è giusto che siano stati investiti in quest’attività. E per farlo dobbiamo tenere a mente l’obiettivo che è sotteso al programma.

Una valutazione d’impatto controfattuale è in grado di dirci cosa sarebbe accaduto ai partecipanti di un programma se non avessero ricevuto il trattamento oggetto dell’intervento. Il controfattuale non può essere osservato nel gruppo di trattamento, può solo essere dedotto dal gruppo di confronto.

I randomized controlled trials sono una particolare valutazione d’impatto controfattuale mutuata dal campo medico farmacologico, in cui il campione viene suddiviso in due gruppi: quello di trattamento, a cui – ad esempio – viene somministrato il farmaco, e quello di controllo, a cui viene dato il placebo. La suddivisione tra i due gruppi avviene in maniera random, cioè con qualche metodo di distribuzione casuale, in modo che questi non differiscano all’inizio dell’esperimento, ma eventualmente solo alla fine per effetto del trattamento, sì da essere sicuri che la differenza, eventualmente riscontrata tra essi sia dovuta solo ed esclusivamente al farmaco e non a caratteristiche endogene del campione.

La valutazione, in questo caso, è coeva alla politica. Vengono disegnate ed implementate contemporaneamente. Ed al contempo deve essere pensato un sistema di monitoraggio – che è attività altra rispetto alla valutazione – per controllare la regolarità dello svolgimento delle azioni del programma e provvedere alla raccolta dati.

Elementi che contribuiscono alla diffusione degli RCT sono il crollo della fiducia nella capacità delle politiche pubbliche di cambiare durevolmente le sorti economiche e i dubbi sull’efficacia degli aiuti internazionali a fronte della persistente stagnazione economica in alcune zone del mondo.

La motivazione principale che ha portato al Nobel di Duflo, Kremer e Banerjee non è la lotta alla povertà bensì l’approccio sperimentale alla lotta alla povertà, appunto gli RCT. Valutare seriamente per apprendere cosa funziona, quali strumenti riescono effettivamente a contribuire allo scopo della riduzione della povertà. La valutazione condotta in maniera corretta e con risultati chiari indica la direzione delle policy successive. Non tutti i rimedi funzionano e un rimedio che funziona in un luogo, può essere del tutto inefficace in un altro.

Banerjee e Duflo sono inoltre, anche co-fondatori di J-PAL, cui è affiliato anche Kremer. J-PAL, The Abdul Latif Jameel Poverty Action Lab, un centro di ricerca a livello mondiale che ha lo scopo di ridurre la povertà, garantendo che la politica sia avvalorata da prove scientifiche. J-PAL conduce valutazioni d’impatto randomizzate per rispondere a domande cruciali nella lotta contro la povertà. J-PAL e l’organizzazione cugina IPA (Innovations for Poverty Action), che fanno capo rispettivamente al M.I.T di Boston e a Yale diffondono nel mondo la cultura delle politiche basate sulla valutazione, disegnandole e implementandole con i governi dei paesi, i donors, e le Ong.

È come se si sedessero intorno allo stesso tavolo ricercatori, politici, burocrati, e poi questi coinvolgessero rappresentanti della società civile, associazioni, e stakeholder in generale, a contribuire, ognuno per la propria parte ad un progetto con delle finalità e degli obiettivi chiari, precisi e misurabili.

Terminato il progetto, dopo averne monitorato lo svolgimento, raccolto i dati relativi agli indicatori selezionati preventivamente per misurare gli obiettivi, quelli potrebbero rivelarci se l’obiettivo è stato raggiunto o meno. In altri termini, se l’utilizzo dei danari pubblici si è rivelato un buon investimento economico, perché ha raggiunto gli obbiettivi desiderati, la policy in questione passerebbe al vaglio degli esperti e dell’opinione pubblica, per poi essere ampliata anche rispetto a coloro che non ne erano beneficiari (gruppo di controllo, ad esempio) o implementata su più ampia scala (“scalata”, come si dice in gergo tecnico). Gli interventi e le politiche sbagliate, spesso, non solo non risolvono i problemi ma li aggravano.

La vicenda dei tre premi Nobel per l’economia 2019 ci dimostra che per produrre informazioni utili al processo decisionale sono necessarie analisi empiriche condotte con rigore metodologico, e che il cambiamento deve passare dal ripensamento del ruolo dell’accademico. Come sosteneva l’antropologo francese Pierre Bourdieu, ripreso dal premio Nobel per l’economia Joseph Stiglitz, i politici dovrebbero dare al loro lavoro un’impostazione di tipo accademico, cimentandosi in un dibattito scientifico basato su prove e fatti concreti, scientifiche, come nel caso del lavoro di J-PAL e IPA, per l’appunto. “Purtroppo, succede spesso l’esatto contrario quando gli accademici a cui vengono richieste consulenze in materia politica diventano essi stessi politicizzati al punto di forzare la mano alle teorie pur di adattarle alle idee di chi è al potere”.

Se applicassimo tale metodologia in Italia, potremmo in modo puntuale identificare gli effetti prodotti da un certo intervento di policy sui cittadini.

Pochi giorni fa è stato pubblicato in Gazzetta Ufficiale il Decreto fiscale. Ora, posto che questo non è il tipo di legge che per sua natura può essere sottoposta a valutazione controfattuale, se esistesse una cultura della valutazione d’impatto delle politiche pubbliche, sarebbe lecito porre quesiti (e ottenere risposta) relativi, ad esempio, al prestito ponte di 400 milioni di euro concesso ad Alitalia.

Ci sono dei benefici che ne deriveranno ai cittadini? Se sì, quali? E se sì, come sono stati misurati? Il calcolo è stato rigoroso? Sicuramente la valutazione di cui eventualmente si parla è una valutazione ex ante, cioè fatta prima dell’implementazione della politica. È stata disegnata una valutazione in fieri e quella ex post? Qual è il lasso di tempo a partire dal quale è possibile cogliere i risultati delle azioni? È stato predisposto un monitoraggio? Quali indicatori sono stati selezionati per valutare l’impatto? Infine, questa manovra avrà un impatto positivo o negativo sulla condizione dei cittadino? Di quanto aumenteranno le tasse e, a fronte di questo, ci sarà un risparmio pro capite nell’utilizzo del servizio aereo?

L’Italia deve e può fare ancora molto design ed implementazione dei programmi di valutazione delle politiche. Se vogliamo davvero migliorare le performance pubbliche, raggiungere una migliore efficacia e magari consentire una trasparente rendicontazione delle politiche dell’azione pubblica serve maggiore consapevolezza, e prendere esempio dalle buone pratiche e tenere sempre presente, in ultima analisi, quale è l’impatto di una nuova policy sulla vita dei cittadini.

Duflo, Kremer e Banerjee ci indicano una strada, quella delle policy evidence based. Siamo pronti a intraprenderla? Se si visita il sito di J-PAL, si può avere una panoramica delle valutazioni randomizzate che l’organizzazione svolge nel mondo tramite i suoi affiliati. Su 1036 randomized evaluation consultabili, 315 sono svolte (alcune sono già concluse) in Africa, 267 in Asia, 241 in Nord America, 156 in America Latina e Caraibi, e solo 57 in Europa. In particolare, in Italia ve ne sono solo tre: una di Cantoni e Pons sulla partecipazione dell’elettorato attivo e sul comportamento dell’elettore (2014); due in tema di migrazione, più specificamente, quella di De Arcangelis e colleghi sulle rimesse (2012-2013) verso le Filippine, ed un’altra di La Ferrara, Carlana e Pinotti sul tutorato accademico e sul career counseling per ridurre le disuguaglianze tra immigrati ed italiani (2012-2014).

La Commissione Europea, già nel periodo di programmazione 2014-2020, ha incoraggiato in più documenti l’utilizzo di randomized evaluation. Mancano due mesi al 2020, cosa stiamo aspettando?