“Mixed Methods” nella valutazione di impatto


Esiste un’unica metodologia di valutazione in grado di catturare completamente tutte le complessità del mondo reale?

Proviamo ad introdurre il tema con due domande concrete:
– “Possiamo combinare dati demografici ed economici con resoconti narrativi?
“Possiamo far analizzare una grande quantità di dipinti ad una rete neurale e combinare i suoi risultati con indagini qualitative sui casi più tipici in ciascun cluster identificato?”

Dalle domande si evince il tentativo di conciliare due modi che vedono le cose da due punti di vista completamente differenti. Raramente esiste un’unica metodologia di valutazione che può catturare tutte le complessità e le sfaccettature del mondo reale e di conseguenza si possono trovare modi, anche creativi, per combinare diversi frameworks, strumenti e tecniche di valutazione; da qui il crescente interesse per gli approcci misti (Mixed Methods)

Se usati in modo isolato, sia i metodi quantitativi (QUANT) che quelli qualitativi (QUAL) presentano punti di forza e di debolezza. La caratteristica unica degli approcci “Mixed Methods” è il tentativo di integrare scienze sociali ,approcci QUANT e QUAL e raccolta analisi ed l’interpretazione dei dati.

Sebbene vengano utilizzati una varietà di metodi, ciò che distingue il metodo misto è l’uso intenzionale e pianificato dei diversi metodi. Lo scopo dei “Mixed Methods” è dunque utilizzare i punti di forza degli approcci QUANT e QUAL integrandoli per superarne le carenze.


Metodi QUANT e QUAL

Nonostante i molti vantaggi i metodi QUANT presentano una serie di limitazioni intrinseche. Molte critiche a questo approccio riguardano la riduzione dei dati narrativi in ​​“rigidi” numeri e le procedure di raccolta dati difficili da adattarsi a circostanze mutevoli. La codifica sembra quindi non riuscire spesso a catturare le sfumature all’interno di gruppi o comunità e le analisi mancano di profondità e dettaglio tipico dei metodi QUAL. La valutazione rischia quindi di diventare decontestualizzata, ignorando come i contesti economico, politico, istituzionale e socioculturale influenzino le caratteristiche delle popolazioni studiate.

I metodi QUAL sono, d’altra parte, strumenti potenti di raccolta ed analisi ma dove utilizzati evidenziano alcuni punti deboli. Le valutazioni QUAL spesso si concentrano su singoli soggetti e situazioni ed è più difficile generalizzare. Molte valutazioni QUAL utilizzano un approccio olistico, rendendo singoli elementi e fattori più difficili da isolare e rendono più difficile capire il contributo specifico di diverse componenti o approcci. Talvolta vi è anche una certa diffidenza nel fare troppo affidamento sulle opinioni e prospettive del valutatore, senza possibilità di analizzare in modo facile le soventi grandi quantità di scritti raccolti. Un ultimo punto è che molte valutazioni QUAL non forniscono documentazione dettagliata sulla metodologia, come di solito avviene nelle valutazioni QUANT, rendendo difficile verificare la validità della raccolta dei dati e la produzione di analisi.

In un prossimo articolo cercheremo di approfondire l’utilizzo delle tecniche di NLP (Natural Language Processing) a supporto dell’analisi di grandi quantità di scritti.


Perchè Mixed?

Ci sono dunque alcuni motivi principali per prediligere l’utilizzo di Mixed Methods:

  • Triangolazione dei risultati: miglioramento della validità o della credibilità dei risultati confrontando le informazioni ottenute da diversi metodi di raccolta dei dati. Ad esempio, confrontare le risposte alle domande del sondaggio con ciò che l’intervistatore osserva direttamente. Quando stime provenienti da diverse fonti convergono questo aumenta la validità e la credibilità di risultati ed interpretazioni.
  • Sviluppo: utilizzare i risultati di un metodo per sviluppare l’altro.
  • Complementarietà: ampliare la completezza dei risultati utilizzando i diversi metodi aiuta ad aumentare la comprensione.
  • Riconciliazione: generare nuove intuizioni nella valutazione dei risultati attraverso metodi che divergono e richiedono quindi una riconciliazione attraverso ulteriori analisi.
  • Diversità del valore: incorporare un ampia diversità di valori incoraggia una maggiore consapevolezza sul valore della valutazione.

Sintesi dei Mixed Methods

L’obiettivo non è dunque una sola giustapposizione di due metodi, ma piuttosto una metodologia veramente mista che integri i pensieri quantitativo e qualitativo. Entrambi i filoni dovrebbero influenzarsi a vicenda durante il processo, anziché creare risultati indipendenti. Vediamo in sintesi alcuni possibili approcci.

Sequential mixed method

  • QUAL > QUANT: Analisi Qualitativa per “mappare” problemi chiave e determinare approcci e ipotesi da esplorare con una analisi Quantitativa successiva. L’analisi qualitativa può dunque guidare la raccolta dati quantitativa.
  • QUANT > QUAL: Analisi qualitativa per investigare/interpretare risultati inaspettati della quantitativa. Per esempio, una survey iniziale che identifica cluster di casi simili seguita da degli studi approfonditi sui vari casi.

Parallel mixed method: Due analisi separate e risultati comparati.

Conversion mixed method

  • Analisi QUAL convertite in QUANT (“quantitizing”)
  • Analisi QUANT convertite in QUAL (“qualitizing”)

Multilevel mixed method: Mixed method con Analisi QUANT e QUAL a diversi livelli di dati.


L’ importanza della domanda

I metodi e la modalità mixed sono importanti ma è sempre necessario definire bene quale è la domanda perchè è lei a guidare la metodologia scelta e non il viceversa.

“Le domande non sono qualitative o quantitative, sono solo domande!” (Pat Bazeley)

E’ necessario comunque sempre essere aperti nel combinare diverse strategie per ottenere un quadro più completo sulle domande a cui desideriamo rispondere.