Tip:
Highlight text to annotate it
X
Stephanie: La presentazione di oggi è la numero 138 nella serie di AEA Coffe Break, ed è la seconda parte della nostra
serie in otto parti con Better Evaluation. E riguarda Define e ciò che è da valutare '. Ed il nostro
presentatore è Simon Hearn, lui è un ricercatore presso Overseas Development Institute ed un
collaboratore per Better Evaluation. Quindi, andiamo avanti e cominciamo.
Simon, la parola a te.
Simon: Ottimo. Grazie, Stephanie. E vorrei solo assicurarmi che il mio schermo possa essere visualizzato.
Bene, come va?
Stephanie: Sì, perfetto.tutto a posto.
Simon: Buono. Bene, benvenuti a tutti. E 'bello vedere così tante persone con noi. Io sto chiamando
da Londra, nel Regno Unito. E sono le 9:00 di sera qui dove mi trovo. Oggi ho intenzione di parlarvi
riguardo il gruppo del Definire e dei compiti nel quadro del Better Evaluation. Avrete sentito
parlare- spero, dovresete aver sentito da parte di Elena Guijt parlare della panoramica che ha fatto su Rainbow Framework
lo scorso Martedì. Se vi siete persi questo appuntamento,lo potete trovare già on-line registrato.
Il gruppo Define è quello rosso in cima alla lista. Ed è in cima, ma questo non significa necessariamente che
[audio viene interrotto] In realtà, spesso per tutta la valutazione come vedremo. E quello in
il colore rosso è abbastanza importante per me. Io non credo che sia stato progettato in questo modo, ma il rosso per me significa
fermati. E se commissioni una valutazione, se ne stai intraprendendo una o
ne stai ideando una, è anche-è sempre utile fermarsi e prendersi un minuto, e basta pensare-e
in questo caso c'è una comprensione comune di ciò che esattamente è in corso di valutazione ? E questo è
ciò che riguarda questo compito.
Quindi perché abbiamo bisogno di cominciare il tutto con con una chiara definizione? Vi daro' quattro punti rapidi.
In primo luogo, bisogna stabilire le linee guida per comprensione comune e individuare le eventuali controversie o lacune che
possono portare a problemi in seguito per la valutazione. Così, per esempio, se l'intervento è sulla frutta, stiamo
parlando di mele o stiamo parlando di arance? O forse, in realtà stiamo parlando
circa l'intera ciotola di frutta.
Quindi, il mio schermo e' appena scomparso per un secondo. Tu lo puoi vedere, Stephanie?
Stephanie: No. E ' diventato tutto nero nero, Simon. Mi chiedo se sarebbe meglio che tu provassi a chiamare usando la linea telefonica?
Simon: Che succede? Oh, lo schermo e' di nuovo visibile? Lo vedi?
Stephanie: Lo vedo finalmente. Si.
Simon: Va bene. Windows sta facendo i capricci. Quindi, potrebbero essere le mele, potrebbero essere le
arance, o potrebbe essere l'intero cesto di frutta. Ma potrebbe anche riguardare l'estetica della
frutta, potrebbe riguardare la commercializzazione della frutta, o potrebbe riguardare l'aspetto della nutrizione della
stessa. Quindi in secondo luogo, sarebbe necessario anche coinvolgere le parti interessate nelle prime fasi di questo processo. E quello
che risulta attraverso questo processo di chiarezzai su ciò che è in corso di valutazione può
effettivamente essere altrettanto di aiuto come i risultati della valutazione stessia
E in terzo luogo, abbiamo bisogno di stabilire la teoria che andreamo a testare. Perché la maggior parte degli
interventi non sono cosi' semplici come quello sul cesto di frutta, ma in realtà coinvolgono un sacco di aspetti complessi
e, si sa, potrebbe riguardare il fatto se stiamo fornendo frutta, allora avremmo persone che la mangeranno questa
frutta, quindi avremo persone sane. Ma quando mai succede che la teoria
renda il tutto esplicito all'inizio dei programmi? Spesso sono i valutatori che devono facilitare questo processo.
Ed, infine, è utile capire nel momento della creazione di che tipo di dati necessitiamo
per questa valutazione e qaule tipi di progetti saranno piu' giusti per questa particolare
impostazione? cosi' non è sempre semplice passare attraverso questi compiti. E la Better Evaluation
fornisce tre compiti particolari sui quali bisognerebbe riflettare. Questi compiti sono correlati l'uno all'altro.
Non sono sequenziali, quindi questo e' solo uno schema di fantasia. E
vi parlero' di ciascuno di questi tre.
Quindi, il primo sviluppa una descrizione iniziale. E la domanda è che cosa c'è esattamente
in corso di valutazione. E sta definisce i confini di ciò che è dentro e ciò che è fuori, ed ottiene veramente
il consenso di tutti i soggetti coinvolti. Così, per esempio, stiamo valutando la politica di fornire
frutta gratis, o stiamo valutando il programma per il miglioramento della salute? O è solo un progetto
individuale-consegnare le ciotole di frutta alle scuole o agli uffici? Quindi c'è uno svariato numero di modi diversi nei
quali possiamo sciluppare questa descrizione iniziale.
Si potrebbe voler cominciare con gli obiettivi dichiarati e gli obiettivi del progetto. A volte, questa modalita'
è anche chiamata la visione e la missione. E questi obiettivi possono aiutarci a sviluppare ciò che chiamiamo
la descrizione delle miniature. Questa è solo una brevissima-potrebbe essere un paragrafo, un paio di punti in un elenco,
solo per descrivere su che cosa riguarda l'intervento e parte della sua storia. Così, per esempio, di quale
ciotole di frutta stiamo parlando? E di quali particolari distretti, e particolari città? Di quale periodo di tempo staimo
stiamo parlando? E l'intervento riguarda solo gli ultimi due anni? Che è stato coinvolto-quale
delle organizzazioni, quali persone sono state coinvolte nella realizzazione di questo intervento? Perché
in primo luogo questo programma e' stato effettivamente sviluppato? Quali sono stati i problemi che si stava cercando di
affrontare? A chi è destinato a beneficiare di cio' e come? E
è cambiato qualcosa nell'intervento nel corso della sua storia?
Ed una o l' altra tecnica che si vuole prendere in considerazione è quello che noi chiamiamo l'esperienza di massima.
E questo viene da un approccio d 'inchiesta riconoscente. In sostanza, si tratta di trovare o
ricercare nelle cose fatte e vedere quando il progetto realmente e' eseguito al meglio. E descrivendo ciò che il
progetto stava facendo, quello che diverse persone stavano facendo fino a quel punto, per avere un'idea di come il progetto
appare quando è veramente di successo.
Quindi, questo è il primo compito. Il secondo compito è quello di sviluppare la teoria del programma, o il modello logico.
Ci sono molte parole diverse che ora stiamo usando per definire il tutto, ma in sostanza la domanda che ci stiamo
chiedendo è come è l'intervento debba lavorare? E io vi voglio parlare delle quattro
opzioni diverse per rappresentare i modelli logici. Il primo è la pianificazione, o, talvolta,
chiamata la catena dei risultati. Ed è probabilmente l'approccio più semplice. In questo caso, iniziamo con i nostri
suggerimenti-mele e le persone sono a rischio a causa di una salute cagionevole. Le mele sono mangiate. Abbiamo persone che hanno
migliorato il loro stato nutrizionale. E poi il nostro, risultato globale di lungo termine è che la salute e' migliorata. Quindi è
abbastanza appropriato per interventi regolarmente diretti.
Per gli interventi più complessi, potrebbe essere necessario qualcosa di simile ad un quadro logico,
che è molto popolare nel settore dove io lavoro, quello dello sviluppo internazionale. Con questo
approccio, abbiamo identificato diversi livelli di risultati, e dobbiamo anche definire gli indicatori con i quali
andiamo misurarli e il mezzo con cui andremo a misurare tali indicatori.
Ma anche, soprattutto, le ipotesi ed i rischi che sono coinvolti. E così, potremo leggere il tutto in questo
modo. Quindi, se le nostre attività sono fatte, quindi se abbiamo consegnato le mele-e l'assunzione
rimane vera-così le mele sono mangiate sul posto-allora possiamo visualizzare le mele mangiate
perché sono stati sostituite da torsoli di mela. Se questo accade e la vitamina C è
conservata nelle mele, allora possiamo tranquillamente garantire che avremmo un migliore
stato nutrizionale. E poi se questo vale, allora raggiungeremo il nostro obiettivo generale. Così si
puo' leggere il tutto dal basso verso l'alto.
Il terzo approccio di cui vi voglio rapidamente parlare riguarda gli esiti della gerarchia, o talvolta chiamata
la teoria del cambiamento. Ed è qui dove guardiamo a un certo numero di esiti diversi e come poterli
collegare tra di loro e come possano lavorare insieme verso il nostro risultato complessivo. Quindi qui abbiamo le mele
consegnate alle scuole e questo porta ad un miglioramento della salute attraverso tre diverse strade. Potrebbe essere
attraverso il miglioramento della vitamina C. Potrebbe essere attraverso il miglioramento della quercetina. E potrebbe anche essere attraverso la
diminuzione dell'indice di *** corporea. E in realtà, la nostra valutazione dovrà individuare quale tra questi è
quella dominante, al fine di scalare cosi' da migliorare quello che sta succedendo.
L'approccio finale è la matrice realista. Ed è qui che prendiamo in considerazione tre diversi elementi.
Vediamo i diversi contesti che sono in gioco. Guardiamo i meccanismi che si articolano in
quei contesti e gli esiti che sono prodotti da quei meccanismi. Quindi, solo lo zoommando su
i primi due potremmo avere un contesto nel quale l'intervento si applica alle persone sane
ad alto rischio di cancro gastrico. E in questo caso, è la quercetina dalle bucce delle mele rosse, ed
Infatti potrebbero essere cipolle rosse perché producono anche loro la quercetina. E la quercetina
proteggera' le cellule dai radicali liberi che causano il cancro. E soprattutto, questo processo sta riducendo il
rischio di cancro. Ma il nostro intervento potrebbe essere applicato anche ai fumatori, o forse per le persone che hanno una
regolare esposizione alle radiazioni. E in questo caso, non vedremmo lo stesso risultato
perché le sostanze chimiche presenti nel fumo di sigaretta o le radiazioni danneggiano il DNA e di fatto
causano molto più danni dai quali la quercetina possa eventualmente proteggere. Quindi, evidenziando i
diversi contesti, i meccanismi ed i risultati, possiamo guardare a possibili modi in cui il nostro
progetto sta contribuendo a dare risultati o forse
perché non si riescono a vedere i risultati che uno si aspetta.
Quindi, queste sono alcune delle opzioni per il secondo compito. Volevo solo evidenziare questo esempio. E ' parte di un
lavoro che viene pubblicato da Better Evaluation proprio nel marzo di quest'anno, ed e' scritto da Judy
Oakden, e contiene davvero un bell' esempio di una catena di lavori fatti che ha portato ai risultati che sarebbe interessante
guardare. Il tutto si può trovare nel nostro sito web.
Il terzo compito, allora, è quello di individuare i potenziali risultati indesiderati o negativi. E questo è,
veramente importante per i valutatori, e abbiamo bisogno di essere veramente consapevoli che non stiamo semplicemente attaccando
a guardare i risultati che sono definiti dal progetto nei documenti del progetto o semplicemente
in cerca di risultati positivi. Bisogna andare oltre. Il che può essere molto difficile, ma ci
sono alcuni modi per aggirare questi ostacoli.
Quindi la Better Evaluation ha quattro strategie particolari che si possono prendere in considerazione. La prima è
la teoria del programma negativo po 'come costruire un modello logico, ma si agisce ottenendo risultati negativi
Che cosa potrebbe andare male con questo progetto, e quali sono le conseguenze di questi
fallimenti? In secondo luogo, si potrebbe andare a cercare le persone che sono critiche riguardo il programma che si trovano
in piedi a bordo campo scuotendo il dito, e dicendo: bene, si dovrebbero fare le cose in un modo diverso
E coinvolgerle chiedere loro, va bene così, che cosa sapete che non conosciamo? Che cosa
ci manca? Come possiamo migliorare? Quali sono alcune delle conseguenze del nostro lavoro svolto
in questo modo? In terzo luogo è la semplice valutazione del rischio-guardando le attività stiamo correndo e appena
scopriamo quali sono i difetti e quali potrebbero essere e potenziali punti di intervento. E, infine, Six Hats Thinking è
un approccio di Edward Debono e si tratta di un approccio di facilitazione che aiuta veramente per spezzare
una normale discussione, e pensare in un modo un po 'più creativo.
Questi sono i tre compiti. Volevo solo mostrarvi questa diapositiva cosi' da potervi veramente veramente quanto
Definire interagisce con il gruppo Frame, che sara' presentato nel prossimo webinar, e
come non è solo un approccio passo dopo passo lineare, ma in realtà si potrebbe iniziare con una prima
descrizione che poi porta alla discussione tra il valutatore e il commissario riguardo
il fine della valutazione, che è un compito di Frame. Poi si potrebbe tornare indietro e perfezionare la
descrizione e quindi definire le domande di valutazione, poi tornare indietro e sviluppare il modello logico
Poi finalmente è possibile concordare l'ambito della valutazione.
E volevo solo lasciarvi con questo-un link web in modo da poter leggere molto di più su tutto cio'
di cui vi sto parlando. C'è un vistoso riassunto di due pagine di questa presentazione, che
e' possibile scaricare gratuitamente. Ed è possibile tenersi aggiornati con noi su Facebook e Twitter, ecc,
ecc, Grazie mille.
Stephanie: Ottimo. E grazie mille anche te, Simone. Proseguite e digitate le vostre domande
se volete, ma prima ci rivolgiamo a coloro, abbiamo gia' alcune domande, voglio solo
ricordarvi che ho intenzione di inviare una e-mail follow-up in un paio d'ore.Quindi, se non avete ricevuto
le diapositive inviate nella prima parte della giornata, anche queste faranno parte nella e-mail follow up
le potrete visionare una volta arrivata la e-mail.
Ok, alle domande. Elena domanda, ci sono momenti in cui certe opzioni del modello logico sono
più utili di altre? Per esempio,
c'è un modello che è meglio per la valutazione di una cultura organizzativa?
Simon: Sì, certamente. Vi ho fornito quattro diverse opzioni, e c'è ne sono molti di più. E bisogna
scegliere il modello che meglio rappresenta la teoria che si sta cercando di verificare.
Quindi, per il semplice intervento di una mela al giorno, e sufficiente una semplice catena di risultati
evidenziare dove i vari fallimenti potrebbero essere. Ma per qualcosa di più complicato,
allora si ottiengono alcuni diagrammi di teorie di cambiamento molto, molto complicate che in realtà possono essere
utili nella rappresentare la complessità dei diversi meccanismi in gioco.
Cambiamento Organizzativo-sì, voglio dire, una teoria del cambiamento può essere molto utile perché
si sta guardando ai diversi meccanismi, ed ai diversi percorsi attraverso i quali si sta influenzando
il cambiamento - e le persone che si stanno avvicinando, le strategie diverse, ed i diversi piccoli interventi
e incentivi che si stanno utilizzando. E ciascuno di questi daranno una diversa serie di risultati
che si vorranno valutare.
Stephanie: Ok, perfetto. Ecco qui, Scott chiede, che dire circa l'uso? Non dovrebbe guidare il
progetto e far parte delle questioni da prendere in considerazione?
Simon: Sì, assolutamente. Quindi c'è tutto un altro gruppo di attività in torno all'uso. Quindi non
pensiamo-c'è un sacco di sovrapposizione tra i gruppi, ma abbiamo cercato di separare il loro
funzionalmento. Ho portato all'attenzione il diagramma di interazione tra Definire e Frame, ma
ce ne sarà uno simile con Use, perché si vuole prendere in considerazione Use e' ai primissimi stadi
della pianificazione e della valutazione. Non riuscivo a parlare di come Define interagisce con ciascuno dei
diversi gruppi. Ma forse quando si arriva a parlare di Use, allora, parlerò di come-e
ho gia' parlato anche di questo- vi parlerò di come è particolarmente importante
pensare durante la fase di pianificazione.
Stephanie: Perfetto. Un altro Scott sta chiedendo, si può parlare di modi della teoria del programma diagramma
come i modelli logici, che non si limitano nel mostrare le relazioni causali come lineare e unidirezionale?
Simon: Questa è una domanda molto interessante. Voglio dire, penso che la maggior parte degli schemi che ho visto mostrano
esiti collegati da linee e ci sono molti software e consigli su come costruire questi
diagrammi, che ovviamente si basano su di una deduzione causale tra particolari risultati. Sarei
in realtà interssato, se ci sono degli esempi di schemi non lineari, immagino. Io non sono sicuro di come
verrebbe il diagramma stesso. Voglio dire, io lavoro molto con esiti di mappature, che non producono diagrammi ad ostacoli
che si collegano tra di loro, ma parla di chi sono i principali attori con cui si sta lavorando
per portare un cambiamento in ogni situazione particolare, e che tipo di cambiamento di comportamento si sta
Cercando in quegli attori. Quindi, in questo modo, si rompe dalle relazioni causa-effetto lineare
ma in un certo senso non aiuta nel produrre diagrammi. E allo stesso modo, la matrice realista è un
modo di rottura di tale causa effetto, ma anche il diagramma non appare in un modo visivo.
Si descrive con le parole poste in una tabella.
Stephanie: Okay. E penso che abbiamo tempo per un'altra domanda. Giulio si chiede-dice di
non aver ben capito l'uso dell' esperienza di picco.
Potresti approfondire questo argomento un po 'di più?
Simon: sì. Nel tentativo di sviluppare una descrizione del programma, si potrebbe iniziare da un punto
particolare del progetto in cui sono stato ottenuti risultati molto buoni. Quindi, piuttosto che cercare di catturare
tutto quello che sta succedendo, che a volte è molto difficile dato che un programma potrebbe essere
operativo per alcuni anni. Potrebbe aver subito un sacco di cambiamenti e magari sta avendo un
cambio nella strategia. Si può solo scegliere il punto in cui era al massimo del suo rendimento e basta
descrivere quello che stava succedendo in quel momento-solo una particolare finestra in quel progetto di lunga durata.
Stephanie: Ok, perfetto. Il che ha esaurito tutto il tempo a diposizione oggi. Quindi,
grazie a te, Simone. E gente, se avete una domanda alla quale non siamo riusciti a rispondere- Ne Vedo molte
qui, prego tutti gli interessati solo di inviare una e-mail. In realtà, credo che metteremo tutte queste domande
e risposte, insieme e pubblicarle sul sito di Better Evaluation, e si potra' avere un collegamento alla
e-mail il follow-up che si ricevera'. Inoltre, un promemoria per tenere d'occhio il sondaggio che
apparira' nella finestra del browser. Ci piacerebbe ricevere i vostri commenti. E ci piacerebbe ritrovarvi
di nuovo qui per la prossima puntata il prossimo Martedì, quando andremo a parlare di Frame.
Quindi, grazie tante, Simon.
Simon: Grazie molte. E grazie, anche, a tutta la gente intervenuta
Stephanie: Arrivederci.
Simon: Arrivederci.
Didascalie tratte da GetTranscribed.com