Sokszor erős a szándék, megvan a forrás a szegények problémáinak enyhítésére, a felzárkózás megkönnyítésére, mégsem sikerül értékelhető változást elérni. Gyakran az a kudarc oka, hogy nem értjük, hogy egy program mitől működik, vagy éppen mitől nem.
A hatásvizsgálat tudja megmondani, hogy egy beavatkozás – például egy felzárkóztató vagy népegészségügyi program – eredményes-e: működnek-e a kitalált eszközök, olyan hatás váltanak-e ki, amilyent elképzeltek, s előidéznek-e egyéb, jótékony vagy kártékony, változásokat is. Azonban egy hatásvizsgálat csak akkor megbízható, ha kellő figyelmet fordítanak megtervezésére és végrehajtására. Kézdi Gábor előadásának fő állításait foglaljuk össze. Az MTA kutatója és a CEU docense olyan tapasztalatokról beszélt, melyek azt üzenik: hatásvizsgálat nélkül nem tudjuk megítélni egy programról, hogy mennyire és miért sikeres.
A HÉTFA Kutatóintézet és a Széchenyi István Szakkollégium közös szervezésében megvalósult konferencia Abhijit V. Banerjee és Esther Duflo decemberben magyarul is megjelent (az Összkép Magazinban is bemutatott), A szegények gazdálkodása című kötetének tematikája köré szerveződött. Az előadások azt mutatták be, hogy az ösztönzők és intézmények mélyebb megértése milyen szerepet játszik a társadalompolitikák eredményességében.
„Kevesebbet tudunk, mint gondoljuk. A legtöbb esetben tudhatnánk többet, de az mindig nagy erőfeszítést igényel.” A hatások mérése mindig nagy munka, hiszen számos akadály gördülhet egy sikeres hatásvizsgálat útjába. Kézdi Gábor azonban úgy véli, hogy sok esetben mégis érdemes megpróbálni, mert minden tudásmorzsával előrébb jutnak a kutatók és a döntéshozók.
Mérhető hatás nélkül nem megy
Van, amikor rosszul valósul meg az a program, amitől a beavatkozás hatását várjuk. Egy hazánkhoz hasonló országban azzal a céllal indítottak programot, hogy a szegény körülmények között élő családokban több mesét olvassanak a gyerekeknek, ugyanis a rendszeres meseolvasás és az iskolai teljesítmény közötti bizonyítottan pozitív összefüggés van. A programba bekapcsolódó kisgyermekes édesanyák meseolvasási foglalkozásokon vehettek részt és mesekönyveket kaphattak.
Kézdi Kertesi Gáborral közösen arra az eredményre jutott, hogy azok a gyerekek, akiknek keveset mesélnek a szüleik, sokkal rosszabbul teljesítenek az iskolában. Azok a 8. osztályos diákok, akiknek ritkábban olvastak a szülei, a kompetenciafelmérésen átlag alatti teljesítményt értek el. A sok és kevés mesét hallgató diákok teljesítménye közötti szakadék közelít ahhoz a különbséghez, ami a roma és a nem roma tanulók eredményei között mérhető.
A végrehajtásba azonban hiba csúszott. Jóval kevesebb foglalkozást tartottak, mint kellett volna, a könyvek nem érkeztek meg időben, és még sorolhatnánk. A több, mint egy évig tartó programnak nem volt kimutatható eredménye. Ugyan a résztvevő anyák otthonában jóval több volt a mesekönyv, mint korábban, de a szülők alig olvastak több mesét, mint azokban a családokban, akik nem vettek részt a programban. Az el nem mondott mesék nyilvánvalóan nem hatottak a gyerekek teljesítményére.
A hatásvizsgálattal két kérdésre lehetett volna választ kapni. Egyrészt, hogy egy ilyen programmal elérhető-e, hogy nagyon szegény, ritkán olvasó anyák rendszeresen olvassanak mesét gyerekeiknek. Másrészt, ha növekszik is a meseolvasás gyakorisága, ez eredményez-e változást a gyerekek tanulmányi eredményeiben.
Fotó: pixabay
A kutatók azonban az első kérdésre sem tudtak így válaszolni. Lehet, hogy azért nem érte-e el a kívánt hatást, mert hozzá nem értők kezébe került a lebonyolítás. Lehet, hogy azért, mert egy ilyen program nem alkalmas eszköz arra, hogy a szegény anyákat rábírják a rendszeresebb meseolvasásra. Ennek kiderítésére azonban nem volt alkalmas a hatásvizsgálat. A kudard oka részben az volt, hogy a program végrehajtói nem rendelkeztek kellő tapasztalattal. De abban sem voltak érdekeltek, hogy a hatásvizsgálat értékelhető tudást generáljon Az egyébként jól összerakott, véletlen kiválasztáson alapuló, sok mérést végző hatásvizsgálatot a program végrehajtói nem támogatták, az kívülről lett rájuk erőltetve. Így összességében amellett, hogy a projekt nem volt eredményes, a hibákból sem lehet tanulni, mert az eredmények (azaz a kudarc) nem kerültek nyilvánosságra.
A sikert sem lehet mindig általánosítani
A létező, jól lebonyolított program sem garantálja, hogy sikeres hatásvizsgálat készülhet. Az Országos Oktatási Integrációs Hálózat első integrált oktatási programjára 2003 és 2007 között került sor, nagyjából 40 kiválasztott iskolában, demonstrációs céllal. A következő kérdésekre keresték a válaszokat: vajon az integrált oktatás hatására javul a roma gyerekek iskolai eredménye? Romlanak a nem roma tanulók tanulási esélyei? Javulhat-e a nem roma gyerekek toleranciája, ha együtt tanulnak roma társaikkal?
A résztvevő iskolák munkáját számos eszközzel segítették: korszerű pedagógiai módszereket vezettek be, intenzív képzést biztosítottak a tanároknak, az iskolairányítás szervezését is igyekeztek hatékonyabbá tenni, és az intézmények jelentős fejlesztési forrásokhoz is hozzájutottak.
A programot a nem mindig optimális körülmények ellenére magas minőségben hajtották végre, a hatásvizsgálat mégsem lett eléggé sikeres. A program finanszírozója ragaszkodott a hatásvizsgálathoz, de a lebonyolító nem hitt annak fontosságában. Ezért a program kidolgozásakor a hatásvizsgálati szempontok egyáltalán nem érvényesültek. A legnagyobb problémát az jelentette, hogy a résztvevő iskolák kiválasztása során nem figyeltek oda arra az alapvető módszertani szempontra, hogy a résztvevő iskolák és a nem részt vevő iskolák eredményének összehasonlításával megfelelően elemezhető legyen a program hatása.
A hatásvizsgálatok egyik legfontosabb módszere az orvostudományból kölcsönzött és a közgazdaságra alkalmazott Randomizált Kontrollált Kísérlet (RKK – angolul Randomised Controlled Trial, RCT). A kísérlet lényege, hogy az érintett csoportot véletlenszerűen választják szét, majd a részcsoportok különbözően kezelik őket. Ennek az egészségügyből ismert esete, amikor a betegek egyik csoportja placebót, a másik fele gyógyszert kap.
A hatásvizsgálat pozitív eredményeket mutat: a programban résztvevő iskolák diákjai jobban teljesítettek, romák és nem romák egyaránt, mint a kontrollcsoportot alkotó, hozzájuk számos tekintetben hasonló tanulók, hasonló intézményekben. Emellett a nem roma diákok némileg toleránsabbak is lettek roma társaikkal, mint korábban. Ugyanakkor nem lehet biztosan kijelenteni, hogy mindez a program hatása. Ha a programban résztvevő iskolákat véletlenszerűen választották volna ki, s nem utólag állították volna össze a kontrollcsoportot, sokkal biztosabbat lehetne tudni. Hiába ért el jó eredményeket a program, arra nem kaptunk választ, hogy egy ilyen beavatkozással általában el lehet-e érni hasonló hatást, vagy a kiválasztott iskolák olyanok, ahol működnek az alkalmazott eszközök.
Nem minden működik úgy, ahogy várjuk
A hatásvizsgálat jelentősége akkor mutatkozik meg igazán, amikor olyan eredmény jön ki, amire senki sem számított. Hajlamosak vagyunk meglévő tények alapján magától értetődő összefüggéseket feltételezni, a valódi hatások vizsgálata nélkül. Pedig egy gondolatmenetnek gyakran maradhatnak felfedezetlen láncszemei.
Kézdi Gábor előadása HÉTFA konferenciáján
Erre mutat rá több, a 90-es évek elején kezdődött nagyszabású, nemzetközi kísérlet, amik mind arra keresték a választ, hogy tovább élünk-e, ha rendszeresen szedünk bizonyos táplálékkiegészítőket, például béta-karotint. Számos korábbi kutatás kimutatta, hogy a zöldségek egészségesek – aki sok zöldséget, például répát eszik, tovább él. Az is tény, hogy a répa béta-karotinban gazdag. A béta-karotin pedig az A vitamin provitaminja, így a szervezetnek nagy szüksége van rá (vagy magára az A vitaminra), de magától nem képes előállítani, ezért folyamatosan pótolni kell. Adta magát a gondolat, hogy a béta-karotin táplálékkiegészítők hosszabb és egészségesebb élethez vezethetnek.
A kísérletek résztvevőinek egy véletlenszerűen kiválasztott csoportja rendszeresen szedett táplálékkiegészítőket: több vagy kevesebb béta-karotint, illetve alkalmanként más vitaminokat is. Az RCT módszertannak megfelelően véletlen kiválasztás eredménye volt, hogy ki kap táplálékkiegészítőt és ki kap placebot. Az eredmény azonban egészen más lett, mint amit a kutatók vártak. Nem tapasztaltak semmilyen pozitív hatást, sőt volt olyan kísérlet, amit le kellett állítani, mert a valódi vitaminokkal kezelt csoportban, ahol a legjobb hatásra számítottak, nagyobb valószínűséggel kezdtek el meghalni a résztvevők.
Ha nincs értékelés, nincs tanulság
A fenti példák után felmerül a kérdés: nem lenne-e jobb, ha bizonyos esetekben inkább elhagynánk a hatásvizsgálatot, elkerülve, hogy rosszul interpretált, torz információk keletkezzenek? Ez nincs így. Ha van rá erőforás, mindig esetben érdemes értékelést készíteni, mert minden vizsgálatból lehet és kell tanulni valamit. De oda kell figyelni, hogy megfelelő módon készítsük el a hatásvizsgálatokat. És főleg arra, hogy megfelelő módon értelmezzük azok eredményeit.
Ha egy program a sikertelen végrehajtása miatt, a mérhető hatások hiányában válik eredménytelenné, az elemzés segíthet kideríteni, hol csúszott félre a beavatkozás. Így tanulhatunk, hogy máskor ugyanazt a hibát ne kövessük el még egyszer.
Kézdi Gábor a Közép-európai Egyetem (CEU) docense, az MTA Közgazdaságtudományi Intézetének (KTI) tudományos főmunkatársa. Tanulmányait a Budapesti Corvinus Egyetemen végezte, Phd fokozatát 2003-ban szerezte a University of Michigan-en. Kutatási területei elsősorban a munkagazdaságtanhoz és a tágabban értelmezett alkalmazott mikroökonómiához kötődnek (oktatás, az emberi tőke felhalmozása és értékelése a munkaerőpiacon, a háztartások viselkedése bizonytalanság mellett), emellett módszertani kérdésekkel foglalkozik (keresztmetszeti és panel ökonometria, társadalompolitikai programok hatásvizsgálata).
Ha egy program sikeresen meg valósul, a hatásvizsgálati mérés akkor sem könnyű feladat – ahhoz, hogy értékelhető eredmények szülessenek, alapos tervezésre van szükség, a kezdetektől figyelembe kell venni a hatásvizsgálati szempontokat. Érdemes rááldozni az időt, a pénzt és a kellő szakértelmet, mert akkor tanulunk a sikerből, ha tudjuk, hogy mennyire és milyen feltételekkel általánosítható az eredmény, azaz mikor várhatjuk a jövőben, hogy a beavatkozás működőképes.
„Én a szakmai korrektség mellett tettem hitet. Megyek, ahová hívnak, kutatni és előadni is. A nyilvánosságban hiszek. Az eredményeket minden esetben nyilvánossá kellene tenni és szakmai közegben megvitatni, még ha maga a vizsgálat vagy a program nem is sikeres. Ki kell mondani, meg kell beszélni, ha valami nem sikerült jól – csak így lehet tanulni belőle.”
A sorozat korábbi cikke
Magyarországon a versengés megítélése annyira negatív, hogy az ellenséges reakciók miatt az emberek gyakran még a győzelemtől is tartanak – derül ki Fülöp Márta szociálpszichológus vizsgálataiból. Pedig a versenynek fontos szerepe van a fejlődésben és a tanulásban – ha tisztességes körülmények között, kölcsönösen elfogadott játékszabályok alapján zajlik. Az évszázadok alatt kialakult hozzáálláson változtatni nem egyszerű; szerencsére azonban nem is lehetetlen.
