Evaluátor Vladimír Kváča: Most postavíte podle plánu, proměna škol se přesně naplánovat nedá.
Díky mezinárodním zkušenostem a dlouholeté práci v České evaluační společnosti se zapojil do řady významných projektů v Česku i v zahraničí. K Nadačnímu fondu Eduzměna se nezávislý evaluátor Vladimír Kváča dostal nejprve jako člen evaluační rady. Později byl osloven, aby pomohl vytvořit evaluační zprávu pilotního projektu na Kutnohorsku. V rozhovoru mluví o limitech evaluace v komplexních systémech i jasných signálech, že Eduzměna na Kutnohorsku nastartovala viditelné změny: ředitelé více spolupracují, zřizovatelé přebírají aktivní roli a školy se postupně proměňují zevnitř. „Dopady na děti se v tak složitém systému projeví až s odstupem, ale směr je správný,“ říká Vladimír Kváča.
Jak složité je evaluovat projekt jako je Eduzměna?
Víc než si mnozí myslí. Jeden z velkých problémů jsou velmi různá očekávání, jak na počátku na straně týmu, tak třeba na straně donorů, z hlediska toho, co je vlastně realisticky a metodologicky možné. Eduzměna se pokouší intervenovat do vzdělávání, což je vysoce komplexní systém, u kterého nelze předem naplánovat jasný postup. Příčiny a následky jsou nepředvídatelné a projekt musel svá řešení stavět za pochodu. A to se Eduzměně dařilo, protože dokázala rychle reagovat i na externí faktory, s nimiž nikdo nepočítal: pandemii covidu nebo příchod ukrajinských žáků. Často vysvětluji tento rozdíl na stavbě mostu, kde expert předem ví přesně, jaké informace si musí zjistit, aby mohl ten most naplánovat od prvního výkopu po barvu zábradlí, a většinou se ho pak podaří postavit a málokdy spadne. Když se ale pokouším intervenovat do komplexního systému – v tomto případě vzdělávání na Kutnohorsku – je to úplně něco jiného.
V čem konkrétně?
U komplexních systémů nevíme, co nevíme. Musím ten prostor vnímat a začít uvažovat, co může být důležité. Musím nejdřív udělat krok jedna, a teprve z té interakce, když něco zkusím a zjistím, jaká je odezva, můžu postupovat dál. Nemůžu naplánovat deset kroků dopředu.
A to logicky velmi komplikuje evaluaci…
Přesně tak. Na začátku Eduzměny byla vize, že budeme výsledky měřit na dětech. Na to existují evaluační metodologie, které ale vyžadují, aby ta intervence byla do značné míry izolovaná a homogenní, abychom ji mohli opakovaně replikovat v různých školách. Jenže každá škola je jiná, má silné stránky, slabé stránky a nedává smysl se všemi pracovat stejně. Potřebujete navazovat tam, kde je energie. Musíte nejdřív zjistit, jaká je situace s ředitelem, jak to má se sborem, co sbor potřebuje, jestli to je velká nebo malá škola. Existuje spousta scénářů toho, co tam můžete dělat, a nebylo by rozumné dělat všude to samé. A tím složitější je evaluace.
Eduzměna není taková, že do školy pošle někdo zvenku a on začne místo učitele pracovat s dětmi. To bychom dokázali vyhodnotit celkem snadno a rychle. Eduzměna se snaží pracovat především s řediteli, zřizovateli, o něco méně s učiteli. Je to o proměně kultury té školy. Nejprve musí začít dělat něco jinak ředitel a možná i zřizovatel a zároveň se musí proměnit jejich vztah. Pak se to začne přenášet na učitelský sbor. Eduzměna tomu pomáhá například přes metodická centra pro pedagogy. Postupem času se změny začnou promítat do aktivit učitelů, do jejich hodin. A až poté se dostaneme do úrovně, která nás všechny zajímá, tedy k dětem.
"Každá škola je jiná, má silné stránky, slabé stránky a nedává smysl se všemi pracovat stejně. Potřebujete navazovat tam, kde je energie."
Jaké evaluační metody jste tedy během pilotního projektu používali?
Zjednodušeně řečeno z hlediska dopadu jsme si řekli, že budeme měřit ředitele, učitele, rodiče a děti v různých věcech a budeme sledovat vývoj v čase. Zároveň jsme se snažili najít nějaký jiný srovnávací region, což se ale ukázalo, že není pro neziskovku zrovna jednoduché, protože vy jste samozřejmě odkázaní na dobrovolnost té spolupráce. Takže přes značné počáteční úsilí se nepodařilo rekrutovat žádný ucelený srovnatelný region a postupem času se muselo poněkud polevit v parametrech srovnávacího vzorku. Nakonec jsme na Kutnohorsku měřili 47 škol a ve srovnávacím vzorku jsme měli 67 škol, zhruba polovina jich byla z Krnovska, zbytek byl poskládaný z různých obcí.
Dalším úskalím pak je, že to, že jste ochoten sdílet svoje data s někým, jako je Eduzměna, znamená, že nejste průměrný, ale spíše budete patřit k tomu lepšímu, co mezi českými školami je. My jsme si tohoto výběrového zkreslení vědomi. A to je obecný problém společenských věd, vy si nemůžete postavit laboratorní podmínky. Jednoduché problémy už si rozebraly přírodní vědy a nám zbyly ty složitější.
To se tedy bavíme o kvantitativní části evaluace…
Ano, evaluační terminologií šlo o kvaziexperiment, kdy sbíráte předem jasně strukturovaná data o velkém množství lidí – na Kutnohorsku i mimo něj. Používaly se různé dotazníky, které se sbíraly pravidelně, typicky jednou ročně, byť to občas bylo kvůli covidu komplikované, z úrovně ředitelů, učitelů i rodičů. Sbírala se také data o dětech, jednak z mateřských škol, kde jsme používali standardizované šetření, které se týkalo socioemočních dovedností. Mnohem bohatší byl pak sběr dat na úrovni dětí z druhého stupně základní školy, kdy jsme zkoumali jejich postoje k učitelům, ke škole, k sobě navzájem, jejich wellbeing a také jejich vzdělávací výsledky.
Jaké mají tyto metody nevýhody?
Kvaziexperiment vám řekne jaká změna je následkem vašeho snažení, ale neodpoví na otázku, proč se určité změny dějí, jak konkrétně probíhají, na koho určitý postup funguje nejlíp a na koho třeba vůbec. Občas potřebujete jít víc pod povrch a k tomu jsou vhodnější jiné metody, často více kvalitativní. Takže probíhaly hloubkové rozhovory, fokusní skupiny, ale i pozorování, nebo analýza deníků průvodců. Ty nám pomohly lépe pochopit, co se děje, případně kde to funguje lépe a která intervence je nejúčinnější. I tady jsou ale mnohá výzkumná úskalí. Když zkoumáte lidi a jejich chování, tak je nikdy nezměříte přesně jako technici, vždy to bude nějaká interpretace, jste závislí na tom, jak to ti daní lidé vnímají.
Takže velmi záleží na jejich schopnosti věci popsat, na jejich nastavení, životní situaci...
Když se budu ptát, jak to má učitel se svým ředitelem a jak to mají žáci mezi sebou nebo ve vztahu například k matematice, vždy zjistím jen to, jak oni to vnímají. A velmi to souvisí s tím, jak rozumí danému tématu. V literatuře popsaným a často pozorovaným jevem je, že když si s lidmi začnete o nějakém tématu povídat, tak vy je k tomu tématu teprve „zcitlivujete“. Když přijdu do školy ve vyloučené lokalitě, kde děti o šikaně nikdy moc neslyšely, a zeptám se jich, jak to mají s šikanou, tak mi řeknou „v pohodě“. Až když jim začnu vysvětlovat, co všechno šikana je, tak si mohou uvědomit, že spousta věcí, které považovaly za úplně normální a braly je jako přirozenou součást reality, jsou vlastně šikana. Jinými slovy, proměnili jsme jejich vnímání a příště vám na stejnou otázku týkající se šikany možná odpoví „nic moc“. My jako výzkumníci o tomto problému víme a občas bojujeme s tím, jak to vysvětlit laické veřejnosti. Snažíme se měřit, protože věříme, že to je důležité, ale zároveň víme, že „měřáky“, které používáme, jsou nepřesné. Jinak to ve společenských vědách ale většinou nejde.
Co jste tedy z evaluace pilotního projektu zjistili?
To, oč usilovala Eduzměna na Kutnohorsku, se pozorovatelně začalo dařit. Tým Eduzměny má teď hlubokou terénní znalost, kterou velmi často spousta dalších intervencí, které jdou shora, postrádá. A to velmi usnadní přechod do dalších regionů. Ono se nedá zkopírovat to, co proběhlo na Kutnohorsku, a poslat to na Přešticko-Blovicko nebo do Českých Budějovic. Podobně jako když jdete do nové školy, tak se nejdřív potřebujete rozhlédnout a musíte hledat, kde je ta energie, a na ni navázat, a tak to bude v každém dalším regionu. Díky zkušenostem to půjde rychleji a v dalším kole ještě rychleji, i tak ale mluvíme o nějakých učících se smyčkách, které trvají roky.
Velmi dobrá známka toho, že to funguje, je proměna na straně zřizovatelů. Jednak oni sami říkají, že se změnil jejich pohled na vzdělávání od reaktivních „hasičů požárů“ v proaktivní hráče. A úplně ultimátní důkaz toho, že Eduzměna minimálně z jejich pohledu funguje, je ochota dvou třetin zřizovatelů financovat Centrum podpory vzdělávání. A jde tady především o větší zřizovatele, protože do jejich škol chodí celkem 95 % dětí na Kutnohorsku. To znamená, že aniž by museli, aniž by měli legislativní povinnost, rozpoznali užitečnost toho, co Eduzměna dělá.
"To, oč usilovala Eduzměna na Kutnohorsku, se pozorovatelně začalo dařit. Tým Eduzměny má teď hlubokou terénní znalost, kterou velmi často spousta dalších intervencí, které jdou shora, postrádá."
Jaké posuny jste vysledovali u ředitelů?
Na úrovni ředitelů Eduzměna dramaticky přispěla k jejich propojování a spolupráci. Dříve to bylo spíše „jako ředitel jsem na to sám a musím bojovat za svoji školu“. Teď se ředitelé více znají mezi sebou a vnímají se jako tým odpovědný za vzdělávání v celém regionu. 70 % ředitelů aktivně spolupracuje v sítích vedení škol, český průměr je 18 %. Už to není moje škola versus tvoje škola, ale jsou to naše školy. Každý z nich je v něčem silný, takže si navzájem dokážou pomoct, a proměnilo se velmi výrazně jejich vnímání toho, jak důležitý je pedagogický leadership a wellbeing sboru i žáků. Obojí chápou jako důležité pro to, aby jejich škola mohla přinášet nějaké výsledky.
Z dotazníků ve srovnávací skupině je patrné, že u ředitelů v posledních letech roste stres plynoucí z administrativní zahlcenosti a papírování. Tento zdroj stresu my ale v Kutné Hoře nevidíme, někdy v polovině pilotního projektu došlo k jeho velmi znatelnému propadu. Domníváme se, že to je právě tou spoluprací, sdílením know-how. Když ředitel na Kutnohorsku něco neví, prostě se poradí s jiným ředitelem, zavolá mu. Místo toho tam roste jiný zdroj stresu, který se nám ale vlastně docela líbí. Tamní ředitelé přemýšlí: „Jak já budu dobrým pedagogickým lídrem? Jak budu udržovat vztahy v pedagogickém sboru, jak ho podpořím?“
A co učitelé?
Učitelé jsou zpravidla v souladu se změnou postoje ředitelů a obecně vykazují lepší vnímání vedení. Zároveň u nich začínáme vidět i posuny v sebehodnocení nebo změny postojů ke klíčovým věcem typu práce s náročnými žáky. Nepříliš pozitivní stránkou je, že učitelé na Kutnohorsku oproti srovnávacím školám vykazují vyšší frustraci z určitého nedocenění pedagogické profese. Možná i díky intervenci Eduzměny, která vzdělávání v regionu propojila, si učitelé více uvědomují svoji důležitost.
Co zásadního vyplynulo z dotazníků, které jste získali od rodičů?
Na úrovni rodičů je z kvalitativních dat velmi patrné, že si všimli práce Týmů duševního zdraví. Oceňují možnost řešit problémy s duševními potížemi dětí, ať už je to úzkost nebo cokoliv jiného. Zároveň jsou rodiče spokojení se školou jako takovou, častěji by ji někomu doporučili.
A právě také u rodičů se projevily i ty určité metodologické věci, o kterých jsme už mluvili. Všimli jsme si, jak jsme ta data sbírali opakovaně, že v roce 2023 nastal určitý propad ve vnímání školy, jak na Kutnohorsku, tak ve srovnávacím vzorku. A my jsme dlouho přemýšleli, čím to je. Zjistili jsme, že podobné výsledky mají i jiná obdobná šetření. Nakonec jsme přišli na to, že je to dopad kontextu doby, protože šlo o období vrcholící inflace. A na tom můžeme pěkně ilustrovat nepřesnost těch našich „měřáků“. Vy se zeptáte rodičů, jak jsou spokojení se školou, a oni do toho nevědomky promítnou to, že jsou vysoké ceny energií, což s tou školou nemá vůbec nic společného. Ale je to pozorovatelný jev a musíte s ním počítat. Všechny důkazy, s nimiž pracujeme, jsou často nepřímé, ale přesto, když je vhodně zkombinujete, tak dávají celkem uvěřitelný obrázek pozitivní změny.
Prokázaly se nějaké zásadní posuny u dětí?
Ono to vůbec není překvapivé, na druhou stranu je to pro někoho možná zklamání, že se zatím nepodařilo naměřit nějaké velké pozitivní změny na úrovni samotných dětí. Ale už jsme mluvili o tom, jaká je dynamika té změny, že ona jde vlastně shora, od ředitelů, ono to prostě bude ještě několik let trvat. Nejdřív se musí proměnit vztah ředitel versus učitel, než změníme chování těch učitelů tak, aby i děti dosáhly jiných výsledků. My totiž na ty samotné děti působíme velmi nepřímými metodami, ale jinak to nejde, když chceme ovlivňovat komplexní systém, kterým vzdělávání je.
Řada lidí by čekala, že změna bude lineární, že v polovině pilotního projektu bude Eduzměna v půlce cesty, ale tak to není. V komplexních systémech se změny dějí organicky, růst není lineární, ale exponenciální. Ono to celkem očekávatelně bude tak, že se dlouho nic neděje a pak se ta křivka zvedne. Takže podle výsledků, které nyní máme, očekávám, že by se ty změny měly v příštích několika letech projevit na úrovni žáků. Samozřejmě ale vždy existuje riziko, že přijde nějaký velký externí faktor, který bude v těch datech obtížně eliminovatelný.
Z vašeho pohledu, uspěla tedy Eduzměna na Kutnohorsku?
Uspěla. Pustila se do odvážné intervence na úrovni celého regionu. Velmi transparentně se snažila spoustu věcí měřit a publikovat. A myslíme si, že to funguje, byť ta dynamika změny je pomalejší, než by mnozí chtěli. Ale nemyslím si, že je o moc pomalejší, než by být mohla. Retrospektivně se dají vždycky najít chyby a nedá se jich vyvarovat, příště uděláte zase jiné chyby. Důležité je se z nich poučit, a to je princip učící se organizace, která průběžně adaptuje svůj přístup tak, aby se přibližovala naplnění své vize. A v tom je Eduzměna skvělá.
Nadační fond Eduzměna
