Je dobře, že Cermat dělá těžké testy. Má ale příliš velkou volnost, říká expert na testologii a bývalý ředitel Cermatu
V červnu MŠMT avizovalo, že podrobí Cermat rozboru jeho fungování a procesů. Nyní na základě tohoto takzvaného auditu vydalo zprávu s návrhy opatření. Co si o ní myslíte?
Já bych to ani nenazýval auditem. To není auditní zpráva, to je spíš sebehodnotící zpráva s komentářem. A těch doporučení a komentářů je tam strašně moc. Navíc je něco popsáno tak obecně, že se musíme na řadu věcí doptat. To není všechno vyřešitelné ze dne na den, muselo by se to prioritizovat.
Už dávno jsem si říkal, že by se měl udělat nějaký odborný audit Cermatu, ale když se řekne „audit“, představím si tým lidí, kteří by tam intenzivně tři měsíce pracovali a vydali závěrečnou zprávu. To si asi Cermat nemůže dovolit. Pro zaměstnance by to bylo enormní zatížení, oni musí jet v každodenních procesech. Navíc byste i těžko našli odborníky, kteří by na tři měsíce vystoupili ze svých zaměstnání. Nejednalo by se o lecjaký audit, ale hodně specifický.
Měl by také vzniknout odborný dozorčí orgán, který stanoví přísnější pravidla toho, jak se testy budou předem ověřovat. Má být ve složení zástupce ČŠI a dvou externích expertů na testologii. Jak vnímáte, že jste byl osloven stát se jedním z těchto expertů?
Upřímně mě to nepřekvapilo. Přišlo mi to logické, protože lidí, kteří se tomu věnují, není mnoho. Je pro mě ale důležité, kdo další v něm bude a jak spolu dokážeme nacházet konsenzus.
Jak se to liší od činnosti, kterou vykonáváte jako člen Nezávislé odborné komise – poradního orgánu MŠMT, který dělá posudky testů?
V nezávislé komisi se nezajímáme o procesy, ale o výsledky. Vidíme testy ex post a vydáváme k nim stanoviska, na základě kterých se pak řeší případná rozhodnutí a odvolání. V nové roli se budu zabývat naopak procesy: primárně nás bude zajímat stav příprav testů pro příští rok.
Nevíme, jestli našimi doporučeními ještě něco ovlivníme. Budeme postupně shromažďovat informace a doptávat se. Nevím, kolik kapacity budeme mít s ohledem na naše zaměstnání, možná Cermat navštívíme a podíváme se na procesy na místě, na banku úloh a tak dále. Je to externí forma dohledu a vhled do procesů.
Uvítal bych, kdyby tento nový orgán též vydával doporučení k tomu, co zveřejňovat a co ne, teď jsou hranice dost rozmazané. Teprve začínáme a do procesů pronikáme.
Na Cermat a jeho zaměstnance je od jeho vzniku obrovský tlak ze strany veřejnosti, médií i politiků, třeba kvůli obtížnosti přijímacích testů. Je ta kritika oprávněná?
To je naprostý nesmysl. Pokud by školy a doučovací agentury začaly lépe připravovat žáky na přijímací testy, tak Cermat musí udělat testy ještě těžší, protože jinak by nefungoval rozřazovací mechanismus. Cermat nemůže za to, že zde máme aktuálně silné populační ročníky a nedostatečnou adekvátní nabídku oborů, kde je vysoký přetlak zájemců. Cermat jen plní „objednávku“.
Naopak je chválím, že u přijímacích zkoušek dělají těžké testy, protože plní zadání, které mají. Kdyby ministerstvo řeklo, že to dělat nemají, testy by přestaly plnit svoji funkci. Nelze veřejně žehrat na Cermat – dělá, co mu zadání umožňuje.
Ano, ministerstvo dává zadání a má Cermat vést tak, aby jej mohl splnit. Ale přijde mi, že ze zprávy i komunikace směrem k veřejnosti vyplývalo, že ministerstvo shledalo u Cermatu závažné pochybení. Myslíte, že rezort viní Cermat neprávem?
Ne úplně, k diskuzi jsou konkrétní chyby: jedna nebo dvě úlohy v testu z matematiky pro páté ročníky a jedna úloha u maturity z matematiky, plus celkově patrně obtížněji nastavený maturitní test z matematiky. To, že ministerstvo se chce věnovat příčinám těchto chyb, je logické a správné. Zároveň je ale třeba vnímat, kolik testů se povedlo. Většina je v pořádku, což naznačuje, že procesy fungují. Někde ale může být díra a my nevíme kde.
Když jsem byl v Cermatu, vnímal jsem, že by mělo trvat zhruba dva roky mezi tím, kdy dostanu úlohu od autora a použiji ji v ostrém testu. Teď teprve začneme zjišťovat stav, do kterého už možná pro příští rok nebudeme mít možnost zasáhnout.
Takže na testy příští rok to vliv mít nebude?
To musíme zjistit. Ale když nebudeme mít vliv na příští rok, tak aspoň budeme vědět, jak moc je situace riziková. Jistě to však bude mít vliv na následující roky.
V tuto chvíli tedy nevíte, jak dlouho práce komise potrvá ani jak bude postupovat. Ministerstvo zároveň nyní nemůže dát Cermatu prostředky k nápravě…
Cermat musí definovat a komunikovat ministerstvu své potřeby. Cermat je takový „horký brambor“, zdroj potenciálních problémů i kritiky. Možná budou potřebovat větší zdroje pro zajištění škol k pilotážím; nevím, jak moc motivují učitele, aby byli ochotní se do pilotáží pouštět. Vždy se mluví o zeštíhlování státní správy a úzkostlivě se dohlíží na rozpočty. Na jedné straně je práce Cermatu kritizována, ale současně máme limity zvyšování platů v organizaci.
Není zřízení dozorčího orgánu krok navíc, který by nebyl nutný, kdyby byl systém nastaven efektivněji?
Když v Nezávislé odborné komisi posuzujeme testy, tak pokud je výsledek v pořádku, nemusíte se o ty procesy tolik zajímat, protože věříte, že jsou nastaveny dobře. Pokud někde začínáte identifikovat chyby ve výsledku, tak teprve hledáte, kde mohlo dojít k pochybení v rámci procesu, to už ale není úlohou komise.
Ministerstvo však teď asi pokládalo některé chyby za tak závažné, že usoudilo, že je potřeba se procesům začít věnovat více do hloubky a dlouhodobě. Nenechat to jenom na Cermatu, který je má nějak nastavené. Jako člen nezávislé komise mohu říct, že obecně testy považuji za kvalitní a mám důvěru v to, že procesy v Cermatu jsou nastaveny dobře. Občas se objeví problematická úloha nebo se nedaří zajistit meziroční srovnatelnost v některých předmětech; to je důvod se pídit po tom, proč se to stalo.
Na jednu stranu máte ročně v testech u přijímacích zkoušek přibližně 900 úloh – diskutujete o dvou, které byly problematické, ale zbytek funguje. Nechci to bagatelizovat, ale naznačuje to, že procesy jsou většinou nastaveny dobře, jenom někdo v celém procesu přehlédl nějaký problém. Jinak by tam těch chyb muselo být mnohem více. Stejně tak srovnatelnost obtížnosti – meziroční i mezi termíny by měla být udržena, a když to někde z hlediska obtížnosti ulítne, zajímáte se o to, jak se to mohlo stát. Znovu ale vidíte, že to musí být nastaveno dobře, protože jinak by nebyli schopni úspěšně připravovat ostatní testy, které srovnatelně obtížné jsou.
Zmiňujete porovnatelnost obtížnosti, to je příklad loňského roku, kdy byly maturitní testy naopak až příliš lehké. V minulých letech zase byly petice za to, že testy byly příliš těžké. Je to za vás opravdu jenom takový jednorázový výkyv? Vím, že to je ovlivněno covidovými roky, kdy obtížnosti byly také nestandardní. A zhruba od roku 2021 najednou začala stabilita úspěšnosti kolísat.
Rozdělme to na maturitu a přijímačky. Mluvíme hlavně o matematice, u češtiny se kolísání tolik neprojevuje. U přijímaček se loni stalo, že jeden z testů pro devátý ročník v druhém řádném termínu byl mimořádně snadný – to znehodnotilo ostatní varianty testů a vytvořilo problémy ve školách, které musí dělat dělicí čáru mezi přijatými a nepřijatými, sešlo se jim tam více žáků se stejnými výsledky a musely uplatňovat nějaká dodatečná kritéria. Letos byly logicky obtížnější než loňské, ale výborně tak plnily svou rozlišovací funkci. Veřejnost to ale může vnímat jako problém. V rámci přijímacího procesu ale pro všechny platí stejná pravidla a daný žák musí porazit ostatní bez ohledu na to, jak těžký ten test je.
Pokud jde o maturitu, tak podíl neúspěšných v matematice by byl letos výrazněji vyšší než loni, kdyby tam nedošlo k úpravám, k jakým došlo. To zakolísání je ale dáno též tím, že loni byl test z dlouhodobého hlediska mimořádně snadný, letos se obtížnost vrátila do „předcovidové“ hladiny, což veřejnost vnímá samozřejmě špatně.
Cermat ale není vázaný žádným jasným pravidlem obtížnosti, to je problém jeho zadání. Zakolísání by se nemělo dít, ale protože loni byl test snadný, nikomu to nevadilo. A teď, když se obtížnost dostala na starší úroveň, tak najednou to veřejnosti začalo vadit, čemuž samozřejmě rozumím.
Jak je vůbec možné dělat dodatečné úpravy, aby neúspěšnost nebyla „moc vysoká“?
Je myslím bez diskuze, že dodatečné úpravy se nemají dělat. V realitě ale mohou nastat různé situace: máte chybu v úloze, kde navíc záleží na tom, o jaký typ chyby se jedná a zda jsme u testů přijímacích, nebo maturitních; nebo test byl prokazatelně obtížnější, nebo snazší, než by měl být.
Začnu od konce. Nemáme odborně ani politicky nasdíleno, co znamená „prokazatelně“ a „než by měl být“. To bych uvítal, kdyby bylo řešeno. A pokud je test snazší, není a nebyla by vůle to řešit. Mluvím o loňském roce. Pokud dopadne prokazatelně těžší test u maturity, měly by být nastaveny mechanismy korekce. Lze se bavit o tom, jak by mohly vypadat, ale chybí pro to legislativní opora. Pokud je chyba v úloze, u maturity je rozhodnutí snazší, stát udělal chybu, každému se dají body v úloze. Žáci si nejsou konkurenti, toto rozhodnutí nikomu z nich neublíží. Ublíženě se může cítit stát, že dal maturitu někomu, kdo by si ji neměl zasloužit.
U testu v přijímacích zkouškách je to daleko závažnější problém, protože mohou být i chyby takzvaně na hraně. Ve formulaci zadání je určitá nejednoznačnost, ale naprostá většina žáků si jí nevšimla a vyřešila úlohu správně, jak to i autoři úlohy zamýšleli. Pak se ale objeví argumentace, která tu jednoznačnost zpochybní. V tomto případě neexistuje správné rozhodnutí. Pokud uznáte body každému žákovi v té úloze, jistě v konkurenčním boji přijímaček poškodíte ty, kteří ji vyřešili správně dle záměru autorů. Když to neuděláte, poškodíte ty, které zmátla nejednoznačnost v zadání úlohy, byť jich je třeba málo, ale svezou se s nimi i ti, kteří si s danou úlohou nevěděli rady a nejednoznačnosti si nevšimli. Pro tyto případy nemáme vydiskutovány mechanismy nápravy.
Proč nejsou nastaveny správné postupy pro tyto situace? Byla za tím doteď, jak jste říkal i vy, pouhá víra v to, že procesy fungují?
Je zjevné, že procesy fungují, protože třeba u cizích jazyků nebo u češtiny se takové rozkolísání neděje, nebo je malé a spíše k diskuzi. Není vůbec snadné formulovat soud o tom, jestli byl test letos lehčí, nebo těžší než loni. Často to tvrdí někdo, kdo nemá výsledky, ale kdo se na test podívá a spekuluje. Někdo to vidí tak, jiný zase onak.
Když máme výsledky, můžeme se podívat na průměrné úspěšnosti a na podíl neúspěšných maturantů, i celkové rozložení výsledků. To už něco řekne na první pohled, ale je to povrchní, protože musíme sledovat i další faktory: jak vypadá struktura maturantů, jaký je podíl gymnazistů, žáků učňovských oborů nebo těch, kteří zkoušku skládali v náhradním termínu. Samotné procento, s nímž si občas někdo v médiích rychle pohraje, že je to z něj zjevné, není vůbec jednoznačné a je potřeba k němu udělat podrobnější analýzy.
Na globálních číslech se rozdíly jevily velké. Detailnější analýzy, které by mě přesvědčily, jsem zatím neviděl, ale myslím, že by potvrdily, že bez úpravy, kterou ministerstvo u maturity provedlo, by test z matematiky skutečně vyšel obtížnější. Pohybujeme se tedy částečně ve spekulacích a částečně v rovině, kde už máme data.
Když ale v současné době neexistují žádné studie nebo data, o které se opřít, dá se vůbec říct, co se systémově může udělat za opatření?
Kvalitnější analýzy se samozřejmě udělat dají. Cermat některé produkuje, například výsledky podle oborů – to už je první náhled na srovnání. Cermat měl také projekt TAČR ve spolupráci s Akademií věd, kde se věnovali detailnějším analytickým postupům, jak by se porovnávání mohlo dělat. Takové analýzy tedy umí provést, existují lidé, kteří je zvládají. Je to sice práce navíc, ale není to nemožné. Problém je, že zatím nejsou rutinní součástí činnosti Cermatu. Je ale nutné zdůraznit, že tohle jsou analýzy ex post. Nejsou to analýzy, které vám předem zaručí, že vytváříte srovnatelný test. Předem děláte to, že úlohy pilotujete, expertně posuzujete a vhodně skládáte do testu. Tyto procesy musejí být nastaveny dobře, aby test dopadl dobře.
Dalo se letošním problémům s testy předejít už v průběhu pilotáže?
Pilotáž slouží k tomu, aby se odhalilo, zda je v úloze konstrukční chyba. Ne vždy to dokáže odhalit, i když se provádí například na třech stech žácích. Běžné chyby ale pilotáž odhalí – například když distraktor, tedy chybná varianta odpovědi, nefunguje, nikdo ho nevolí, a je tam tedy zbytečně. Takový distraktor je nutné nahradit, protože pokud zůstane, žáci mají vyšší pravděpodobnost správného uhodnutí, když ho snadno vyřadí. Jiný distraktor může naopak působit jako chyták – poznáte to podle toho, že ho volí více schopnějších žáků. Takové věci psychometrické analýzy při pilotáži odhalí.
Pilotáž má ale i jiný účel: odhadnout obtížnost úlohy. Na základě těchto odhadů pak skládáte celý test tak, aby byl srovnatelný s loňským testem, nebo u přijímacích zkoušek mezi čtyřmi variantami. Pracujete tedy s číslem odhadu obtížnosti úlohy. Důležité je, na jak kvalitním vzorku jste toto číslo získali. Nejde ani tolik o velikost vzorku, ale o to, jestli se žáci skutečně snažili úlohy řešit a zda vzorek odpovídal finálnímu testovanému souboru.
Pokud vzorek neodpovídá, je důležité vědět, zda jde spíše o lepší, nebo slabší žáky, a dokázat číslo korigovat. Takto se pracuje s odhadem obtížnosti. Úlohy se pak skládají dohromady a musí to vyjít. Vím, že když tomu Cermat věnuje pozornost, umí to velmi dobře – až neuvěřitelně.
Takže nezáleží tolik na tom, jak velký ten vzorek je? Existuje vůbec nějaká dolní hranice? Například slovenský NÚCEM uvádí, že podle psychometriků je to alespoň tři sta padesát žáků. A kdo vybírá ten vzorek, případně na jaké bázi?
Ptáte se na věci, které sám nevím, ale rád bych je věděl. Já bych byl jako psychometrik spokojen, kdybych měl data o úlohách na vzorku tři sta žáků – ovšem na kvalitním vzorku, kde jsou žáci motivovaní. Na takovém vzorku je tři sta žáků luxusní počet a s tím už se dá dobře pracovat. Realita ale může být daleko složitější – školy s vámi nemusí chtít moc spolupracovat.
Nevím přesně, jak vzorek škol, kde se testuje, vypadá a kolik mu věnují pozornosti. Někdy se proto musí více spoléhat na expertní úsudek. Úloha může být otestovaná třeba jen na stovce žáků, ale pokud je vzorek dobře vybraný, už i to může něco napovědět. Odhad obtížnosti pak není tak přesný, ale když je úloha hodně podobná jiným, používaným v minulých letech, dá se to korigovat srovnáním. Expert se podívá na výsledky starších úloh a podle nich odhad upraví.
Takto si myslím, že pracuje expert. Kdyby v Cermatu existovalo samostatné oddělení pro pilotáže, mohlo by to fungovat tak, že autor testu předá sadu úloh, oddělení je rozloží do testových sešitů, zajistí pilotáž a vrátí výsledky, kterým se dá věřit. Autor by pak jen pracoval s těmi daty. Ale Cermat je malá instituce, takže procesy tvorby testů a pilotáží jsou patrně mnohem provázanější. Umím si to představit spíše u češtiny nebo matematiky. U menších jazyků, jako je španělština nebo francouzština, je vzorek vždycky malý a specifický, takže situace je složitější.
Myslíte, že na to mají v současnosti dost prostředků? Měli by jich mít víc a pilotáže zintenzivnit?
Možná ano, ale nejde jen o prostředky, spíš o celkové podmínky. Mluvím sice z dálky, ale velkou roli hrají platy zaměstnanců – ty bývají nízké, možná na úrovni učitelů, nebo i nižší. Lidé zde pracují pod velkým tlakem. Kromě toho potřebují prostředky na autory úloh – ti se musejí najít, oslovit a motivovat k tvorbě úloh. Jde tedy nejen o finance, ale i o další podmínky.
Řekněme, že pilotáž na kvalitním vzorku proběhne úspěšně. Ale pak do úloh zasahují revizoři a původní úloha může být přetvořená do jiné podoby. Může se stát, že se v tomto procesu stane chyba, která pilotáž znehodnotí?
Jistě, tohle je téma, které nás bude zajímat, a objevuje se i v doporučeních ministerstva. Život úlohy od chvíle, kdy ji autor položí na stůl, musí být sledován. Do pilotáže už by měla jít úloha, která prošla odbornými revizemi, aby tam nebyla chyba, kterou expert odhalí na první pohled. Pokud pilotáž ukáže, že je úloha příliš snadná nebo naopak těžká, musí se zvážit, zda v celkové skladbě všech úloh testu zůstane. U maturit jde o to, aby ji v principu uměl vyřešit každý maturant. U přijímaček naopak potřebujete i obtížnější úlohy.
Pokud si řeknete, že úloha do testu nepatří, můžete ji ještě upravit. To lze udělat například volbou distraktorů – buď ji ztížíte, nebo zlehčíte. Je to ale hodně riskantní. Kdo má velké zkušenosti, troufne si, kdo ne, raději by měl provést novou pilotáž. Já osobně bych se bez pilotáže do větších úprav nepouštěl. Záleží ale na charakteru úpravy, nevidím to černobíle, že by každá úprava musela nutně projít znovu pilotáží.
Kdybych k tomu přistupoval jako někdo, kdo má k dispozici velké množství úloh, tak bych po úpravě dal úlohu za rok do pilotáže. Pokud ale Cermat pracuje s množstvím, z kterého sotva skládá testy, což bych také rád zjistil, mohou si dovolit v rámci daného roku jen určitý odpad. To jsou faktory, s kterými zde patrně pracují.
Musí všechny otázky projít pilotáží?
Umím si představit, že některá úloha pilotáží neprojde. Stane se to tehdy, když si expert troufne na základě dlouholetých zkušeností říct, že jde jen o malou variaci dříve použitých úloh, formulace zadání je v zásadě stejná, změnila se jen čísla nebo kontext. Pokud už má autor k dispozici dost dat z minulosti, dokáže odhadnout, jak úloha dopadne. Vždy je to ale vyvažování – kolik úloh potřebujete, kolik škol jste ochoten zatížit pilotáží, jaká je ochota škol spolupracovat. Takže si dokážu představit situace, kdy některá úloha do pilotáže nejde. Zodpovědnost u těchto rozhodnutí musí jednoznačně ležet na autorovi testu.
Jak dlouho pilotáž probíhá?
Přirozeně by měla probíhat v období, které odpovídá tomu, kdy mají být úlohy následně použity. Pokud mají být určeny pro přijímací zkoušky v devátém ročníku, měly by se pilotovat buď v září či říjnu na vzorku prváků středních škol, nebo na devátých ročnících na jaře v jiném roce, než ve kterém úloha skutečně vstoupí do testu. To tedy rámcově určuje i čas pilotáže.
Jaká kvalifikace autorů a revizorů testů je nejdůležitější? Testologická odbornost, dobrá znalost RVP, učitelská zkušenost nebo jejich kombinace?
Nejdůležitější je zkušenost podpořená tím, že autor testy tvořil už v minulosti a opakovaně se k tomu vrací. Tato kumulovaná zkušenost vytváří expertnost. Bez ní si troufám říct, že laik ani vysokoškolsky vzdělaný učitel nedokáže postavit dobře fungující test. Tvůrci testů by předně měli pracovat v týmu, který má i korektory, kteří pomohou po pedagogické stránce. Když je člověk součástí takového týmu, nemusí mít nutně pedagogickou praxi či zkušenost s interakcí se žáky. Musíte ale rozumět požadavkům RVP, mít přehled o učebnicích a úlohách, které se v nich objevují. Důležitá je znalost kurikulárních dokumentů, včetně podpůrných učebních materiálů. To by měl mít každý člen týmu.
Můžete sice přivést absolventa pedagogické fakulty nebo zkušeného učitele, ale testologická zkušenost mu zkrátka chybí. Know-how se sice dá v instituci sdílet, ale nedá se ze dne na den vytvořit někdo, kdo umí tvořit kvalitní testy. Takových odborníků je i v České republice málo, a proto je nutné si je udržet a jejich know-how rozvíjet. Nemůže se stát, že by někdo na první dobrou vytvořil kvalitní test bez odborného vedení.
Kdybych měl dělat sám takový test, hodně bych vycházel z testů z minulých let, opíral se o pilotáže a o tým expertů. Potřeboval bych silnější zázemí. Vím ale, jaké zázemí je potřeba: nejprve tvoříte test pod vedením expertů, s jejich odhady i doporučeními z pilotáží. Test pak jde „naostro“, získají se reálné výsledky a vy je porovnáte se svými odhady. A právě z této konfrontace odhadů a skutečných dat se člověk učí a postupně získává zkušenost.
Asi není moc lidí, kteří už mají tuto existující hlubokou zkušenost. Mají autoři standardně tuto kvalifikaci?
Těch lidí je málo. A kde je budeme hledat? Jsou v Cermatu, jsou ve Sciu, nevím, zda vůbec ještě někde jinde. Já a některé kolegyně či kolegové máme v rámci vysokoškolské výuky kurz o testech, ale jedná se jen o absolutní základy, nebo cílíme na tvorbu testíků do výuky pro učitele. Ale nejedná se o tak náročné testy, jaké se používají státně.
Tyto zkušenosti mají lidé, kteří spolupracují na tvorbě testů pro mezinárodní výzkumy – a ty třeba máme pod Českou školní inspekcí. Za mě by bylo ideální, kdyby lidé z Cermatu mohli jet na stáž do zahraničních institucí, kde se testy tvoří na špičkové úrovni. Tam se pracuje se zkušenostmi z pilotáží, které mohou být složitě konstruované. Jenže si to představte prakticky, v Cermatu tvoříte testy rok za rokem, jste zodpovědní za jejich tvorbu a nemůžete si dovolit na půl roku vyjet. Asi by takto měli být podpořeni mladší nastoupivší kolegové.
Jak by měli být kromě tohoto v Cermatu připravováni nebo školeni, aby se z nich stali dobří testologové či autoři?
Já bych Cermatu přál, aby si mohli dovolit přijmout nové lidi, dát jim dobrý plat, a ještě je vyslat na stáž na tři nebo šest měsíců do zahraničí nebo zaplatit specializované testologické kurzy. Sám jsem měl v minulosti menší školení pro Cermat, dá se hodně čerpat z know-how, které už v instituci je, a sdílet ho napříč předměty. Neříkám, že se to neděje – jen nevím, do jaké míry. Třeba u cizích jazyků to určitě funguje, protože koncepční přístup k testům z cizích jazyků je velmi promyšlený a jednotný. A ještě bych rád pojmenoval jedno téma, které je zásadní a málo se řeší.
Jaké?
Kurikulární dokumenty, které stojí nad testy. Jsou to katalogy požadavků k maturitní zkoušce a specifikace pro jednotné přijímací testy. Těmto dokumentům není věnována dostatečná pozornost, a přitom právě v nich je formulováno zadání pro tvůrce testů. Podle nich se má hodnotit, zda Cermat testy postavil tak, jak se očekává. Zadání formuluje ministerstvo, ale do debaty o tom, jak má vypadat, by měla být víc zapojená i odborná veřejnost – nejen lidé z Cermatu, ale i další experti.
Tyto dokumenty by měly Cermat víc zavazovat, a to i z hlediska obtížnosti testů. Teď totiž vůbec neříkají, jak náročné mají testy být – Cermat si to nastavuje sám, pohybuje se v hodně širokých mantinelech. A přitom to je klíčové pojítko mezi RVP a testy. Nad těmito dokumenty by se měli scházet různí lidé, samozřejmě včetně tvůrců testů z Cermatu, psychometriků, ale nejen jich. Tam je prostor koncepčně stanovit třeba poměry jednotlivých typů úloh, jejich zaměření a obtížnosti. Teď tyto dokumenty dávají Cermatu příliš velkou volnost.
Bude to jednou z věcí, na kterou se budete zaměřovat ve své roli člena dozorčího orgánu?
Ano, bude to jedno z mých doporučení adresovaných MŠMT. Ale kompetence dozorčího orgánu není taková, abychom mohli tyto dokumenty sami vytvářet, a ani by to nebylo správné. Za sebe bych doporučil, aby jim byla věnována mnohem větší pozornost a aby fungovaly i jako nástroj kontroly testů.
Takže vydáte pouze doporučení, která pro Cermat nebudou nijak závazná?
Ano. My to formulujeme jako doporučení ministerstvu. A je na ministerstvu, aby dohlédlo na to, že se podle toho bude postupovat.
EDUin
