Ondřej Tichý o evaluacích: „prudítko“ a 24 643 navrácených dotazníků

Mgr. Ondřej Tichý (Ústav anglického jazyka a didaktiky), akademický koordinátor SIS, poskytl FFaktu rozhovor ze zákulisí evaluací. V rozhovoru se zmiňuje o nové elektronické formě evaluací, více než padesátiprocentním počtu navrácených dotazníků, anonymitě studentů i o tom, kdo je autorem „prudítka“ v SIS.

V čem se nová elektronická verze evaluačních dotazníků liší od předchozích papírových formulářů? V čem je podle vás lepší?

Předminulý rok existovala pouze listinná („papírová“) forma evaluací. V loňském roce v zimním semestru studenti vyplňovali listinnou podobu evaluací a navíc měli možnost hodnotit elektronicky. V letním semestru už byla spuštěna pouze elektronická forma. Návratnost letošních dotazníků byla překvapivě výrazně vyšší oproti listinné i původní elektronické formě, což je celkem unikátní jev, protože ve většině případů s přechodem na elektronickou podobu evaluací návratnost klesá.

Výhod oproti listinné formě je celá řada. Poté, co se vytvoří nějaká elektronická aplikace, jsou další kola mnohem jednodušší na organizaci, protože není třeba podstupovat celou anabázi se sběrem dotazníků, jejich distribucí, skenováním, rozpoznáváním textů a jejich přiřazováním pedagogům a tak podobně. Byl to docela náročný proces probíhající na několika úrovních, který jsme sice byli schopni zajistit (oproti jiným fakultám ani ne tak draze), ale mělo to tu nevýhodu, že firma, která naši zakázku zpracovávala nejlevněji, ji nezpracovávala tak kvalitně, jak bychom si přáli. Další výhodou je zvýšená anonymita, protože v případě menších seminářů pedagog své studenty z listinných evaluací podle písma zaručeně pozná. Toto je v elektronické podobě eliminováno. Dále pedagogové často nedbali na to, aby v době vyplňování dotazníků opravdu odešli ze třídy. Místo toho naopak stáli nad studenty, čímž – aniž by to tak třeba mysleli – do jisté míry ovlivňovali to, co studenti do hodnocení napíší. Významná je také časová úspornost elektronické podoby, jelikož se dotazníky nemusí vyplňovat při výuce a není nutné vše zvládnout před koncem semestru.

Jak si ale student může být jistý, že se pedagog skutečně nedopátrá, jak kdo hodnotil a kdo napsal ten či onen komentář? Přeci jenom se před vyplněním musí přihlásit do systému a nikde nemá možnost zjistit, zda opravdu došlo k anonymizaci.

Je pravda, že řada studentů nám anonymitu stále nevěří, a někteří si dokonce myslí, že listinná forma byla co do anonymity lepší, protože nikde nevyplňovali své jméno a heslo. Naprosto studenty chápu, ale to, že se studenti musí v nějaké fázi do systému přihlásit, je však bohužel nezbytné, protože bychom jinak neodlišili, jestli se uživatel přihlásil vícekrát, jaké jsou jeho kurzy a podobně. Na začátku tedy musí dojít k autentifikaci a až po odeslání dotazníků může dojít ke smazání uživatelských dat. Tak se to skutečně děje a pokud chce někdo vidět, jak vypadá ona databáze, my mu ji rádi ukážeme. Přemýšleli jsme, jak o anonymitě hodnocení studenty přesvědčit. Jedna věc, kterou jsme ještě nevyzkoušeli a všimli jsme si jí tuším na ČVUT, je to, že v rámci tamějších evaluací oslovili asi pět doktorandů, kteří jsou v tomto ohledu nejméně zainteresovaní, protože neučí a zároveň nevyplňují dotazníky. Tito studenti nahlédli do zdrojového kódu aplikace, veřejně prohlásili, že je to skutečně anonymní, a vyzvali ostatní studenty, aby je kontaktovali v případě, že se o tomto problému chtějí dozvědět něco víc. Na naší fakultě je ovšem trochu problém najít studenty doktorského studia, kteří se vyznají ve zdrojovém kódu.

I přesto, že v seminářích s malým počtem studentů již nehrozí, že by pedagog své žáky identifikoval na základě písma, je velmi pravděpodobné, že i tak pozná, o koho se jedná – podle obsahu komentáře. Je vůbec možné něčemu takovému zabránit? Jak by měl student při vyplňování postupovat, aby nebyl jednoduše rozpoznán?

To je však věc, kterou můžeme technicky zajistit velmi těžko. V zásadě jde o to, že pokud student nevyplní textový komentář, je naprosto nezjistitelné, jak odpovídal. A pokud se rozhodne napsat slovní komentář – což my velice podporujeme – doporučuje se několik strategií, které snižují identifikovatelnost. Například když odpovídáte v minulém čase, je důležité dávat si pozor na to, zda rozlišujete rod. Pokud je na semináři třeba jeden student mezi samými studentkami, je pak naprosto jasné, kdo je autorem. Dále asi není dobré přímo rozebírat konkrétní věci, kterých se na vás daný pedagog dopustil. Doporučujeme psát neutrálním jazykem a hodnotit kurz celkově. Navíc si myslím, že většině pedagogů je ve skutečnosti jedno, kdo co napsal. A pokud má student zkušenost s někým, kdo by ho za vyjádřený názor perzekuoval, měl by napsat takové evaluace, aby se o tom někdo dozvěděl. Zároveň, pokud se něčeho takového obává, může ještě napsat o daném kurzu nebo učiteli do obecných otázek, které nevidí ani pedagog, ale pouze vedoucí katedry či ústavu, čili šéf daného pedagoga. Myslím si ale, že obecně se evaluace spíše v tomto smyslu přeceňují, i když jsem si vědom, že se tato interakce koná na nestejných úrovních.

Inspirovali jste se někde při tvorbě nové elektronické podoby evaluací?

Určitě jsme se inspirovali u jiných fakult a v podstatě jsme se snažili udělat kompilát těch vlastností, které nám přišly dobré, a vyvarovat se toho, co se zřejmě neosvědčilo. Jde o souhrn našich předchozích pokusů a informací, které se nám podařilo nasbírat o tom, jak evaluace probíhají jinde. Zásadním výsledkem tohoto průzkumu bylo zjištění, že tam, kde existují elektronické evaluace a dotazník má větší počet otázek nebo aplikace není dostatečně uživatelsky přístupná, je naprosto mizerná návratnost. Pro nás bylo tedy směrodatné dotazník co nejvíc zkrátit a zpřehlednit a udělat prostředí co možná nejpříjemnější. Například na matematicko-fyzikální fakultě byla návratnost velmi malá, protože evaluace probíhají v rámci studijního informačního systému, kde je uživatelské prostředí natolik nepřátelské, že nikoho nemotivovalo dotazník vyplnit.

 

 

Co myslíte, že byl hlavní důvod toho, že dotazník vyplnilo více studentů? Může být důvodem i neodbytné „vyskakovací okno“ v SISu? Čí to byl nápad?

My nemáme moc možností, jak studenty nutit k hodnocení. Není dovoleno evaluace jakkoliv podmiňovat kredity a podobně. Zároveň si myslíme, že určité procento návratnosti je pro evaluace ze všeho nejdůležitější, jinak nemá cenu je pořádat. Proto jsme se snažili o důkladnou propagaci: měli jsme kampaň na Facebooku, umisťovali jsme odkazy všude možně na weby jednotlivých kateder. Zjišťovali jsme, jakým způsobem jsou tyto „donucovací“ nástroje efektivní. Ponoukali jsme kantory, aby sami posílali svým studentům maily, ve kterých je vyzývali k vyplnění dotazníků. My sami jsme také posílali celou řadu mailů a tím nejzazším donucovacím prostředkem bylo právě upozornění v informačním systému. Nejprve byl SISu pouze banner a v posledním týdnu jsme přikročili právě k takzvanému „prudítku“. Když vám ale prozradím, kdo to vymyslel, tak dotyčný bude po zveřejnění rozhovoru pravděpodobně zlynčován. Už jenom proto, že jsem to byl já. („ďábelský“ smích) Nicméně se snažíme s firmou vyvíjející SIS dohodnout zmírnění tohoto nástroje.

Jaký dopad mají evaluace na výuku, vyučující, vedení kateder, ústavů, fakulty… Jaký mají efekt?

Dopady jsou v zásadě trojího charakteru. Na úrovni pedagoga a jednoho konkrétního předmětu, na úrovni základní součásti (katedry nebo ústavu) a na úrovni celé fakulty. Já například podle výsledku evaluací své kurzy měním a vím o řadě pedagogů, kteří to tak také dělají. Samozřejmě ale nezměním celý kurz kvůli tomu, že mi někdo napíše, že se mu nelíbí prezentace, ale snažím se to přizpůsobovat. Dále vím, že např. vedoucí romanistiky jednou veřejně promluvil o tom, že po stížnosti v evaluacích učinil kroky vůči některým pedagogům, aby už na půdě FF UK dále neučili. Nejčastěji se tato opatření týkají externích učitelů. V těchto případech nemá vedoucí tak svázané ruce – a pokud nejste zrovna nějaký malý ústav se třemi pedagogy, tak si můžete dovolit určité změny v tom, kdo bude co učit. Pokud vedení katedry opakovaně nejeví zájem uskutečňovat změny na základě stížností, je tu proto již zmíněná třetí úroveň, kdy může vedení fakulty zasáhnout shora. Evaluace jsou důležité hlavně jako indikátor problému – aby se začal řešit, oprávněnost stížností je pochopitelně třeba prověřovat i jinak, než evaluacemi. Je však potřeba, aby hodnocení mělo určitou legitimitu – musí být proto navrácené určité procento dotazníků.

Kolik celkově evaluace stojí?

Každé kolo původních listinných evaluací stálo kolem jednoho sta tisíc korun. Letošní nová aplikace vyšla přibližně na sto deset tisíc a předpokládá se tím pádem, že další kola budou mít zanedbatelné náklady, protože aplikace je už vytvořena. Budeme ji sice dále rozvíjet na základě připomínek, které měli k prvnímu kolu studenti a učitelé, ale ve chvíli, kdy se aplikace rozvine, nebudou evaluace stát nic. Budou vyžadovat jen přítomnost jednoho či dvou koordinátorů, kteří to však mají beztak v popisu práce. Takže žádné další výdaje se s elektronickou aplikací již pojit nebudou. Ještě bych chtěl dodat, že nás evaluace oproti jiným fakultám stály poměrně málo – což je vzhledem k tomu, že jsme největší fakulta na univerzitě, velmi příjemné.