Současná aplikace na studentské hodnocení oslavila v lednu 2017 (od ZS 2012/13) čtvrté narozeniny. Čtyři roky hodnocení, to je 8 semestrálních sběrů a již úctyhodný objem dat. Rozhodli jsme se tedy narozeniny aplikace oslavit několika drobnými sondami do shromážděných dat, které se zároveň pokoušejí odpovídat na otázky, jež se kolem hodnocení často objevují.
O jakých datech je vlastně řeč? Za poslední čtyři roky se v aplikaci sešlo celkem:
- 1 278 982 odpovědí
- z toho 49 737 textových komentářů (ke všem typům otázek)
- od 9 563 studentů a studentek
- na 10 690 různých předmětů (tj. 24 454 běhů předmětů).
Největší obava v počátku hodnocení pramenila z anonymity textových komentářů, proto aplikace umožňuje komentář skrýt a to jak studentům, tak pedagogům, jejich vedoucím a vedení fakulty.Většina obecných otázek je navíc zpravidla nastavena tak, že má neveřejné odpovědi, neboť se většinou netýkají výuky (v tabulce níže jako „skryto automaticky“). Z následující tabulky vyplývá, že studenti a především pedagogové skrývají komentáře stále méně a méně (informace je trochu zkreslena v prvním semestru hodnocení, kdy samotní studenti ještě skrývat komentáře nemohli, všechny skryté komentáře jsou tedy ve sloupci „skryto automaticky“). S touto důvěrou také stoupá ochota pedagogů na studentské komentáře dále reagovat. Od zimního semestru 2014/15 také aplikace umožnila pedagogům reagovat obecně na hodnocení celého předmětu a vedoucím na hodnocení celé katedry/ústavu.
Zvláště ze začátku hodnocení si někteří z pedagogů nebyli jistí, že studenti budou brát online hodnocení dostatečně vážně. Konkrétně se obávali, že se studenti nad aplikací sejdou v nočních hodinách u piva a společně jim to pod rouškou anonymity „natřou“. Byly tyto obavy oprávněné?
Pokud si na časovou osu vyneseme průměrné hodnocení předmětu, vidíme, že hodnocení je v průběhu dne téměř konstantní. Další zajímavou informací, kterou můžeme z grafu vyčíst je kdy studenti FF UK spí. Vertikální poloha bubliny ukazuje průměrné hodnocení v dané minutě a její velikost znázorňuje počet odpovědí v dané minutě.
Rozložení odpovědí mezi dny v týdnu pak napovídá, že především sobota je pro studenty FF UK dnem odpočinku.
Rozložení odeslaných dotazníků mezi konkrétní data na příkladu hodnocení LS 2015/16 pak dobře ukazuje, které dny byl studentům z aplikace rozeslán email připomínající hodnocení a v posledních dnech hodnocení také zapnutí ne zrovna oblíbeného vyskakovacího okna v SIS.
Největší návratnosti se hodnocení těší mezi studenty ve standardní době studia, a to především mezi druháky bakalářského studia a prváky navazujícího magisterského studia.
Další obavu mezi pedagogy vždy vzbuzovalo hodnocení náročných předmětů. Nebudou studenti náročnější předměty hodnotit automaticky jako horší a naopak lehké předměty jako lepší? Následující graf tuto obavu nepotvrzuje. Ukazuje se, že studenti oceňují (a dobře hodnotí) předměty s vyšší nebo srovnatelnou náročností (vzhledem k ostatním předmětům), naopak nemají rádi předměty s nižší, výrazně nižší, ale také s výrazně vyšší náročností.
V případě srovnání hodnocení výkonu samotných pedagogů a náročnosti jimi vyučovaných předmětů je situace podobná, studenti si zřejmě více váží pedagogů, kteří učí náročné předměty.
Studentské hodnocení bývá také někdy zpochybňováno s poukazem na míru účasti studentů na výuce. Následující graf ukazuje, že studenti hlasují také „nohama“ – výrazně více se účastní výuky předmětů, které následně kladně hodnotí, z negativně hodnocených předmětů odcházejí. Interpretovat graf tak, že předměty s nízkou účastí jsou hodnoceny špatně, protože je studenti neodchodili celé a tudíž je nejsou schopni docenit, však není na místě – i u nejhůře hodnocených kurzů se většina studentů zúčastnila většiny výuky.
Korelaci mezi přínosností předmětu nebo překryvem předmětu a jeho celkovým hodnocením téměř nemá cenu zmiňovat, studenti pochopitelně preferují předměty, které vnímají jako přínosné, a naopak negativně hodnotí předměty, které se podle nich značně překrývají s jinými.
JAK BYLO MOŽNÉ ZÍSKAT PREZENTOVANÁ DATA, KDYŽ JE HODNOCENÍ ANONYMNÍ?
Hodnocení probíhá na podobném principu jako běžné volby. Je tedy třeba zajistit, aby se hodnocení předmětu zúčastnili jen ti, kteří si ho zapsali, a aby hodnotili pouze jednou. Aplikace tedy u každého studenta zaznamenává, zda již hodnotil, a také jaké předměty již hodnotil. Informace o tom, jak předmět hodnotil, se ale ukládá odděleně a není možné ji následně spojit s identifikátorem konkrétního studenta.
Při odeslání každého dotazníku (souboru odpovědí k jednomu předmětu) se navíc u anonymizovaného dotazníku uloží informace o čase odeslání. Čas odeslání se ale naopak neukládá na straně studenta, záznamy tedy není možné propojit na základě času odeslání, je však možné zjistit, kdy bylo odesláno kolik dotazníků a s jakými odpověďmi.
Ze seznamu těch, kteří již hodnotili nebo se naopak hodnocení zúčastnit mohlo, ale nezúčastnili lze vyvodit, kolik studentů kterého druhu studia a ročníku (či oboru/katedry) hodnotilo a kolik nikoliv.
Protože hodnocení je odesíláno po jednotlivých dotaznících, z nichž každý obsahuje odpovědi týkající se jednoho předmětu, je možné zobrazit i korelaci jednotlivých odpovědí (např. jak se má náročnost předmětu k jeho celkovému hodnocení).
Další informace k hodnocení naleznete ve FAQ.
