ÚVOD
Komise 1 byla zřízena děkanem podle či. 45-47 Statutu FF UK k hodnocení fakulty a jejích součástí a s tím souvisejícím cílem volebního programu děkana, kterým bylo vytvoření perspektiv pro práci a jistot opřených o výkon. Tím byl stanoven rámec jejího zaměření.
Pracovní období komise probíhalo paralelně s hodnocením univerzitním, které se však výrazně zaměřilo na vědeckou činnost. Koncem roku 2004 ale univerzita provedla ekonomické hodnocení a srovnání fakult za účelem přípravy nového mzdového předpisu. Na jaře téhož roku byly fakulty volným způsobem srovnány i z hlediska úspěšnosti zavádění hodnocení výuky studenty. Lze tedy konstatovat, že se obě oblasti hodnocení na obou úrovních překrývaly a fakulta si nyní může vytvořit jak srovnání vnitřní, tak vnější, i když zpráva univerzitního hodnocení vědeckého výkonu není zatím k dispozici.
V počátku práce komise se ukázalo, že fakulta nemá integrovaný informační systém centrálního sběru dat ani model evaluace výkonu; hodnocení výuky studenty se provádělo vyhodnocováním izolovaných položek podle skóru. Komise proto přijala za svůj úkol i (a) vytvoření modelu evaluace a jeho integrace do IS FF UK, který by umožnil plynulé a poloautomatické vyhodnocování a mohl se stát potenciálním nástrojem operativního řízení a strategie rozvoje fakulty, a (b) vytvoření profesionálního systému studentského hodnocení výuky.
HODNOCENI VÝUKY STUDENTY
V oblasti studentského hodnocení byly vypracovány a vedení předány dvě zprávy z fakultního hodnocení výuky s dodatečným doporučením možných způsobů organizace ankety. Výsledky ukázaly, že od zavedení fakultního hodnocení minulým vedením se návratnost nezlepšila a získaná data byla nevyhodnotitelná. Vyhodnotitelnosti dat však vždy vedle návratnosti bránila i skutečnost, že počet zapsaných studentů do kurzů byl neznámý (s výjimkou kurzů prvních ročníků při hodnocení LS 04).
Z těchto důvodů komise (a) provedla předvýzkum, adaptovala systém hodnocení z FSV UK a přizpůsobila ho fakultním podmínkám po provedení dvou pilotních kol a fakultní diskuse; (b) doporučila vedení fakulty, aby provedlo jedno až dvě zaváděcí „papírová“ kola a aby pro další elektronické ankety převedlo urychleně celou studentskou agendu (zápisy do kurzů) do IS, což zajistí základní podmínku vyhodnotitelnosti výsledků.
Pro větší návratnost elektronické ankety doporučila komise systém VŠE, kdy při zápisu do dalšího semestru nabídne studentovi systém www formuláře právě absolvovaných kurzů s předvyplněným identifikačním záhlavím, což navíc odstraní i dosavadní stížnosti studentů na vyhledávání a zadávání čísel kurzů.
Navržený systém vyhodnocení dat poskytuje výsledky agregované na třech úrovních: učitel, vedoucí ZS a proděkan pro studium a zároveň usnadňuje i objektivizuje interpretaci výsledků, což umožní zjednodušit organizaci vyhodnocení.
Prorektorka označila na semináři k hodnocení výuky na UK v květnu 04, na němž komisí prezentovaný model hodnocení našel výraznou odezvu, jako ideální spolupráci učitelů a studentů. Komise však musí konstatovat, že její předcházející pokus angažovat do fáze zpracování Studentskou radu nebyl úspěšný.
1 Po převážnou část svého funkčního období pracovala komise v tomto složení: předsedkyně – Z. Jettmarová; členové – R. Bahbouh, M. Betinec, L. Hlavicová, H. Gladková, K. Kubiš, J. Kuklík; stálý externí spolupracovník – M. Osuský.
HODNOCENÍ FAKULTY JAKO CELKU A HODNOCENÍ ZS
-
oblasti hodnocení vědecko-pedagogické práce na úrovni fakulty i základních součástí se hodnocení
soustředilo na zjištění ekonomické náročnosti oborů a s tím spojeným výkonem pracovišť ve vztahu
k metodice financování vysokých škol. Dále byly sledovány: publikační činnost, činnost VaV (granty a
VZ) a jiná činnost (oblast HČMD a DČ). Stejně jako na úrovni univerzitního hodnocení byl sledovaným
obdobím kalendářní rok 3003; za šestileté období byly sledovány: publikační činnost (1998-2003) a
počty studentů (1999-2004), což v druhém případě umožnilo zjistit dopad změny politiky přijímání
studentů v posledním mezidobí. Vedle toho provedla komise dvě fakultní ankety: anketu k tzv.
unikátním oborům a anketu mapující kapacity učeben ve vztahu k možnému nárůstu počtu studentů. -
průběhu své činnosti vypracovala komise pro vedeni fakulty návrh modelu hodnocení „Metodologie
evaluace FF UK, základních součástí, oborů a akademických pracovníků“ a s tím související návrh
principu přerozdělování mzdových prostředků, jakož i dílčí analýzy, jejichž výsledky jsou synteticky
prezentovány v této zprávě nebo výběrově uvedeny v přílohách.
Pedagogický výkon a ekonomická náročnost oborů FF UK ve světle financování VŠ, přerozdělování na UK a vývojových perspektiv
Analýza ekonomické náročnosti oborů, pro níž byl použit model celostátního projektu Rozvoj veřejných vysokých škol, kterého se účastnila i FF UK, potvrdila závěr tohoto projektu, že totiž současné státní dotace na vzdělávací činnost (VČ) tvořící zhruba 80% státního financování VŠ, jsou pro tuto kapitolu nedostatečné, tedy neodpovídají skutečné ekonomické náročnosti oborů a že VČ školy dofinancovávají z jiných zdrojů. Zde je nutno poznamenat, že v projektu se z výpočtu náročnosti předem eliminovaly filologické obory do 20 studentů na oboru, aby nedošlo k výraznějšímu zkreslení výsledků. V analýze FF UK byly naopak zvažovány všechny obory a s výjimkou několika „velkých“, převážně nefilologických oborů byla jejich ekonomická náročnost vyšší než státní dotace. Počet samofinancovaných oborů by se ale dále snížil, pokud by se provozní náklady na VČ měly hradit pouze z této kapitoly nebo, jak bylo původním záměrem projektu, by měly ideálně tyto potřeby pokrýt 2 . Obecná dotační podfinancovanost VČ v českém vysokém školství se pak projevuje jako schodkový rozpočet – hospodaření se ztrátou v hlavní činnosti kompenzovanou příjmy z jiných činností.
I přes zakotvení v tomto obecném rámci poskytl podrobnější pohled na fakultu některé důležité signály. V období 1999-2003 sice rostl absolutní počet studentů (v letech 2001-2003 o cca 450 studentů), avšak zároveň rostl i počet nefinancovaných, tedy nadstandardních studentů, což se projevilo velmi malým nárůstem počtu financovaných studentů (od roku 2001 je dokonce zaznamenána klesající tendence). Mírný nárůst je patrný i ve vývoji akademických pracovníků v přepočtených úvazcích bez výzkumných center. Nárůst za celé období představoval 13,3 přepočtených úvazků (ročně zhruba 3 396 tis. Kč. včetně odvodů) a 486 přepočtených studentů (ročně cca 16 757 tis. Kč). Při povoleném financovaném meziročním nárůstu 1,05 je zjevné, že fakulta této možnosti zdaleka nevyužila a že je nutné vývoj počtu studentů v korelaci se stavy akademických pracovníků plánovitě sledovat.
Obrat nastal až v roce 2004, kdy vedení změnilo politiku přijímání a růst zapsaných pregraduálních studentů oproti roku 2003 představoval index 2,46 (bez 75 studentů nově zapsaných do učitelského studia), tj. 1479,5 nově zapsaných studentů v roce 2004 oproti 602 studenta v roce 2003. Nicméně při meziročním růstu absolventů (1,01 u pregraduálních a 1,66 u doktorských) je celkový nárůst 1,006 u pregraduálních studentů a 1,07 u doktorandů (oproti negativnímu celkovému indexu 0,97 v roce 2003). V roce 2004 se rovněž podařilo snížit jinak dosud rostoucí trend nefinancovaných studentů (meziroční index 0,78) a meziročně zvýšit i počet financovaných studentů zhruba o 300. Důležitá je i pozitivní změna v poměru počtu absolventů a studentů doktorského studia: poměr se meziročně zvýšil ze 4,42 na 6,9. Skutečnost, že státní dotace na VČ FF UK činila v posledních letech zhruba 80 – 85% celkové dotace, svědčí o zásadní důležitosti počtu studentů pro financování fakulty.
2 http://crc.muni.cz
Pohled na skladbu oborových studentů ukázal, že ač filologické obory nad nefilologickými převažují počtem, poměr počtu studentů je obrácený: 65%:35% přepočtených studentů a 61%:39% normativních studentů v roce 2003, čemuž koresponduje méně výrazný poměr přepočtených učitelů 51,4%:48,6%. Z toho je patrné, že na filologické studium je vynakládáno více pracovní síly/mzdových prostředků, které koeficient náročnosti studia nekompenzuje, a předpokládanou příčinou byl nízký počet studentů na jednotlivých filologických oborech oproti oborům nefilologickým. Tento předpoklad analýza potvrdila a klíčovou oblastí pro hledání řešení problému fakulty se tak jeví oblast filologická.
V další analýze byl sledován základní orientační výkonový parametr – počet financovaných studentů na učitele a také byly vytipovány tzv. unikátní obory, orientačně podle kritéria do 20 financovaných oborových pregraduálních studentů celkem, kde se dala zvýšená ekonomická náročnost oboru očekávat s velkou pravděpodobností. Cílem ankety však bylo i zjištění důvodů pro takto malé počty studentů. V souvislosti s tím byla provedena anketa mapující kapacitní omezení přidělených učeben jako jeden z faktorů nízkého počtu studentů, což se však potvrdilo spíše u větších oborů, a na základě výsledků byla doporučena koordinace tvorby rozvrhů, případně revize přidělení učeben. Přes 10% výuky na FF UK v roce 2003 se konalo pro skupiny do 5 studentů, téměř 18% výuky pro skupiny 6-9 studentů 3 : vypisování těchto kurzů po cyklech by uspořilo kapacity prostorové i pracovní. Pohled na počty všech normativních studentů na učitele, který promítá ekonomickou náročnost z hlediska nejdražší výdajové položky – mezd, ukazuje, že se do skupiny ekonomicky náročnějších dostávají i některé obory nefilologické a naopak, některá pracoviště s malými obory jsou jako celek méně ekonomicky náročná.
Důvod finančních problémů fakulty, spočívajících v nízkém počtu studentů na učitele bez výraznější kompenzace z příjmů z jiných kapitol HČD či jiné činnosti, odhalila i univerzitní analýza a analýza srovnání fakult provedená komisí. I když přepočtený/financovaný počet studentů na učitele je daleko nižší ve skupině lékařských a přírodovědných fakult, ve skupině humanitních fakult se srovnatelným koeficientem náročnosti je bohužel počet studentů na FF UK nejnižší. Po přepočtu na normativní studenty zaostávají za FF UK pouze dvě lékařské fakulty, které však příjem z VČ kompenzují vyššími příjmy na učitele z VZ, SV nebo HČMD. Z hlediska státní dotace (VČ, SV, VZ) měla FF UK tuto částku nejnižší ze všech fakult UK.
Vnitrosystémové zlepšení stavu lze na fakultě hledat v několika směrech: (a) vyšší poměr studentů na učitele, (b) financování mezd a provozu ze zvýšení objemu dalších činností (VaV, SV, HČMD, DČ). Další zlepšení je možné potenciálně hledat v systému přerozdělování dotace na UK. Možnost působení směrem k ministerstvu – žádost o zvýšení koeficientu náročnosti některých oborů – pokládá komise za málo perspektivní, avšak žádoucí je, aby obory, procházející restrukturací, zvláště ty, které nově vznikají, podávaly rozvojové projekty pro zavádění studia a v případě malého zájmu uchazečů zvážily možnost zatraktivnění obsahu i profilu studia. I když projekt Rozvoje VVŠ a jeho závěrečná zpráva vyústily v návrhu reformy financování vysokého školství, je z dosavadního vývoje patrné, že nelze v oblasti financování VČ očekávat výraznější obrat ke kvalitativním parametrům. Výraznější obrat z hlediska skladby dotace FF UK však nastal v roce 2005 díky přiděleným financím na VZ.
Výkony pracovišť a přerozdělení mzdových balíčků (MB)
Vzhledem k tomu, že se některá pracoviště podílejí na výuce oborů jiných pracovišť, byly reálné pedagogické výkony vypočítány z rozvrhových podkladů v kalendářním roce 2003 a předány jako podklad pro přerozdělení mzdových balíčků na základě kritéria podílu na tomto výkonu fakulty. Analýza obsahuje i výkony jednotlivců, které lze zvažovat jako jedno z kritérií při stanovování výše pedagogického úvazku. V případě, že vypočtený MB nebude na některé součásti postačovat na nové minimální tarify, bude nutné provést analýzu příčin a naplánovat jejich odstranění. Zde je možné v budoucnosti využít navržený model evaluace, prozatím lze využít jako korektiv (a) výkony VaV (především nové VZ) a HČMD/DČ (režie) a (b) perspektivnost akreditace oboru.
3 Do statistiky nebyly zahrnuty obory ÚSVS a ÚDV (ke dni zpracování neodevzdaly podklady).
VĚDA A VÝZKUM Publikace
Analýza celkové pětileté produkce (1998-2002) umožňuje porovnání produkce pracovišť jako celku a jejich podíl na celkové produkci fakulty, jakož i výkon v přepočtu na pracovníka. Totéž umožňuje analýza roku 2003, kde však byly sledovány pouze ty publikační položky, které univerzita zvolila ke své evaluaci. Konkrétní výkony pracovišť lze použít jako další kritérium hodnocení součástí, i když se kromě publikací v RIV v metodice státní dotace nepromítají. Stejně jako u výkonu pedagogického se i zde potvrdila směrodatnost výkonu na učitele. Z hlediska vnějšího hodnocení bude nutné sledovat skladbu této činnosti v závislosti na kritériích hodnocení, která budou stanovena směrnicí Rady vlády ČR pro vědu a výzkum.
Granty a VZ
Analýza byla provedena za rok 2003 v kategorii NIV (MP a režie) a opět umožňuje srovnání produkce pracovišť jako celku a jejich podíl na celkové produkci fakulty, jakož i výkon v přepočtu na pracovníka. Konkrétní výkony v této oblasti je možné použít jako další kritérium hodnocení součástí. Stejně jako u předcházejících výkonů se i zde potvrdila směrodatnost výkonu na pracovníka.
JINÁ ČINNOST – HČMD a DČ (a srovnání s výkonem Granty a VZ)
Analýza byla provedena za rok 2003 v kategorii MP a opět umožňuje srovnání produkce pracovišť jako celku a jejich podíl na celkové produkci fakulty, jakož i výkon v přepočtu na pracovníka. Konkrétní výkony v této oblasti je možné použít jako další kritérium hodnocení součástí. Stejně jako u předcházejících výkonů se i zde potvrdila směrodatnost výkonu na pracovníka.
Srovnání výkonů pracovišť v oblasti „jiné“ a „granty a VZ“ ukazují dosti pestrý obraz fakulty v orientaci na oba aspekty z hlediska vzájemného podílu na těchto činnostech, které je nutno považovat za stejně legitimní.
MODEL EVALUACE
Navržený model respektuje charakter FF UK jako vědecko-pedagogického pracoviště, kde samozřejmou garancí kvality pedagogického výkonu, představujícího zásadní složku financování, je činnost vědecká. Proto hodnotí zvlášť dvě komplementární složky: ekonomické výsledky a akademickou činnost jako celek. Aplikace modelu, který by měl být integrován do IS FF UK, je primárně zamýšlena jako diagnostický nástroj a nástroj strategického plánování pro řídící pracovníky, ale i jako prostředek poloautomatického vytváření výročních zpráv a datový zdroj pro pětiletou evaluační zprávu. Modelu lze využít pro vnitřní přerozdělování prostředků mzdových a provozních tak, že vedle základního ekonomického parametru lze provádět nutné korekce pomocí parametrů jiných.
V tomto případě lze doporučit i kombinaci parametrů tohoto modelu s výsledky akreditace.
ZÁVĚRY a DOPORUČENÍ
V souvislosti s celkovou ekonomickou situací fakulty, výkony pracovišť a přechodem na nový mzdový
předpis komise doporučuje děkanovi zahájit evaluačně-systemizační jednání s vedoucími součástí,
která by měla být provedena do konce LS 2005. Dále doporučuje, aby závěry z těchto jednání byly
závazné alespoň pro střednědobé období.
Komise konstatuje, že dosavadní stav a výsledky studentských anket nejsou uspokojivé a je nutno podniknout výše uvedené kroky ke zlepšení. Pro zavedení nového systému hodnocení doporučuje komise ustavení nové pracovní skupiny na dobu 1,5 roku.
Urychlenou elektronizaci studijní agendy doporučuje komise i pro objektivizaci při sledování některých výkonových kritérií. Tento přechod rovněž umožní následně definovat pedagogickou povinnost podle Mzdového předpisu UK nikoliv v poctu hodin výuky, ale ve směrodatnějším parametru výkonu – tedy z hlediska počtu odučených studentů.
Komise dále doporučuje přijmout navržený model evaluace a integrovat ho do vznikajícího informačního systému fakulty, což zajistí, že evaluační data budou v potřebné struktuře kdykoliv k dispozici, ale především to, že fakulta bude moci sledovat a strategicky regulovat klíčové parametry svého vývoje. V této souvislosti doporučuje komise ustavení příslušné pracovní skupiny.
Na závěr komise děkuje pracovníkům děkanátu, jmenovitě paní J. Markvartové, Mgr. D. Vondráčkové, Mgr. I. Pabianové, Mgr. K. Jonákové a PhDr. S. Čumplovi za přípravu a zpracování dat. Velký dík patří i stálému externímu spolupracovníkovi komise Bc. M. Osuskému.
V Praze dne 29. 3. 2005
Zuzana Jettmarová Předsedkyně
Přílohy:
-
Text zprávy v pdf
-
Dotazník k hodnocení výuky studenty
-
Metodologie evaluace FF UK, základních součástí, oborů a akademických pracovníků
-
Výroční zpráva ZS k modelu evaluace
-
Výkony součástí 2003 (hlavní činnost-výuka): Tabulka , schéma a komentář
-
Odučené obory 2003: Tabulka a komentář
-
Počty studentů 2003 a 2004
-
Publikační činnost 1998-2002 a 2003
-
VaV (NIV) 2003
-
MP – VaV a jiná činnost 2003
