FAQ

10. únor 2015

Proč potřebuje ČR nové institucionální hodnocení VaV? Proč nám nestačí hodnocení současné?

Současné hodnocení  dle Metodiky 2013 (zvané také jako kafemlejnek) nehodnotí výzkumné organizace, ale počítá pouze některé typy výstupů, podle kterých rozpočítává část institucionální podpory. Většina výsledků je zhodnocena pouze na základě kvantitativních bibliometrických údajů, které se ve světě používají pouze jako jeden z mnoha indikátorů pro informované peer-review. Zavedení podpilíře I a pilíře II již v sobě má nějaké prvky peer-review, a tím také postihuje kvalitu výstupů, ale Metodika 2013 fakticky stále zůstává jen jako způsob rozdělování veřejných prostředků a zcela pomíjí důležitou formativní funkci hodnocení. Být dodavatelem informací pro strategická rozhodnutí.

Jakým způsobem navržené hodnocení a způsob financování podpoří mladé vědce?

Žádné hodnocení nemůže mladé vědce podpořit přímo, ale může to dělat nepřímo. Tím, že bude hodnocení podporovat výtečné výstupy ať akademické či neakademické a poskytovat srovnání s okolním světem v jednotlivých oborech. Tak se stane pro mladé vědce atraktivním prostředím, které jim dá možnost se na základě vlastních výsledků prosadit vedle zavedených vědců. Při hodnocení budou také zohledněny i institucionální strategie a práce s rozvojem lidských zdrojů, včetně perspektivních mladých vědeckých pracovníků. I když i sama vize, že budou hodnoceni na základě skutečné kvality výsledků, a nikoliv na základě množství publikací, kde je dotyčný napsán, může být pro schopné mladší pracovníky motivující.

Kolik bude navržené hodnocení stát a nebude to příliš drahé?

Náklady na hodnocení budou řádově mnohem nižší než současné ztráty způsobené neefektivním řízením výzkumu a vývoje s minimem informací o kvalitě. Podle Studie proveditelnosti by na jeden cyklus hodnocení (5 let) stačilo 200 mil. Kč, což je 0,3 % institucionální podpory v ČR.

Nebude hodnocení metodou peer-review zkorumpované?

Výzkum a vývoj je extrémně složitý. To je důvod, proč výzkumné instituce nelze hodnotit pomocí nějakých programů a prostých čísel. Bez lidského pohledu se neobejdeme. Hodnocení je navrženo tak, aby se prostor pro korupci minimalizoval. Nelze ji samozřejmě zcela vyloučit, stejně jako nelze bezpečnostními opatřeními vyloučit smrtelné nehody na silnicích. Ale ani smrtelné nehody nejsou rozumný argument pro zrušení silniční dopravy.

Zajistí navržený způsob financování potřebnou stabilitu financování výzkumných organizací.

Navržený systém financování dává VO rozumnou střednědobou jistotu financování. Ale na druhé straně činí dlouhodobé financování v přiměřené míře závislé na vědeckém výkonu.

Jak hodnocení podpoří aplikovaný výzkum 

Přímo, finančně, samozřejmě hodnocení podpořit aplikovaný či jiný výzkum nedovede, protože hodnocení není financováním. Podpoří ho tím, že identifikuje dobrý aplikovaný výzkum a umožní pro jeho podporu využít prostředky neúčelně vynaložené na nekvalitní nebo neefektivní výzkum. V navrženém hodnocení je samostatné kritérium Společenský význam, které zohledňuje dopady výzkumu, včetně přímých dopadů aplikovaného výzkumu. Kvalitativní posouzení konečně přinese skutečné zhodnocení míry dopadu aplikovaných výsledků, a nikoliv pouze počítání obtížně srovnatelných kategorií uvedených v RIVu.

Proč hodnocení nezhodnotí týmy a jednotlivce

Hodnocení institucí je zcela jiné než hodnocení jednotlivců a týmů, klade odlišné otázky a má jiné cíle. Hodnocení týmů a jednotlivců na celonárodní úrovni by bylo obtížně proveditelné a bylo by neúnosně drahé. Hodnocení týmů a jednotlivých vědců je v jurisdikci těch, kteří řídí nebo by měli řídit výzkumné organizace a jejich součásti. 

Bude možno rozklíčovat, díky kterým součástem VŠ dostává vysoká škola institucionální podporu?

Určitě ano. Hodnocenou jednotkou v případě VŠ bude fakulta a tím, co se bude hodnotit, budou její výzkumné jednotky. Ta část institucionální podpory, která bude záviset na výsledku hodnocení, se bude určovat podle výsledku výzkumné jednotky a sečítat na úroveň jednotky hodnocené. Tzv. blokový grant, který má zajistit kontinuitu ve vývoji VO bude přiznán VŠ stejně jako příspěvek označovaný jako výkonnostní smlouva. Relativní podíl těchto příspěvků navrhujeme v poměru 15, 80 a 5%. Navíc vedení univerzit dostane přehlednou informaci o kvalitě oborů na jednotlivých fakultách, což bude bezpochyby využitelné pro jejich interní rozhodování.

Hodnocení bude vědce zatěžovat a odvádět od výzkumu. Není to škoda?

Hodnocení není samoúčelné. Může být užitečné dokonce i pro vědce samotné. Ale hodnocení je hlavně důležité pro ty, kteří činí strategická rozhodnutí na úrovni ministerstev, poskytovatelů, RVVI a vlády a konečně na úrovni daňových poplatníků, kteří to vše ze svých daní platí. Stát VaV nefinancuje pro zábavu a obživu vědců, ale proto, že výzkum považuje za důležitý pro budoucí blaho společnosti. Výsledky hodnocení budou dobrým argumentem pro prosazování výdajů na VaVaI při vyjednávání o státním rozpočtu, stejně jako to působí ve Velké Británii. Takže hodnocení má smysl i tehdy, když se vědcům samotným nelíbí. Dokud vědci dostávají veřejné prostředky, musí se smířit s tím, že je bude někdo hodnotit. Kontrola kvality ve výrobě také není ztrátou času, sil a peněz. Škoda je naopak nehodnotit a rozdělovat peníze na výzkum bez znalosti toho, kde ty peníze mohou být efektivně využity.

Do jaké míry je způsob hodnocení navržený ve věcném záměru zákona o VaV podobný návrhu IPN?

Způsob institucionálního hodnocení, obsažený ve věcném návrhu zákona, je zatím nejasný. Vznikal trochu uspěchaně a dřív a než byly v IPN Metodika formulovány návrhy a dopracovány na základě provedených ověřovacích studií. Nicméně usnesení RVVI dne 30. října 2015 říká, že a) pro efektivní fungování systému vědy, výzkumu a inovací je nezbytné přejít na nový systém hodnocení odpovídající nastalým potřebám a mezinárodní dobré praxi s využitím všech dosud získaných zkušeností; b) Metodika 2017+ bude hodnotit organizace jako takové s cílem vytvořit prostředí korektně oceňující, podporující a stimulující kvalitní vědu, výzkum a inovace; c) Metodika 2017+ bude vycházet z výsledků projektu IPN Metodika, včetně pilotního ověření, s tím, že pro její jednotlivé složky bude využito zkušeností a dobré praxe ze systému hodnocení výsledků výzkumných organizací do roku 2012, Metodiky 2013-2016 a současně probíhajícího hodnocení ústavů AV ČR.

Je k zavedené nového hodnocení NERO potřeba měnit zákon?

Zákon č. 130/2002 Sb. již dnes umožňuje jak na úrovni RVVI, tak na úrovni poskytovatelů zohlednit v rámci financování kromě hodnocení výsledků také "mezinárodni hodnocení VaV" (zákon hovoří o "podrobnějším hodnocení používajícím mezinárodně uznávaných metodik"), takže zákon hodnocení i financování podle principu IPN Metodika dokonce předvídá, viz §5a, odstavec 4 a §7, odstavec 6. Z toho vyplývá, že zadání RVVI pro KHV připravit implementaci principu hodnocení podle IPN Metodika není zákonem č. 130/2002 Sb. reálně omezeno. Zákon jasně omezuje financování tak, aby vycházelo z hodnocení výstupů, ale činí tak jen tam, kde není k dispozici "podrobnějším hodnocení používajícím mezinárodně uznávaných metodik".

Jak byly stanoveny parametry hodnocení a financování v IPN a jsou pro situaci v ČR vhodné?

Parametry byly navrženy na základě rozsáhlých zkušeností a znalostí týmu Technopolis o systémech hodnocení a financování ve vyspělých zemích. Jsou to však jen návrhy a skutečná realizace včetně nastavení parametrů bude úkolem poučeného politického rozhodování v návaznosti na výstupy projektu. 

Jak bude zajištěno financování nově vzniklých VO?

Vznik nových VO a jejich zařazení do systému institucionálního financování musí být podmíněno odpovědným politickým rozhodnutím včetně vytvoření potřebné finanční položky ve státním rozpočtu. 

Nový způsob financování hrozí rozkolísáním systému VaV

Technopolis doporučuje dostatečně opatrný postup s průběžným vyhodnocováním dopadů a případnou postupnou úpravou parametrů. 

Navržený systém financování umožňuje dlouho přežívat neefektivním VO

Je-li v současnosti dostatečně známo, že některá VO je natolik neefektivní, že by neměla být nadále podporována, není třeba čekat na hodnocení a je možné ji zrušit dostatečně odůvodněným politickým rozhodnutím namísto neefektivní likvidace postupným „vyhladověním“ pomocí snižování podpory na neúnosnou mez.

Příprava a aplikace nového systému hodnocení a financování bude trvat řadu let

Bude-li dostatečná vůle, lze přípravu nového systému zahájit neprodleně i bez změny legislativy. V opačném případě budeme ještě hodně dlouho používat nevhodný systém, který je předmětem oprávněné kritiky z mnoha stran. Změna je potřebná a je třeba ji začít připravovat co nejdříve.

Cílem Pilotního ověření (PO) je komplexně ověřit Metodiku hodnocení VaV (Metodika) zahrnutím všech jejích procesů pro účelně zvolený počet oborově úzkých výzkumných organizací (VO). Přednostně jsme zahrnuli celé výzkumné organizace. Pokud to nebylo možné, například protože neexistuje veřejná vysoká škola zaměřená pouze na humanitní obory, pak jsme  jako hodnocené jednotky zvolili fakulty. Pro ostatní typologie výzkumných organizací kromě univerzit jsme jako hodnocené jednotky určili celé výzkumné organizace. Vzhledem ke krátkému času, který je pro realizaci PO k dispozici, bylo nutné vybrat velmi omezený počet VO, které jsou navíc oborově úzké. Nebylo možné zahrnout všechny VO, kterých je podle doporučujícího stanoviska Rady pro výzkum, vývoj a inovace přibližně 250, ani zvolit oborově širokou VO, například Univerzitu Karlovu v Praze, Masarykovu univerzitu v Brně a další. Ty totiž pokrývají významnou část vědeckých oborů, ve kterých je vědecká obec v České republice aktivní, a není možné v krátkém čase získat posuzovatele i experty do hodnoticích panelů, jejichž počet by překročil několik stovek.

 

1. Čím se PO liší od Malého pilotního hodnocení, které probíhalo v rámci IPN Metodika od září 2014 do února 2015?

Malé pilotní hodnocení (MPH) zahrnovalo 17 VO. Cílem MPH bylo ověřit jen některé procesy Metodiky. Hodnocenými jednotkami byly výzkumné jednotky (VJ), nikoli hodnocené jednotky (HJ) nebo VO. MPH, které firma Technopolis uzavře na konci února 2015, tedy poskytne jen omezené a v některých případech žádné výsledky a bodové hodnocení některých skupin hlavních kritérií, zejména řízení VO resp. HJ a rozvojový potenciál.

2. Jakým způsobem jste vybrali instituce do PO?

Tým klíčové aktivity 4, který má v IPN Metodika na starosti PO, doporučil vybrat několik VO, optimálně reprezentujících všechny 4 typologie VO (tedy Sci&Res Institution, „SRI“, Research and Technology Organization, „RTO“, Public Service Lab., „PSL“, Natl. Resource Infrastructure, „NRI“; viz první dílčí zpráva Technopolisu). Kritickým faktorem omezujícím výběr institucí do PO byla a stále zůstává schopnost vybrat odborníky do hodnoticích panelů a posuzovatele a uzavřít s nimi pracovně-právní smlouvy. Při výběru odborníků využijeme zkušeností z dokončeného hodnocení VaV podle metodiky Rady pro výzkum, vývoj a inovace (RVVI) i z probíhajícího hodnocení institucí Akademie věd ČR. 

3. Jaké konkrétní instituce se do PO zapojily?

Oslovili jsme dvě skupiny institucí, jednu zaměřenou na chemii a jednu na humanitní obory. Za první skupinu účast přijaly 4 fakulty VŠCHT Praha, Fakulta chemické technologie Univerzity Pardubice, Fakulta chemická VUT Brno, Ústav chemických procesů AVČR, v.v.i., Heyrovského ústav fyzikální chemie AV ČR v.v.i., Výzkumný ústav anorganické chemie Ústí n. L., Centrum organické chemie s.r.o. V této skupině jsou zastoupeny celé výzkumné organizace (veřejná vysoká škola, veřejná výzkumná instituce, výzkumná instituce zastupující druhou typologickou skupinu RTO), je tedy možné provést úplné hodnocení podle všech hodnotících kritérií. Analogickou situaci pro jiný obor nenajdeme.

Pro skupinu humanitních oborů byly osloveny a účast přijaly Historický ústav AV ČR v.v.i., Ústav pro soudobé dějiny AV ČR v.v.i., Filosofická fakulta Univerzity Pardubice, Filosofická fakulta Jihočeské univerzity České Budějovice, Národní technické muzeum, Národní archiv. Tato skupina tedy zahrnuje i VO reprezentující třetí typologii, tedy instituce veřejné služby. Hodnocení infrastruktur, tedy VO čtvrté typologie, je samostatnou součástí klíčové aktivity 2 („Systém hodnocení“) projektu IPN Metodika.

4. Jak vybíráte odborníky do hodnotících panelů a posuzovatele?

Tento úkol je nejsložitější. Je nutné zvolit jednak předsedu hlavního panelu (cizinec nepůsobící v ČR se zkušeností z analogického hodnocení), dále nalézt a jmenovat členy oborových hodnotících panelů a posuzovatele.  Využíváme pro to několik existujících databází odborníků, které byly vytvořeny v nedávné minulosti.

5. Jsou součástí PO návštěvy panelů na místě?

Na základě předběžného zhodnocení průběhu MPH považujeme za stěžejní úkol PO  soustředit se na syntézu výsledků hodnocení jednotlivých VJ na úrovni hodnocené jednotky nebo výzkumné organizace. O návštěvách panelu na místě s cílem ověření hodnocení rozhodneme podle časové disponibility expertů. 

6. Každá výzkumná organizace zapojená v PO vypracovává tzv. sebehodnotící zprávu. V jakém jazyce má být sebehodnotící zpráva připravena?

Sebehodnotící zprávu předkládají výzkumné organizace v angličtině. Součástí sebehodnotící zprávy je i seznam excelentních výstupů. V odůvodněných případech mohou být výstupy pro posouzení excelence dodány v jiném jazyce. Pak by měly být doprovozeny stručnou anotací v angličtině, pokud již samy v sobě neobsahují anglické resumé.

7. Jaký je časový harmonogram PO?

Stěžejní aktivity:

  • 4.Q/2014 – 1.Q/2015, obsazování panelů, oslovení VO, výběr VO 
  • 1.Q/2015, hotovy pokyny pro PO (indikátory, obsah sebehodnotící zprávy…)
  • 1.Q/2015, seminář pro přihlášené VO o tom, jak bude hodnocení probíhat
  • 1.Q/2015 – 2.Q/2015, sběr a verifikace dat od VO, vypracování sebehodnotící zprávy VO
  • 2.Q/2015, hotova bibliometrie pro přihlášené VO pod KA1
  • 2.Q/2015 – 3.Q/2015, realizace PO + zpětná vazba od VO
  • 3.Q/2015, vyhodnocení PO + zpráva o průběhu
  • říjen 2015, závěrečná konference projektu
(!)EDITOVAT

 

 
 

ODBĚR AKTUALIT

E-mailem: nechte si zasílát aktuality z projektu přímo do své schránky.

RSS kanálem: odebírejte automaticky novinky přímo do své RSS čtečky.

rss ico

» NEWSLETTER

Vychází přibližně jednou za pět až šest týdnů a obsahuje důležité zprávy o dění v projektu, pozvánky na nadcházející události a upozornění na výstupy. > více
/ Archiv čísel1 / 2 / 3 / 4 / 5 / 6 / 7

Struktura webu IPN METODIKA

Mapa stránekKlávesové zkratkyRSS