Přednáška Paula Hubbarda – Efektivní systém institucionální finanční podpory výzkumných organizací založených na výkonech (PRFS): principy a praxe

Přednáška Paula Hubbarda
21. červenec 2015

Přední britský odborník na hodnocení vědy a výzkumu, Paul Hubbard (HEFCE), přijal pozvání do České republiky, aby na závěrečné konferenci s Technopolis „The R&D Evaluation Methodology and Funding Principles“ (Olomouc, 14. 5. 2015) prezentoval svou přednášku o efektivním systému institucionální finanční podpory výzkumných organizací. Jeho vystoupení bylo účastníky konference hodnoceno jako výjimečně přínosné, a to zejména díky představení principů a dobré praxe „britské cesty“ VaV. Z toho důvodu zveřejňujeme jednotlivé části přednášky včetně překladu stenografického záznamu. Přikládáme také audio záznam vystoupení.

Paul Hubbard

  • Vedoucí výzkumné politiky na HEFCE (Higher Education Funding Council for England).
  • 2003–2013 expertní poradce v oblasti návrhů systémů hodnocení a jejich využití při přidělování financí v podobě „blokových grantů" univerzitám ve Velké Británii.
  • 1996 manažer RAE (Research Assessment Exercise).
  • 1992 spolupracoval na vývoji hodnocení RAE.
  • Průběžně řídil práce HEFCE, které vedly k podstatnému přezkoumání principu hodnocení ve Velké Británii a vyústily v hodnocení RAE 2014 (předseda RAE řídicí komise).

 

Stáhněte si přednášku v češtině nebo angličtině

  • SLIDE 1

    Překlad stenografického záznamu přednášky Paula Hubbarda zde můžete procházet po jednotlivých slides.

  • SLIDE 2

    Dobrý den. Děkuji Vám za pozvání do České republiky, kterou navštěvuji vůbec poprvé. Nejdříve vysvětlím, proč jsem za Vámi přicestoval. Do HEFCE jsem vstoupil v roce 1990 a postupem času jsem pracoval na různých pozicích. V roce 1992 jsem se podílel na přepracování RAE (Research Assessment Exercise, poznámka překladatele) a v roce 1996 jsem vedl hodnocení vědy a výzkumu – RAE – celého Spojeného království. V té době jsem také zešedivěl. Nedávno jsem na základě žádosti vlády řídil zásadní přezkoumání hodnoticích principů ve Velké Británii, kde jsme věnovali velkou pozornost využití metrik – tomuto tématu se budu za chvíli podrobněji věnovat. Toto přezkoumání principů hodnocení vyústilo v roce 2014 v RAE, kde jsem působil jako předseda řídicí komise.

    Začnu tím, že Vám řeknu, proč tu rozhodně nejsem. Nenavštívil jsem Vás proto, abych Vám říkal, že takto provádíme hodnocení v Británii a to je ten správný způsob. Takovéto tvrzení by bylo hloupé a špatné. Ano, mohl bych vám vyprávět, jak přesně v Británii postupujeme, ale určitě bych zapomněl na nějaké podrobnosti. Jsme v České republice a Vy budete dělat něco docela jiného; něco, co bude odpovídat Vašim potřebám a situaci. Alespoň doufám. Dnes budu hovořit o svých zkušenostech a o tom, že my jsme si obdobným procesem „přemýšlení o hodnocení“ ve Velké Británii také prošli, a zároveň Vám nabídnu některé ze závěrů a ponaučení, která jsme postupem času získali a o nichž si myslím, že by Vám mohla být k užitku.

  • SLIDE 3

    Dnes budu mluvit hlavně o hodnocení, protože z mého hlediska jde o nejobtížnější část celé rovnice. Myslím si, že ve chvíli, kdy budete mít dobrý princip hodnocení a budete dosahovat výsledků, tak jsou rozhodnutí v oblasti financování spíše politickou otázkou a otázkou technických rozhodnutí, která jsou politikou ovlivněna – to komentovat nehodlám; k těmto otázkám určitě dospějete sami. Dokonce si myslím, že financování není nic těžkého, nicméně dnes o této oblasti budu hovořit jen krátce, většinu času budu věnovat hodnocení.

  • SLIDE 4

    Proč vůbec hodnotíme kvalitu?

    ormace. Ze systému můžeme vytěžit mnohem víc – uvědomme si, kolik hodnocení stojí a kolik práce vyžaduje. Měli bychom se umět „ohlédnout zpět“, abychom mohli „vidět dopředu“ a plánovat na základě důkladného pochopení, odkud jsme začínali. Dokážeme opravdu určit, kde v souvislosti s hodnocením začneme a jakým způsobem se dostaneme tam, kam chceme? Pokud provádíme hodnocení kvality dobře, dozvíme se, jak na tom náš národní systém je, jak dobře je na tom výzkum institucí nebo výzkumných organizací a jak dobře je na tom výzkum v nějakém oboru nebo na hodnocených jednotkách oproti standardům a kritériím dle našeho výběru.

    Kromě informací potřebných k financování nám systém nabízí i veřejné informace – ty jsme v Británii považovali za něco velmi důležitého. Jakmile začnete provádět hodnocení a publikujete jeho výsledky, začne být skutečnost, jak si můj obor nebo univerzita vede, velmi podstatné. Lidé, kteří se zajímají o výzkum a jeho kvalitu, ať už z jakéhokoliv důvodu, si začnou prohlížet výsledky a říkat: tohle je zajímavé, tady mají velice kvalitní výzkum, a my jsme to nevěděli. V tomto okamžiku vynikne skutečná výhoda hodnocení.

    Další plus vzniká v oblasti zodpovědnosti za financování. Dříve nebo později vyvstanou v každém veřejně financovaném systému otázky typu: Proč utrácíme tolik peněz za výzkum a co z toho plyne? Z tohoto důvodu jsme s hodnocením v Anglii začali. Z Ministerstva financí někdo řekl: tohle je černá díra a my chceme vědět, co se v ní děje. A my jsme odpověděli: dobře, my Vám to řekneme. Ukážeme Vám, co tu děláme a že je to dobré. Odpovědnost za financování je nesmírně důležitá. Žádná vláda nemá peníze navíc, sehnat prostředky je vždy obtížné, pokaždé musíte přednést lépe zdůvodněnou žádost, dobré výsledky hodnocení, které má řádnou hodnotu a bylo přísně provedeno, což je posléze dobrým základem proto, abychom mohli říct: podívejte se, tohle všechno získáváte, financujte nás dál a pokud nám poskytnete větší množství prostředků, dostanete ve stejné kvalitě ještě víc, protože my k tomu máme nástroje a zajistíme, aby to tak bylo.

    Kvalitní hodnocení je také nástrojem k identifikaci slabých a silných stránek systému a poskytuje informace potřebné k navýšení standardů. Když s hodnocením začali v Nizozemí, nespojovali ho s financováním, přesto šlo o vlivný nástroj, který postupem času pomáhal univerzitám k vylepšení jejich výzkumu.

  • SLIDE 5

    Proč propojit hodnocení a financování?

    Propojením hodnocení a financování získáte všechny uvedené body (viz slide); zejména mnohem závažnější podnět ke zvýšení standardů. Když jsou ve hře peníze, lidé mají tendenci brát všechno víc vážně. Takovéto propojení posiluje pozici vedoucích výzkumu a manažerů – to se nám v Británii potvrdilo a nepředpokládám, že by tomu jinde bylo jinak. Jakmile tímto způsobem propojíte výkon s financováním, rektoři začnou činit těžká rozhodnutí ohledně některých slabších výzkumných jednotek – budou činit lepší strategická a informovaná rozhodnutí v oblasti posílení výzkumných jednotek nebo ve výběru určitých subjektů, ve kterých chtějí posílit kvalitu. V rámci instituce je mnohem jednoduší, když můžete říct: podívejte se, tohle nás stojí peníze. Očividně tím získáte možnost lepšího cílení veřejného financování na základě určených pravidel a zodpovědnosti. A zodpovědnost je taky mnohem znatelnější, pokud je propojena s financováním. Protože můžete lidem, kteří financování poskytují, ukázat, že opravdu bereme kvalitu v potaz. Že to celé bereme velice vážně.

  • SLIDE 6

    Co je třeba pro silný systém hodnocení?

    Je naprosto zásadní, aby byl systém hodnocení férový a dobře informačně podložený. Pokud tomu tak není, tak jen plujeme po proudu – dnes ráno na toto téma probíhala žhavá diskuze, proto se k tomu dál vyjadřovat nemusím.

    Konzistence je také velmi podstatná. Pokud máte pětihvězdičkový útvar, nebo jaký žargon používáte pro pětihvězdičkový útvar, který obsazuje vedoucí pozici z hlediska kvality ve fyzice, a na druhé straně máte pětihvězdičkový útvar historie, chcete zajistit, aby se na oba útvary vztahovaly rozumné společné standardy. To je důležité z mnoha důvodů, například k zamezení „rozehrávání hloupých her“. Důrazně doporučuji používat podobná základní kritéria a podobné sady dat pro všechny disciplíny, i když je pravděpodobně sledujete odlišnými způsoby podle disciplín. Vyhnete se tím argumentům jako: oni to mají lehčí, protože to mohli dělat jinak. Také se vyhnete hloupostem, například když lidé říkají: naše dějiny vlastně spadají pod sociologii, protože preferujeme jejich kritéria. I toto se opravdu může stát. Je až překvapivé, kolik výzkumu ve Velké Británii bylo za ta léta přesunuto z jedné disciplíny do druhé. A bude se to dít i s konzistentními standardy. Tyto standardy jsou však velmi potřebné, bez nich by vládl chaos.

    Vhodnost účelu

    Náš systém musí poskytovat to, co od něj očekáváme.

    Musí se hodit do rámce našeho národního systému a kultury. Neexistuje jedna velikost, která by padla všem, neexistuje jedna správná odpověď pro danou zemi. Podívejte se na Velkou Británii, náš systém se od dob, kdy jsme začínali, značně liší. Vytvořte proto ten nejlepší možný systém, který dokážete, s materiály, které Vám jsou v tuto chvíli ve Vaší zemi k dispozici. Pevně doufám, že takový systém budete mít, nicméně berte v potaz specifika Vašeho národního prostředí.

    Čas a opakování

    Silný systém hodnocení napoprvé nezvládne nikdo. Hodnocení musíte provést více než jednou, musíte se z něj poučit a musíte se být schopni na takto získanou zkušenost kriticky podívat. Radil bych Vám, abyste začali brzy. Za tři roky hodnocení zopakujte, protože to pro Vás bude stále ještě nové. Potom bych pozorně přehodnotil, co děláte. Časem však přijdete na skutečnost, že hodnocení není potřeba provádět zas až tak často. My považujeme za správný interval šest let – ten ale závisí na Vaší schopnosti zajištění stability v oblasti financování. Nicméně pokud budete hodnocení opakovat, poučíte se ze zkušeností a změníte ho, změní se i okolnosti kolem Vás.

    Důvěryhodnost

    Když jsme v Británii začínali, poskytovatelé podpory, výzkumníci a další akceptovali, že má systém dobré výsledky. Důvěryhodnost ovšem trvá vybudovat léta. K tomuto tématu se ještě ke konci mé přednášky vrátíme.

  • SLIDE 7

    Výběr principu

    Musíme se sami sebe vážně zeptat, co se vlastně chceme dozvědět a čeho chceme dosáhnout. Ano, chceme systém, který nám pomůže s přidělováním financí, ale čeho chceme docílit například v oblasti informovanosti veřejnosti apod.? Jak podrobně se chceme dozvídat o slabých a silných stránkách a na jaké úrovni? Chceme získávat informace hlavně o institucích nebo o oborech nebo obojí? Chceme informace, které nám pomohou při tvorbě národní politiky? Tyto otázky předznamenávají sledovat výzkum na základě široké definice s celou řadou kritérií.

    Identifikace silných oblastí je dobrá věc

    Je dobré identifikovat silné oblasti a to, jakým způsobem podporují národní hospodářství. Důležité jsou rovněž společenské dopady výzkumu. Vše je součástí odpovědnosti, díky níž poukazujeme na výhody výzkumu. Potřebujeme princip hodnocení, který je dostatečně propracovaný, má dostatečně široký záběr a je schopen pojmout více než jen vědeckou excelenci. Protože chceme plně využít výsledků, které nám systém poskytne, je žádoucí mít širší záběr. 

  • SLIDE 8

    Máme tři hlavní principy: Sebehodnocení, statistické hodnocení (tzv. metriky) a peer review. O každém principu něco jednotlivě řeknu.

  • SLIDE 9

    Sebehodnocení

    Sebehodnocení nelze použít jako hlavní či jediný prvek hodnocení – ne v rámci takové důvěryhodnosti a přijatelnosti, o jaké jsem mluvil. A rozhodně ne, pokud ho chcete využívat pro financování. V dobře navrženém systému však hraje významnou roli. Je důležité, abyste institucím a výzkumným skupinám sdělili, aby se před odesláním dokumentace k pilotní zkoušce na chvíli zastavili a zamysleli se nad svými dosaženými výsledky a nad tím, co je třeba vylepšit.

    Sebehodnocení podporuje přemýšlení – jinými slovy podporuje budování strategie.

    Prvky sebehodnocení bych do systému zařadil. V Británii nepoužíváme sebehodnocení, ale instituce mají tu možnost sdělit nám vše, co mají na srdci a většina z nich tuto možnost využije k tomu, aby řekla: toto jsou naše silné stránky. Je pak na práci hodnoticích panelů, aby našly důkazy podporující tvrzení, že se skutečně jedná o silné stránky. Není zde mnoho prostoru pro chyby, hodnocení se musí provést správně, takže v tomto smyslu je sebehodnocení silnou součástí procesu, kterou mají panely k dispozici.

  • SLIDE 10

    Hodnocení pomocí statistik

    Statistiky jsou složitá otázka. Asi před deseti lety jsme se v Británii ke statistickému hodnocení téměř přiklonili, ale nakonec jsme tak neučinili.

    Silné stránky

    Statistické hodnocení, metriky, jsou objektivní, pokud máte dobrá data. Nelze jimi jednoduše manipulovat nebo statistiku ovlivnit. I přestože statistické hodnocení naprosto odolné není, zkreslovat jej není jednoduché. Máte takový systém, jaký máte.

    Pokud využíváte existujících dat, je celé hodnocení relativně jednoduché a levné a lze ho kdykoliv zopakovat. Jestli však chcete hodnocení skutečně opakovat, je úplně jiná otázka – pokud totiž máte metriky a budete hodnocení provádět každý rok, způsobíte tím destabilizaci.

    V případě hodnocení pomocí statistik existuje hodně „ale“… Pro některé disciplíny totiž funguje mnohem lépe, než pro jiné. Záleží na druhu statistik, které používáte, ale pokud se zaměříte na externí část příjmů z výzkumu, která v našem hodnocení hrála velkou roli, zjistíte, že je statistika v některých disciplínách mnohem spolehlivější, nežli v jiných. Podívejme se například na fyziku. Některé ústavy jsou z velké části teoretické a mají jen malé externí příjmy, jiné se z velké části zabývají aplikovaným výzkumem a jejich součástí je inženýrství, a tak mají dosti vysoké příjmy. Další ústavy využívají hodně CERN (Conseil Européen pour la Recherche Nucléaire nebo European Council for Nuclear Research, poznámka překladatele), mají dobré postavení v komunitě a z toho plynoucí obrovské vnější příjmy, protože využívat zařízení v CERNu je finančně velice nákladné.

    Nedozvíte se tak nic o relativní kvalitě výzkumu těchto ústavů, anebo o jejich příspěvku národní ekonomice. Dozvíte se pouze, že některé z nich vykonávají drahou práci, za kterou zaplatil někdo jiný než vláda.

    Hodnocení je také mnohem efektivnější pro velké týmy nebo jednotky. Jeden z problémů, se kterým jsme se setkali, byl, že máme hodně univerzit, které výzkum příliš nedělají a jejich příjmy z výzkumu tak značně kolísají podle toho, o jaký obor jde, a zdali získali daný rok pořádně vysoký grant. Z takovýchto zjištění vyplývá pouze skutečnost, že externí příjmy z výzkumu nejsou spolehlivé, ani rovnoměrné. 

    Pomocí kvantitativních informací se ale o hodnocené jednotce nedozvíte všechno – potřebujete zde popis, potřebujete sebehodnocení. Vybraný statistický přístup bude ostře kritizován. Lidé Vám řeknou: máte špatné informace a manipulujete s nimi špatným způsobem. I objektivita má svoje limity.

    Ve Spojených státech amerických a jinde na světě existují organizace, které Vám nabídnou úžasný systém s názvem „něčí metrika“, který pro Vás dokáže udělat ohrmoné věci. Tento způsob nedoporučuji. Zmiňované organizace vezmou pouze čísla, ke kterým jste došli Vy, dají je do nastrojené tabulky a pak Vám je vrátí. Žádnou velkou přidanou hodnotu to s sebou nenese. Organizace nenabízejí nic navíc, co byste si nemohli vytvořit sami z vlastních potřebných dat.

    Takže, statistické hodnocení – ano, ale jako součást většího celku. Nějaké informace, které potřebujeme znát, se z dat samozřejmě dozvíme, ale nevyužívejme je jako primární hledisko. Pokud byste snad chtěli využít statistiky pro financování, a zejména pro hodnocení kvality, zaděláváte si na problémy.

  • SLIDE 11

    A nakonec peer review

    I peer review má své problémy. Hodnocení peer review je jen tak dobré, jak dobré jsou informace, na kterých je založeno; jen tak dobré, jako odbornost hodnotitelů samotných. Váš systém musí být silný – transparentní, odolný a schopný obstát vůči mezinárodním standardům tak, aby uspěl. Peer review je dobrý způsob, jak získat srovnání oproti mezinárodním standardům. Dalším problémem metrik, o kterém jsem se nezmínil, je obtížnost mezinárodního srovnávání. Když se podíváte na zprávy a analýzy OECD (Organizace pro hospodářskou spolupráci a rozvoj, poznámka překladatele), zjistíte, že je v nich víc poznámek a vysvětlivek než čísel. To má pochopitelně dobrý důvod – každý totiž sbírá data trochu jiným způsobem, takže nelze srovnávat jednu zemi s druhou. Co ale můžete udělat, je přizvat mezinárodní odborníky, kteří se ve Vašem oboru vyznají a podívají se na výzkum ve Vaší zemi a řeknou: ano, odpovídá mezinárodním konkurenčním standardům. Takovéto srovnávání je samozřejmě velmi důležité už proto, že se výzkum čím dál víc globalizuje. Jak už říkal Erik (Erik Arnold, poznámka překladatele) přede mnou ve své přednášce, pokud se připravujeme na olympiádu, potřebujeme vědět, jak rychle běhají lidé z jiných zemí, nejen na konci naší ulice. A peer review je toho dobrým zdrojem.

    Peer review je dobře zavedená metoda, kterou výzkumná komunita přijala a respektuje. Chápu Vaše obavy z jejího použití ve Vaší situaci, ale problém můžete vyřešit silným zapojením mezinárodních hodnotitelů – vytvoříte tak velice účinný systém.

  • SLIDE 12

    Podle mého názoru je nejlepším principem informované peer review spojené s pozorným výběrem a interpretací kontextuálních a statistických informací. Takové hodnocení musí umožnit, aby výzkumné organizace a jednotky měly šanci říci, co jsou jejich silné stránky. Nejlepším principem je tak akademické hodnocení podložené fakty.

    Hledáme princip hodnocení, který kombinuje jasná a široká kritéria excelence. Předtím, než s hodnocením začnete, je třeba určit, co taková kritéria excelence jsou, o co se snažíme (viz pět cílů, které Erik nastínil dříve), kritéria toho, k čemu v rámci každého cíle budeme přihlížet. Jakým způsobem dosáhneme našeho kvalitativního hodnocení. To vše musí být jasně určené, musí obsáhnout široký záběr, aby hodnocení pokrylo všechny akademické disciplíny a Váš národní systém. Pokud se to podaří, budete mít autoritativní, odborný a vysoce účinný systém, který funguje a skutečně pokrývá celé akademické spektrum a generuje výstupy, jež lze použít k jiným účelům. Moje doporučení jsou založena na zkušenosti, že jediný způsob, jakým dosáhnete svého cíle, je peer review. Za chvíli budu mluvit o bibliometrii.

  • SLIDE 13

    Tak jak na to?

    Jak rozdělit práci mezi jednotlivými obory je velice důležité rozhodnutí. Musíme zajistit, aby bylo hodnocení provedeno v té správné míře detailu. Pokud jste velký výzkumný systém, můžete mít i sto panelů (přestože mi to přijde opravdu hodně), jelikož musíte ohodnotit hodně lidí. Pokud jste malý systém, zase tolik panelů mít nechcete. Na druhé straně panelům nechcete přidělit příliš širokou oblast; buď by záběr přesahoval jejich odbornost, anebo by byly zavaleny velkým množství prací. Výsledkem by měl být určitý stupeň rozčlenění, který Vám byl doporučen v závěrečné zprávě. Získáte tím rovnováhu mezi uznáním malých oborů a jejich hodnocení vlastními lidmi na jedné straně a zabíháním do přílišných podrobností, díky kterému bude celý proces nemožný, na straně druhé.

  • SLIDE 14

    Obory a výzkumné jednotky

    Tato oblast je dosti jasná. 

    Panely nemají hodnotit jednotlivce. Dobře navržený systém by neměl v žádném případě realizovat hodnocení jednotlivců, říkat, že tento člověk je dobrý a jiný člověk tak dobrý není. Je možné hodnotit jednotlivé výzkumné výstupy, ale je třeba jasně určit, že nejde o hodnocení jednotlivých výzkumníků. Proč? Protože to bude způsobovat nekonečné problémy a Vy si budete přát, abyste to bývali byli neudělali.

    Informace o specifickém rozpoznatelném oboru jsou užitečnější pro manažery a plánovače.

    To je opět argument pro rozumně omezené zacházení do detailů ve Vašem výběru oborů.

    Při definování oborů je třeba vzít v potaz reálnou praxi. Pokud je jedna z disciplín ve Vaší zemi obvykle přičleněna k jiné, (například vědy o zemi jsou považovány za součást geografie namísto environmentálních věd), je to třeba zohlednit v hodnocení při rozdělování do oborů. Žádný světový standard pro rozdělování oborů neexistuje. Musíte si určit, co vyhovuje Vám.


    Je důležité, aby se hodnoticí panel nezabýval příliš širokým oborem.

    Slučování panelů je pro zajištění obecných standardů vhodné. Mně se princip panelů/subpanelů líbí. V Británii jsme ho zavedli proto, že se nám hromadily stížnosti ohledně panelů, které přidělovaly vysoká hodnocení svým známým, a nikdo jim v tom nemohl zabránit. Nebylo to spravedlivé. Systém hlavních panelů zajišťuje, aby se tyto praktiky neděly. Během hodnocení mohou probíhat soukromé diskuze o tom, zda panely a jednotlivé subpanely pracují ve shodě s obvyklými standardy. Pokud tomu tak není, je třeba se vrátit a začít znovu. To je velice důležité. Množství práce se tím sice navýší, ale rozhodně to stojí za to.

    Systém se musí být schopen vypořádat s mezioborovým výzkumem.

    Znovu se domnívám, že je tato problematiky obsažena v závěrečné zprávě. To, jak se s mezioborovým výzkumem poperete, je na Vás. Záleží na tom, co s tím chce Váš sektor udělat. Není to jednoduché. Musí však být vidět, že něco s hodnocením mezioborového výzkumu děláte, protože se jedná právě o jednu z oblastí, ze které Vám budou chodit stížnosti, na něž nebude jednoduché odpovídat.

  • SLIDE 15

    Informace

    Musíme shromáždit dostatek informací k tomu, aby panely viděly celkový obraz. Nesmíme je však zahltit informacemi, které nepotřebují nebo kterým nebudou rozumět.

    Klíčové body

    Myslete na rovnováhu. Jednotliví výzkumníci řeknou: musím panelu říct to a to o své práci. Naše odpověď často zní: ne, tyto informace panel nepotřebuje znát. Musíme být ochotni zamítavou odpověď použít, jinak panely přehltíme. S tímto v Británii bojujeme od začátku, protože jsme v minulosti dovolili, aby lidé odevzdávali příliš mnoho informací a nyní už je návrat k jednoduchosti velice obtížný. Od začátku se držte jednoduchosti, vyžadujte další informace až po provedení peer review – pokud je to vůbec nutné. 

    Je dobré mít směsici vstupních a výstupních dat.

    Důvody jsou jasně vidět na snímku. Oba jsou dobrými indikátory kapacity a potenciálu budoucího excelentního výzkumu. Je dobré mít nějaký druh hodnocení výzkumného prostředí, je dobré mít hodnocení příjmů z výzkumu atd. To vše nám pomáhá.

    Kvantitativní indikátory by měly být použity jako informace pro posuzování. Neměly by být přímo začleněny do hodnocení kvality.

  • SLIDE 16

    Indikátory – metriky

    Metriky je potřeba k tomu, aby hodnoticí panel pochopil, jaké zdroje jednotka má (vykazuje svoji kapacitu a závazky poskytovatelům podpory), jaké má vnější uznání svých úspěchů a jaký je jejich úplný dopad na společnost.

    voje místo zde mají zvláště indikátory produktivity, pokud je to v zájmu politiky a pokud jste v raném stádiu zavádění hodnocení jako součásti procesu zvyšování kvality. My jsme indikátory produktivity na začátku používali, ale časem jsme od nich upustili. Na začátku byly důležité, protože jsme měli ústavy, o kterých jsme věděli, že nedostatečně produkují. Nešlo pouze o nízkou kvalitu výsledků, ale prostě nebyly dostatečně výkonné. Pokud čelíte podobnému problému, tak je určitě začleňte. Nezaměňujte však, prosím, množství s kvalitou. To není nutné. Vždycky máme problém s lidmi, kteří publikují až příliš, zejména ve vědních oborech. Nechceme, aby se situace ještě zhoršila.

  • SLIDE 17

    Bibliometrie

     Británii jsme nad tématem bibliometrie strávili hodně času.

    Citační indexy jsou silným indikátorem kvality výzkumu. O tom není pochyb. Ale jen, pokud platí následující:

    V oborech, kde je publikování v časopisech/sbornících zavedenou praxí.

    Citační indexy v oborech, které publikují převážně v knihách, nelze shromažďovat. Je to prostě příliš obtížné. Shromažďování dat z časopisů a sborníků je nesmírně drahé, proto si také Scopus a Reuters Science za svoje data tolik účtují. Samozřejmě také kvůli svému zisku. Ale provádět shromažďování citačních indexů i u knih? To bych nedělal. Pokud, podobně jako my, považujete za výstupy výzkumu také umělecká díla, hudební kompozice, patenty, designy a budovy, nemůžete pro ně sbírat citace. V tomto ohledu je sběr citačních dat nemožný. V některých disciplínách funguje, v jiných ne.


    Musíte mít rozumný přehled podstatných publikací, některé malé soubory se mohou ztratit v šumu. Současně musíte mít obory s podobnou publikační aktivitou. Takže pak dobře poznáte,

    Musíte mít rozumný přehled podstatných publikací, některé malé soubory se mohou ztratit v šumu. Současně musíte mít obory s podobnou publikační aktivitou. Takže pak dobře poznáte, zda práce, která byla citována dvacetkrát, je v daném oboru dobrá nebo zcela výjimečná. Dokonce i ve velkých oborech je variace neuvěřitelně vysoká. Říká se tomu „oborová normalizace“ a pokud ji nějakým způsobem neprovádíte, nebo se alespoň nedíváte, co je normou v daném oboru, tak byste neměli bibliometrii používat vůbec, protože bez ní je k ničemu. Musí se opatrně používat a opatrně interpretovat s jasným porozuměním kontextu. V Anglii jsme informace z výstupů panelům ukazovali, ale museli jsme jasně rozumět tomu, jaká je norma pro daný obor. Pokud panelisté viděli vysoce citovanou publikaci, kterou četli, tak se nad ní moc nezamýšleli, možná se na ni podívají ještě jednou. Což je také pozitivní, ale je třeba toho využít předeslaným způsobem.

  • SLIDE 18

    Bibliometrii nelze v důsledku používat napříč celým oborem a já si nemyslím, že takový den přijde. Ano, situace je čím dál lepší, ano, počet disciplín, které pokrývá, se zvyšuje, ale používat ji pro všechny? Ne. Jako podpůrné informace? Ano.

  • SLIDE 19

    Nejlepší výstupy

    Velmi dobrá myšlenka. Požádejte ústavy, aby samy identifikovaly svoje nejlepší výstupy za daný časový úsek. Opravdu chcete vědět, v čem ústav exceluje? Hodnocení kvality, které jasně identifikuje, kde se nachází nejvyšší excelence, je více užitečné, než hodnocení poskytující průměrné hodnoty každého z hodnocených ústavů. Jít cestou nejlepších výstupů je zkrátka dobrý nápad. Navíc tím zajistíte, že vedení ústavu bude vybírat skutečně nejlepší výsledky, aby si bylo jisto, že hodnotitelé uvidí jejich silné stránky do hloubky. Množství práce členů panelu se tak udržuje na zvladatelné úrovni. Při definování nejlepších kategorií výstupů je důležité rozpoznat jejich rozmanité formy. Budete nuceni shromažďovat informace nejen z článků, ale do určité míry také z knih, patentů, designů atd. Protože ty všechny jsou výzkumnými výstupy a nejlepší práce ústavu může být právě jejich součástí.

  • SLIDE 20

    Praxe

    Jak vše řídit v praxi?

    Proces hodnocení a definovaná kritéria jsou publikována v předstihu – takové opatření pomůže s porozuměním a přijetím systému, ale také s důvěryhodností a transparentností.

    Výzkumné organizace musí mít pocit, že měly možnost plně poukázat na svoje silné stránky. O tom jsem již hovořil.

    XXX

    Hodnoticí panely mají plnou podporu sekretariátu. Mít profesionální pracovníky sekretariátu je velmi důležité. My jsme si „vypůjčili“ pracovníky sekretariátů univerzit. To je jeden ze způsobů. Jako malá organizace jsme neměli dostatek vlastních lidí. Když jsme testovali postup, použili jsme jen vlastní zaměstnance a celá záležitost se protáhla na tři měsíce. Nikdo nedělal nic jiného, než administrativu. Musíte pro tu práci někoho najít, ale stojí to za to. Zajistí, že v dokumentech bude zapsáno to, co chcete, mohou radit předsedovi panelu ohledně procedur a také upozornit panely, pokud vybočují. Ze všech těchto důvodů je potřeba mít řádnou podporu.

    Panely musí spolupracovat, aby zajistily obvyklé standardy pro předsedajícího hlavního panelu.

    Panely poskytují souhrnnou a podpůrnou zpětnou vazbu, která identifikuje silné i slabé stránky. My v tomto ohledu ve Velké Británii silně pokulháváme a je to způsobeno strachem, že se lidé budou navzájem soudit. Pokud máte dojem, že bude zpětná vazba upřímná, tak do toho jděte. U nás je to věcí kultury a něčeho, čemu se říká „soudní přezkum“. Nejsem si jist, zdali to tu máte také. Ale my máme velký problém s právníky. Pokud vy ten problém nemáte, využijte svých panelů, poskytněte jim jak souhrnnou, tak vývojovou zpětnou vazbu a buďte upřímní. Možná pomůže, pokud tak budete činit ústně, pokud se vám do písemné formy nechce. V případě, že to dělat nebudete, nezískáváte za peníze, které za hodnocení utratíte, to nejlepší.

  • SLIDE 21

    Musíme dělat, co je v našich silách, abychom lidi zrazovali od přílišné přípravy na straně jedné, a od „rozehrávání her“ na straně druhé. Někteří prostě budou „rozehrávat hry“. Můžeme je jednoduše neustále odmítat, jak jsme to dělali při navrhování systému. Musíme se sami sebe pořád ptát: pokud uděláme tento krok, neotevřeme tím prostor pro „rozehrávání hloupých her“? A co můžeme dělat, abychom tomu zamezili? Během zkušebního provozu se objeví „hry“, které jsme nečekali. Je to jedna z věcí, na kterou se při souhrnu po druhém cyklu musíme zaměřit. Jak zvýšit odolnost systému. Stojí to za to, protože pokud bude existovat obecné povědomí toho, že lidé rozehrávají hry, poškodí to důvěryhodnost výsledků. Důležité je, bychom pracovali na vybudování důvěry v tvrzení, že systém najde excelenci, ať už je kdekoliv.

  • SLIDE 22

    Jen pár slov k financování.

    Opravdu doporučuji provést hodnocení před tím, než se učiní konečné rozhodnutí o parametrech financování.

    Sníží to tlak na hodnoticí panely. Sníží to rozsah „rozehrávání her“. Zejména však tento postup umožní vytvořit financování na míru podle toho, co z hodnocení zjistíte. Pokud systém použijete k tomu, abyste vložili peníze do nejlepších ústavů a nejlepších subjektů, tak nebudete rozhodovat o financování toho či onoho subjektu, dokud nebudete vědět, jakou má kvalitu.

    Tímto opatřením se také sníží tlak na hodnoticí panely. Já bych postupoval takto (viz slide 23).

  • SLIDE 23

    Další body k financování. Tyto jsou velice důležité, vlastně naprosto zásadní.

    Musíte mít jasný přehled o tom, s jakým množstvím aktivit se u individuálních jednotek a organizací potkáte. Nemyslím, že je možné používat hodnocení kvality pro model financování bez nějakého měření objemu výzkumu. Přímé metody měření objemu výstupů výzkumu jsou velice obtížné, nedobré a nelze je aplikovat napříč obory. Nejlepší přístup, protože nic jiného vlastně ani neexistuje, je nějak spočítat aktivní výzkumníky v době podávání návrhů. To je dobrý přístup, jelikož vytváří jakousi „smyčku zpětné vazby“. Pokud je k hodnocení předloženo příliš mnoho výzkumníků, tak to vypadá, že jejich kvalita není příliš dobrá, protože máte velký počet pracovníků a jen určité množství opravdu dobrého výzkumu. Lidé ovšem budou chtít uvést co nejvyšší množství pracovníků, aby se jejich počet odrazil ve financování, a tak musíte najít způsob prověření všech uvedených osob. My to děláme tak, že vyžadujeme přiřazování jmen k výstupům. Jsou i jiné způsoby. Počet aktivních výzkumníků je zásadní a existují způsoby, jak s ním nakládat tak, aby byl nápomocen procesu. Můžete si najít i vlastní způsob, ale i tato cesta je možná. Rád bych na tomto místě také zmínil postgraduální studenty. Já bych postgraduální studenty (doktorandy) nezahrnoval do přímého počtu, protože do něj nepatří. Nejsou to zavedení výzkumníci. Jsou to studenti. Na druhé straně, pokud máte starost o podporu doktorandů, pokud chcete univerzity podpořit v tom, aby jich měly dostatečné množství, tak je do rovnice financování nějakým způsobem začleňte. V Británii jsme to tak prováděli vždy. Ale nezahrnoval bych je do hlavního měření v rámci hodnocení kvality, protože tam prostě nepatří.

    Nyní se dostávám se k bodu, ve kterém bych rád něco řekl o aplikovaném výzkumu, jelikož jsem o něm nemluvil a očekávám, že se na něj někdo zeptá.

    Nastíněné principy a druh struktury, který jsem prezentoval, jsou dle mého názoru perfektní pro hodnocení kvality aplikovaného výzkumu. Pokud máte rozsáhlá kritéria excelence, která pozorně sledují rozdíly mezi disciplínami, pak máte kritéria, jež se mohou vztahovat jak na aplikovaný výzkum, tak na základní výzkum v rámci hodnocení jeho kvality. Motivace aplikovaného výzkumu nad určitým rámcem je také věcí financování.

    Pokud chcete, můžete zkoumat i společenské a průmyslové dopady aplikovaného výzkumu vedle základního výzkumu, ale to lze provádět v rámci jediného obecného rámce, samostatné provedení není potřebné. V Anglii jsme se pokoušeli hodnotit aplikovaný výzkum samostatně, ale velký úspěch to nemělo. Účast do značné míry nesplnila naše očekávání a panel rozhodl, že se má začít znovu. Takže co se týče aplikovaného výzkumu, můj názor je následující: pokud jste vytvořili dobrý a silný systém, aplikovaný výzkum budete řešit vedle základního výzkumu a zvláštní samostatný systém k tomu nepotřebujete.

  • SLIDE 24

    Několik myšlenek na závěr.

    Financování výzkumu na základě hodnocení podle výkonu je silným nástrojem pro zvyšování kvality výzkumné práce. Může být navrženo tak, aby posílilo určité politické cíle. Jeho důsledkem bude podpora vedoucích pracovníků výzkumu. Už jen jednoduše proto, že budou mít na koho svalit vinu. Nicméně zjednoduší se tím zajištění nárůstu kvality v praxi.

    neexistuje jeden správný přístup pro všechny výzkumné systémy.

    nenutíme dělat pro přípravu více, než je skutečně nezbytné. Také se můžeme ptát, zdali jsme jim jasně vysvětlili, jaké výhody plynou z účasti v tomto systému hodnocení.

    Opravdu dobře navržený systém nebude kvalitní výzkumné jednotky destabilizovat. Pokud se nám bude úspěšně dařit identifikovat excelenci, kdekoliv bude nalezena, pak se excelentní práce opravdu silných jednotek a počet těchto jednotek budou měnit pomalu postupem času. I přesto, že je hodnocení pohonem financování, nezpůsobí velké výkyvy v jejich příjmech, nebo v tom, jak je vnímá veřejnost. Rychlost změny je z velké části určena rozhodnutími v oblasti financování. Pokud chcete odebrat peníze slabším útvarům, jak rychle to chcete provést? Jak rychle jsou manažeři a instituce schopni absorbovat změny, které tím budou způsobeny? A pokud použijete hodnocení jakožto kostru financování, tak v určité chvíli vezmete peníze slabším jednotkám, i když to třeba nebude zas až tolik, a zároveň je označíte při zveřejnění výsledků hodnocení. Takže změny nastanou. Musíte se ale zamyslet nad tím, jak moc jste po změně lační a jak rychle ji chcete nastolit.

    Transparentnost a dobrá komunikace jsou naprostým základem. To bych mohl opakovat do nekonečna.

    Nakonec bych ještě jednou zopakoval: Kritika přijde, „rozehrávání her“ také, tomu předejít nelze, takový je život, takové je akademické prostředí. Akademičtí výzkumníci jsou velice chytří lidé a nejdůležitější věcí jejich života je jejich výzkum, proto jsou také tak dobří v tom, co dělají. Budou dost rozrušeni a budou se obávat, co hodnocení provede jim a jejich výzkumu. Budou kritizovat, budou si stěžovat, budou „rozehrávat hry”… nemohu Vám říct, kolik je toho možné tolerovat. Dnes ráno jsem nežertoval, když jsem říkal, že máme v Británii profesory, kteří dodnes kritizují REF. Kritizují ho z naprosto nesprávných důvodů, ale nechtějí, ani nebudou poslouchat, že pravdu nemají. S tím se budete muset naučit žít.

    Rektorům se systém líbí, mají tak větší možnost získat víc peněz, získat větší příděl na příští rok. Většině výzkumníků systém také vyhovuje, protože vidí, že díky němu získáváme více peněz od vlády. Ale zároveň si stejně stěžují. Tak to prostě je. Nesmíte si to příliš brát. To by systému nepomohlo.



    Pokračující debaty jsou v přiměřené míře jistě užitečné.

    Jsem si jist, že v systému, který vám Erik se svými kolegy představil, se tyto principy odráží. Jsem poctěn, že jsem součástí poradního panelu návrhu nové metodiky hodnocení a že vidím, jak proces postupuje. Je fascinující vidět, jak to dělá někdo jiný. Proces, při kterém zjišťujete, jak navrhnout systém, který bude vyhovovat určitým politickým potřebám a potřebám konkrétní země. Doufám, že se jeho zprovoznění vydaří a že ho přijmete a budete moci po určité době zopakovat.
    Hodně štěstí a děkuji za pozornost.

  • SLIDE 25

    Diskuze:

    Daniel Münich:

    Mám otázku, která se týká Vašich zkušeností z Británie. Říkal jste, že je informovanost důležitá. Kdo v této oblasti hraje primární roli? Politici? Vedoucí akademici? Někdo jiný?

    Paul Hubbard:

    Hlavní roli jsem hrál já a moji vysoce postavení kolegové. Lidé na vysokých řídicích pozicích, kteří hovořili na konferencích. A také jsme měli několik výzkumných pracovníků, kteří chápali, o co se tu snažíme, a my je pobízeli, aby na toto téma promlouvali na konferencích. Ti druzí jsou velice důležitou složkou. Politici ne, ti by nikdy procesu nerozuměli dostatečně na to, aby mohli v závěru prezentace odpovídat na dotazy.

    Tázající:

    Zmínil jste se, že důsledkem nové strategie byl posun ve financování, některé subjekty se připojily k jiným a podobně. O co šlo? Vzpomínám si, že fyzika byla v té době dosti potlačována. Některé ústavy byly zrušeny a podobně. Je to pravda?

    Paul Hubbard:

    Ano. Dělo se to většinou v oblastech, kde existovaly malé jednotky s nízkou kvalitou, které byly postupem času identifikovány a zrušeny nebo připojeny k jiným. Přišli jsme o malé fyzikální útvary. Způsobilo to potíže, protože se tímto snížila kapacita fyzikálního vzdělávání. Ale z pohledu výzkumu tato oddělení příliš nepřispívala. V Británii jsme již dále nezacházeli. Rozhodně se nejednalo o žádné čistky.

(!)EDITOVAT

 

 
 
Dále by vás mohlo zajímat

ODBĚR AKTUALIT

E-mailem: nechte si zasílát aktuality z projektu přímo do své schránky.

RSS kanálem: odebírejte automaticky novinky přímo do své RSS čtečky.

rss ico

» NEWSLETTER

Vychází přibližně jednou za pět až šest týdnů a obsahuje důležité zprávy o dění v projektu, pozvánky na nadcházející události a upozornění na výstupy. > více
/ Archiv čísel1 / 2 / 3 / 4 / 5 / 6 / 7

Struktura webu IPN METODIKA

Mapa stránekKlávesové zkratkyRSS