ZÁVĚREČNÉ HODNOCENÍ PROGRAMU NA PODPORU

APLIKOVANÉHO VÝZKUMU VE SPOLEČENSKÝCH

A HUMANITNÍCH VĚDÁCH

ZÁVĚREČNÁ ZPRÁVA

APLIKOVANÉHO VÝZKUMU VE SPOLEČENSKÝCH

A HUMANITNÍCH VĚDÁCH

ZÁVĚREČNÁ ZPRÁVA

Konečný uživatel výsledků: Technologická agentura České republiky,

Evropská 1692/37, 160 00 Praha 6

Název projektu: Závěrečné hodnocení programu na podporu aplikovaného výzkumu ve společenských

a humanitních vědách

Číslo projektu: TIRDTACR819

Řešitel projektu: INESAN (Institut evaluací a sociálních analýz), Sokolovská 351/25, 186 00 Praha 8

Doba řešení: 1. 7. 2019 – 18. 11.2019

Důvěrnost a dostupnost: veřejně přístupný

Informace o autorském týmu (abecedně):

Xxx. Xxxxxx Xxxxx

Xxx. Xxxx Xxxxxxxx Xxxxxxxxxxx Xxx. Xxxxx Xxxxxxxx

Xxx. Xxxx Xxxxx

Xxx. Xxx. Xxxx Xxxx, Ph.D., MBA

Program veřejných zakázek v aplikovaném výzkumu a inovacích pro potřeby státní správy BETA2 byl schválen usnesením vlády České republiky č. 278 ze dne 30. 3. 2016 a je zaměřen na podporu aplikovaného výzkumu a inovací pro potřeby orgánu státní správy. Poskytovatel finančních prostředků je Technologická agentura ČR.

OBSAH

OBSAH 1

MANAŽERSKÉ SHRNUTÍ 2

ÚVOD 6

ODPOVĚDI NA EVALUAČNÍ OTÁZKY 7

EVALUAČNÍ OKRUH 1 – RELEVANCE A KOHERENCE PROGRAMU 7

EO 1.1: Jaké bylo postavení programu v systému podpory VaVaI v ČR v době jeho tvorby a jak zapadá

do systému podpory VaVaI v ČR a do portfolia poskytovatele v současnosti? 7

EO 1.2: Jaká je relevance Programu OMEGA k Národním prioritám orientovaného VaV a relevantním

národním koncepcím a strategiím? 14

EO 1.3: Byla realizována doporučení z průběžného hodnocení Programu OMEGA, případně v jaké míře? 19

EVALUAČNÍ OKRUH 2 – EFEKTIVITA PROGRAMU 22

EO 2.4: Lze na základě indikátorové soustavy vyhodnotit přínosy programu v praxi, a co dosažené

hodnoty jednotlivých indikátorů vypovídají o průběhu programu? 22

EO 2.5: Byla administrace a realizace projektů Programu OMEGA efektivní? 28

EO 2.6: Byla komunikace mezi poskytovatelem a řešiteli efektivní a transparentní? 38

EO 2.7: Jaké faktory negativně/pozitivně ovlivnily proces implementace programu? 44

EVALUAČNÍ OKRUH 3 – ZHODNOCENÍ DOSAŽENÝCH VÝSTUPŮ A VÝSLEDKŮ 47

EO 3.8: Bylo dosaženo očekávaných výstupů a výsledků programu? Které nezamýšlené výstupy

a výsledky byly na úrovni programu také dosaženy a jak? 47

EO 3.9: Jakým způsobem bylo využito výstupů Programu OMEGA? 55

EO 3.10: Do jaké míry odpovídají dosažené výstupy ukončených projektů stanoveným specifickým cílům

programu? 59

EO 3.11: Do jaké míry dosažené výstupy a výsledky podpořených projektů odpovídají či neodpovídají vynaloženým zdrojům? 63

EO 3.12: Jaký je význam a důsledky využití výsledků druhu N – zejména certifikovaná metodika? Jsou plánované výsledky tohoto druhu konfrontovány s poptávkou tzv. aplikačních garantů

a nastaven proces pro úspěšnou certifikaci? 69

EVALUAČNÍ OKRUH 4 – NAPLNĚNÍ TEORIE ZMĚNY PROGRAMU 73

EO 4.13: Do jaké míry byla naplněna teorie změny programu OMEGA? 73

EO 4.14: Které faktory zásadně ovlivnily splnění/nesplnění cílů programu? 75

EVALUAČNÍ OKRUH 5 – ZHODNOCENÍ DOSAŽENÝCH PŘÍNOSŮ (DOPADŮ) 79

EO 5.15: Do jaké míry program vyvolal požadované změny u příjemců a celkově v oblasti aplikovaného

výzkumu ve společenských a humanitních vědách? 79

EO 5.16: Které původně zamýšlené přínosy programu dosaženy nebyly nebo je prozatím nelze prokázat? 86

O INSTITUTU 97

MANAŽERSKÉ SHRNUTÍ

Program OMEGA je v portfoliu zadavatele v mnoha ohledech, na které tato závěrečná evaluace poukazuje, jedinečný.

Při zpracování tohoto Závěrečného hodnocení byla kromě metody desk research sloužící k načerpání základních poznatků k dané problematice použita kombinace kvantitativních a kvalitativních metod. Z kvantitativních metod bylo provedeno on-line dotazníkové šetření (CAWI), v rámci kvalitativních metod byly provedeny hloubkové rozhovory uskutečněné se zástupci jednotlivých cílových skupin definovaných specificky pro tuto evaluaci programu OMEGA. Z evaluačních postupů byly zkušebně uplatněny mj. metoda nejvýznamnější změny, evaluace vedená teorií, mapování výsledků, metoda mapování transferu technologií a metoda historického stopování.

Součástí evaluace bylo vyhodnocení celkem pěti evaluačních okruhů, které jsou zde rozpracovány. Konkrétně se jednalo o okruhy: relevance a koherence programu, efektivita programu, zhodnocení dosažených výstupů a výsledků, naplnění teorie změny programu a zhodnocení dosažených přínosů (dopadů).

EVALUAČNÍ OKRUH 1 – RELEVANCE A KOHERENCE PROGRAMU

Na základě zjištění plynoucích z evaluačního okruhu 1 vznikl program OMEGA v důsledku reformy Výzkumu, vývoje a inovací (dále v textu jako VaVaI). Program ve svých počátcích disponoval relativně nízkým objemem finančních prostředků, a to jak v portfoliu Technologické agentury ČR (dále v textu jako TA ČR), tak i v rámci českého VaVaI. Srovnatelnými programy zaměřenými na podporu společenskovědního výzkumu byly v době realizace programu OMEGA pouze programy Grantové agentury ČR (základní výzkum) a Programy aplikovaného výzkumu a vývoje národní a kulturní identity (NAKI a NAKI II) Ministerstva kultury ČR. Důležitou úlohou programu OMEGA pro TA ČR i pro celou oblast aplikovaného výzkumu v oblasti společenských a humanitních věd bylo, že tento program umožnil získat konkrétní poznatky a shrnout zkušenosti nutné pro plánování a řízení specificky zaměřených programů. Mnohé zkušenosti byly následně využity při přípravách programu ÉTA.

Pro vyhodnocení tematické relevance programu byly jednotlivé veřejné soutěže (dále v textu jako VS) posouzeny separátně. Pro první VS bylo stanoveno 13 tematických okruhů, z nichž osm odpovídalo nejčastěji zastoupené budoucí prioritní oblasti (dále v textu jako PO) NPOV 4 – Sociální a kulturní výzvy. Druhá VS se hlásila k čerstvě vznikajícím Národním prioritám, konkrétně k PO 4, byť byla realita odlišná a řada řešených témat (29 %) směřovala k PO 3 – Prostředí pro kvalitní život. Ve třetí VS se poskytovatel podpory snažil o zvýšení interdisciplinarity programu volbou 42 cílů VaVaI z NPOV. Tuto snahu ovšem nereflektovaly výzkumné organizace, neboť 55 % z těchto 42 cílů bylo řešeno pouze 0–2 projekty. Projekty naopak nejčastěji směřovaly k naplňování PO 4 (56 %) a PO 3 (30 %).

Stěžejním poznatkem z vyhodnocení míry realizace doporučení z Průběžné evaluační zprávy

programu OMEGA je, že bylo splněno 49 z 87 stanovených doporučení, tedy 56 %.

EVALUAČNÍ OKRUH 2 – EFEKTIVITA PROGRAMU

Indikátorová soustava v programu OMEGA byla založena zejména na výstupových ukazatelích (např. minimální počet podpořených projektů, počet jednotlivých druhů výsledků apod.). Ukazatele, jejichž prostřednictvím by bylo možné vyhodnotit dopady programu, nebyly předem stanoveny; v kontextu všech ostatních programů z dané doby však nejde o ojedinělý jev. Obdobně byly nastaveny indikátory i pro ostatní programy.

Po administrativní stránce byl program hodnocen jako nenáročný, z hlediska konkrétních požadavků je dle relevantních cílových skupin hodnocen jako srovnatelný s jinými programy společenskovědního výzkumu. Úroveň administrativní náročnosti programu dle uskutečněných šetření odpovídala rozsahu jednotlivých projektů a byla v tomto ohledu adekvátní. V programu zároveň nebyl z hlediska hodnocení administrativní náročnosti identifikován významný rozdíl mezi počáteční, průběžnou a závěrečnou fází realizace projektů. Řešitelé poukazovali na některé problémy s informačním systémem ISTA, jejž začal poskytovatel podpory využívat v průběhu programu OMEGA. Jednotlivé připomínky se vztahují zejména k počáteční fázi jeho implementace. Rovněž komunikace řešitelů se zaměstnanci TA ČR byla celkově hodnocena pozitivně, mj. přívlastky jako včasná, konkrétní a srozumitelná. Při kvalitativním šetření byla řešiteli projektů oceňována též vlídnost pracovníků TAČR. Z části otázky, v níž se evaluátor zabýval hodnocením projektů, vyplynuly pochyby účastníků kvalitativního šetření o kvalitě a odbornosti hodnotitelů. Hodnotitelé by dle šetření měli klást větší důraz na koherenci projektů se specifickými cíli programu.

Bylo identifikováno několik faktorů ovlivňujících proces implementace programu. Hlavními pozitivními faktory jsou např. zapojování dalších institucí veřejné správy nebo osvěta odborné veřejnosti zaměřená na využitelnost aplikovaného společenskovědního výzkumu. Mezi negativní faktory patří mj. nedostatečná maximální délka projektů či personální poddimenzování TA ČR; řešitelé poukazovali na možnost implementace výsledků až po skončení realizační fáze projektů.

EVALUAČNÍ OKRUH 3 – ZHODNOCENÍ DOSAŽENÝCH VÝSTUPŮ A VÝSLEDKŮ

V programu OMEGA bylo dosaženo veškerých očekávaných výstupů, které byly zároveň monitorovány příslušnými indikátory. Minimální počet očekávaných výstupů byl v tomto ohledu významně překonán (o celkem 1 170 výstupů). Mezi další (neočekávané) pozitivní efekty programu lze na základě výpovědí zainteresovaných stran zařadit otevřené jednání k tématu, navazující výzkumné a grantové aktivity či rozšíření (navázání) spolupráce se zahraničními odborníky. Po programové stránce je signifikantní zejména historický odkaz programu OMEGA a využití načerpaných zkušeností při tvorbě programu ÉTA. Výsledky jednotlivých projektů byly dle kvantitativního šetření většinou využity v praxi (uvedlo 90 % řešitelů). Z hloubkových rozhovorů nicméně evaluátor identifikoval nedostatečný monitoring výsledků projektů po jejich skončení.

Specifické cíle (dále v textu jako SC) programu nebyly dokonale koherentní s jeho tematickým nastavením. Z vyhodnocení teoretické relevance témat vyplynula vyšší saturace některých konkrétních cílů (např. SC 3 a 7), zatímco u jiných cílů byla významně nižší (např. SC 5 a 6). Obdobný nepoměr, byť

orientovaný na jiné SC, byl zjištěn už samotným zadavatelem ve Zprávě o realizaci, z níž vyplynulo výrazné naplnění zejména SC 1 a 4 a pouze minimální naplnění SC 6 a 8.

Z analýzy nákladů vynaložených na realizaci projektů vyplynulo, že průměrná výše podpory na jeden projekt dosáhla 1,89 mil. Kč a průměrná výše vlastních zdrojů činila 0,53 mil. Kč, přičemž vyšší intenzita podpory projektů připadá ve srovnání s komerčními subjekty na vysoké školy a výzkumné organizace. Dále bylo zjištěno, že celkové průměrné náklady realizace projektu byly vyšší u projektů, které trvaly dva roky, ve srovnání s těmi, které trvaly méně než dva roky.

Využívání výsledků druhu N1 je spojeno s řadou kladů a záporů; mezi klady patří veřejná dostupnost certifikovaných metodik, které jsou zároveň k dispozici zdarma, a volnost témat a oblastí, pro něž mohou být tyto metodiky zpracovány. Jako zápory byly identifkovány mj. obtížné sledování reálného přínosu či závaznost metodik prostřednictvím útvaru schvalujícího certifikované metodiky. Přístup k metodikám se liší mezi jednotlivými resorty; některé je buď vítají a schvalují dle jasných pravidel (např. Ministerstvo zemědělství ČR), nebo je certifikují spíše výjimečně (např. Ministerstvo školství, mládeže a tělovýchovy ČR). Ke zkvalitnění celkového zacházení s metodikami by dle zjištění evaluace přispěla unifikace procesu schvalování certifikovaných metodik a dlouhodobé sledování jejich používání v praxi.

EVALUAČNÍ OKRUH 4 – NAPLNĚNÍ TEORIE ZMĚNY PROGRAMU

Z dodatečně zkonstruované intervenční logiky programu je zřejmá především značná šíře programových dopadů. V rámci evaluace byly identifikovány klíčové faktory ovlivňující míru splnění cílů programu; tyto faktory byly evaluátorem rozděleny na programové, agenturní a správní. Mezi programové faktory patří například závislost programu, potažmo jednotlivých projektů, na vůli resortů a dalších institucí veřejné správy využívat výsledky jednotlivých projektů. Z agenturních faktorů lze zmínit např. neúplnost informací o úspěšných výsledcích programu OMEGA; mezi správní faktory bylo zařazeno mj. nízké uplatnění autority RVVI, které se promítlo v absenci rozhodnutí specifikujícího konkrétní obsah jednotlivých druhů výsledků společenskovědního výzkumu.

EVALUAČNÍ OKRUH 5 – ZHODNOCENÍ DOSAŽENÝCH PŘÍNOSŮ (DOPADŮ)

Vzhledem ke skutečnostem spojeným s historickými okolnostmi vzniku programu OMEGA (mj. nepřipravenost prostředí českého společenskovědního VaVaI na tvorbu aplikovaných výsledků) nelze hovořit o změnách, které by byly u příjemců podpory explicitně požadovány. Reálně uskutečněné změny lze rozdělit do dvou základních kategorií, a to na změny u příjemců podpory a na změny v oblasti společenských a humanitních věd. U příjemců podpory došlo, s přispěním programu OMEGA, k rozvoji kompetencí projektových pracovníků. Ve zhruba polovině případů mezi řešiteli a dalšími účastníky potom projekt realizovaný v rámci programu OMEGA vedl k další badatelské činnosti podpořené i z jiných programů. V oblasti společenských a humanitních věd je signifikantní zejména edukativní a průkopnický význam programu OMEGA.

1 Certifikovaná metodika, léčebný postup, památkový postup, specializovaná mapa s odborným obsahem.

Očekávané přínosy (dále v textu jako OP) programu byly podrobeny vyhodnocení teoretické možnosti jejich naplnění podobně jako v případě specifických cílů. I v tomto případě byla mezi jednotlivými přínosy patrná disproporce, např. větší teoretická saturace OP 8 a 2 a menší teoretická saturace OP 4, 3 a 6. Reálnými programovými přínosy u příjemců podpory pak bylo např. rozšíření spolupráce se zahraničními odborníky či vyšší míra komercializace výsledků realizovaných projektů.

ÚVOD

Předkládaným dokumentem je Závěrečné hodnocení programu na podporu aplikovaného výzkumu ve společenských a humanitních vědách. Konkrétně se tato evaluace zabývá programem Technologické agentury ČR (dále jen TA ČR) s názvem OMEGA realizovaným v letech 2012–2017. Vyhodnocení programu OMEGA bylo iniciováno jeho realizátorem, tedy TA ČR; na rozdíl od Průběžné evaluační zprávy programu OMEGA bylo provedeno externím subjektem, a to výzkumnou organizací INESAN.

Program OMEGA sloužil pro potřeby zadavatele tohoto závěrečného hodnocení jako vhodný příklad k identifikaci a verifikaci vhodných přístupů, postupů a použití vhodných metod a technik uplatnitelných pro evaluace programů na podporu aplikovaného výzkumu ve společenských a humanitních vědách. K tomuto ex-post evaluačnímu šetření došlo dva roky po skončení předmětného programu, tedy v termínu, kdy bylo možné zabývat se programovými ukazateli, mj. přínosy pro jednotlivé zapojené subjekty, jejichž vyhodnocení by v průběhu či bezprostředně po skončení programu nebylo proveditelné.

Design závěrečného hodnocení programu OMEGA byl připraven jako ad-hoc evaluace, tedy výhradně za účelem vyhodnocení tohoto konkrétního programu. Tomuto faktu odpovídá též spektrum navrhovaných a využitých metod, stejně jako posouzení míry jejich využitelnosti při řešení dílčích evaluačních okruhů a otázek. Program OMEGA byl v mnoha ohledech specifický; na tuto skutečnost upozorňuje jak Průběžná evaluační zpráva programu OMEGA, tak také tato Závěrečná evaluace.

Provedené Závěrečné hodnocení programu na podporu aplikovaného výzkumu ve společenských a humanitních vědách se od provedeného Průběžného hodnocení programu OMEGA liší zejména tím, že se tato evaluace zaměřuje na celkové posouzení programu OMEGA a zohledňuje přitom potenciálně rozdílné perspektivy širokého počtu stran, které byly programem OMEGA dotčeny. Ve vztahu k Průběžnému hodnocení je tedy závěrečné hodnocení komplementární. Navíc jeho závěry reflektuje a dále rozvíjí, což je patrné mj. z vyhodnocení doporučení formulovaných právě v rámci průběžné evaluace.

Z hlediska struktury jsou v dokumentu nejprve řešeny jednotlivé evaluační okruhy, potažmo konkrétní evaluační otázky. Popis metodologie evaluace a další náležitosti (např. seznam zkratek, grafů apod.) jsou uvedeny na konci dokumentu.

ODPOVĚDI NA EVALUAČNÍ OTÁZKY

EVALUAČNÍ OKRUH 1 – RELEVANCE A KOHERENCE PROGRAMU

Evaluační okruh Relevance a koherence programu vyhodnocuje relevanci a potřebnost programu OMEGA pro české prostředí jak společenskovědního výzkumu (dále v textu jako SVV), tak VaVaI jako celku. Součástí vyhodnocení tohoto evaluačního okruhu je rovněž zařazení programu do portfolia poskytovatele a evaluace míry reflexe doporučení z Průběžné evaluační zprávy programu.

EO 1.1: Jaké bylo postavení programu v systému podpory VaVaI v ČR v době jeho tvorby a jak zapadá do systému podpory VaVaI v ČR a do portfolia poskytovatele v současnosti?

Základem EO je stručná charakteristika systému podpory VaVaI v Česku a zdůraznění jeho hlavních parametrů. Následně je vymezena role a význam programu OMEGA v rámci popsaného kontextu a rovněž jsou identifikovány shody a mezery vztahu k ostatním programům podpory VaVaI.

Stěžejní evaluační metodou sloužící k vyhodnocení této evaluační otázky je desk research, který posloužil k analýze relevantních dokumentů a statistických dat. Dále bylo realizováno terénní šetření. Ze šetření prostřednictvím on-line dotazníku (tedy Computer Assisted Web Interviewing, dále v textu jen jako CAWI), jehož cílovými skupinami (dále v textu též jako CS) byli řešitelé, další účastníci, neúspěšní žadatelé, nežadatelé a aplikační partneři, vzešly informace o podílu CS, které měly zkušenosti s jinými programy SVV a bližší informace o konkrétních programech. Dále byly uskutečněny individuální hloubkové rozhovory (dále v textu též jako IHI) s CS popsanými v níže uvedené tabulce (Tabulka 1).

Ke zpracování odpovědi na evaluační otázku bylo použito mj. techniky Most Significant Change. V tomto ohledu byly na základě desk research nejprve definovány hlavní oblasti změny, které dle zástupců rozličných cílových skupin program OMEGA vnesl do oblasti společenskovědního a humanitního výzkumu. Dále byl upřesněn časový rámec, v němž jsou změny sledovány. Dále byly prostřednictvím desk research a individuálních hloubkových rozhovorů zjištěny jednotlivé „příběhy“ dokumentující podstatu změn, které program OMEGA do oblasti společenskovědního a humanitního výzkumu přinesl. Poté byly jednotlivé příběhy zakomponovány do hloubkových rozhovorů, které byly prováděny až v druhé polovině času vyčleněného pro sběr dat. V rámci těchto rozhovorů byly získávány komentáře a hodnocení jednotlivých změn od zástupců dalších cílových skupin. Součástí těchto rozhovorů bylo rovněž posouzení významu a důležitosti diskutovaných změn z pohledu dotazovaných zástupců. Závěrem byly z jednotlivých záznamů (zjištěných v rámci desk research i z individuálních hloubkových rozhovorů) abstrahovány výstižné prvky (citace, data) dokumentující povahu významných změn.

Použité metody

Most significant change

Zdroje dat

Desk research, CAWI, IHI

Tabulka 1: Struktura rozhovorů pro EO 1.1

Cílová skupina	Počet rozhovorů
11 – Pracovníci TA ČR	4
10 – Členové RVVI	2

SHRNUTÍ VÝSLEDKU

Program OMEGA vznikl dle vyjádření relevantních aktérů v souvislosti s tehdy probíhající reformou VaVaI. V rámci etablující se agentury TA ČR se začaly vytvářet odborné a administrativní kapacity nutné k nastavení specifického programu podporujícího společenskovědní výzkum. V tomto směru je program OMEGA průkopnický. Z pohledu závěrečné evaluace lze předeslat, že svou historickou roli splnil a očekávání mnohých zainteresovaných stran dokonce předčil. V souvislosti s programem OMEGA tak lze zaznamenat řadu neočekávaných přínosů jak pro TA ČR, tak pro české prostředí VaVaI.

ŘEŠENÍ EO

Odpověď na tuto evaluační otázku syntetizuje avizované prvky faktografických údajů získaných prostřednictvím metody desk research a hloubkových rozhovorů s pracovníky TA ČR a členy Rady pro výzkum, vývoj a inovace (dále jen RVVI). Ačkoliv původní předpoklad konstrukce evaluační otázky počítal s majoritním využitím již existujících dat (desk research), z rozhovorů se zainteresovanými stranami vyplynula vysoká využitelnost kontextualizace nabytých informací, která významnou měrou dopomohla k celistvosti formulovaných poznatků.

Kořeny programu OMEGA sahají k Reformě systému výzkumu, vývoje a inovací v ČR schválené usnesením vlády ze dne 26. března 2008 č. 287. Jedním z kroků plynoucích z této reformy bylo kromě jiných zřízení Technologické agentury České republiky novelou zákona č. 130/2002 Sb., o podpoře výzkumu a vývoje schválenou jako zákon č. 110/2009 Sb., s účinností od 1. července 2009. Počátek programu OMEGA je právě s touto reformou relevantními aktéry spojován. Z prováděných šetření vyplynul ještě další detail týkající se konstrukce úvodních programů TA ČR formou přesunu rezortního VaV z jednotlivých ministerstev. Příkladem je v tomto ohledu program ALFA, který vznikl spojením vědeckovýzkumných záměrů ministerstev dopravy, životního prostředí, místního rozvoje a průmyslu a obchodu. Z této perspektivy je významná provázanost původních záměrů programu OMEGA s výzkumnou agendou Ministerstva práce a sociálních věcí ČR (dále v textu jako MPSV).

Přítomnost programu v portfoliu poskytovatele

V nově se formujícím prostředí a centralizaci výzkumných aktivit na poli aplikovaného výzkumu do Technologické agentury ČR byl program OMEGA jako společenskovědní program již od svého počátku v nevýhodném postavení, nad nímž panuje konsenzus jak ze strany zaměstnanců TA ČR, tak ze strany členů Rady pro výzkum, vývoj a inovace (dále v textu jako RVVI). Specifikum postavení tohoto programu spočívalo jak v jeho tematickém zaměření, jež ho odlišovalo od ostatních (spíše technicky a přírodovědně zaměřených) oblastí aplikovaného výzkumu, tak v omezeném množství přidělených finančních prostředků.

Patrně nejtransparentnějším ukazatelem významu programu OMEGA v portfoliu poskytovatele v podobě Technologické agentury ČR jsou právě finanční prostředky vynaložené na jednotlivé programy. Program OMEGA z této perspektivy setrvával daleko za ostatními v té době realizovanými programy, jimiž byly ALFA, BETA a Centra kompetence (viz následující Graf 1). Jediným srovnatelným programem byl program BETA s plánovanými výdaji 640 mil. Kč. Nutno však podotknout, že takto srovnatelný stav nepanoval bezprostředně po začátku programu OMEGA, neboť původní předpokládané celkové na něj vyčleněné výdaje činily 386,4 mil. Kč.2 O dalších 83,6 mil. Kč na konečných 470 mil. Kč3 byl program navýšen až v jeho průběhu. Výdaje poskytnuté na realizaci programu OMEGA pak tvořily 3,3 % prostředků vynaložených na program ALFA a 5,2 % prostředků vynaložených na program Center kompetence. V případě programu BETA potom šlo o 73 % prostředků.

Graf 1: Předpokládané výdaje na programy TA ČR

16000

14000

12000

10000

8000

6000

4000

14368

9339

5029

Celkové výdaje Státní rozpočet Neveřejné/další veřejné zdroje

9000

6297

2703

2000

640

640 0

470

368

102

ALFA Centra kompetence BETA OMEGA

údaje jsou v mil. Kč

Zdroj: Projektové dokumenty jednotlivých programů, Zpráva o realizaci programu OMEGA

Specifické postavení programu OMEGA v rámci portfolia poskytovatele může indikovat také maximální možná délka projektů čítající 24 měsíců v době, kdy ostatní programy mohly být řešeny 36 (BETA), 72 (ALFA) a 96 měsíců (Centra kompetence). Z uskutečněných rozhovorů, ať už s řešiteli, nebo například útvary schvalujícími certifikované metodiky, přitom vyplývá, že 24 měsíců na realizaci projektů ve společenskovědním výzkumu představuje nezbytné minimum. Za optimální délku pro dosažení

2 Programový dokument Program na podporu aplikovaného společenskovědního výzkumu a experimentálního vývoje OMEGA – v účinnosti

od 17. 10. 2014.

3 Zpráva o realizaci programu OMEGA.

hodnotných výsledků v předmětné výzkumné oblasti bylo označováno období 36–60 měsíců. Z této perspektivy lze konstatovat, že u TA ČR došlo při vývoji programů zaměřených na podporu společenskovědního výzkumu k poučením, neboť druhá veřejná soutěž tematicky obdobně koncipovaného programu ÉTA (který na program OMEGA časově navazuje) připouští minimální délku řešení projektů 12 měsíců, předpokládaná délka ovšem činí tři roky a maximální dokonce 48 měsíců.4

Nejde přitom o zdaleka jedinou návaznost programu ÉTA na program OMEGA. Ačkoliv přímý vliv některých konkrétních prvků programu, mezi něž patří například právě maximální možná délka řešených projektů, není možné věcně prokázat, silná souvztažnost vyplývá jak z Podkladové studie pro návrh programu ÉTA z ledna 2016,5 tak z uskutečněných hloubkových rozhovorů se zaměstnanci TA ČR. Z nich je patrné, že program OMEGA v portfoliu Technologické agentury ČR sehrál nenahraditelnou roli průkopnického programu v oblasti společenských a humanitních věd. Navzdory enormnímu přesahu projektových výstupů oproti předpokládanému stavu (viz Zpráva o realizaci programu OMEGA)6 byl program OMEGA v kontextu tehdejšího společenskovědního výzkumu revoluční například právě v odpoutání se od dosavadního systému přidělování finančních prostředků výzkumným organizacím na základě tzv. RIVových bodů, tedy bodů dle Rejstříku informací o výsledcích (dále v textu jako RIV). K významnému posunu došlo též v ohledu externí komunikace významu a nezbytnosti společenskovědního výzkumu.

Vývoj podpory společenskovědního výzkumu v rámci TA ČR a vliv programu OMEGA je možné ilustrovat rovněž pomocí finančních ukazatelů. V době realizace programu OMEGA byla vytvořena řada dalších programů (GAMA, DELTA, EPSILON, BETA2 a ZÉTA), a tak se už tak nízký podíl společenskovědního výzkumu v TA ČR postupem času ještě snižoval. Od roku 2018 však zaznamenal významný nárůst s nástupem první veřejné soutěže programu ÉTA. Na tu bylo konkrétně pro rok 2018 ze státního rozpočtu vyhrazeno 270 mil. Kč, což činilo 21 % v té době finančně nejvíce podporovaného programu EPSILON. Porovnání přelomových let programů OMEGA a ÉTA a jejich postavení v portfoliu Technologické agentury ČR zobrazuje Graf 2.

4 Zadávací dokumentace ke 2. VS programu ÉTA.

5 Podkladová studie pro návrh programu ÉTA.

6 Zpráva o realizaci programu OMEGA.

Graf 2: Výše veřejné podpory na programy TA ČR

1600

1400

1200

OMEGA DELTA BETA EPSILON GAMA Centra kompetence ALFA ZÉTA ÉTA THÉTA

1483

1289

1000

800

600

400

200

67 125

271

352

740

0 0 0

109

65 0

969

950

392

438

0 0 0

231

950

365

50 120

270 200

Zdroj: TA ČR

2016 2017 2018

údaje jsou v mil. Kč

Relevance programu pro český společenskovědní VaVaI

Program OMEGA, stejně jako celý společenskovědní výzkum neměl jednoduše uchopitelné postavení ani na poli české výzkumné sféry jako celku. Patrně nejlépe tehdejší prostředí vykresluje vyjádření respondenta TA ČR (Respondent – CS 11): „Výzkumníci přicházeli s návrhy, které evidentně společnost potřebovala. Oni by to uměli udělat, ale nebyla žádná poptávka.“ Úskalí a nedostatky v chápání a využitelnosti společenskovědního výzkumu je možné pozorovat rovněž z dalších rozhovorů, ať už se zaměstnanci TA ČR nebo se členy RVVI. Za jednu z komplikací lze označit obtížnou uchopitelnost výsledků společenskovědního výzkumu a jejich adekvátní využívání. I přes edukativní vliv programu OMEGA po stránce utilizace výsledků poukazovali někteří respondenti z řad TA ČR a RVVI na nedostatečnou připravenost některých subjektů veřejné správy takovéto výsledky absorbovat a začleňovat do svých vlastních činností.

Napříč prostředím českého výzkumu, vývoje a inovací nacházel program OMEGA dvě komplementární platformy veřejné podpory. Jednu z nich zajišťovala Xxxxxxxx agentura ČR (dále v textu jako GA ČR) prostřednictvím svých projektů na podporu základního výzkumu ve společenských a humanitních vědách. Druhou zprostředkovávalo Ministerstvo kultury ČR v podobě Programu aplikovaného výzkumu a vývoje národní a kulturní identity (dále v textu jako NAKI) a jeho nástupce XXXX XX.

Klíčová distinkce na českém společenskovědním poli vznikla především mezi programy OMEGA a NAKI, potažmo NAKI II. Každý z obou programů, počítáme-li NAKI a NAKI II jako celek, se přizpůsobil někdejší metodice uznávání výsledků vědecké činnosti jiným způsobem. Zatímco program OMEGA snížil důraz na konkrétní druhy výsledků a umožnil řešitelským týmům dosahovat v podpořených projektech řady jiných druhů výsledků dle RIV, pro program NAKI vytvořilo Ministerstvo kultury ČR vlastní proces schvalování výsledků, a to zejména s ohledem k certifikovaným metodikám. Z hlediska komplementarity programu OMEGA, potažmo TA ČR, a GA ČR se poukazuje na vhodnost vytváření společných programů, neboť mezi oběma subjekty dochází k překrývání aplikovaného a základního výzkumu. Po věcné stránce lze pozici programu OMEGA v české společenskovědní výzkumné sféře dokumentovat následujícími grafy:

Graf 3: Srovnání celkové veřejné podpory v letech 2012–2017 připadající na jednotlivé programy

400

350

300

TAČR (OMEGA) NAKI NAKI II GA ČR

234,5

357,8

373,9

250

200

150

100

178,2 187,5

111,8

76,9

207,9

181,0

76,3

112,7 121,6

77,7 97,5

0 37,8 35,5

82,3 75,3 67,4 64,8

2012 2013 2014 2015 2016 2017

údaje jsou v mil. Kč

Pozn.: NAKI 2012–2015 vyjadřuje výši alokace; TA ČR 2018 (ÉTA) = 270 mil. Kč Zdroj: TA ČR/GAČR/MK ČR

Graf 4: Srovnání celkové veřejné podpory v letech 2012–2017 připadající na TA ČR a GA ČR

200

TAČR GA ČR

181,0

82,3

150

111,8

37,8

76,9

35,5

112,7

67,4

121,6

64,8

75,3

76,3

100

2012 2013 2014 2015 2016 2017

údaje jsou v mil. Kč

Zdroj: TA ČR/GAČR

Z uvedených údajů je patrné, že postavení programu OMEGA, a tím celého společenskovědního výzkumu v TA ČR, bylo dlouhou dobu v komparaci se zbylým SVV realizovaným v Česku prostřednictvím resortů poněkud upozaděno. K nákladům na program OMEGA, které byly v daném kontextu dlouhodobě nejnižší, se přiblížil pouze GA ČR v roce 2015, který na SVV vynaložil 76,3 mil. Kč. Jinak však rozdíl mezi programem OMEGA a dalšími programy v Česku nebyl nižší než 10 mil. Kč. Změna na poli SVV nastala až s nástupem programu ÉTA, který již v Graf 3 nefiguruje, na nějž bylo v roce 2018 vyhrazeno 270 mil. Kč. Tím se jednak významně zvýšila relevance společenskovědního výzkumu v TA ČR, jednak tím program ÉTA přispěl k větší saturaci absorpční kapacity SVV v Česku.

Na dominantní zastoupení programů na podporu celospolečenského výzkumu mimo TA ČR v období realizace programu OMEGA poukazují také odpovědi zástupců jednotlivých cílových skupin dotazovaných v rámci kvantitativního šetření. Zástupci cílových skupin uváděli, že se s výše uvedenými a dalšími programy na podporu společenskovědního výzkumu běžně setkávali. Své zkušenosti v šetření CAWI potvrdilo 72 % respondentů z řad řešitelů a 75 % z řad nežadatelů, a dokonce i 50 % dalších účastníků

i aplikačních partnerů; viz Graf 5. Z Graf 6 vyplývá, že řešitelé měli větší zkušenosti s odlišnými formami a programy na podporu SVV než s těmi, které jim poskytovaly přímo resorty a agentury na podporu výzkumu. Zkušenosti s programy NAKI či NAKI II potvrdilo 12 % řešitelů některého z projektů podpořených v rámci programu OMEGA a 10 % neúspěšných žadatelů; členové ostatních sledovaných CS (další účastníci, nežadatelé a aplikační partneři) se dle svých odpovědí s programy NAKI a NAKI II nesetkali.

Graf 5: Řešil/a jste někdy projekt podpořený jiným programem na podporu společenskovědního výzkumu?

ano

řešitelé další účastníci neúspěšní žadatelé nežadatelé aplikační partneři

údaje jsou v procentech

Zdroj: INESAN (2019, N = 36/6/19/4/6)

Pozn.: aplikační partneři byli dotazováni, zda figurovali jako aplikační partneři i v jiných projektech zaměřených na společenskovědní výzkum

Graf 6: Jiné využité programy na podporu společenskovědního výzkumu

NAKI GA ČR TA ČR – ÉTA jiný

67 67 67

10 10

35 35

0 0 0 0 0 0

řešitelé další účastníci neúspěšní žadatelé nežadatelé aplikační partneři

údaje jsou v procentech

Zdroj: INESAN (2019, N = 26/3/10/3/3)

Pozn.: údaje, znázorňující procentuální zastoupení respondentů, kteří v šetření označili danou možnost, se vztahují jen k respondentům, kteří řešili projekt podpořený jiným programem na podporu společenskovědního výzkumu; hodnoty jednotlivých programů tak mohou v součtu sloupců přesahovat 100 %, neboť se vždy jedná o proporční označení dané možnosti

Pozn.: aplikační partneři byli dotazováni, zda figurovali jako aplikační partneři i v jiných projektech zaměřených na společenskovědní výzkum

EO 1.2: Jaká je relevance Programu OMEGA k Národním prioritám orientovaného VaV

a relevantním národním koncepcím a strategiím?

Pro zpracování této EO byly nejprve identifikovány Národní priority orientovaného výzkumu, experimentálního vývoje a inovací (dále v textu jako NPOV) a zohledněna byla též doba vzniku, existence a význam dalších národních koncepcí a strategií pro program OMEGA. Následně byl tento seznam NPOV porovnán se zaměřením jednotlivých veřejných soutěží programu OMEGA. Evaluátor v tomto ohledu vyhodnotil, že tematické směřování programu výrazně ovlivnila právě doba vzniku dílčích strategických dokumentů, a proto u této EO hodnotil program nejen jako celek, ale hodnotil též jeho dílčí veřejné soutěže. Výsledkem jsou identifikované soulady a mezery v zaměření programu.

Příprava odpovědi na tuto evaluační otázku byla založena zejména na metodě desk research, kdy byly analyzovány relevantní dokumenty a statistická data. Dále byly realizovány individuální hloubkové rozhovory s cílovými skupinami definovanými v níže uvedené tabulce (Tabulka 2).

S ohledem k podstatě požadované odpovědi byla v případě této evaluační otázky zvolena metoda historického stopování, která umožňuje vztáhnout jednotlivé situace a události ke sledované aktivitě a jejímu celkovému efektu. V tomto ohledu bylo historické stopování periodizováno dle jednotlivých soutěží, přičemž klíčová pozornost byla věnována příspěvkům pravidel a podmínek, které do programu OMEGA přinášely nové soutěže.

Použité metody

Metoda historického stopování

Zdroje dat

Desk research, IHI, CAWI

Tabulka 2: Struktura rozhovorů pro EO 1.2

Cílová skupina	Počet rozhovorů
11 – Pracovníci TA ČR	4
10 – Členové RVVI	2
3 – Řešitelé	16

SHRNUTÍ VÝSLEDKU

Na jednotlivých veřejných soutěžích programu OMEGA je patrný vývoj národních strategií v čele s NPOV a přístup TA ČR k nim. Zatímco v první veřejné soutěži (dále v textu jako VS) definovala výzkumná témata pro program OMEGA sama Technologická agentura ČR, ve druhé už se hlásila k prioritní oblasti (dále v textu jako PO) Sociálních a kulturních výzev vznikajících NPOV, ačkoliv realita 2. VS byla výrazně odlišná a témata při jejich zpětném přiřazení zdaleka nesměřovala pouze k této prioritní oblasti. Z tematického nastavení 3. VS byla patrná snaha poskytovatele podpory o dosažení výzkumné interdisciplinarity. Ta však do určité míry nekorespondovala s očekáváním mnohých výzkumných organizací, které preferovaly podobná témata jako v předchozích soutěžích.

ŘEŠENÍ EO

Odpověď na tuto evaluační otázku je syntézou zjištění vycházejících z metody desk research a následné analýzy a zpracování těchto údajů s reflexí tematického nastavení programu OMEGA. Reflexe vychází z rozhovorů se zaměstnanci TA ČR a dále z rozhovorů a CAWI šetření mezi řešiteli jednotlivých projektů, dalšími účastníky a neúspěšnými žadateli.

Za elementární počin k uchopení tematického nastavení programu OMEGA považujeme ustavení teoretického tematického směřování jednotlivých soutěží. V tomto ohledu je toto ukotveno pouze pro 3. veřejnou soutěž, v době jejího vyhlášení existovaly Národní priority orientovaného výzkumu, experimentálního vývoje a inovací (dále v textu jako NPOV) schválené usnesením Vlády ČR č. 552 z 19. července 2012. Zdánlivě pevně bylo tematické směřování stanoveno také pro 2. veřejnou soutěž, která proklamovala soulad tematického zaměření programu s utvářející se prioritní oblastí 4 – Sociální a kulturní výzvy. Zcela neukotveno ve vztahu k NPOV bylo z důvodu jejich tehdejší absence tematické zaměření 1. veřejné soutěže.

Pro 1. VS bylo zadavatelem připraveno celkem 13 tematických okruhů, jimž se mohli řešitelé ve svých projektech věnovat. Jejich kompletní přehled obsahuje Zadávací dokumentace 1. veřejné soutěže ve výzkumu, vývoji a inovacích programu OMEGA 2011 (s. 4–5). Pro účely této evaluace došlo k ex-post přiřazení těchto 13 stanovených okruhů k budoucím NPOV. Kompletní přehled je uveden v tabulkách, které jsou samostatnou přílohou této zprávy (Příloha 6). Platí, že osm témat (62 %) odpovídalo prioritní oblasti 4 – Sociální a kulturní výzvy, čtyři témata (31 %) by odpovídala prioritní oblasti 1 – Konkurenceschopná ekonomika založená na znalostech, tři témata (23 %) by bylo možné přiřadit k prioritní oblasti 3 – Prostředí pro kvalitní život a jedno téma (8 %) bylo koherentní s prioritní oblastí 2 – Udržitelnost energetiky a materiálových zdrojů. K daným údajům je přitom nezbytné doplnit, že témata vzhledem ke své šíři vždy nesměřovala pouze k jedné aktuální prioritní oblasti v NPOV, ale v několika případech se dotýkala většího počtu oblastí.

Komparace soutěží

Uvedenému teoretickému rámci z velké části odpovídala také reálná saturace témat v 1. veřejné soutěži, kdy bylo k prioritní oblasti (dále v textu jako PO) 4 zadavatelem evaluace zpětně přiřazeno celkem 32 projektů, zatímco 11 projektů bylo přiřazeno k prioritní oblasti 3 a tři projekty byly alokovány k prioritní oblasti 1. Zdaleka nejčastěji řešenými sociálními a kulturními výzvami (PO 4) se tedy v 1. veřejné soutěži zabývalo 70 % všech projektů, viz Graf 7 níže:

Graf 7: Pokrytí prioritních oblastí NPOV v 1. veřejné soutěži

70%

24%

PO 1 – Konkurenceschopná ekonomika založená na znalostech

PO 3 – Prostředí pro kvalitní život

PO 4 – Sociální a kulturní výzvy

Zdroj: TA ČR

Ačkoliv byla 2. veřejná soutěž dle zadávací dokumentace v souladu s prioritami definovanými v PO 4

– Sociální a kulturní výzvy, reálná volba podpořených projektů těmto ustavujícím předpokladům neodpovídala. Výsledkem tak bylo, že 2. veřejná soutěž se po stránce tematického rozložení projektů mezi jednotlivé prioritní oblasti NPOV lišila od 1. veřejné soutěže pouze nevýznamně. Navzdory avizovanému souladu s prioritní oblastí 4 se její podíl na podpořených projektech v této soutěži snížil o dva procentní body na 68 %. Podíl prioritní oblasti 3 naopak narostl o 5 procentních bodů na 29 %. Z PO 1 zde byly podpořeny pouze dva projekty (3 %).

Graf 8: Pokrytí prioritních oblastí NPOV ve 2. veřejné soutěži

29%

PO 1 – Konkurenceschopná ekonomika založená na znalostech

PO 3 – Prostředí pro kvalitní život

PO 4 – Sociální a kulturní výzvy

68%

Zdroj: TA ČR

Pro 3. veřejnou soutěž došlo v programu k fundamentální změně zohledněním již platných NPOV a formulováním celkem 42 konkrétních cílů VaVaI v pěti ze šesti prioritních oblastí NPOV. Čtyři z těchto cílů VaVaI spadaly do PO 1, 12 cílů příslušelo PO 2, 11 cílů náleželo pod PO 3, 14 cílů spadalo pod PO 4 a jeden cíl pod PO 5. Z takto nastavené struktury cílů VaVaI lze dovodit snahu zadavatele o větší

interdisciplinaritu společenskovědního výzkumu. Projektově dosud nejvýrazněji saturovaná PO 4 ve 3. veřejné soutěži proporčně zabírala již jen 33 % z možných cílů VaVaI, zatímco důraz byl kladen na výzkum v prioritních oblastech 2 (29 %) a 3 (26 %).

Graf 9: Poměr cílů VaVaI z PO ve 3. veřejné soutěži

10%

33%

PO 1 – Konkurenceschopná ekonomika založená na znalostech

29%

PO 2 – Udržitelnost energetiky a materiálových zdrojů

PO 3 – Prostředí pro kvalitní život

PO 4 – Sociální a kulturní výzvy

PO 5 – Zdravá populace

PO 6 – Bezpečná společnost

26%

Zdroj: TA ČR

Snaha TA ČR o větší pokrytí NPOV ve 3. veřejné soutěži se však nesetkala s odezvou na straně výzkumných organizací, a tak v poslední soutěži výrazně převládala nad ostatními tématy prioritní oblast 4. Projektů zaměřených na sociální a kulturní výzvy bylo 37 (tj. 56 %). Naopak z hlediska cílů VaVaI silně akcentovaná prioritní oblast 2 zůstala takřka bez povšimnutí a byly v ní řešeny pouze dva projekty (3 %). Významný podíl na řešených projektech potom měla prioritní oblast 3 se 20 projekty (30 %).

Graf 10: Pokrytí prioritních oblastí NPOV ve 3. veřejné soutěži

11%

PO 1 – Konkurenceschopná ekonomika založená na znalostech

PO 2 – Udržitelnost energetiky a materiálových zdrojů

PO 3 – Prostředí pro kvalitní život

56%

30%

PO 4 – Sociální a kulturní výzvy

PO 5 – Zdravá populace

PO 6 – Bezpečná společnost

Zdroj: TA ČR

Uvážíme-li i ex-post přiřazení jednotlivých cílů VaVaI k projektům z 1. a 2. veřejné soutěže, preference výzkumných organizací po stránce zaměření hovoří jasně ve prospěch cíle 4.2.2.1 – Funkční a efektivní veřejné politiky a správa, k němuž se hlásilo 65 ze 194 realizovaných projektů (34 %). To je ostatně

patrné i z Grafu 3 ve Zprávě o realizaci programu OMEGA.7 Rozdíl oproti ostatním cílům VaVaI byl v tomto ohledu markantní, když žádný jiný cíl nebyl řešen ve více než 11 projektech. Naproti tomu 12 definovaných cílů VaVaI z prioritních oblastí nebylo v programu OMEGA reflektováno vůbec a dalších 11 cílů bylo řešeno v 1–2 projektech. Podíl předem definovaných cílů VaVaI řešených 0–2 projekty tak v programu OMEGA dosáhl 55 % (23 ze 42 cílů).

Z takto výrazné disproporce lze vyvodit zjištění, že program byl tematicky koncipován příliš široce. Dílčím zjištěním je fakt, že snaha o rozšíření tematického zaměření projektů se reálně minula účinkem a výzkumníci projevovali zájem o obdobná témata, jaká byla řešena v předchozích veřejných soutěžích, kdy byla volba témat vzhledem k absenci NPOV volnější.

Z rozhovorů s pracovníky TA ČR vyplynula potřeba užší tematické profilace jednotlivých programů tak, aby lépe odpovídaly dobovému společenskému dění a národním potřebám. V tomto ohledu je žádoucí propojit dosavadní dobrou praxi TA ČR založenou na volbě témat pomocí bottom-up principu s potřebou formulovat rámcové výzkumné priority (potřeby) ze strany ministerstev. V rámci takto vymezených výzkumných potřeb by agentura mohla vytvářet specifické programy „na míru“ (CS 11).

Ze strany řešitelů panovala nad šíří témat obecná spokojenost, což se projevilo při šetření CAWI, v němž 92 % řešitelů uvedlo, že byli s tematickým nastavením programu OMEGA spokojeni. Menší spokojenost (63 % spokojených) panovala mezi neúspěšnými žadateli o podporu. Pro hodnocení viz například rozhovor s řešitelem (Respondent – CS 3): „Zadání bylo široké, obecné, nebylo to tak konkrétní, mohli si sami něco vymyslet… v současnosti mívají programy užší zaměření.“ Pozitivně bylo řešiteli hodnoceno též provázání technického a společenskovědního výzkumu. Ze strany řešitelů a neúspěšných žadatelů bylo zároveň identifikováno několik chybějících témat zmíněných v níže uvedeném grafickém znázornění.

Graf 11: Chyběla Vám nějaká konkrétní témata v zaměření programu OMEGA? Která témata Vám

v zaměření programu OMEGA chyběla?

ŘEŠITELÉ

1 bariéry uplatnění strategické dimenze vládnutí v ČR

1 občané a státní správa vazba mezi společenskými vědami a bezpečností

1 analytická, koncepční a komunikační příprava zásadní důchodové reformy 1 vliv nových technologií na občany

1 vliv nadnárodních společností a jejich dopad (pozitivní, negativní) na občany

NEÚSPĚŠNÍ ŽADATELÉ

2 změna klimatu a její důsledky; technické a technologické reakce na změnu

klimatu

1 ekosystémové služby, biodiverzita 1 ochrana životního prostředí

1 podpora českého jazyka 1 veřejná doprava

1 holistický přístup k hodnocení udržitelného rozvoje

1 telematika

1 společenská bezpečnost ve veřejném prostoru

CHYBĚJÍCÍ TÉMATA

100

ano

řešitelé další účastníci neúspěšní

žadatelé

údaje jsou v procentech

Zdroj: INESAN (2019, N = 36/6/19; N = 3/5) Pozn.: hodnoty vyjadřují absolutní četnost odpovědí

7 Zpráva o realizaci programu OMEGA, str. 17

EO 1.3: Byla realizována doporučení z průběžného hodnocení Programu OMEGA, případně v jaké míře?

Nejprve byla identifikována veškerá doporučení z průběžného hodnocení. Poté bylo prověřeno, zda a v jaké míře byla tato doporučení reflektována či k nim bylo přihlíženo. Dále je v přiloženém Vyhodnocení doporučení z průběžné evaluační zprávy programu OMEGA (Příloha 1) vysvětleno, proč některá doporučení nebyla (resp. nemohla být) realizována včetně prověření relevance (a platnosti) těchto doporučení z pohledu současných zainteresovaných stran. Příprava odpovědi na tuto evaluační otázku byla založena zejména na metodě desk research a na individuálních hloubkových rozhovorech vedených s níže uvedenými relevantními osobami (viz Tabulka 3).

K zodpovězení dané evaluační otázky byla použita metoda verbálního reportu uplatněného v rámci individuálních hloubkových rozhovorů. Na základě výčtu jednotlivých doporučení byly formulovány konkrétní otázky pro přímé účastníky procesu implementace změn či doporučení a na základě jejich vyjádření (jež byla v případě možností křížově vyhodnocována) byly formulovány závěry uvedené v souhrnném přehledu. Inherentní komponentou zvoleného postupu byla konfrontace uváděných opatření s ověřením faktického stavu. Vzhledem ke skutečnosti, že v pohledu ex-post evaluace nelze přímo pozorovat jednotlivé aktivity/činnosti, bylo jejich uskutečnění usuzováno na základě existujícího výstupu.

Použité metody

verbální report; komparativní analýza, syntéza

Zdroje dat

Desk research, IHI

Tabulka 3: Struktura rozhovorů pro EO 1.3

Cílová skupina	Počet rozhovorů
11 – Pracovníci TA ČR	4
10 – Členové RVVI	2

SHRNUTÍ VÝSLEDKU

Vzhledem k šíři a nastavené struktuře doporučení z Průběžné evaluační zprávy programu OMEGA nelze míru jejich realizace přesně vyhodnotit. Z vyhodnocení provedeného evaluátorem vyplývá, že bylo realizováno 49 z celkem 87 stanovených doporučení (56 %). Stěžejním úskalím evaluace těchto doporučení byla absence časového rámce pro reflexi těchto doporučení a jejich zacílení na konkrétního adresáta. Pro mnohá z doporučení konkrétně specifikovaných níže v textu (viz např. zacílení podpory na výzkum zaměřený na cíl („goal-oriented“) a výzkum směřující k pozitivním změnám sociální reality či prodloužení doby řešení projektů až na čtyři roky) tak platí, že nemohla být zohledněna ve 3. veřejné soutěži programu OMEGA, ale bylo k nim přihlédnuto, při tvorbě programu ÉTA.

ŘEŠENÍ EO

Pro zdárnou interpretaci doporučení z průběžného hodnocení programu OMEGA je nezbytné v této Závěrečné evaluační zprávě poskytnout elementární kontextuální rámec, z něhož tato doporučení vycházela. Z logického členění byla doporučení a jim předcházející explanace problematiky obsahující umístění dané pasáže v programu OMEGA rozdělena do celkem deseti zkoumaných oblastí prezentujících odpovědi na dílčí výzkumné otázky a dále do dvou částí reflektujících relevanci programu (oblasti I.–IV.) a efektivitu programu (oblasti V.–X.). Dalším klíčovým prvkem v interpretaci Průběžné evaluační zprávy byla diverzifikace návrhů opatření dle jejich komplexnosti na tři úrovně přínosů ke zvýšení relevance a efektivity programu: maximální, střední a minimální.

V rámci zpracování odpovědi na tuto evaluační otázku byl vypracován samostatný dokument obsahující jak doporučení včetně jejich rozdělení do tří kategorií popisujících úrovně přínosů ke zvýšení relevance a efektivity programu, tak také vyhodnocení plnění jednotlivých doporučení (viz Příloha 5). Zde uvedený text je tedy jen syntézou dosažených zjištění.

Tabulka 4: Reflexe doporučení dle jednotlivých tematických celků

Tematický celek	Počet doporučení	Splněno/reflektováno	Procentuálně
1. Tematické nastavení programu	12	7	58 %
2. Zapojení výzkumných oborů	5	3	60 %
3. Realizace politik	6	5	83 %
4. Národní priority orientovaného výzkumu	4	1	25 %
5. Implementace a management programu	10	2	20 %
6. Metoda výběru projektů	19	15	79 %
7. Uplatnění výsledků	4	3	75 %
8. Typy uznávaných projektů	9	3	33 %
9. Spolupráce	6	5	83 %
10. Aplikace výstupů a dopady projektů	12	5	42 %
Celkem	87	49	56 %

Zdroj: TA ČR

Z přehledové Tabulka 4 je možné pozorovat rozdíly v plnění jednotlivých typů doporučení. Tento rozdíl je úzce spojen s náročností realizace daných bodů obsahujících vybraný tematický celek. Například doporučení daná v rámci tematického celku 3, jednoho z nejvíce reflektovaných, nevyžadovala rozsáhlé strukturální či procesní změny. Naproti tomu například reflexe doporučení tematického celku 5 dalece překračovala hranice programu OMEGA a znamenala by uskutečnění významných organizačních změn.

Jak bylo uvedeno výše, možná korekce doporučení významně souvisí s časovým rámcem, v němž jsou zohledňována, a programem, jemuž by příslušela. Mnohá z doporučení tak nebyla reflektována

v programu OMEGA, nicméně byla zohledněna při přípravě programu ÉTA. Šlo například

o doporučení 1.7, 2.4 nebo 5.1 (viz Příloha 5).

Způsob vyhodnocení rovněž ovlivňuje způsob označení některých subkapitol, které shodně hovoří

o různých úrovních relevance či efektivity programu, ačkoliv v programu OMEGA mohla být veškerá doporučení zohledněna pouze ve třetí veřejné soutěži. Řada doporučení taktéž vůbec nesměřovala k programu OMEGA, ale týkala se buď TA ČR jako celku, nebo výzkumné sféry, potažmo různých dalších institucí veřejné správy. Další tabulka (Tabulka 5) vypovídá o důležitosti zvolených úrovní doporučení pro zvýšení relevance a efektivity programu.

Tabulka 5: Reflexe doporučení dle členění na úrovně

Úroveň doporučení	Počet doporučení	Splněno/reflektováno	Procentuálně
Maximální	40	22	55 %
Střední	31	17	55 %
Minimální	16	10	63 %
Celkem	87	49	56 %

Zdroj: TA ČR

Další zjištění

Mezi doporučeními se v různých úrovních zvýšení relevance či efektivity programu vyskytují disparátní položky, jejichž možné zohlednění nesouvisí s programem OMEGA, jehož se týkala předmětná Průběžná evaluační zpráva. Takto stanovená doporučení jsou potom dvojího rázu. v jednom z případů se vztahují primárně k činnosti TA ČR (viz například doporučení 1.3 v Příloze 5), ve druhém se týkají oblastí veřejné či státní správy, popř. směřují k odborné veřejnosti (viz například doporučení 2.2 v Příloze 5).

Statistické vyhodnocení komplikují doporučení, která by bylo možné označit jako „kombinovaná“. Principiálně se tedy skládají ze dvou či více položek, z nichž část souvisí přímo s programem OMEGA a část nikoliv. Vzhledem k zaměření této závěrečné evaluace byla podobná doporučení označena za nezohledněná, byť by reálně byla zohledněna například v některém z navazujících či komplementárních programů nebo jiným způsobem v rámci organizační struktury poskytovatele. Za příklady uvedených jevů lze uvést doporučení 1.2 či 1.7 (viz Příloha 5).

Část doporučení je vzájemně propojena, popř. se v určitých ohledech překrývá. Nezohlednění jednoho z těchto doporučení tak vede takřka zákonitě k nezohlednění zbylých, viz například kombinace doporučení 5.4, 5.7, 1.10, 2.3 a 2.4 (viz Příloha 5).

EVALUAČNÍ OKRUH 2 – EFEKTIVITA PROGRAMU

Evaluační okruh Efektivita programu cílí na zhodnocení naplnění a využitelnosti indikátorové soustavy programu a dále na dílčí procesy spojené s realizací programu, mezi něž patří zejména evaluace administrativní náročnosti a komunikace mezi poskytovatelem podpory a řešitelskými týmy. Při zpracování tohoto evaluačního okruhu rovněž dochází k definici faktorů ovlivňujících implementaci programu. Evaluační otázky spadající do tohoto okruhu do značné míry vycházejí z doporučení stanovených v Průběžné evaluační zprávě programu OMEGA.

EO 2.4: Lze na základě indikátorové soustavy vyhodnotit přínosy programu v praxi, a co dosažené hodnoty jednotlivých indikátorů vypovídají o průběhu programu?

V odpovědi na tuto evaluační otázku byla primárně posouzena vhodnost zvolených indikátorů a rozsah jejich využitelnosti. Tyto indikátory jsou vystaveny komparací s indikátory programů společenskovědního výzkumu v ČR, ale také dalších programů v portfoliu TA ČR. Závěrem jsou doporučeny indikátory pro měření dopadů programu. Odpověď na tuto evaluační otázku byla z důvodu uplatnění evaluační techniky Evaluability Assessment založena výhradně na metodě desk research. Vzhledem ke zjištěním plynoucím z této metody byla další šetření vyhodnocena jako redundantní, neboť by nikterak nepřispěla ke zvýšení relevance odpovědi.

V případě evaluace indikátorové soustavy byly využity základní postupy, které se používají při posuzování vyhodnotitelnosti. Kromě faktické dostupnosti elementárních dat byla ověřována také jejich použitelnost, a to zejména s ohledem k etice výzkumné práce (zajištění informovaných souhlasů).

Použité metody Evaluability assessment Zdroje dat

Desk research

SHRNUTÍ VÝSLEDKU

Pro program OMEGA byly, podobně jako i v případě jiných tehdy realizovaných programů, stanoveny indikátory monitorující vstupy (počet podpořených projektů, míru kofinancování aj.) a výstupy programu (počet jednotlivých druhů výstupů dle RIV). Pomocí takovýchto indikátorů lze změřit „tvrdé“ počty výstupů, nikoliv však dopady. Jak ukazuje komparace s jinými programy v TA ČR či v Česku celkově, nejde

o ojedinělý jev a nepřítomnost takových indikátorů je běžná. Evaluátor níže vyhodnocuje afinitu jednotlivých subjektů k určitým výsledkům, na jejímž základě je možné stanovit nové indikátory.

ŘEŠENÍ EO

Indikátorová soustava programu OMEGA byla prvoplánově vyhotovena k monitorování počtu realizovaných projektů a programových výstupů (projektových výsledků). Tato informace vyplývá jak ze samotné stavby indikátorové soustavy,8 tak z míry jejího naplnění vyplývající ze Zprávy o realizaci (dále v textu jako ZoR) programu OMEGA. Dle této ZoR9 byly veškeré stanovené programové indikátory výrazně převýšeny. Plánovalo se, že v rámci programu bude vytvořeno nejméně 140 výsledků různých druhů (více viz EO 3.8), nicméně ve skutečnosti bylo vytvořeno celkem 1 310 výsledků. K převýšení daných indikátorů je navíc nezbytné doplnit, že údaje zpracované v ZoR nebyly finální a množství programových výstupů, a tím i přesažení indikátorů, se nadále zvyšuje. Aktualizovanou tabulku počtů jednotlivých programových výstupů (Tabulka 24) přikládáme v rámci zpracování evaluační otázky 3.8.

Omezení dané soustavy jsou patrná nejen z konečných výsledků programu, ale též z jeho Průběžné evaluační zprávy vytvořené samotnou Technologickou agenturou ČR. Autoři této Zprávy uvádějí: „K dispozici jsou jen lehce dostupné běžné indikátory, které hodnotí především počty výstupů. Relevantní a měřitelné indikátory vhodné pro společenskovědní výzkum se při přípravě programu nepodařilo nalézt.“10 Z totožné zprávy zároveň vyplývá, že již v době její tvorby, tzn. po uskutečnění 2. veřejné soutěže, byly výstupové (výsledkové) indikátory téměř naplněny (viz Průběžná evaluační zpráva programu OMEGA, str. 7).

První skupina nastavených indikátorů reflektuje počáteční stav programu (minimální počet celkem vybraných [podpořených] projektů a minimální počet podpořených projektů řešených ve spolupráci podniků a výzkumných organizací) a dále konečný stav programu (minimálně počet úspěšně ukončených projektů celkem) s fokusem na co největší podíl úspěšně ukončených projektů. Minimální hodnota byla v tomto ohledu nastavena na 80 %, ačkoliv reálně bylo dle ZoR úspěšně zakončeno 99,5 % projektů. Tento fakt v kombinaci s následující skupinou indikátorů monitorujících výhradně výstupy (výsledky) programu koreluje s vyjádřením zaměstnance TA ČR, podle něhož vysoká míra úspěšnosti projektů implikuje podporu projektů s nízkou mírou rizikovosti.

Druhá skupina indikátorů se zabývá již zmiňovanými výstupy programu, další řeší míru finančního zapojení daných výzkumných organizací a poslední se zabývá mírou dosažení cílů programu. Všech deset stanovených indikátorů tak řeší buď stav na začátku programu a jednotlivých projektů, nebo stav bezprostředně po skončení programu i projektů. Mezi indikátory není žádný, který by reflektoval období mezi začátkem a koncem realizovaných projektů, např. počty souběžně realizovaných projektů, počty a druh průběžných výsledků (working paperů, účastí na konferencích apod.). Stejně tak nebyly sledovány indikátory zabývající se krátkodobými či dlouhodobými dopady na úrovni projektů, což by však v důsledku bottom-up principu stejně nebylo prakticky možné.

V TA ČR ani v českém prostředí společenskovědního VaVaI nicméně nejde o nikterak ojedinělý jev. Indikátory zaměřené na úvodní a finální stavy programů a dílčích projektů lze pozorovat v již skončených

8 Program na podporu aplikovaného společenskovědního výzkumu a experimentálního vývoje OMEGA – v účinnosti od 17. 10. 2014 (změna

programu ve znění nových pravidel veřejné podpory), str. 12, 13.

9 Tabulka 1: Indikátory Programu OMEGA, Zpráva o realizaci programu OMEGA, str. 9.

10 Průběžná evaluační zpráva programu OMEGA. str. 1.

programech ALFA (viz projektový dokument k programu ALFA, str. 17) nebo GAMA (viz projektový dokument k programu GAMA, str. 20, 21), ale také v programu ÉTA, který reflektoval praxi programu OMEGA. Z projektového dokumentu k programu ÉTA (viz str. 6) je patrné, že kýžený poměr úspěšně zakončených projektů se oproti programu OMEGA ještě navýšil na hodnotu 85 %.(viz projektový dokument k programu ÉTA, str. 6), z něhož je patrné, že kýžený poměr úspěšně zakončených projektů se oproti programu OMEGA ještě navýšil na hodnotu 85 %.

V oblasti společenskovědního výzkumu na území Česka je program OMEGA srovnatelný s programy Ministerstva kultury ČR NAKI a NAKI II, dále například s programy Ministerstva zemědělství (program Komplexní udržitelné systémy v zemědělství 2012-2018 - „KUS“ a Ministerstva průmyslu a obchodu (Program TIP). Níže uvedená tabulka (Tabulka 6) srovnává indikátory výstupů daných programů. Z této Tabulka 6 jsou zřejmé vyšší nároky programu OMEGA na dosažení projektových výsledků, a to navzdory výrazně nižší finanční alokaci, než jaké se dostalo programům NAKI a NAKI II. Totéž platí o míře dosažení cílů programu, kdy program OMEGA deklaroval naplnění 80 % cílů, zatímco NAKI II si vytyčilo splnění pouze 65 % stanovených cílů a NAKI tento indikátor vůbec nekontrolovalo. Kromě vyšší finanční alokace je nezbytné dále uvést, že řešitelé projektů v programu NAKI měli oproti programu OMEGA k dispozici výrazně delší dobu určenou k řešení těchto projektů. Ve všech veřejných soutěžích programu NAKI vyhlášených mezi lety 2011–2013 musely být projekty minimálně tříleté a maximálně čtyřleté (veřejná soutěž v roce 2012), nebo pětileté (veřejné soutěže v letech 2011 a 2013), přičemž projekty kratší byly ze soutěží vyřazovány vždy a projekty delší byly vyřazovány ve veřejných soutěžích pro roky 2011 a 2012.11 V prvních dvou veřejných soutěžích výrazně lépe honorovaného programu NAKI II mohly být projekty rovněž 3–5leté, zatímco ve třetí veřejné soutěži měly být striktně tříleté.12

Program Komplexní udržitelné systémy v zemědělství 2012-2018 („KUS“) byl zaměřen na podporu projektů aplikovaného výzkumu a experimentálního vývoje v oblasti zemědělství, rybolovu, potravinářství, vodního a lesního hospodářství, jejichž výsledky mají vysoký potenciál pro posílení bezpečných produkčních a mimoprodukčních funkcí zemědělství, lesního a vodního hospodářství a pro další rozvoj českého zemědělství a lesního hospodářství. Nejednalo se tedy o typický SHV program, nicméně forma řešení jednotlivých projektů, rovněž jako v případě programu OMEGA, spočívala v účinné spolupráci výzkumných organizací a podniků. Program předpokládal zapojení 30 výzkumných organizací a 70 podniků. Hlavními plánovanými výsledky projektu byly jak aplikované výsledky (270; důraz byl kladen zejména na právně chráněné výsledky, tj. patenty, užitné vzory, ověřené technologie, odrůdy a léčebné postupy), tak výsledky publikační (144; zejména pak Jimp/Jneimp), které na rozdíl od ostatních porovnávaných programů měly zajistit rozšíření vytvořených výsledků v rámci programu do povědomí výzkumné a uživatelské sféry. Program KUS umožňoval, jako v případě NAKI realizovat projekty v maximální délce pěti let.

Odlišným, přesto relevantním, programem byl program Ministerstva průmyslu a obchodu TIP, který byl

realizován v letech 2009–2017. Byl však předčasně ukončen v roce 2016 vzhledem k vyčerpání finančních

11 Viz Zadávací dokumentace k veřejné soutěži ve výzkumu, experimentálním vývoji a inovacích na rok 2011, dtto na rok 2012, dtto na rok 2013.

12 Viz Zadávací dokumentace 1. veřejné soutěže ve výzkumu, experimentálním vývoji a inovacích program na podporu aplikovaného výzkumu

a experimentálního vývoje národní a kulturní identity na léta 2016 až 2022 (NAKI II), dtto Zadávací dokumentace 2. a 3. a veřejné soutěže.

prostředků, které byly nejvyšší ze všech porovnávaných programů (státní podpora ve výši 12,320 mld. Kč). Jednalo se o resortní program zajišťující výzkum a vývoj pro racionální průmyslovou výrobu budoucnosti, za účelem posílení produkce v Česku a následně i v Evropské unii, k zajištění udržitelného rozvoje ve všech dimenzích, tj. ekonomické, sociální a environmentální, k zajištění plynulé a trvalé tvorby poznatků výzkumu a vývoje pro průmyslovou výrobu a k zajištění jejich rychlého a efektivního využívání. Tak jako v ostatních programech, i zde byla podmínka účinné spolupráce více různých typů subjektů (MSP, VO, VVŠ). Dokumentace k projektu TIP již není veřejně k dispozici, proto byly pro ilustraci uvedeny dosažené počty akceptovatelných výsledků. Zde, jako v případě programu KUS, byl důraz kladen na ostatní výsledky aplikovaného výzkumu (1 687; zejména patenty, užitné vzory, prototypy/funkční vzorky, ověřené technologie). Nejvíce výsledků bylo vytvořeno v kategorii prototypů/ funkční vzorky (59 %). Nicméně podíl publikačních výsledků významně převyšoval aplikované výsledky (2 326; zejména odborné knihy, kapitola v odborné knize, stať ve sborníku a odborné články). Délka projektů je v tomto případě srovnatelná s programem OMEGA, kdy v programu TIP byly realizovány zpravidla dvou až čtyřleté projekty.

Tabulka 6: Srovnání indikátorů

Indikátor	OMEGA	NAKI	NAKI II	KUS	TIP**
Minimální počet celkem vybraných (podpořených) projektů	103	85	170	160	870**
Minimální počet úspěšně ukončených projektů celkem	80 %	75 %	85 %	85 %
Minimální počet certifikovaných metodik	70	15	82*	-	81**
Minimální počet vytvořených software	16	5	10	-	214**
Minimální počet specializovaných map s odborným obsahem	34	10	82*	-	-
Minimální počet výsledků promítnutých do právních předpisů, norem, směrnic, předpisů nelegislativní povahy	12	-	2	-	-
Minimální počet dalších výsledků aplikovaného výzkumu	8	-	-	270	1392
Minimální počet aplikovaných výsledků programu	140	80	170	270	1687
Minimálně bude dosaženo stanovených cílů programu	80 %	-	65 %	-	-

* u programu NAKI II je počet 82 součtem certifikovaných metodik a specializovaných map s odborným obsahem

** vzhledem k nedostupnosti původních dokumentů k programu TIP, pracoval evaluátor s průběžným hodnocením zveřejněným v archivu na

webových stránkách MPO. Jedná se tedy o dosažené počty výsledků z průběžného hodnocení programu realizovaného v roce 2012 Zdroj: TA ČR/MK ČR

K dalšímu výraznému odlišení mezi programy OMEGA a NAKI (vč. NAKI II) došlo u podrobnější specifikace indikátorů spojených s počátky a konci projektů, kdy se program NAKI snažil limitovat počet projektů přidělených jednomu příjemci podpory stanovením těchto indikátorů: maximální počet přihlášených projektů od jednoho potenciálního příjemce, maximální počet vybraných projektů od jednoho příjemce a minimální počet úspěšně dokončených projektů od jednoho příjemce. Program NAKI II se pak od zbylých dvou odlišoval výrazným počtem vedlejších výsledků programu (2 500), mezi nimiž figurovaly například články v odborných periodicích či odborné knihy a kapitoly v nich. I v tomto případě ovšem šlo

o indikátory programových výstupů (projektových výsledků).

Z následujících tabulek (Tabulka 7 a Tabulka 8), které jsou uvedeny dále v textu, je možné pozorovat inklinaci určitých typů subjektů ke konkrétním druhům projektových výsledků, na jejichž základě je teoreticky možné stanovovat projektové indikátory vztahující se právě k těmto subjektům.

Tabulka 7: Indikátory výsledků programu OMEGA (počet jednotlivých dosažených výsledků programu OMEGA podle typu příjemce)

				Typ subjektu
	veřejné vysoké školy		veřejné výzkumné instituce	právnické osoby	státní organizace	obecně prospěšné organizace, zapsané spolky/ústavy	celkem
	A	4	11	0	0	1	16
	B	26	22	1	0	1	50
	C	12	2	0	0	0	14
	D	192	21	6	3	10	232
	E	4	0	0	0	0	4
	F	0	1	0	0	0	1
Druh výsledku	H	27	4	1	2	5	39
	J	172	84	8	4	9	277
	M	17	3	1	0	0	21
	N	198	97	26	0	8	329
	O	86	38	10	12	9	155
	R	54	22	19	2	3	100
	V	18	14	0	1	2	35
	W	18	15	3	0	0	36
	Z	0	1	0	0	0	1
	celkem	828	335	75	24	48	1310

Pozn.: N = 192 projektů

Pozn.: kategorie státní organizace zahrnuje organizační složky státu (OSS) a státní příspěvkové organizace (SPO)

Zdroj: xxxxx://xxx.xxxx.xx/xxx

Tabulka 8: Indikátory výsledků programu OMEGA (podíl jednotlivých dosažených výsledků programu OMEGA podle typu příjemce)

				Typ subjektu
		veřejné vysoké školy	veřejné výzkumné instituce	právnické osoby	státní organizace	obecně prospěšné organizace, zapsané spolky/ústavy	celkem
	A	0,5 %	3,3 %			2,1 %	1,2 %
	B	3,1 %	6,6 %	1,3 %		2,1 %	3,8 %
	C	1,4 %	0,6 %				1,1 %
	D	23,2 %	6,3 %	8,0 %	12,5 %	20,8 %	17,7 %
	E	0,5 %					0,3 %
	F		0,3 %				0,1 %
Druh výsledku	H	3,3 %	1,2 %	1,3 %	8,3 %	10,4 %	3,0 %
	J	20,8 %	25,1 %	10,7 %	16,7 %	18,8 %	21,1 %
	M	2,1 %	0,9 %	1,3 %			1,6 %
	N	23,9 %	29,0 %	34,7 %		16,7 %	25,1 %
	O	10,4 %	11,3 %	13,3 %	50,0 %	18,8 %	11,8 %
	R	6,5 %	6,6 %	25,3 %	8,3 %	6,3 %	7,6 %
	V	2,2 %	4,2 %		4,2 %	4,2 %	2,7 %
	W	2,2 %	4,5 %	4,0 %			2,7 %
	Z		0,3 %				0,1 %
	celkem	100 %	100 %	100 %	100 %	100 %	100 %

Pozn.: N = 192 projektů

Pozn.: kategorie státní organizace zahrnuje organizační složky státu (OSS) a státní příspěvkové organizace (SPO)

Zdroj: xxxxx://xxx.xxxx.xx/xxx

Dopadové indikátory, z nichž by potenciálně bylo možné ve společenskovědním výzkumu čerpat, ve své studii Final Report to the Russell Group of Universities z dubna 2002 navrhují například Xxxxx-Xxxxxxx, Xxxxxx, Xxxxx, Xxxxx x Xxxxx. Ti zde definují rozsáhlý seznam možných indikátorů (str. 49–51), mezi něž patří například počet navazujících projektů v následujících pěti letech či indikátory zohledňující zapojení a další profesní úspěšnost doktorandů a dalších juniorských akademických pracovníků zapojených do projektu. Web Measure Evaluation13 rovněž navrhuje několik užitečných dopadových indikátorů, mezi něž lze řadit kupříkladu změnu v organizační struktuře či politice na základě realizovaného projektu, další využití dat získaných z projektu či míru budoucí spolupráce s institucemi v domovské zemi projektu i v zahraničí.

13 xxxxx://xxx.xxxxxxxxxxxxxxxxx.xxx/xxx/xx_xxxxxxxxxx/x-x-xxxxxxxxx/xxxxxxxxxx-xxxxxxxx/xxxxxx-xxxxxxxxxx-x-0-xxxxxxx-x-00

EO 2.5: Byla administrace a realizace projektů Programu OMEGA efektivní?

Evaluační otázka se zabývá vyhodnocením administrativní náročnosti v různých fázích projektu, a to nejen z pohledu příjemců podpory a dalších subjektů podílejících se na řešení jednotlivých projektů, ale také ze strany pracovníků poskytovatele. Stěžejním pro přípravu této evaluační otázky byla primární výzkumná činnost, při níž bylo využito jak kvantitativních, tak kvalitativních metod. Kvantitativní data poskytlo šetření CAWI mezi cílovými skupinami řešitelů projektů a neúspěšných žadatelů. Kvalitativní data vzešla z rozhovorů s cílovými skupinami popsanými v níže uvedené tabulce (Tabulka 9).

Odpověď na danou evaluační otázku je založena na postupu inspirovaným metodou Most Significant Change. Při jeho uplatnění byly na základě desk research nejprve definovány hlavní oblasti změn týkajících se administrace projektů podpořených z programu OMEGA a byl upřesněn časový rámec, v němž byly tyto změny sledovány. Dále byly prostřednictvím desk research a individuálních hloubkových rozhovorů identifikovány konkrétní příklady změn, které dle jednotlivých zainteresovaných stran program OMEGA do oblasti společenskovědního výzkumu přinesl. Následně byly jednotlivé změny zakomponovány do hloubkových rozhovorů prováděných v druhé polovině sběru dat a do CAWI. Poté byla sumarizována reflexe jednotlivých změn A závěrem byla v rámci jednotlivých záznamů (zjištěných zejména prostřednictvím individuálních hloubkových rozhovorů) identifikována výstižná evidence dokumentující povahu zjištěných změn.

Použité metody

Most significant change

Zdroje dat

Desk research, IHI, CAWI

Tabulka 9: Struktura rozhovorů pro EO 2.5

Cílová skupina	Počet rozhovorů
3 – Řešitelé	16
5 – Administrátoři VaV	5
11 – Pracovníci TA ČR	4

SHRNUTÍ VÝSLEDKU

Úroveň administrativní zátěže v programu OMEGA byla relevantními cílovými skupinami vyhodnocena jako spíše nízká, především v komparaci s projekty řešenými v rámci ESF, a odpovídající náročnosti projektů. Informační systém TA ČR byl vyhodnocen jako uživatelsky jednoduchý a přehledný, nicméně z hlediska tohoto kladného popisu šlo spíše o někdejší IS Patriot, jemuž se dostávalo lepšího hodnocení než stávajícímu IS ISTA.

ŘEŠENÍ EO

Administrativní náročnost programu OMEGA vyhodnocujeme chronologicky dle postupných fází projektového fungování. Nejprve dochází k vyhodnocení podání projektové žádosti včetně úkonů, jakými jsou například pochopení a souznění s projektovou dokumentací apod., následně se zabýváme průběhem projektu včetně úrovně potencionálního poskytnutí administrativní podpory a v posledním bodě hodnotíme administrativní náročnost spojenou s ukončením a implementací programu.

Začátek projektu

Jeden z ukazatelů CAWI hodnotící spokojenost žadatelů s podmínkami zadávací dokumentace svědčí

o nezbytnosti programu OMEGA pro české prostředí společenskovědního výzkumu. Drtivá většina oslovených řešitelů, dalších účastníků i neúspěšných žadatelů (94–100 %) označila podmínky zadávací dokumentace za vyhovující výzkumnému záměru realizačního týmu. Podobný poměr zástupců uvedených cílových skupin (82–87 %) označilo podmínky ZD za řešící výzkumné potřeby daných výzkumných pracovišť. Z opačné perspektivy platilo, že výzkumný záměr muselo pro přihlášení do soutěže změnit 20 % řešitelů, 47 % neúspěšných žadatelů a žádní další účastníci. Více viz Graf 1 Přílohy 7 této Závěrečné zprávy.

Samotné podání projektové žádosti vyhodnotili řešitelé jako spíše náročné (74 % řešitelů; 26 % řešitelů vyhodnotilo podání žádosti jako spíše nenáročné), leč srovnatelné s jinými programy (84 % řešitelů označilo podání za srovnatelné; pro 16 % řešitelů bylo méně náročné). Detailnější informace jsou uvedeny v následujících grafech níže (Graf 12 a Graf 13). I přes spíše náročné podání projektové žádosti však bylo její podání samo o sobě bezproblémovým procesem (problémy zaznamenalo pouze 11 % dotazovaných řešitelů a 29 % neúspěšných žadatelů). Za náročné body byly označeny například: termín podání žádosti, mnoho překrývajících se položek či převedení někdejšího systému IS Patriot na nový systém ISTA (pro kompletní seznam položek viz Obrázek 1 v Příloze 7). Mezi uváděnými problémy pak figurovaly například: administrativní náročnost procesu hodnocení, nevhodné a krátké lhůty v době letních dovolených či nejednoznačná ustanovení. Pro kompletní přehled viz Příloha 7 této Zprávy.

Graf 12: Jak byste zhodnotil/a náročnost přípravy žádosti v programu OMEGA?

velmi nenáročná

spíše nenáročná

spíše náročná

velmi náročná

řešitelé neúspěšní žadatelé

údaje jsou v procentech

Zdroj: INESAN (2019, N = 34/16)

Graf 13: Porovnejte prosím náročnost přípravy žádosti v programu OMEGA s jinými programy

příprava žádosti v programu OMEGA byla náročnější než v jiných programech

příprava žádosti v programu OMEGA byla přibližně stejně náročná

příprava žádosti v programu OMEGA byla méně náročná

řešitelé neúspěšní žadatelé údaje jsou v procentech

Zdroj: INESAN (2019, N = 31/10)

Pozn.: provedené statistické testy nepotvrdily významnost diferencí v hodnocení náročnosti přípravy žádosti v programu OMEGA ve srovn ání

s jinými programy ani z hlediska zkušeností subjektů se zapojením do výzkumu, ani z hlediska typu organizace

Spíše nízká náročnost podávání projektové žádosti vyplývala také z rozhovorů s řešiteli projektů, kteří ji srovnávali s projekty Evropských strukturálních fondů, vůči nimž vyznívala takřka vždy jednoznačně lépe, viz například: „Náročnost byla vzhledem k potřebám jednoznačně přívětivá. Ve srovnání s ostatními programy především z ESF šlo v případě OMEGY o mimořádně jednoduchý a uživatelsky přívětivý proces.“ (Respondent – CS 3). Aspektem objevujícím se napříč rozhovory a spojeným s administrativou, především při podávání žádostí, bylo nahrazení systému IS Patriot systémem ISTA, přičemž řešiteli byl jako uživatelsky přívětivější hodnocen někdejší systém IS Patriot, viz například: „Myslím, že systém notně zkomplikovali (TA ČR). Některé dotazy a náležitosti, které se tam nacházejí z pohledu toho, jak bude projekt vypadat a co se v něm bude dělat, považuji za nadbytečné. Původní program byl podle mého názoru lepší, jednodušší. Aktuální je složitý a méně intuitivní“ (Respondent – CS 3).

Průběh projektu

Administrativní náročnost průběhu projektu je na základě šetření CAWI možné označit za spíše nenáročnou (takto ji hodnotí 56 % řešitelů; 35 % řešitelů ji považuje za spíše náročnou), leč adekvátní vzhledem k náročnosti projektu (63 % řešitelů považuje míru náročnosti za spíše adekvátní, 20 % řešitelů ji považuje za naprosto adekvátní). Jako konkrétní problematické body spojené s průběžnou administrativou byly řešiteli jmenovány například opakování totožných položek, orientace v průběžně se měnícím systému či vykazování spolufinancování. Pro detailnější zpracování těchto dvou statistik viz uvedené grafy (Graf 14 a Graf 15).

Graf 14: Jak byste zhodnotil/a náročnost administrativy v průběhu realizace projektu? Co bylo v rámci administrativy náročné? (řešitelé)

1 stále dokola sepisování de facto téhož 1 finanční vyčíslení přínosů

1 koordinace spolupráce soukromé a veřejné organizace

1 orientace v systému, který se v průběhu času měnil

1 příliš mnoho zpráv požadovaných v průběhu řešení i po jeho ukončení 1 shromáždit všechny podklady za hlavního příjemce i partnera

1 sledovat rozpočet a jeho čerpání

1 Výše podpory se vypočítávala podle toho, kolik žadatel vyčerpal z vlastních zdrojů. ve víceletém projektu se mohlo stát, že žadatel musel spolufinancovat více, než bylo plánováno.

1 vykazování spolufinancování

1 zbytečná dupli-triplicita při odevzdávání zpráv

1 nebylo možné najít útvary schvalujících certifikované metodiky

1 systém pro administraci byl otevřen krátce před termínem odevzdání; nevěděli jsme, jak bude vypadat, co přesně bude třeba vkládat a včas se na to připravit

ADMINISTRATIVNÍ PROBLÉMY BĚHEM ŘEŠENÍ PROJEKTU

velmi nenáročná

spíše nenáročná

spíše náročná

velmi náročná

údaje jsou v procentech

Zdroj: INESAN (2019, N =34/10) Pozn.: údaje se vztahují k řešitelům; hodnoty vyjadřují absolutní četnost odpovědí

V rámci podrobnější analýzy hodnocení náročnosti administrativy v průběhu realizace projektu byla s využitím exaktních statistických testů (např. Fischerův test) potvrzena významnost diferencí v hodnocení náročnosti administrativy podle časové náročnosti procesu podepsání smlouvy o poskytnutí podpory, vnímaného načasování vyhlášení programu, hodnocení systému pro administraci – Patriot a náročnosti přípravy žádosti v programu OMEGA. Provedené testy pak nepotvrdily významnost rozdílů v hodnocení náročnosti administrativy mezi respondenty, kteří se během realizace projektu setkali s nějakými administrativními problémy, a těmi, kteří se se žádnými problémy nesetkali. Za významné nelze dále považovat diference v hodnocení náročnosti administrativy z hlediska typu subjektu a ani z hlediska zkušenosti organizací s řešením projektů financovaných z jiných programů na podporu společenskovědního výzkumu. Podrobnější informace přinášejí následující tabulky:

Tabulka 10: Jak byste zhodnotil/a náročnost administrativy v průběhu realizace projektu? (podle časové náročnosti procesu podepsání smlouvy o poskytnutí podpory)

Časová náročnost procesu podepsání smlouvy o poskytnutí podpory
		střední až vysoká	nízká
Hodnocení náročnosti administrativy v průběhu realizace projektu	náročná	73 %	16 %
	nenáročná	27 %	84 %
	celkem	100 %	100 %

Zdroj: INESAN (2019, N = 34)

Pozn.: p = 0,01 (z důvodu nenaplnění předpokladů pro použití asymptotických testů významnosti, tj. vysoký počet případů a asymptotického rozdělení testové statistiky, byl použit Xxxxxxxxx exaktní test, který lze využít k testování významnosti hypotéz i v případě malého počtu případů)

Tabulka 11: Jak byste zhodnotil/a náročnost administrativy v průběhu realizace projektu? (podle hodnocení termínu vyhlášení programu – načasování)

Termín vyhlášení programu (načasování)
		jen částečně uspokojivé/neuspokojivé	dobré/výborné
Hodnocení náročnosti administrativy v průběhu realizace projektu	náročná	71 %	33 %
	nenáročná	29 %	67 %
	celkem	100 %	100 %

Zdroj: INESAN (2019, N = 34)

Pozn.: p = 0,097 (z důvodu nenaplnění předpokladů pro použití asymptotických testů významnosti, tj. vysoký počet případů a asymptotického rozdělení testové statistiky, byl použit Xxxxxxxxx exaktní test, který lze využít k testování významnosti hypotéz i v případě malého počtu případů)

Tabulka 12: Jak byste zhodnotil/a náročnost administrativy v průběhu realizace projektu? (podle

hodnocení systému pro administraci Patriot)

Hodnocení systému pro administraci Patriot
		jen částečně uspokojivé/neuspokojivé	dobré/výborné
Hodnocení náročnosti administrativy v průběhu realizace projektu	náročná	64 %	23 %
	nenáročná	36 %	77 %
	celkem	100 %	100 %

Zdroj: INESAN (2019, N = 31)

Pozn.: p = 0,033 (z důvodu nenaplnění předpokladů pro použití asymptotických testů významnosti, tj. vysoký počet případů a asymptotického rozdělení testové statistiky, byl použit Xxxxxxxxx exaktní test, který lze využít k testování významnosti hypotéz i v případě malého počtu případů)

Tabulka 13: Jak byste zhodnotil/a náročnost administrativy v průběhu realizace projektu? (podle hodnocení náročnosti přípravy žádosti v programu OMEGA)

Náročnost přípravy žádosti v programu OMEGA
		náročné	nenáročné
Hodnocení náročnosti administrativy v průběhu realizace projektu	náročná	54 %	11 %
	nenáročná	46 %	89 %
	celkem	100 %	100 %

Zdroj: INESAN (2019, N = 33)

Pozn.: p = 0,047 (z důvodu nenaplnění předpokladů pro použití asymptotických testů významnosti, tj. vysoký počet případů a asymptotického rozdělení testové statistiky, byl použit Xxxxxxxxx exaktní test, který lze využít k testování významnosti hypotéz i v případě malého počtu případů)

Tabulka 14: Jak byste zhodnotil/a náročnost administrativy v průběhu realizace projektu? (podle výskytu administrativních problémů v průběhu realizace projektu)

Výskyt administrativních problémů v průběhu realizace projektu
		deklarují administrativní problém/problémy	nesetkali se se žádnými administrativními problémy
Hodnocení náročnosti administrativy v průběhu realizace projektu	náročná	54 %	33 %
	nenáročná	46 %	67 %
	celkem	100 %	100 %

Zdroj: INESAN (2019, N = 34)

Pozn.: p = 0,296 (z důvodu nenaplnění předpokladů pro použití asymptotických testů významnosti, tj. vysoký počet případů a asymptotického rozdělení testové statistiky, byl použit Xxxxxxxxx exaktní test, který lze využít k testování významnosti hypotéz i v malém počtu případů)

Tabulka 15: Jak byste zhodnotil/a náročnost administrativy v průběhu realizace projektu? (podle typu

subjektu)

			Typ subjektu
		vysoká škola, univerzita	veřejná výzkumná organizace	soukromý subjekt
Hodnocení náročnosti administrativy v průběhu realizace projektu	náročná	46 %	42 %	37 %
	nenáročná	54 %	58 %	63 %
	celkem	100 %	100 %	100 %

Zdroj: INESAN (2019, N = 33)

Pozn.: p = 1,000 (z důvodu nenaplnění předpokladů pro použití asymptotických testů významnosti, tj. vysoký počet případů a asymptotického rozdělení testové statistiky, byl použit Xxxxxxxxx exaktní test, který lze využít k testování významnosti hypotéz i v malém počtu případů); vzhledem ke struktuře respondentů (řešitelů) byla zvolena kategorizace na vysoké školy/univerzity, veřejné výzkumné organizace a soukromé subjekty, které zahrnují soukromé podniky, soukromé výzkumné organizace a NNO

Tabulka 16: Jak byste zhodnotil/a náročnost administrativy v průběhu realizace projektu? (podle zkušenosti s jinými programy na podporu společenskovědního výzkumu)

Zkušenosti s jinými programy na podporu společenskovědního výzkumu
		řešili v minulosti projekt financovaný z jiného programu	neřešili žádný projekt financovaný z jiného programu
Hodnocení náročnosti administrativy v průběhu realizace projektu	náročná	44 %	33 %
	nenáročná	56 %	67 %
	celkem	100 %	100 %

Zdroj: INESAN (2019, N = 34)

Pozn.: p = 0,704 (z důvodu nenaplnění předpokladů pro použití asymptotických testů významnosti, tj. vysoký počet případů a asymptotického rozdělení testové statistiky, byl použit Xxxxxxxxx exaktní test, který lze využít k testování významnosti hypotéz i v malém počtu případů)

V souvislosti s hodnocením efektivity administrace programu OMEGA byla vedle analýzy hodnocení náročnosti administrace v průběhu realizace projektu v rámci jednotlivých segmentů organizací provedena analýza vlivu a síly vlivu jednotlivých faktorů (prediktorů) na vnímanou náročnost administrativy v průběhu realizace projektu. Na základě typu proměnných byla využita binární logistická regrese. V rámci podrobné analýzy bylo testováno několik regresních modelů. Do testovaných modelů byly vedle prediktorů z níže uvedeného finálního regresního modelu zařazeny dále například prediktory: typ subjektu, zkušenost s projekty financovanými z ostatních programů na podporu společenskovědního výzkumu, hodnocení termínů na odevzdávání průběžných zpráv, hodnocení systému pro administraci – Patriot či výskyt administrativních problémů v průběhu realizace projektu. Testované regresní modely s těmito prediktory však nepotvrdily statistickou významnost daných prediktorů a výsledný model, který nejlépe odpovídá datům, je možno definovat takto: závislou proměnnou (Y) tvoří „náročnost administrativy v průběhu realizace projektu“, přičemž se jedná o dichotomickou proměnnou, kde 1 vyjadřuje hodnocení „náročná“ a 0 představuje hodnocení „nenáročná“. Nezávislé proměnné tvoří „časová náročnost procesu podepsání smlouvy o poskytnutí podpory“ (X1), „hodnocení termínu vyhlášení programu (načasování)“ (X2) a „náročnost přípravy žádosti v programu OMEGA“ (X3). Všechny nezávislé proměnné jsou rovněž dichotomické, přičemž u proměnné X1 hodnota 1 znamená, že časová náročnost je střední až vysoká a 0 vyjadřuje, že časová náročnost je nízká. U proměnné (X2) hodnota 1 představuje jen částečně uspokojivé/neuspokojivé hodnocení a 0 je dobré/výborné hodnocení. U proměnné (X3) hodnota 1 představuje náročnou přípravu žádosti a 0 nenáročnou přípravu žádosti. Podrobný popis a rozložení jednotlivých proměnných v regresním modelu zobrazuje následující Tabulka 17:

Tabulka 17: Popis jednotlivých prediktorů náročnosti administrativy v průběhu realizace projektu

Proměnné	Popis znaků	Absolutní četnost
ZÁVISLÁ PROMĚNNÁ
	náročná	13
náročnost administrativy v průběhu realizace projektu
	nenáročná	17
PREDIKTORY
	střední až vysoká	13
časová náročnost procesu podepsání smlouvy o poskytnutí podpory
	nízká	17
	jen částečně uspokojivé / neuspokojivé	7
hodnocení termínu vyhlášení programu (načasování)	jen částečně uspokojivé / neuspokojivé
	dobré/výborné	23
	náročná příprava žádosti	22
hodnocení náročnosti přípravy žádosti v programu OMEGA
	nenáročná příprava žádosti	8

Zdroj: INESAN (N = 30)

S výjimkou hodnocení náročnosti přípravy žádosti v programu OMEGA, je statisticky významná jak časová náročnost procesu podepsání smlouvy o poskytnutí podpory, tak také hodnocení termínu vyhlášení programu (načasování) (Tabulka 18).

Tabulka 18: Dopad jednotlivých prediktorů na hodnocení náročnosti administrativy v průběhu

realizace projektu

Exp(B)

konstanta 0,007**

časová náročnost procesu podepsání smlouvy o poskytnutí podpory hodnocení termínu vyhlášení programu (načasování)

hodnocení náročnosti přípravy žádosti v programu OMEGA

Zdroj: INESAN (N = 30)

střední až vysoká 34,800***

nízká .

jen částečně uspokojivé / neuspokojivé 12,528*

dobré/výborné .

náročná příprava žádosti 14,828

nenáročná příprava žádosti .

Pozn.: *** statisticky významné na hladině významnosti 1 %; ** statisticky významné na hladině významnosti 5 %; * statisticky významné

na hladině významnosti 10 %

Pozn.: respondenti, kteří hodnotí administrativu jako nenáročnou, tvoří referenční skupinu; Omnibus Test [χ2 = 18,818, df = 3, p = 0,000]; Xxxxxx

and Lemeshow Test [χ2 = 5,799, df = 4, p = 0,215]; Nagelkerke (pseudo R2) = 0,6251; daný model klasifikuje správně 83,3 % případů

Výsledná rovnice regresního modelu ve formě šance má po dosazení konstanty a jednotlivých regresních koeficientů následující podobu:

š𝑎𝑛𝑐𝑒(𝑌 = 1) = 𝑒𝑥𝑝(−4,923 + 3,550𝑋1 + 2,528𝑋2 + 2,697𝑋3)

Ve formě pravděpodobnosti má regresní rovnice následující tvar:

𝑒𝑥𝑝(−4,923 + 3,550𝑋1 + 2,528𝑋2 + 2,697𝑋3)

𝑃(𝑌 = 1) =

[1 + 𝑒𝑥𝑝(−4,923 + 3,550𝑋1 + 2,528𝑋2 + 2,697𝑋3)]

Pro lepší interpretaci modelu je vhodnější využít terminologii pravděpodobnosti. Subjekty, které hodnotí časovou náročnost procesu podepsání smlouvy o poskytnutí podpory jako střední nebo vysokou, budou hodnotit administrativu v průběhu realizace projektu jako náročnou s 97% pravděpodobností, zatímco

ostatní jen s 3% pravděpodobností. Dále platí, že subjekty, které hodnotí termín vyhlášení programu jako jen částečně uspokojivý / neuspokojivý, budou hodnotit administrativu v průběhu realizace projektu jako náročnou s 93% pravděpodobností (ostatní jen se 7% pravděpodobností) a v neposlední řadě budou subjekty, které hodnotí přípravu žádosti v programu OMEGA jako náročnou, hodnotit administrativu v průběhu realizace projektu jako náročnou s 94% pravděpodobností (ostatní jen s 6% pravděpodobností). V případě prediktoru hodnocení náročnosti přípravy žádosti v programu OMEGA, sice Waldův test14 nepotvrdil statistickou významnost regresního koeficientu, avšak jeho zařazení v modelu má své opodstatnění, protože zlepšuje parametry modelu, a přispívá tak k vysvětlení závislé proměnné. Jednotlivé míry pravděpodobnosti platí za podmínky, že se hodnoty ostatních nezávislých proměnných nezmění.

Pro predikci pravděpodobnosti, s jakou budou jednotlivé organizace hodnotit administrativu v průběhu realizace projektu jako náročnou, je nutno pracovat s konkrétními hodnotami nezávislých proměnných X1, X2 a X3 charakterizující jednotlivé segmenty organizací (řešitelů) a dosadit je do regresní rovnice. Například v případě, kdy respondenti hodnotí časovou náročnost procesu podepsání smlouvy

o poskytnutí podpory jako střední nebo vysokou, termín vyhlášení programu hodnotí jako jen částečně uspokojivý / neuspokojivý a zároveň hodnotí přípravu žádosti v programu OMEGA jako náročnou, tj. X1 = 1, X2 = 1 a X3 = 1, bude pravděpodobnost hodnocení administrativy v průběhu realizace projektu jako náročné 98 %.

Na základě výsledků výše uvedených analýz lze souhrnně konstatovat, že administrativu v průběhu realizace projektu vnímají jako náročnou dvě pětiny řešitelů, přičemž náročnost administrativy je determinována zejména vysokou časovou náročností procesu podepsání smlouvy o poskytnutí podpory, neuspokojivým/nevhodným termínem vyhlášení programu a do určité míry také náročností přípravy žádosti v programu OMEGA.

Graf 15: Je podle Vás administrativní zátěž vzhledem k realizaci projektu adekvátní? (řešitelé)

rozhodně ne

spíše ne

spíše ano

rozhodně ano

údaje jsou v procentech

Zdroj: INESAN (2019, N = 35)

Pozn.: údaje se vztahují k řešitelům

14 Waldův test je asymptotickou aproximací t a F testů, jehož statistika má asymptoticky χ2rozdělení o k stupních volnosti při platnosti nulové hypotézy. Jedná se o statistický test, na jehož základě se zjišťuje, zda nezávislá proměnná zařazená do modelu je signifikantní, tzn. jestli přispívá k vysvětlení modelu.

Úroveň administrativní náročnosti programu OMEGA zároveň obstává v konkurenci ostatních programů. Za stejně náročnou ji považuje 68 % respondentů CAWI, 29 % dotazovaných ji poté hodnotí jako méně náročnou. Detailněji viz v Graf 16 níže. Také byla v průběhu projektu, podobně jako v jeho úvodu, administrativa 92 % řešitelů projektů označena za bezproblémovou. Mezi problémy vystupuje do popředí jen nemožnost nahrávat data do informačního systému TA ČR. Detailní graf se nachází v příloze této Zprávy (Příloha 7). Jako velmi podobně bezproblémová byla řešiteli i neúspěšnými žadateli vyhodnocena administrativa spojená s posuzováním projektu (problémy nezaznamenalo 89 % řešitelů a 77 % neúspěšných žadatelů). Detailněji viz Příloha 7 této Zprávy.

Graf 16: Porovnejte prosím náročnost administrativy v průběhu realizace projektu s jinými programy (řešitelé)

více náročná

stejně náročná

méně náročná

údaje jsou v procentech

Zdroj: INESAN (2019, N = 31)

Pozn.: Údaje se vztahují k řešitelům.

Ukončení a implementace projektu

Procesy kontroly a ukončování projektu byly z perspektivy administrativní náročnosti řešiteli rovněž vyhodnoceny jako bezproblémové. Kontrolu projektu jako bezproblémovou označilo 97 % respondentů (pro detail viz Příloha 7 této Zprávy). Administrativa spojená s ukončováním projektu byla problematická pouze pro 14 % řešitelů. Jako jeden z problémů byla identifikována prodleva související s procesem schvalování certifikovaných metodik, který prodloužil projekt nad rámec původně stanovených dvou let. Tento proces nicméně nesouvisí s Technologickou agenturou ČR jako takovou. Detailněji viz v Graf 17 níže.

Graf 17: Setkal/a jste s administrativními problémy při ukončování projektu? Čeho se problémy při ukončování projektu týkaly? (řešitelé)

2 V průběhu certifikační procedury jsme zjistili, že získání certifikace bude trvat mnohem delší dobu.

1 Formulář smlouvy o využití výsledků nebyl zpočátku k dispozici.

1 U metodik je kromě certifikace nutná i smlouva o využití, což je nelogické, pokud certifikuje přímo uživatel.

1 V zadávací dokumentaci byly nejasně formulovány pojmy a lhůty pro „dosažení výsledku“ a „realizaci výsledku“.

1 komplikovaný vstup do databáze výsledků VaV

ADMINISTRATIVNÍ PROBLÉMY PŘI UKONČOVÁNÍ PROJEKTU

ano

údaje jsou v procentech

Zdroj: INESAN (2019, N = 36/5) Pozn.: údaje se vztahují k řešitelům; hodnoty vyjadřují absolutní četnost odpovědí

Celkově pozitivně byl hodnocen též administrativní proces spojený s implementací výsledků, byť v tomto ohledu již zaznělo více výtek než v předchozích dvou případech, a to jak v rámci šetření CAWI, tak v rámci hloubkových rozhovorů. Přes 75% spokojenost s administrativou v této projektové fázi zazněly od respondentů CAWI například tyto připomínky: nesmyslné a komplikovaně formulované požadavky nevhodné pro společenskovědní výzkum, nepřipravenost veřejné správy či neochota cílového uživatele používat výsledky. Pro detailnější přehled viz Graf 4 v Příloze 7 této Zprávy. Z hloubkových rozhovorů zazněl primárně požadavek na průběžné notifikace ohledně termínů pro nahrávání dokumentů, především v době po ukončení projektu.

Z rozhovoru se zaměstnancem TA ČR bylo identifikováno možné úskalí komplikující administrativu v projektu OMEGA, kterým byla právě jeho společenskovědní povaha. Viz: „Výsledky EPSILONU apod. jsou pro administrativní pracovníky lepší, protože to byly třeba certifikované metodiky a podobné výsledky, které se pro administrativní pracovníky lépe hlídají a kontrolují“ (Respondent

– CS 11). Zmínku zasluhuje též kontrast názorů řešitelů projektů a zaměstnance TA ČR, kdy řešitelé označili administrativu ve 3. veřejné soutěži za náročnější než v předchozích dvou, zatímco zaměstnancem TA ČR byla označena za méně náročnou.

EO 2.6: Byla komunikace mezi poskytovatelem a řešiteli efektivní a transparentní?

Základem pro řešení této evaluační otázky byla definice možných způsobů komunikace mezi institucí poskytovatele podpory a potencionálními řešiteli. Následně byla vyhodnocena celková úroveň komunikace u stanovených způsobů a na základě dosažených poznatků byly identifikovány její silné a slabé stránky. Příprava odpovědi na tuto evaluační otázku bude založena na identických metodách jako v případě evaluační otázky 2.5. Bylo tedy provedeno kvantitativní šetření CAWI s cílovými skupinami řešitelů, neúspěšných žadatelů a dalších účastníků a dále došlo k realizaci kvalitativního šetření v podobě hloubkových rozhovorů s níže popsanými cílovými skupinami (Tabulka 19). Zpracování této evaluační otázky bylo inspirováno využitou metodou Most Significant Change použitou v předchozí EO. K metodě Theory-driven Evaluation nebylo z důvodů popsaných při řešení EO 4.13 přistoupeno.

Na základě desk research byly i tentokrát definovány hlavní oblasti změny týkající se komunikace mezi poskytovatelem a řešiteli a byl upřesněn časový rámec, v němž byly tyto změny sledovány. Dále byly prostřednictvím desk research (projektových žádostí) a individuálních hloubkových rozhovorů zjištěny jednotlivé „příběhy“ dokumentující podstatu změn – vyvolaných programem OMEGA – způsobu komunikace poskytovatelů s jednotlivými řešitelskými týmy. Poté byly jednotlivé příběhy zakomponovány do následných hloubkových rozhovorů a do CAWI a byla zaznamenána jejich reflexe. Závěrem byly ze shromážděné evidence vybrány konkrétní druhy změn, které dokumentují efektivnost a transparentnost komunikace.

Použité metody

Závěry byly inspirovány metodou most significant change

Zdroje dat

Desk research, CAWI, IHI

Tabulka 19: Struktura rozhovorů pro EO 2.6

Cílová skupina	Počet rozhovorů
3 – Řešitelé	16
5 – Administrátoři VaV	5
11 – Pracovníci TA ČR	4

SHRNUTÍ VÝSLEDKU

Komunikace mezi řešiteli a poskytovatelem byla řešiteli hodnocena mimořádně pozitivně. Pracovníci TA ČR při ní dle výsledků uskutečněných terénních šetření reagovali bez zbytečných časových prodlev, přívětivě a projevovali patřičnou odbornost pro řešení dané problematiky. Z opačné perspektivy vzešla informace, že podpora TA ČR je v některých případech nadužívána, což ale vede spíše k obecnému prospěchu, neboť v programu následně nedochází k administrativním prodlevám. Zainteresované cílové skupiny ovšem projevily pochybnosti o kvalitě a odbornosti hodnotitelů přidělených k jednotlivým projektům.

ŘEŠENÍ EO

Při řešení evaluační otázky evaluátor přistoupil k jejímu rozdělení na dva celky. První z nich se věnuje komunikačnímu vztahu mezi realizačním týmem TA ČR a řešiteli či administrativními pracovníky jednotlivých podpořených projektů, zatímco ve druhém celku je řešena reflexe hodnotícího procesu ze strany řešitelů a neúspěšných žadatelů.

Komunikace mezi řešiteli a projektovými pracovníky

Z výsledků části kvantitativního šetření (CAWI) zaměřené na komunikaci sice vyplývá, že s TA ČR kvůli návrhu nebo řešení projektu komunikovalo 50 % neúspěšných žadatelů a 58 % řešitelů projektů, zároveň však platilo, že o zkušenostech s komunikací hovořili všichni dotazování řešitelé v rámci kvalitativního šetření (hloubkových rozhovorů). Z této skutečnosti lze dovodit, že podíl řešitelů komunikujících s poskytovatelem podpory byl vyšší, než jaký byl uváděn v rámci kvantitativního šetření. To se zabývalo také cílovou skupinou dalších účastníků, z níž využilo komunikaci s pracovníky TA ČR nebo Helpdeskem 17 % respondentů (viz Graf 18).

Graf 18: Komunikoval/a jste kvůli návrhu nebo řešení projektu s TA ČR (konkrétní pracovník, Helpdesk)?

ano

řešitelé další účastníci neúspěšní žadatelé

údaje jsou v procentech

Zdroj: INESAN (2019, N = 36/6/16)

Z podrobnější analýzy dat řešitelů vyplývá, že míra komunikace s TA ČR je diferencována podle zaměření výzkumného pracoviště na tvorbu aplikovaných výsledků. Ve větší míře využívali komunikaci k získávání potřebných informací řešitelé, kteří jsou zaměřeni na tvorbu aplikovaných výsledků jen částečně.

Tabulka 20: Komunikoval/a jste kvůli návrhu nebo řešení projektu s TA ČR

(konkrétní pracovník, Helpdesk)? – řešitelé (podle zaměření pracoviště řešitele na tvorbu aplikovaných výsledků)

Zaměření pracoviště řešitele na tvorbu aplikovaných výsledků
		významně	jen částečně
Komunikoval/a jste kvůli návrhu nebo řešení projektu s TA ČR?	ano	50 %	88 %
	ne	40 %	12 %
	celkem	100 %	100 %

Zdroj: INESAN (2019, N = 36)

Pozn.: p = 0,10 (z důvodu nenaplnění předpokladů pro použití asymptotických testů významnosti, tj. vysoký počet případů a asymptotického rozdělení testové statistiky, byl použit Xxxxxxxxx exaktní test, který lze využít k testování významnosti hypotéz i v případě malého počtu případů)

Z kvalitativního šetření nevyplynul jasný údaj o partikulární fázi projektu, v níž by se řešitelé nebo administrativní pracovníci obraceli na podporu TA ČR. Mezi odpověďmi se v tomto ohledu vyskytovaly jak přípravná fáze projektu, tak jeho průběh, závěr i implementace. Kvantitativní šetření podalo

o motivech kontaktování poskytovatele podpory konkrétnější údaje. Řešitelé dle zjištěných informací kontaktovali TA ČR zejména z důvodu potřeby informací v oblasti změnových řízení (57 % řešitelů) či ukončení projektu (33 % řešitelů), neúspěšní žadatelé pak potřebovali získat informace zejména v oblasti přípravy žádosti (50 % neúspěšných žadatelů) nebo návrhu projektu (38 % neúspěšných žadatelů). Podrobnější informace zobrazuje Graf 19. Na datech řešitelů byla dále provedena shluková analýza15 za účelem identifikace charakteristických skupin oblastí vyžadujících informační podporu. Jak vyplývá z následujícího grafu (Graf 19), je možno definovat tři hlavní skupiny oblastí z hlediska požadované informační podpory. Jedná se o (1) oblast změnových řízení, která vyžadovala nejvyšší informační podporu, (2) oblast ukončení projektů a implementace výsledků a (3) oblast zahrnující počáteční fáze realizace projektů, jako jsou zadávací dokumentace, návrh projektu či příprava žádosti. V rámci této oblasti byla ze strany řešitelů vyžadována nejnižší informační podpora. Podrobnější informace zobrazuje Graf 19.

15 Shluková analýza vymezuje typické skupiny analyzovaných znaků z hlediska jejich podobnosti. Výstupem shlukové analýzy je mimo jiné dendrogram, ve kterém vodorovné vzdálenosti mezi jednotlivými znaky představují míru jejich podobnosti. Čím je tato vzdálenost kratší, tím j e jejich vzájemná podobnost vyšší. Shlukové analýzy prezentované v této zprávě využívají Euklidovskou vzdálenost a jsou založeny na Wardově metodě.

Graf 19: V které oblasti jste potřeboval/a získat více informací?

návrh projektu

jiné

zadávací dokumentace programu

příprava žádosti

ukončení projektu

implementace výsledků

řešitelé

změnová řízení

neúspěšní žadatelé

Zdroj: INESAN (2019, N = 21/8)

údaje jsou v procentech

Pozn.: údaje se vztahují jen k respondentům, kteří komunikovali s TA ČR; neúspěšní žadatelé nebyli dotazováni na možnost změnová řízení, ukončení projektu a implementace výsledků

Pozn.: schéma (dendrogram) definuje typické skupiny oblastí; tyto skupiny jsou vytvořeny na základě shlukové analýzy, která vychází z podobnosti potřeby informací v rámci jednotlivých oblastí; vodorovné vzdálenosti v dendrogramu naznačují míru podobnosti využití informací z jednotlivých oblastí; čím je tato vzdálenost kratší, tím je podobnost vyšší; shluková analýza se vztahuje jen k řešitelům

Kvantitativní hodnocení komunikace indikuje zřejmou diferenci mezi odpověďmi řešitelů a neúspěšných žadatelů. Jak je zobrazuje níže uvedený Graf 20, platí, že řešitelé hodnotí komunikaci lépe než neúspěšní žadatelé. Zároveň je však nezbytné podotknout, že obě skupiny respondentů hodnotí komunikaci s poskytovatelem jako spíše konkrétní, včasnou, srozumitelnou, obsahově vyčerpávající a systematickou. Největší diference mezi řešiteli a neúspěšnými žadateli v hodnocení jednotlivých aspektů komunikace je zjevná v případě srozumitelnosti a rozsahu komunikace.

Graf 20: Jak hodnotíte poskytnuté informace?

Zdroj: INESAN (2019, N = 21/1/8)

Pozn.: údaje se vztahují jen k respondentům, kteří komunikovali s TA ČR

Na datech řešitelů byla dále testována efektivita komunikace na základě srovnání hodnocení jednotlivých charakteristik komunikace (poskytnutých informací) mezi respondenty, kteří považují administrativu v rámci řešení projektu za nenáročnou, a těmi, kteří ji považují za náročnou. Následující Graf 21 zobrazuje jednotlivé charakteristiky komunikace (s výjimkou včasnosti poskytnutí informací), které jsou hodnoceny obecně lépe těmi respondenty, kteří považují administrativu spojenou s realizací projektu za náročnou. Lze tedy vyslovit hypotézu, že se poskytovatel snažil prostřednictvím komunikace efektivně podporovat řešitele a napomáhat jim s vedením administrativy spojené s realizací projektu. Provedené statistické testy však neprokázaly významnost daných diferencí.

Graf 21: Jak hodnotíte poskytnuté informace? – řešitelé (podle hodnocení náročnosti administrace

v průběhu realizace projektu)

Zdroj: INESAN (2019, N = 21)

Pozn.: údaje se vztahují jen k řešitelům, kteří komunikovali s TA ČR; p = 0,408/1,000/0,427/0,499/0,468 (k ověření významnosti diferencí byl použit ANOVA test)

Výrazně pozitivní zpětnou vazbu na komunikaci s pracovníky TA ČR poskytovali řešitelé projektu i při hloubkových rozhovorech. Kromě skutečnosti, že řešitelé oceňovali samotnou existenci i funkčnost helpdesku, velmi vítali možnosti komunikace nad rámec této z jejich perspektivy běžné úrovně podpory. Jedním z dalších aspektů komunikace TA ČR s řešiteli i administrativními pracovníky hodnoceným mimořádně příznivě byla přítomnost konkrétních referentů pro jednotlivé projekty.

Komunikaci zaměstnanců TA ČR se dostávalo též konkrétních pozitivních přívlastků. Nechyběla mezi nimi taková označení jako „srozumitelná a přátelská“ (Respondent – CS 3), „bezproblémová“ (Respondent

– CS 3) či „pohodová“ (Respondent – CS 5). Z dílčích komunikačních prvků zejména řešitelé oceňovali rychlost reakce či vstřícnost pracovníků TA ČR. Jako důležité elementy komunikace poskytovatele obecně, přítomné rovněž při jednání s TA ČR, jmenovali řešitelé odbornost a přesnost; viz například vyjádření (Respondent – CS 3): „V rámci TA ČR mi přišlo, že na cokoliv jsem se zeptal, tak na to byla jasná odpověď.“

Úroveň komunikace TA ČR s řešiteli je považována za nadstandardní i v komparaci s jinými poskytovateli podpory působícími jak v Česku, tak v Evropské unii. Řešitelé hovořili o problematických komunikačních aspektech u jiných subjektů. Obecný názor na komunikační stránku TA ČR v porovnání s ostatními poskytovateli dokumentuje následující vyjádření: „Ve srovnání jak s evropskými institucemi, tak s orgány

státní správy, především ministerstvy, je TA ČR institucí, která je po komunikační stránce velmi pokroková a lidé se tam více orientují na osobní přístup než pouhé odkazování na kdesi uveřejněné dokumenty.“ (Respondent – CS 3)

Výše uvedenou výrazně pozitivní zpětnou vazbu je nicméně nezbytné uvést do kontrastu s vnímáním a jistou „cenou“ této komunikace na podobné úrovni ze strany TA ČR. Z rozhovoru s některými zaměstnanci TA ČR (Respondent – CS 11) vyplynulo, že pracovníci nezřídka přijímají dotazy řešitelů, k jejichž odpovědi by často postačilo důkladnější studium příslušných směrnic a všeobecných podmínek. Opatrnost řešitelů však může mít pozitivní efekt v podobě předcházení případným chybám v projektových žádostech či při jiných administrativních úkonech.

Reflexe hodnoticího procesu

Při reflexi hodnotícího procesu se osvědčila úprava původně zamýšlené struktury cílové skupiny neúspěšných žadatelů z tzv. „čistě“ neúspěšných žadatelů, tedy takových, kteří nefigurovali v žádném dalším projektu realizovaném v rámci programu OMEGA jako řešitelé ani jako další účastníci, na neúspěšné žadatele, kteří se v některé ze tří veřejných soutěží podíleli na realizaci podpořeného projektu. Primárně od těchto členů cílové skupiny neúspěšní žadatelé, ale též od původních tzv. „čistě“ neúspěšných žadatelů, stejně jako od části řešitelů vzešly podněty k reflexi práce hodnotitelů a oponentů v programu OMEGA.

Jedním z faktorů byly pochybnosti o kvalitě a odbornosti hodnotitelů, o jejich kvalifikaci pro porozumění specifickému oboru. K hodnotitelům se vyjádřil mj. člen rady pro komercializaci: „Když TA ČR začínal, protože jsem pamětník, tak z počátku se tam přihlásilo velké množství lidí, kteří si zaškrtali všechno – od filosofie až po spalovací motory, prostě rozuměli všemu.“ (Respondent – CS 9). Je však třeba poukázat na soustavnou snahu TA ČR se vůči podobnému jednání vymezit a přítomnost takovýchto hodnotitelů eliminovat. Zaměstnanec TA ČR (Respondent – CS 11) k tomuto dodal, že přinejmenším zaškolování hodnotitelů se průběžně zlepšovalo. Dotazovaní rovněž hovořili o úskalích spojených s omezenou velikostí českého VaVaI a s ní spojeným průnikům některých aktérů. Tyto podmínky pak přirozeně indikují sklony k pochybnostem o objektivitě a nestrannosti hodnotitelů, viz například: „My jsme ten projekt podávali dvakrát a podle posudků, které jsme dostali, bylo evidentní, že tam byl člověk, který tomu tématu nefandí. Bylo to tak čitelné, dokonce bych řekla, že to byl zaujatý člověk.“ (Respondent – CS 2). Řešením by podle jednoho z dotazovaných (Respondent – CS 2) mohlo být hodnocení projektů zahraničními hodnotiteli, popř. kombinací zahraničních a českých hodnotitelů.

Důležitou poznámkou k činnosti externích hodnotitelů je jejich nedostatečný důraz na odpovídající koherenci vybraných projektů s programovými specifickými cíli (dále v textu jako SC), viz vyjádření: „Zdá se nám, že některé projekty, minimálně podle názvu, odpovídají deklarovanému cíli programu a jsou třeba hodnoceny lépe než ty, které by tomu cíli vyhovovaly více nebo měly širší dopad“ (Respondent

– CS 2). Z tohoto bodu lze dovodit potřebu větší reflexe programových cílů při výběru konkrétních projektů, které je mají naplňovat.

EO 2.7: Jaké faktory negativně/pozitivně ovlivnily proces implementace programu?

Při formování odpovědi na tuto evaluační otázku byly kladeny specifické otázky jednotlivým zainteresovaným cílovým skupinám v rámci individuálních hloubkových rozhovorů. Část z definovaných faktorů přitom vzešla již z úvodní sekundární analýzy dostupných dokumentů. Příprava odpovědi byla založena na kvalitativní metodě individuálních hloubkových rozhovorů vedených s cílovými skupinami blíže popsanými v níže uvedené tabulce (Tabulka 21).

Procesně zaměřená povaha této evaluační otázky poskytla vhodnou příležitost pro aplikaci metody historického stopování, která však byla v tomto případě aplikována na úrovni celého programu, nikoliv na projektové úrovni, kde se tato metoda používá častěji. V tomto ohledu vytváří historická stopa programu pevně definovaný rámec, vůči kterému byly vztaženy jednotlivé determinanty a vnější vlivy. Provedená forma aplikace této metody umožňuje sledovat nejen povahu jednotlivých faktorů ovlivňujících proces implementace, ale také jejich časovou souvislost.

Použité metody

Metoda historického stopování

Zdroje dat

IHI

Tabulka 21: Struktura rozhovorů pro EO 2.7

Cílová skupina	Počet rozhovorů
3 – Řešitelé	16
5 – Administrátoři VaV	5
11 – Pracovníci TA ČR	4
7 – Útvary schvalujících certifikované metodiky	4
10 – Členové RVVI	2

SHRNUTÍ VÝSLEDKU

Řešení této evaluační otázky přineslo determinaci řady faktorů rozdělených primárně dle zadání EO na pozitivní a negativní a následně na faktory vnější a vnitřní. Otázky zaměřené na klíčové determinanty ovlivňující průběh jednotlivých procesů přinášejí zpětnou vazbu, která je přirozeně vychýlená – obsahuje vždy více negativních vlivů než pozitivních. Také v tomto případě zástupci jednotlivých zainteresovaných stran specifikovali větší počet okolností, které představují překážky implementace programu. Daný poznatek však nelze interpretovat ani jako hostilitu vnějšího prostředí vůči programu OMEGA, ani jako implementační selhávání programu jako takového. Naopak, s ohledem k dosaženým přínosům a zjevným efektům programu, lze dovozovat, že program OMEGA se s jednotlivými obtížemi vypořádal a stanovených cílů dosáhl.

ŘEŠENÍ EO

Odpovědí na tuto evaluační otázku je přehledová tabulka (Tabulka 22) popisující pozitivní a negativní faktory spojené s implementací programu OMEGA. Tyto faktory byly dále rozděleny na vnitřní, týkající se nastavení a možných omezení ze strany TA ČR, a vnější, zohledňující okolní vlivy na implementaci programu a podpořených projektů.

Mnohé z těchto faktorů zjištěných při rozhovorech s jednotlivými cílovými skupinami (např. řešitelé či uživatelé výsledků) lze pozorovat i v Průběžné evaluační zprávě programu OMEGA. Z tohoto faktu lze vyvozovat, že v těchto bodech jde o pouhé potvrzení daného stavu.

Tabulka 22: Faktory ovlivňující implementaci programu

Vnější faktory

Pozitivní faktory

Negativní faktory

Zapojování dalších institucí státní a veřejné správy

Instituce státní a veřejné správy byly oslovovány pro role aplikačních partnerů a uživatelů výsledků dílčích projektů, čímž byly zároveň motivovány k většímu zájmu o výsledky VaVaI.

Problémy s implementací výsledků na ministerstvech symbolizované například neochotou resortu akceptovat detailněji zpracovaný výsledek konkrétního projektu

V projektech docházelo k úpravám již hotových a detailně zpracovaných výsledků do méně konkrétní a méně deskriptivní podoby, tedy

k zobecňování konkretizovaných zjištění a postupů.

Nutnost uvažování nad aplikovatelností výsledků jednotlivých projektů a jejich recepcí budoucími uživateli

Pro řešitele projektů a další do řešení zapojené subjekty (např. CS dalších účastníků) vyvstal nový rozměr uvažování

o výsledcích své činnosti v podobě koncových uživatelů a možné

orientace výsledků právě na tyto uživatele.

Nedostatečná poptávka po společenskovědním výzkumu a jeho

výsledcích v začátcích programu OMEGA

Tvůrci programu OMEGA a výzkumné organizace musely v programových počátcích věnovat úsilí k přesvědčování části odborné veřejnosti o nezbytnosti společenskovědního výzkumu a využitelnosti jeho

výsledků.

Nemožnost využít existující data, která mají k dispozici další instituce veřejné správy jako například Český statistický úřad, Ministerstvo práce a sociálních věcí ČR či Česká správa sociálního zabezpečení

Řešitelské týmy musely v rámci svých projektů věnovat čas na řešení opětovnému získávání dat, která měly výše uvedené a mnohé další instituce k dispozici, ale nejsou otevřené k jejich sdílení, a tím snižování

časové zátěže pro řešení výzkumných projektů.

Interní změny v organizacích implementujících výsledky jednotlivých projektů

S interními změnami v organizacích docházelo k transformaci

dosavadních potřeb těchto organizací, kterým se následně projekty musely přizpůsobit, či ke změně komunikace s těmito organizacemi.

Rezistence vůči projektovým výsledkům

V rámci projektů vznikaly výsledky ovlivňující dosud zaběhnuté pořádky různých vrstev populace, u nichž se ne vždy setkaly s kladným ohlasem.

Nepříliš vhodná definice a podmínky pro uplatnění některých druhů

výsledků, například software (R) nebo výstupy druhu Hleg – výsledky

promítnuté do právních předpisů a norem a Hneleg – výsledky promítnuté do směrnic a předpisů nelegislativní povahy závazných v rámci kompetence příslušného poskytovatele (viz např. průběžná evaluační zpráva programu OMEGA)

Vzhledem k transformaci legislativních norem (výsledky druhu H) docházelo k absenci potřeby realizace projektu už v jeho průběhu. Projekty tak musely buď upravovat podobu svých výsledků, nebo směřovat k vytvoření odlišných výsledků. Uplatnění výsledků rovněž komplikoval zdlouhavý proces schvalování legislativních změn. U softwaru potom chyběly konkrétní parametry, které musí splňovat software vyprodukovaný v rámci programu OMEGA, za tento druh výsledku tak byly vydávány i výsledky, které svým obsahem softwarem

nebyly.

Vnější faktory
Pozitivní faktory	Negativní faktory
	Nedostatečná výzkumná a odborná kapacita na jednotlivých resortech vedoucí k omezené schopnosti adekvátně formulovat potřeby rezortu Programu OMEGA chyběl konkrétnější směr, který by mu mohly poskytnout například právě instituce státní správy formulací konkrétních výzkumných potřeb.
	Nedostatečná podpora pro určité druhy výsledků Výzkumníci se prakticky zaměřovali na takové výsledky, s nimiž měli největší šanci úspěšně zakončit své projekty, nikoliv na takové, které by měly největší potenciál společenského dopadu.
	Nemožnost spolehnout se na podporu a žádoucí míru kooperace s aplikačním partnerem Řešitelé nedostávali potřebnou zpětnou vazbu pro utváření a směřování svých projektů a museli hledat instituce pro jejich uplatnění (pokud byla ze strany aplikačního partnera přerušena komunikace).
	Nedostatečná maximální délka projektů a možnost implementace výsledků až po skončení těchto projektů Za maximální možnou dobu řešení projektů v podobě dvou let bylo možné dosáhnout pouze limitovaných projektových výsledků, z opačné perspektivy výsledky po dvou letech zastarávaly (případy certifikovaných metodik a výsledků druhu H) a již nebyly potřebné.

Vnitřní faktory
Pozitivní faktory	Negativní faktory
Osvěta odborné veřejnosti a státní a veřejné správy o využitelnosti aplikovaného společenskovědního výzkumu Zvýšení povědomí o důležitosti aplikovatelnosti společenskovědního výzkumu a nutnosti jeho uvážení například do interdisciplinárních týmů	Přítomnost implementačních plánů u všech projektů a délka implementace v době tří let Implementační plány se ze svého principu nehodí pro všechny druhy projektových výsledků. Zároveň platí, že zatímco některé výsledky mají ze své podstaty spíše krátkodobý efekt, u jiných se projektový přínos (např. společenská změna) projeví až po více než třech letech.
	Nedostatečná připravenost TA ČR na způsob vykazování a průběžné hodnocení projektů společenskovědního výzkumu Z údajů dostupných o projektech nevyplývá podrobnější znalost jejich průběhů, pouze ustavující parametry a míra podpora jednotlivých projektů a informace o jejich zakončení.
	Nízké zohlednění faktu, že výzkumné organizace jsou více odkázány na institucionální podporu. Výzkumné organizace řešily v rámci financování svého projektu mnohé jiné aktivity, neboť možnost komercializace jejich činnosti byla velmi omezená (na rozdíl od technického výzkumu).
	Atypický způsob projektového řízení ve společenskovědním výzkumu oproti výzkumu v technických oborech Pro program OMEGA byly nastaveny zejména výstupové indikátory.
	Personální poddimenzování TA ČR Nedostatečný prostor pro individuální přístup k jednotlivým projektům.
	Maximální možná délka řešení projektů znemožňující výzkum širšího množství aspektů dané oblasti Délka znemožnila využití plného potenciálu řešených projektů.
	Nerealizace původních výzkumných záměrů v organizacích z důvodu nutnosti mít výsledek v RIV Organizace upravovaly své původní výzkumné záměry, aby mohly vyprodukovat výsledek vykazatelný do RIV.
	Nedostatečně široká škála možných výstupů jednotlivých projektů neodpovídající vnitřnímu významu společenskovědního výzkumu Projektové výsledky byly vydávány za výsledky odlišné kategorie dle RIV, neboť je nebylo možné prezentovat v jejich základní podobě.

Zdroj: INESAN

EVALUAČNÍ OKRUH 3 – ZHODNOCENÍ DOSAŽENÝCH VÝSTUPŮ A VÝSLEDKŮ

V rámci řešení evaluačního okruhu Zhodnocení dosažených výstupů a výsledků16 byly identifikovány přímé výstupy programu (projektové výsledky), mezi něž patří například certifikované metodiky či software, ale též programové výsledky spojené s přínosem pro jednotlivá pracoviště a řešitelské týmy (např. zvýšení renomé odborného pracoviště, navázání nové spolupráce nebo rozšíření stávající spolupráce apod.).

EO 3.8: Bylo dosaženo očekávaných výstupů a výsledků programu? Které nezamýšlené výstupy a výsledky byly na úrovni programu také dosaženy a jak?

Odpověď na evaluační otázku byla založena na kombinaci metod desk research (identifikace očekávaných výstupů), CAWI (identifikace některých nezamýšlených výstupů) a individuálních hloubkových rozhovorů s cílovými skupinami blíže popsanými v níže uvedené tabulce (Tabulka 23). Cílem těchto rozhovorů byla identifikace nezamýšlených výstupů a popis způsobu jejich dosažení.

Odpověď na danou evaluační otázku je založena na postupu, který vychází přímo z cílů definovaných v rámci programu OMEGA. V tomto ohledu jsou tedy specifické cíle programu použity jako základ, vůči kterému jsou porovnávány skutečně dosažené výsledky programu. Využití tohoto postupu umožňuje získat podklady přímo využitelné pro identifikaci výstupů, které odpovídají stanoveným cílům programu. Tato metoda byla dále doplněna o přístup založený na technice mapování výsledků (outcome mapping), kdy byla na základě hloubkových rozhovorů vytvářena mapa dosažených výsledků. V součinnosti s goal-based přístupem pak bylo možné identifikovat a rozlišit očekávané výstupy od nezamýšlených. Třetí pilíř v podobě metody historického stopování vnesl do zpracované odpovědi dynamický prvek, neboť umožnil poukázat na mechanismy, jakými bylo jednotlivých výsledků dosahováno.

Použité metody

Goal-based evaluation, mapování výsledků, bibliometrická analýza, metoda historického stopování

Zdroje dat

Desk research, IHI, CAWI

Tabulka 23: Struktura rozhovorů pro EO 3.8

Cílová skupina	Počet rozhovorů
3 – Řešitelé	16
4 – Další účastníci	15
11 – Pracovníci TA ČR	4

16 V rámci této závěrečné zprávy jsou používány pojmy výstup i výsledek. Vzhledem k účelu této zprávy, která se zaměřuje na závěrečnou evaluaci programu OMEGA, je na místě upřesnit chápání obou pojmů. Výstup je v rámci této zprávy používán v souvislosti s programovou úrovní, tedy výstup programu OMEGA. Výsledek je zde používán v souvislosti s detailnější analýzou projektů podpořených v rámci programu OMEGA.

SHRNUTÍ VÝSLEDKU

Program OMEGA směřoval k dosažení očekávaných výstupů a výsledků již po dvou uskutečněných soutěžích. Souhrnně očekávaný počet výrazně přesáhl minimální požadované množství výsledků dle RIV (konkrétní přesah činil 1 170 výsledků). Na základě uskutečněných terénních šetření je nicméně možné konstatovat, že hlavním přínosem programu nebyly očekávané výstupy a výsledky, ale výsledky nezamýšlené, kterých bylo v rámci programu vytvořeno významné množství. Nezamýšlené výsledky byly rozděleny na negativní, pozitivní a výsledky vyplývající z rozhovorů se zaměstnanci TA ČR.

ŘEŠENÍ EO

Odpověď na tuto evaluační otázku je členěna do dvou částí, které odpovídají původnímu znění evaluační otázky. V první části odpovědi je vyhodnocena míra dosažení očekávaných výstupů a výsledků programu OMEGA, zatímco ve druhé části se evaluátor zabývá definicí nezamýšlených výstupů programu a způsoby, jakými bylo těchto výstupů a výsledků dosaženo.

Dosažení očekávaných výstupů a výsledků programu

Výstupy programu OMEGA (tj. výsledky jednotlivých projektů) druhu Nmet – Certifikované metodiky, Nmap – specializované mapy s odborným obsahem, R – Software, Hleg – Výsledky promítnuté do právních předpisů a norem, Hneleg – Výsledky promítnuté do směrnic a právních předpisů nelegislativní povahy závazné pro kompetenčně příslušný orgán a V – Výzkumná zpráva s utajovaným obsahem byly definovány prostřednictvím předem stanovených indikátorů. Naplnění těchto indikátorů vyplývá jak z Průběžné evaluační zprávy programu OMEGA, která konstatovala takřka kompletní naplnění indikátorů, a ze Zprávy o realizaci programu OMEGA, z níž plyne celkové naplnění a v mnoha případech i významné přesažení očekávaného počtu programových výstupů (viz Zpráva o realizaci programu OMEGA: Tabulka 1: Indikátory Programu OMEGA, str. 9), tak z aktualizovaného přehledu výsledku (k datu 4. října 2019) z databáze RIV (viz Tabulka 24). Ze zjištění plynoucích primárně ze zpráv o realizaci a z této tabulky (Tabulka 24) je možné konstatovat, že výstupů programu bylo dosaženo; plánované množství výstupů bylo dokonce násobně překročeno.

Tabulka 24: Indikátory výsledků programu OMEGA

Indikátor	očekávaný počet (abs.)	dosažený počet (abs.)	rozdíl (abs.)
Minimální počet certifikovaných metodik	70	132	+62
Minimální počet vytvořených software	16	100	+84
Minimální počet specializovaných map s odborným obsahem	34	188	+154
Minimální počet výsledků promítnutých do právních předpisů, norem, směrnic, předpisů nelegislativní povahy	12	36	+24
Minimální počet dalších výsledků aplikovaného výzkumu	8	854	+846
Minimální počet aplikovaných výsledků programu	140	1310	+1170

Pozn.: údaje zahrnují výsledky 192 z celkem 194 projektů podpořených v rámci programu OMEGA (projekty č. TD020216 a č. TD03000376 neměly

ke dni 4. 10. 2019 vykázaný v RIV žádný výsledek)

Zdroj: TA ČR; xxxxx://xxx.xxxx.xx/xxx

Graf 22: Absolutní počet výsledků dosažených v programu OMEGA (podle druhu)

329

350

277

300

232

250

200

155

150

100

21 16 14 4 1 1

N J D O R B H W V M A C E F Z

údaje vyjadřují počet výsledků

N = 192 projektů

Pozn.: zelenou barvou jsou označeny výsledky, jejichž dosažený počet je vyšší než očekávaný počet; modrou barvou jsou označeny výsledky, jejichž dosažený počet přibližně odpovídá očekávanému počtu; červenou barvou jsou označeny výsledky, jeji chž dosažený počet je nižší než očekávaný počet; počet jednotlivých druhů očekávaných výsledků byl převzat ze Zprávy o realizaci programu OMEGA z ledna 2019 (viz graf 2 na straně 15).

Pozn.: kategorie H uvedená v tomto grafu obsahuje na rozdíl od výše uvedené tabulky „Indikátory výsledků programu OMEGA“ vedle Hleg a Hneleg

dále Hkonc

Zdroj: xxxxx://xxx.xxxx.xx/xxx

Následující Graf 23 specifikuje strukturu jednotlivých dosažených výsledků z hlediska typu příjemce. Konkrétně platí, že za výsledky druhu C (kapitola v odborné knize), D (stať ve sborníku), E (uspořádání výstavy) a M (uspořádán konference) stojí především veřejné vysoké školy. Výsledky F (užitný/průmyslový vzor), Z (poloprovoz/ověřená technologie/odrůda/plemeno) a A (audiovizuální tvorba) pak vytvořily v největší míře zejména veřejné výzkumné instituce. Výsledky B (odborná kniha), V (utajovaná výzkumná zpráva) a W (uspořádání workshopu) vytvořily ve většině případů společně veřejné vysoké školy a veřejné výzkumné instituce, přičemž podíl těchto výsledků připadající na tyto dva typy příjemců je přibližně stejný. Pro ostatní typy příjemců je charakteristické, že právnické osoby mají největší zastoupení výsledků druhu R – software (19 % dosažených výsledků druhu R), obecně prospěšné organizace, zapsané spolky/ústavy výsledků druhu H (13 % dosažených výsledků druhu H) a státní organizace výsledků druhu O – ostatní druhy výsledků (8 % dosažených výsledků druhu O).

Graf 23: Podíl jednotlivých typů organizací na druzích výsledků dosažených v programu OMEGA

100

313

100

obecně prospěšné organizace, zapsané spolky/ústavy

státní organizace

právnické osoby

veřejné výzkumné instituce

veřejné vysoké školy

A B C D E F H J M N O R V W Z údaje jsou v procentech

N = 192 projektů

Pozn.: kategorie státní organizace zahrnuje organizační složky státu (OSS) a státní příspěvkové organizace (SPO) Zdroj: xxxxx://xxx.xxxx.xx/xxx

Graf 24: Struktura projektů podle srovnání dosažených a plánovaných výsledků (podle délky projektu, regionu příjemce, typu příjemce, veřejné soutěže a celkových nákladů projektu)

počet dosažených výsledků je vyšší než počet plánovaných výsledků počet dosažených výsledků je roven počtu plánovaných výsledků počet dosažených výsledků je nižší než počet plánovaných výsledků

N = 192 projektů

údaje jsou v procentech

Pozn.: subjekty, které dosáhly více výsledků, než plánovaly, dosáhly v průměru 6 dalších výsledků. Subjekty, které dosáhly méně výsledků, než plánovaly, jich dosáhly v průměru o 3 méně

Pozn.: p = 0,013/0,044/0,368/0,037/0,094 (k testování významnosti diferencí byl použit chí-kvadrát test) Zdroj: TA ČR; xxxxx://xxx.xxxx.xx/xxx

Graf 25: Srovnání plánovaných a dosažených výsledků v programu OMEGA

+378 výsledků

1400

1200

1000

800

nad rámec programu

932

1 310

600

400

200

počet plánovaných výsledků počet dosažených výsledků

údaje vyjadřují počet výsledků

N = 192 projektů

Zdroj: TA ČR; xxxxx://xxx.xxxx.xx/xxx

Pozn.: počet plánovaných výsledků vychází z analýzy projektových žádostí

Míru naplnění programových cílů není možné vyhodnotit, a to především z důvodu, že formulace cílů nepočítala s jejich vyhodnocením. V době vzniku programu OMEGA nebyly takovéto přístupy běžné, a tak (podobně jako v případě jiných programů, viz například zadávací dokumentace programu NAKI) byly cíle vyjádřeny tak, aby informovaly o zaměření programu. Autenticky formulovaným cílem programu OMEGA tedy bylo „posílení výzkumných aktivit v oblasti aplikovaných společenských věd a uplatnění výsledků těchto aktivit pro zvýšení konkurenceschopnosti České republiky, zvýšení kvality života jejich obyvatel

a vyvážený socio-ekonomický rozvoj společnosti“.17 Program dále definoval devět specifických cílů uvedených v programovém dokumentu.18 Míru naplnění těchto specifických cílů je z dnešního pohledu možné vyhodnotit dvěma způsoby. Prvním je výběr témat pro jednotlivé soutěže a vyhodnocení míry potenciálu naplnění těchto cílů na základě volby témat (řešeno v EO 1.2 a 3.10). Druhým způsobem je vyhodnocení míry naplnění specifických cílů samotnými projekty, k němuž došlo ve Zprávě o realizaci programu OMEGA. Ta kromě jiného konstatuje, že „mezi nejvíce naplňované cíle Programu OMEGA patří Specifický cíl 1 (zefektivnění veřejné politiky) a Specifický cíl 4 (udržitelný rozvoj společnosti a životního prostředí). V rámci Specifického cíle 1 bylo podáno i podpořeno nejvíc projektů napříč všemi třemi veřejnými soutěžemi (celkem podáno 209 projektů, z toho podpořeno 63 projektů). Specifický cíl 4 je v pořadí druhý s nejvyšším počtem podaných i podpořených projektů opět v rámci všech tří veřejných soutěží (celkem podáno 139 projektů, z toho 48 projektů podpořeno). Naopak minimálně jsou v Programu OMEGA naplňovány specifické cíle zaměřené na predikci ekonomického vývoje (specifický cíl č. 6; 5 podpořených projektů), demografický vývoj (specifický cíl č. 8; 9 podpořených projektů) a české veřejné zájmy (specifický cíl č. 2; 11 podpořených projektů). Každý specifický cíl řeší 5 a více podpořených projektů“.19

Dosažení neočekávaných výstupů a výsledků programu OMEGA

Identifikace neočekávaných programových výsledků probíhala prostřednictvím šetření CAWI i hloubkových rozhovorů. Z CAWI mezi řešiteli, dalšími účastníky a aplikačními partnery projektů vzešly následující údaje:

Graf 26: Mělo uplatnění výsledku nějaký pozitivní efekt, který nebyl očekáván?

ano

řešitelé další účastníci aplikační partneři

Zdroj: INESAN (2019, N = 58/8/6)

údaje jsou v procentech

17 Program na podporu aplikovaného společenskovědního výzkumu a experimentálního vývoje (v účinnosti od 17. 10. 2014), str. 2.

00 Xxxxxx, xxx. 2., 3.

19 Zpráva o realizaci programu OMEGA, str. 10.

Obrázek 1: Neočekávaný pozitivní efekt uplatnění výsledku

ŘEŠITELÉ

3 otevřené jednání k tématu; veřejná diskuse o výsledku řešení

3 navazující výzkumné grantové aktivity; otevření otázek pro další výzkum, možnosti nových aplikací 2 Edukační efekt, kdy se o tématu dověděla řada dalších lidí.

2 spolupráce s dalšími orgány státní správy (mimo aplikační garanty)

1 Firma využila výsledek pro svůj další rozvoj.

1 Na základě výsledku byly vymezeny metropolitní regiony pro ITI.

1 rozvinuti spolupráce s několika dalšími státy EU

1 Vedl k cílenému řešení problematiky práce s lidskými zdroji a vzdělávání v oblasti bezpečnosti.

1 Na základě metodiky byl zpracován program MF pro lokalizaci svazkových škol v zázemí velkých měst.

1 navázání dobré spolupráce s ministerstvem zemědělství při přípravě novel legislativy pitné vody a vzájemná koordinace novel vyhlášek v gesci MZ a MZe

1 projednávání změn legislativy

1 rozšíření o další cílové skupiny

1 Vznikla poptávka po vzdělávání zaměstnanců.

DALŠÍ ÚČASTNÍCI

1 synergie výsledku a znalosti do dalších oblastí

1 Výrobce briketovacích strojů zvažuje vývoj nového automatického podavače nabrikety.

1 Vývojář software uvažuje o upgrade.

1 zefektivnění chodu organizace

1 nové zkušenosti a znalosti mimo hlavní obor zájmu

1 vhled do dat

1 navázání osobních přátelství s novými lidmi (odborníci), networking

APLIKAČNÍ PARTNEŘI

1 vytvoření státního programu pro financování nedostatečné kapacity základních škol vokolí velkých měst

NEOČEKÁVANÝ POZITIVNÍ EFEKT UPLATNĚNÍ VÝSLEDKU

Zdroj: INESAN (2019, N = 15/4/1)

Pozn.: hodnoty vyjadřují absolutní četnost odpovědí

Graf 27: Mělo uplatnění výsledku nějaký negativní efekt, který nebyl očekáván?

100

ano

řešitelé další účastníci aplikační partneři

údaje jsou v procentech

Zdroj: INESAN (2019, N = 58/8/6)

Na základě uskutečněných hloubkových rozhovorů s relevantními cílovými skupinami (viz Tabulka 23) byly definovány následující neočekávané výsledky programu OMEGA. Ty byly poté rozřazeny na výsledky pozitivní, negativní a výsledky vyplývající z rozhovorů se zaměstnanci TA ČR.

Neočekávané pozitivní výsledky projektů:

- V řadě projektů nelze hovořit o neočekávaných výsledcích, potažmo neočekávaných směrech jejich využití, jako spíše o míře využitelnosti výsledků převyšujících očekávání řešitelských týmů vybraných projektů (například šíře využití projektového výsledku nebo zájem o výsledek převyšující očekávání řešitelského týmu).

- Rozšíření spolupráce se zahraničními odborníky, zapojení se do mezinárodní sítě, účast na zahraničních konferencích a přenos výsledků do zahraničí, vytvoření společné publikace se zahraničním partnerem.

- Navázání nových kontaktů, které vyústily až do formy aktuální klíčové spolupráce pro konkrétní řešitele či řešitelské týmy, viz např. (Respondent – CS 3): „Když to shrnu, tak pro mě byl TA ČR odstartováním systematické spolupráce s Ministerstvem vnitra, a v podstatě je to pro mě i dobré v tom, že to neskončilo těmi zprávami, ale naopak mám pocit, že ty výzkumné zprávy byly mezník, a že se pokračuje dál už v TAČRem nepodporované podobě.“

- Medializace výsledků projektu podporující zájem o tento výsledek.

- Další rozvoj projektového výsledku po skončení projektu.

Neočekávané negativní výsledky projektů:

- Žádné systémové (resp. opakované) negativní výsledky nejsou patrné. Nelze tedy konstatovat, že by projekty podpořené v rámci programu OMEGA vyvolávaly konkrétní negativní či nežádoucí efekty. Přesto lze v některých jednotlivých projektech vysledovat dílčí vedlejší efekty v podobě např. dočasného snížení zaměstnanosti v jednom konkrétním regionu či zásahu do chodu jedné z dotčených organizací. Takovéto efekty mohou být z pohledu jednotlivé zainteresované strany považovány za negativní. Vzhledem k tomu, že se ve všech takovýchto případech jedná o důsledky optimalizačních opatření či o efekty, jež byly vyvolány inovativními postupy, nelze

o obecně negativních výsledcích hovořit.

Z rozhovorů se zaměstnanci TA ČR vyplynuly tyto neočekávané výsledky programu OMEGA:

- Z rozhovorů se zaměstnanci TA ČR je zřejmé, že největším přínosem programu OMEGA byly právě jeho neočekávané výsledky (přínosy), jejich rozsah a společenská změna, k níž dokázal program výraznou měrou přispět. Tato skutečnost přitom sama o sobě není negativní, což ostatně potvrzuje i zaměstnanec TA ČR (Respondent – CS 11): „Nepřímé efekty jsou daleko důležitější než ty přímé. Ano, bádat nebo zkoumat je hezké a nutné, ale kultivace společnosti je kolikrát daleko nutnější.“

- Neočekávaným výsledkem programu OMEGA je spontánně vzniklá potřeba positioningu aplikovaného výzkumu ve společenských a humanitních vědách, vymezení role programu OMEGA a jeho vztahu k ostatním programům, viz například:

o Respondent – CS 11: „Hlavní efekt OMEGY je opravdu v tom, že pomohla nastartovat ÉTU. OMEGA sama pohled lidí ještě neovlivnila. Změnilo se prostředí. V roce 2017 se začala vyvíjet metodika, přestal být tlak na RIVové body a na přesné výsledky.“

o Respondent – CS 11: „Program OMEGA byl základem aplikovaného společenskovědní výzkumu. Díky tomu se o něm diskutovalo a vznikly návazné programy. Nyní je v aktualizované politice i v inovační strategii. V nové politice je samostatná oblast, která říká, že je nezbytný aplikovaný společenskovědní výzkum a výzkum pro velké světové výzvy. Něco takového bylo v letech 2012 a 2013 nemyslitelné.“

- Jako další konkrétní přínosy programu OMEGA definovali zaměstnanci TA ČR následující body:

o Program vyvolal zájem o aplikovatelnost výsledků výzkumu (vyplývá též z rozhovorů

s dalšími cílovými skupinami).

o O společenskovědní výzkum se stále častěji zajímají soukromé společnosti (vyplývá též

z rozhovorů s dalšími cílovými skupinami).

o Došlo ke změně definice výsledku druhu H, neboť dle původní definice jej „v podstatě nešlo dosáhnout, protože politici zákon změní a poslanecká sněmovna ho zamítne, byť by byl sebelepší“ (Respondent – CS 11).

o Bylo poukázáno na nedostatečnost institutu aplikačního partnera (nezávaznost pozice aplikačního partnera na participaci na tvorbě projektového výsledku), z něhož se pro program ÉTA vyvinul institut aplikačního garanta.

o Vytvořily se normy a pravidla pro působení společenskovědních výzkumníků v rámci programů TA ČR.

EO 3.9: Jakým způsobem bylo využito výstupů programu OMEGA?

Odpověď na tuto evaluační otázku byla založena na podobném přístupu jako v případě předchozí evaluační otázky. Byla tedy uplatněna kombinace metod desk research (identifikace očekávaných výstupů), CAWI (identifikace některých nezamýšlených výstupů z pohledu příjemců) a individuálních hloubkových rozhovorů (identifikace nezamýšlených výstupů a popis způsobu jejich dosažení). Individuální hloubkové rozhovory byly prováděny s cílovými skupinami popsanými v níže uvedené tabulce (Tabulka 25).

Ke zpracování odpovědi na tuto evaluační otázku bylo použito techniky mapování transferu technologií, kdy s využitím zejména sekundárních dat, a to především údajů v implementačních plánech předkládaných jednotlivými řešitelskými týmy a záznamů v databázi RIV, byly sledovány konkrétní formy uplatnění a používání vytvořených výsledků v rámci aplikační sféry. V tomto ohledu byla mapa transferu technologií obohacena o specifické zkušenosti rozličných zainteresovaných stran. Syntéza jejich dosavadní praxe v tomto ohledu poskytuje plastický obraz aplikovatelnosti výsledků vytvářených v rámci společenskovědního výzkumu.

Použité metody

Mapování transferu technologií

Zdroje dat

Desk research, IHI, CAWI

Tabulka 25: Struktura rozhovorů pro EO 3.9

Cílová skupina	Počet rozhovorů
3 – Řešitelé	16
4 – Další účastníci	15
8 – Uživatelé výsledků	21
9 – Členové RpK	7

SHRNUTÍ VÝSLEDKU

Komplexní monitoring využití výstupů programu OMEGA komplikovala především „nezávaznost“ a volný výklad zapojení institutu aplikačního partnera, který si po svém vykládaly jak výzkumné organizace, tak i sami aplikační partneři. Totéž platilo o uživatelích výsledků, kteří dávali najevo pouze svůj předběžný zájem o využití výsledku projektu (výstupu programu), který však nebyl nijak zavazující. V rámci evaluace tak byly identifikovány primárně dvě krajní varianty využití programových výstupů. Zatímco na jedné straně jsou výstupy, o jejichž využívání nejsou k dispozici téměř žádné informace, na druhé stojí výsledky, které se úspěšně rozšířily a přinesly i žádoucí komerční efekt.

ŘEŠENÍ EO

Odpověď na tuto evaluační otázku je úzce spojena s typologií jednotlivých projektových výsledků (výstupů programu) popsanou v evaluační otázce 3.8 a zároveň podrobněji rozebírá informace popsané ve Zprávě o realizaci programu OMEGA. Stěžejními zdroji dat pro odpověď na tuto EO jsou výsledky ze šetření CAWI a z hloubkových rozhovorů s řešiteli projektů, s aplikačními partnery a s uživateli výsledků. Otázka primárně odpovídá na míru využití výsledků v praxi a následně popisuje konkrétní způsoby jejich využití.

Z hlediska míry využití výsledků v praxi byla při šetření CAWI zjištěna hodnota 90% uplatnitelnosti mezi řešiteli projektů a 88% míra uplatnitelnosti mezi dalšími účastníky. Jako důvod neuplatnění výsledku v praxi byla mezi řešiteli dvakrát zmíněna absence plánu na uplatnění výsledku v praxi a po jednom výskytu mj. neoficiální využívání výsledku nebo změna legislativy před uvedením výsledku do praxe. Přesné údaje uvádí Graf 28 níže. Předpokládaného uplatnění dosáhly výsledky taktéž mezi aplikačními partnery (pro implementaci dle původních předpokladů se vyjádřilo 83 % aplikačních partnerů; 67 % z nich potom uvedlo, že proces implementace neprovázely žádné komplikace; detailněji viz Příloha 7 této Zprávy). Aplikační partneři zároveň označili výsledky v daných činnostech za užitečné (pro 50 % aplikačních partnerů byl výsledek velmi užitečný, pro 33 % AP byl výsledek spíše užitečný; blíže viz Příloha 7 této Zprávy).

Graf 28: Byly hlavní výsledky realizovaného projektu uplatněné v praxi? Jaký byl důvod neuplatnění výsledků v praxi?

ŘEŠITELÉ

2 Komerční využití výsledků projektu nebylo plánováno. 1 Došlo ke změně legislativy.

1 Výsledek je ve fázi předvývoje.

1 Výzkumná zpráva a publikační výstupy nejsou uplatnitelné v praxi.

1 Neochota úředníků používat program, který je nutil k systematické práci.

DALŠÍ ÚČASTNÍCI

1 dosud v procesu certifikace

DŮVODY NEUPLATNĚNÍ VÝSLEDKU v PRAXI

ano

řešitelé další účastníci

údaje jsou v procentech

Zdroj: INESAN (2019, N = 58/8, N = 6/1) Pozn.: respondenti hodnotili až dva hlavní výsledky; hodnoty vyjadřují absolutní četnost

odpovědí

Z hloubkových rozhovorů vyplývá, že především řešitelé z řad výzkumných organizací, které produkovaly jednotlivé výsledky pro orgány veřejné správy (zejména ministerstva), hovoří zpravidla pouze

o „předpokládaném“ využití výsledků. Konkrétní dopad a rozsah využití však výzkumníci často nejsou schopni prokázat, viz například: „Certifikovaná metodika byla předána ministerstvu a předpokládám, že ji využívalo. Kdekoliv dnes vystupuje Úřad práce, hlásá principy vycházející z této metodiky za splněné. Rovněž se naplnila všechna doporučení. Z toho, co prezentují ministerstvo a Úřad práce, se tedy zdá, že výsledek je využíván v praxi. Pouze tu metodiku se nepodařilo nějak víc prosadit. Dali to do metodických pokynů, ale myslím, že se s nimi poté už nepracovalo“ (Respondent – CS 3). S tímto popisem následného životního cyklu

výsledků kontrastují výsledky dosud využívaných projektů a dále úspěšně komercializované či široce upotřebené ve státní správě, viz například: „Měli jsme zpětnou vazbu od dvou firem s největším podílem na trhu, že to použily. Nevíme ale, jak změřit, že to skutečně bylo použité. Výsledek byl také využit pro jiný přeshraniční projekt jako osvětový materiál“ (Respondent – CS 3).

Mezi oblastmi uplatnění výsledku napříč řešiteli vynikala státní a veřejná správa (7 výskytů) následovaná využitím v krajské samosprávě (4 výskyty) a v územním plánování (3 výskyty). Následujících devět možných oblastí využití, mezi něž patřily například hodnocení potenciálu využití území, energetika či evaluace a prognózy v oblasti životního prostředí, zaznamenalo po dvou výskytech. Hned 31 různých možností včetně lepšího rozhodování kontrolních orgánů, zefektivnění procesů či politiky zaměstnanosti bylo v CAWI šetření uvedeno jedenkrát. Pro kompletní seznam oblastí viz Obrázek 2 v Příloze 7 této Zprávy. Odlišné oblasti využití byly identifikovány ze strany dalších účastníků projektů. Ve třech případech šlo o geodetické firmy, následované projekčními kancelářemi (dva výskyty) a energetikou z hlediska využití potenciálu biomasy (dva výskyty). Pro kompletní přehled oblastí, viz Příloha 7 této Zprávy.

V rámci odpovědi na tuto evaluační otázku evaluátor využil poskytnuté Finální zprávy o implementaci (dále v textu jako FZoI). Při jejich zpracování byly nicméně identifikovány faktory znemožňující interpretaci syntézy těchto dokumentů na úrovni, která by měla vypovídající hodnotu o stavu programu OMEGA. Vzhledem ke stále nedokončenému implementačnímu období projektů z 3. veřejné soutěže měl evaluátor k dispozici FZoI pouze z 1. a 2. veřejné soutěže. Ty navíc nebyly dostupné za všechny projekty, nýbrž pouze za 40 %. V dílčích sledovaných ukazatelích nacházejících se v souhrnném monitorovacím dokumentu přitom převládala prázdná pole.

V rámci podpořených projektů byly vypracovány implementační plány, ty však nemají unifikovanou podobu. Mezi nimi tak lze nalézt jak mimořádně stručné plány popisující výhradně výsledky, jichž mělo být dosaženo, tak implementační plány pojaté velmi komplexně. Evaluátor proto formuluje dílčí doporučení směřující k definici konkrétních položek k vyplnění v implementačních plánech a jejich následném sledování v rámci monitoringu podpořených projektů až k finálním zprávám o jejich implementaci.

Uplatnění výsledků

Jedním ze stěžejních témat týkajících se využitelnosti výsledků programu OMEGA, ale i společenskovědního výzkumu celkově je komercializace výsledků. Problémy s aplikovatelností výsledků týkající se nezkušenosti výzkumné sféry s orientací na uplatnitelnost výsledků (tato úskalí jsou popisována v EO 2.7 a 4.14) a možnostmi jejich využití stejně jako řada směrů jejich použitelnosti vyplynuly z rozhovorů s řešiteli projektů i zaměstnanci TA ČR. Z CAWI vzešly údaje o způsobech vyhledávání příležitostí pro uplatnění výsledků. Jako nejspolehlivější byl řešiteli projektů vyhodnocen osobní kontakt s potencionálními uživateli výsledků (pro 86 % řešitelů), publikace výsledků ve formě odborných článků či monografií (pro 66 % řešitelů) a uspořádání konference, workshopu nebo výstavy (pro 62 % řešitelů). Z provedené shlukové analýzy na datech řešitelů vyplývá, že zkoumané příležitosti pro uplatnění výsledků lze rozdělit do dvou skupin. První skupinu tvoří publikace výsledku (formou odborných článků či monografie),

uspořádání konference, workshopu nebo výstavy a osobní kontakt s potenciálními uživateli výsledku. Uplatnění výsledků prostřednictvím této skupiny lze považovat za dominantní. Druhou skupinu tvoří sociální sítě (LinkedIn, ResearchGate apod.), články ve všeobecných médiích (např. v denním tisku), založení samostatného webu, popř. jiné další příležitosti. Tato skupina představuje minoritní způsoby uplatnění výsledků. Souhrnné údaje o vyhledávání příležitostí obsahující též statistiky za další účastníky a aplikační partnery prezentuje následující Graf 29.

Graf 29: Jakými způsoby byly vyhledávány příležitosti pro uplatnění výsledku?

sociální sítě (LinkedIn, ResearchGate apod.) 25

jiné 0

články ve všeobecných médiích (např. v denním 26

tisku) 25 38

založení samostatného webu 63

publikace výsledku (formou odborných článků či 66

monografie) 63

uspořádání konference, workshopu nebo výstavy 50

osobní kontakt s potenciálními uživateli

řešitelé 63

další účastníci

100

aplikační partneři

Zdroj: INESAN (2019, N = 58/8/8)

údaje jsou v procentech

Pozn.: schéma (dendrogram) definuje typické skupiny příležitostí pro uplatnění výsledků; tyto skupiny jsou vytvořeny na základě shlukové analýzy, která vychází z podobnosti využití jednotlivých příležitostí využití výsledků; vodorovné vzdálenosti v dendrogramu naznačují míru podobnosti využití jednotlivých způsobů uplatnění výsledků; čím je tato vzdálenost kratší, tím je podobnost vyšší; shluková analýza se vztahuje jen k řešitelům

Z rozhovorů se členy rad pro komercializaci českých univerzit byl patrný rozpor spojený s vnímáním společenskovědního výzkumu jako takového. Zatímco humanitně a společenskovědně zaměření členové rad hovořili o nevyužitém potenciálu oboru, technicky zaměření členové byli vůči humanitním a společenským vědám skeptičtí, leč konstruktivní, viz například: „Komercializace ve společenských vědách je podle mne trošičku komplikovaná, protože ty společenské vědy se dají komercializovat relativně těžko. (…) potenciál tam rozhodně je, ale nemyslím si, že vznik nějakých komerčních materiálů by v tomhle případě měl být ten hlavní cíl programu. Měla by to být spíše služba státu při řešení nějakých problémů“ (Respondent – CS 9). V obou skupinách je patrná shoda nad optimálním projektovým výsledkem pro komercializaci, kterým je software. K softwaru jako komerčně využitelnému výsledku SVV se stavějí pozitivně i spoluřešitelé.

EO 3.10: Do jaké míry odpovídají dosažené výstupy ukončených projektů stanoveným specifickým cílům programu?

Prostřednictvím metody desk research byly nejprve identifikovány specifické cíle programu a jeho celkové dosažené výstupy. Následně byla vyhodnocena relevance stanovených cílů a teoretická možnost jejich naplnění, dále došlo ke komparaci této teoretické saturace s reálným naplněním konkrétních cílů programu. Vzhledem k zjištěním plynoucím z desk research byly nalezené informace vyhodnoceny jako adekvátní pro zodpovězení této evaluační otázky.

Příprava odpovědi na tuto evaluační otázku se opírá o vyhodnocovací postup, který je založen a vychází přímo z cílů definovaných v rámci posuzovaného programu. V tomto ohledu jsou tedy původní deklarované cíle programu použity jako základ, vůči kterému jsou porovnávány skutečně dosažené výsledky programu. Využití tohoto postupu umožňuje získat podklady přímo využitelné pro identifikaci výstupů, které odpovídají stanoveným specifickým cílům programu. Navíc lze takto identifikovat a sumarizovat i výstupy, kterých bylo dosaženo nad (resp. mimo) rámec původně vytyčených cílů.

Použité metody

Goal-based evaluation

Zdroje dat

Desk research

SHRNUTÍ VÝSLEDKU

Ze stanovení specifických cílů k podpořeným projektům plyne zjištění, že některé cíle byly v rámci podpořených projektů řešeny ve významně větší míře než jiné. Šlo zejména o specifický cíl 1 (63 projektů) a cíl 4 (48 projektů). Provedená analýza směřování stanovených témat k těmto cílům zároveň svědčí o skutečnosti, že cíle nemohly být za nastavených podmínek naplňovány rovnoměrně. Například k saturaci specifických cílů 5 a 2 směřovalo pouze 4 % potažmo 5 % témat.

ŘEŠENÍ EO

Základním východiskem k zodpovězení této evaluační otázky je zhodnocení koherence tematického nastavení programu s jeho specifickými cíli, a tedy vyhodnocení, nakolik mohlo k dosažení jednotlivých cílů dojít v teoretické rovině. Následně lze hodnotit reálnou míru naplnění těchto cílů prostřednictvím realizace konkrétních projektů a identifikovat důvody nedostatečné saturace některých ze stanovených specifických cílů.

Ačkoliv primárním cílem evaluace je vyhodnotit program OMEGA jako celek, po stránce tematického směřování dílčích veřejných soutěží vzhledem ke specifickým cílům programu jsou mezi jednotlivými soutěžemi patrné rozdíly. Jednou z těchto diferencí je proporční nerovnováha mezi spektrem

saturovaných cílů. V první veřejné soutěži nebyla žádnému ze SC věnována významně větší pozornost než ostatním a všechny s výjimkou SC 4 byly plně zohledňovány alespoň jedním tematickým okruhem. Ve druhé veřejné soutěži nebyl jeden ze specifických cílů (SC 5) tematicky zahrnut vůbec a další (SC 6) byl reflektován pouze okrajově. Obdobné rozdíly se nacházely v tematickém nastavení třetí veřejné soutěže, v níž k naplnění SC 2 směřovaly pouze dva z celkem 42 definovaných cílů VaVaI a SC 5 byl plně zohledňován jedním cílem VaVaI a dvěma částečně, zatímco například SC 3 v plné nebo částečné míře procházel hned 13 cíli VaVaI a SC 4 v součtu 11 cíli VaVaI.

V kontextu „částečné“ reflexe definované v Příloze 6 této Zprávy je nezbytné zdůraznit, že v případě možného dosažení některých specifických cílů souvisí spojitost s přístupem řešitelů konkrétních projektů a potenciálu naplnění daného cíle. V tomto ohledu tedy platí, že kvantifikace saturace SC má orientační charakter (viz Graf 30). Pro tento Graf 30 byla plné reflexi vybraného SC prostřednictvím tematického či oblasti přiřazena hodnota 1 a částečné reflexi byla přiřazena hodnota 0,5. Výsledkem je rozptyl výsledků, kdy nejnižšího souhrnného naplnění dosahují specifické cíle 5 (hodnota 4), 2 (hodnota 5) a 6 (hodnota

5,5) a nejvyššího potom specifické cíle 3 (hodnota 17), 7 (hodnota 15,5) a 8 (hodnota 13,5).

Graf 30: Teoretická saturace specifických cílů programu

12%

11%

15%

17%

12%

Specifický cíl 1

Specifický cíl 2

Specifický cíl 3

18%

Specifický cíl 5

Specifický cíl 6

Specifický cíl 7

Specifický cíl 8

Specifický cíl 9

Zdroj: TA ČR

Pozn.: Specifický cíl 1: vytvořit a zavést nové postupy pro zefektivnění využitelnosti stávajících veřejných politik na centrální, krajské i místní úrovni: připravit a zajistit nové postupy pro zavedení a uplatňování nových veřejných politik v ČR, v kontextu realizace společných politik EU Specifický cíl 2: vytvořit a zavést nové postupy pro prosazení a uskutečňování českých veřejných zájmů

Specifický cíl 3: připravit a zavést nové postupy pro cílený rozvoj ČR a jejich regionů, pro posílení její pozice v EU v rámci probíhajícího evropského integračního procesu

Specifický cíl 4: vypracovat a zavést nové postupy a metody pro analýzu a vyhodnocení sociálních, ekonomických problémů a jejich dopadů

na udržitelný rozvoj společnosti, dopadů sociálně-ekonomického rozvoje společnosti na životní prostředí

Specifický cíl 5: vytvořit a zavést nové postupy, vyvinout nové metody a systémy pro hodnocení dopadů státních zásahů na hospodářský

a společenský vývoj

Specifický cíl 6: vyvinout nové postupy a systémy pro predikci ekonomického vývoje a zvýšení konkurenceschopnosti ekonomiky ČR v rámci globalizovaného prostředí, pro sledování a analýzu dopadů regulace bankovních a finančních trhů v ČR

Specifický cíl 7: připravit a zavést nové postupy a metody pro omezení negativních dopadů probíhajících sociálně stratifikačních procesů v české společnosti a pro zmírnění vznikajících sociálních nerovností

Specifický cíl 8: vypracovat a zavést nové postupy a metody pro omezení negativních dopadů demografického vývoje v ČR

Specifický cíl 9: vytvořit a zavést nové postupy, metody a systémy pro rozvoj lidského kapitálu a pro zefektivnění stávajícího systému vzdělávání

v ČR

V tematickém směřování všech tří veřejných soutěží programu OMEGA je zároveň možné pozorovat určitá témata, která nemohla vést k naplnění některého ze specifických cílů. V 1. veřejné soutěži nedošlo

k vytvoření souvztažnosti s některým ze SC v případě tematického okruhu 12 – Energetická politika v ČR a v mezinárodním kontextu a ve 2. veřejné soutěži se se specifickými cíli programu zcela míjela oblast 3 – Kultura, hodnoty, identita a tradice s prioritní oblastí 4 – Sociální a kulturní výzvy vznikajících NPOV. Ve 3. veřejné soutěži byl rozkol programových témat a specifických cílů nejvyšší. Na kterýkoliv ze specifických cílů nemohlo dosáhnout 11 ze 42 definovaných cílů VaVaI, dalších devět cílů VaVaI se některého ze SC programu dotýkalo pouze částečně. Na některý ze specifických cílů programu tak bylo ve třetí veřejné soutěži zaměřeno 52 % nabízených cílů VaVaI.

Právě třetí veřejnou soutěž programu OMEGA lze označit za nejvíce specifickou, a to hned z několika důvodů. Předně již postupovala v souladu s NPOV, konkrétně se 42 cíli VaVaI, které pro její realizaci byly zvoleny. Dále reagovala na Průběžnou evaluační zprávu programu OMEGA a z ní vzešlá doporučení směřující mj. k větší míře naplňování národních potřeb a s ní spojeným směřováním k větší provázanosti společenskovědního výzkumu s dalšími obory symbolizovanými právě množstvím a rozsahem vybraných cílů VaVaI z NPOV. Výsledkem těchto úprav, jimiž programové nastavení programu OMEGA pro 3. veřejnou soutěž prošlo, byl kromě jiného právě odklon od specifických cílů programu, který byl největší ze všech tří soutěží. Vzhledem ke společenskovědní povaze programu OMEGA byl naopak největší soulad s jejími specifickými cíli patrný ve druhé veřejné soutěži hlásící se k sociálním a kulturním výzvám NPOV.

Komparativní část

Srovnání teoretického nasycení specifických cílů programu OMEGA a jejich praktického naplnění ze strany vybraných projektů potvrzují rozhovory uskutečněné se zaměstnanci TA ČR o absenci konkrétních programových cílů a programového směřování celkově. Rovněž lze nalézt shodné aspekty s tematickou nevyvážeností napříč řešenými cíli VaVaI, kdy určité cíle včetně nejčastěji zastoupeného cíle 4.2.2.1 Funkční a efektivní veřejné politiky a správa byly řešeny ve větší míře, zatímco mnoha jinými se výzkumníci zabývali pouze sporadicky či vůbec.

Po stránce podaných i podpořených projektů ostatní specifické cíle nejvíce převyšovaly SC 1 a SC 4, do nichž bylo podáno 209, respektive 139 projektů a podpořeno 63, respektive 48 projektů. Na opačné straně spektra stály SC 6 a SC 8, k nimž se hlásilo 21, respektive 31 projektů a přijato bylo 5, respektive 9 projektů. Příslušnost přihlášených a přijatých projektů ke specifickým cílům a teoretickou saturaci těchto cílů prostřednictvím zvolených témat shrnuje následující Tabulka 26:

Tabulka 26: Přihlášené a přijaté projekty v rámci specifických cílů

Specifický cíl	Přihlášené projekty	Přijaté projekty	Teoretická saturace
SC 1 (Vytvořit a zavést nové postupy pro zefektivnění využitelnosti stávajících veřejných politik na centrální, krajské i místní úrovni: připravit a zajistit nové postupy pro zavedení a uplatňování nových veřejných politik v ČR, v kontextu realizace společných politik EU.)	209	63	10,5
SC 2 (Vytvořit a zavést nové postupy pro prosazení a uskutečňování českých veřejných zájmů.)	40	11	5
SC 3 (Připravit a zavést nové postupy pro cílený rozvoj ČR a jejich regionů, pro posílení její pozice v EU v rámci probíhajícího evropského integračního procesu.)	59	12	17
SC 4 (Vypracovat a zavést nové postupy a metody pro analýzu a vyhodnocení sociálních, ekonomických problémů a jejich dopadů na udržitelný rozvoj společnosti, dopadů sociálně-ekonomického rozvoje společnosti na životní prostředí.)	139	48	11
SC 5 (Vytvořit a zavést nové postupy, vyvinout nové metody a systémy pro hodnocení dopadů státních zásahů na hospodářský a společenský vývoj.)	35	15	4
SC 6 (Vyvinout nové postupy a systémy pro predikci ekonomického vývoje a zvýšení konkurenceschopnosti ekonomiky ČR v rámci globalizovaného prostředí, pro sledování a analýzu dopadů regulace bankovních a finančních trhů v ČR.)	21	5	5,5
SC 7 (Připravit a zavést nové postupy a metody pro omezení negativních dopadů probíhajících sociálně stratifikačních procesů v české společnosti a pro zmírnění vznikajících sociálních nerovností.	38	14	15,5
SC 8 (Vypracovat a zavést nové postupy a metody pro omezení negativních dopadů demografického vývoje v ČR.)	31	9	13,5
SC 9 (Vytvořit a zavést nové postupy, metody a systémy pro rozvoj lidského kapitálu a pro zefektivnění stávajícího systému vzdělávání v ČR.)	78	17	11,5

Zdroj: TA ČR

V souvislosti s výše uvedenou tabulkou (Tabulka 26) a naplňováním specifických cílů je nezbytné uvést, že nelze vyhodnotit míru dosažení absorpční kapacity specifických cílů, ale pouze poměrnost jejich naplňování. Z této perspektivy je zřejmé, že potenciálně nejpřínosnější SC 3, 7 a 8 nebyly v porovnání se SC 1 a 4 naplňovány v dostatečné míře. Kromě nejčastěji reflektovaných specifických cílů byl pak naplněn také potenciál SC 5, jenž dosahoval hodnoty teoretické saturace 4, ale přijato do něj bylo 15 projektů. Zcela stranou zájmu jak programového nastavení, tak řešitelů zůstal specifický cíl 6, k němuž se hlásilo 5 přijatých projektů. Z hlediska možného ovlivnění naplňování specifických cílů ze strany hodnotitelů vyplývá nízké zaměření na SC 3 a 9 a naopak vysoký počet projektů hlásících se k SC 2.

EO 3.11: Do jaké míry dosažené výstupy a výsledky podpořených projektů odpovídají či neodpovídají vynaloženým zdrojům?

Zpracování evaluační otázky bylo založeno zejména na desk research, tedy na stávajících datech. Tyto informace byly souhrnně zpracovány do datového souboru vhodného pro další činnost. Na základě takto připravených dat byla provedena analýza value for money. Výsledné hodnoty, ale i vybrané dílčí ukazatele za jednotlivé příjemce a druhy výsledků byly porovnávány a podrobně analyzovány.

V rámci analýzy nákladové efektivity zaměřené na jednotlivé projekty podpořené z programu OMEGA byla použita metoda value for money, podle které byly vyhodnocovány přínosy (resp. hodnota), jež byla v rámci jednotlivých projektů vytvořena na základě daného rozpočtu. Jak je patrné z konkrétních výsledků, optimální způsob aplikace tohoto přístupu naráží na nedostatečně konkrétní data týkající se struktury rozpočtů jednotlivých projektů. Navzdory tomuto omezení se alespoň na základě části případů podařilo uskutečnit požadované výpočty. Finanční ukazatele byly dále podrobeny standardním statistickým analýzám (třídění druhého stupně, ANOVA apod.).

Použité metody Value for money Zdroje dat

Desk research

SHRNUTÍ VÝSLEDKU

Mezi stěžejní zjištění analýzy finanční efektivity patří skutečnost, že řešené projekty s délkou trvání stanovenou na maximální možnou hodnotu 24 měsíců byly podpořeny významně vyššími částkami než projekty trvající kratší dobu. Jedním z dílčích zjištění byla rovněž nutnost vyšší míry kofinancování projektů ze strany primárně komerčních subjektů, než v jaké musely své projekty kofinancovat vysoké školy a výzkumné organizace.

ŘEŠENÍ EO

V rámci Programu OMEGA bylo investováno do podpořených projektů celkem 368 mil. Kč finančních prostředků ze státního rozpočtu a 102 mil. Kč z řad účastníků jednotlivých projektů. Celkové skutečné výdaje na program tak dosáhly výše 470 mil. Kč. Průměrná intenzita podpory činí 78 %. Následující analýza je zaměřena na identifikaci a vyčíslení konkrétních finančních ukazatelů vztahujících se k plánovaným a dosaženým výsledkům. Konkrétně se jedná např. o výši podpory ze státního rozpočtu a výši vlastních finančních zdrojů účastníků připadající na jeden plánovaný/dosažený výsledek. Efektivita vynaložených finančních prostředků na plánované či dosažené výsledky je zkoumána dále na základě srovnání jednotlivých projektů z hlediska délky trvání, veřejné soutěže, typu subjektu či z hlediska regionálního.

Před samotným vyčíslením ceny dosažených výsledků je pozornost zaměřená na analýzu celkových investovaných finančních prostředků (podpory i vlastních zdrojů účastníků) z hlediska vybraných charakteristik. Data byla získána analýzou sekundárních dat od poskytovatele (TA ČR). Jak je patrné z následujícího Graf 31, celkové finanční prostředky na jeden projekt činí v průměru 2 421 719 Kč, průměrná výše podpory na jeden projekt dosahuje 1 894 669 Kč a průměrná výše vlastních zdrojů činí 527 050 Kč.

Graf 31: Celkové finanční prostředky / podpora / vlastní zdroje připadající na jeden projekt podpořený

v rámci programu OMEGA

Kč

3 000 000

2 964 000

Medián Průměr

3 000 000

2 500 000

2 000 000

1 500 000

440 134

1 949 500

421 719

2 363 806

1 9

1 8

1 466 750

19 500

94 669

1 376 000

1 000 000

500 000

455 000

364 000

603 250

399 750

91 000

533 400

527 050

celkové finanční prostředky podpora vlastní zdroje

Zdroj: INESAN (2019, N = 194/194/194)

Pozn.: hodnoty v grafu jsou zobrazeny v pořadí minimum – dolní kvartil – průměr – medián – horní kvartil – maximum; celkové finanční prostředky tvoří podpora a vlastní zdroje

Podrobnější pohled na financování projektů v rámci programu OMEGA přináší analýza podle vybraných charakteristik, kterými jsou délka trvání projektu, typ subjektu (řešitele), region (sídlo subjektu) a veřejná soutěž programu OMEGA. Provedené statistické testy (ANOVA) poukázaly na významnost rozdílů ve financování projektů z hlediska délky jejich trvání. Jak průměrná výše podpory, tak výše vlastních zdrojů (a zároveň celkových finančních prostředků) je významně vyšší u dvouletých projektů ve srovnání s těmi, které trvaly méně než 2 roky.

Tabulka 27: Celkové finanční prostředky / podpora / vlastní zdroje připadající na jeden projekt

podpořený v rámci programu OMEGA (podle délky trvání projektu)

Délka trvání projektu
	méně než 2 roky	2 roky
celkové finanční prostředky	1 641 656 Kč	2 526 640 Kč
podpora	1 256 607 Kč	1 980 490 Kč
vlastní zdroje	385 049 Kč	546 150 Kč

Zdroj: INESAN (2019, N = 194)

Pozn.: p = 0,000/0,000/0,000 (k ověření významnosti diferencí byl použit ANOVA test)

Diference lze nalézt také u různých typů subjektů. Konkrétně platí, že zatímco VŠ / výzkumné organizace vykazují vyšší průměrnou výši podpory, ostatní subjekty (zejména komerční) vykazují naopak vyšší průměrnou hodnotu vlastních zdrojů. Statistické testy však prokázaly významnost diferencí jen v případě vlastních zdrojů.

Tabulka 28: Celkové finanční prostředky / podpora / vlastní zdroje připadající na jeden projekt

podpořený v rámci programu OMEGA (podle typu subjektu)

	Typ subjekt
	VŠ / výzkumná organizace	ostatní organizace
celkové finanční prostředky	2 415 807 Kč	2 470 424 Kč
podpora	1 910 277 Kč	1 766 091 Kč
vlastní zdroje	505 530 Kč	704 333 Kč

Zdroj: INESAN (2019, N = 194)

Pozn.: p = 0,765/0,325/0,000 (k ověření významnosti diferencí byl použit ANOVA test)

Testovány byly dále diference ve financování projektů z hlediska regionu, tj. místa sídla účastníků (konkrétně byly testovány diference mezi hl. m. Prahou a souhrnně ostatními kraji) a z hlediska jednotlivých veřejných soutěží programu OMEGA. Jak je však patrno z následujících tabulek (Tabulka 29 a Tabulka 30), v těchto případech se nejedná o statisticky významné diference.

Tabulka 29: Celkové finanční prostředky / podpora / vlastní zdroje připadající na jeden projekt

podpořený v rámci programu OMEGA (podle regionu)

	Region
	hl. m. Praha	ostatní kraje
celkové finanční prostředky	2 408 143 Kč	2 452 590 Kč
podpora	1 882 749 Kč	1 920 737 Kč
vlastní zdroje	525 394 Kč	531 852 Kč

Zdroj: INESAN (2019, N = 194)

Pozn.: p = 0,711/0,693/0,832 (k ověření významnosti diferencí byl použit ANOVA test)

Tabulka 30: Celkové finanční prostředky / podpora / vlastní zdroje připadající na jeden projekt

podpořený v rámci programu OMEGA (podle veřejné soutěže)

	Veřejná soutěž
	1. VS	2. VS	3. VS
celkové finanční prostředky	2 338 413 Kč	2 366 111 Kč	2 546 143 Kč
podpora	1 818 522 Kč	1 845 074 Kč	2 006 908 Kč
vlastní zdroje	519 891 Kč	521 037 Kč	539 235 Kč

Zdroj: INESAN (2019, N = 194)

Pozn.: p = 0,276/0,194/0,828 (k ověření významnosti diferencí byl použit ANOVA test)

Na základě analýzy výše finančních prostředků připadajících na jeden projekt podpořený v programu OMEGA byla pozornost věnována identifikaci konkrétní „ceny“ plánovaných výsledků, a to z pohledu jak poskytnuté podpory, vlastních zdrojů, tak celkových dostupných finančních prostředků. Výpočet

„ceny“ výsledku je založen jen na těch projektech, u kterých bylo možno identifikovat cenu konkrétního

druhu plánovaného výsledku, tzn. u projektů s jedním plánovaným výsledkem, popř. u projektů s více plánovanými výsledky stejného druhu (37 projektů). Jak vyplývá z následujícího Graf 32, bylo na jeden plánovaný výsledek vynaloženo v průměru 2 514 111 Kč (dle celkových finančních prostředků projektu). Při bližším pohledu je patrné, že dosažení jednoho plánovaného výsledku vyžadovalo podporu ze státního rozpočtu v průměrné výši 2 000 457 Kč; průměrná částka vlastních zdrojů činí přitom 513 654 Kč.

Graf 32: Celkové finanční prostředky / podpora / vlastní zdroje připadající na jeden plánovaný výsledek v programu OMEGA

Kč

4 000 000

3 849 000

Medián Průměr

3 500 000

3 000 000

2 500 000

2 000 000

1 500 000

1 000 000

500 000

417 000

802 000

3 356 000

1 750 000

514 111

3 000 000

2 679 000

2 2

2 0

1 393 500

40 000

00 457

877 000

673 500

396 500

562 000

513 654

0 333 000 84 000

celkové finanční prostředky podpora vlastní zdroje

Zdroj: INESAN (2019, N = 37/37/37)

Pozn.: hodnoty v grafu jsou zobrazeny v pořadí minimum – dolní kvartil – průměr – medián – horní kvartil – maximum

Pozn.: výpočet je založen na projektech, u kterých bylo možno identifikovat cenu konkrétního druhu plánovaného výsledku, tzn. u projektů

s jedním plánovaným výsledkem, popř. u projektů s více plánovanými výsledky stejného druhu

Podobně jako v případě analýzy výše prostředků připadajících na jeden projekt, byla i zde provedena podrobnější analýza podle relevantních charakteristik, kterými jsou délka trvání projektu, typ subjektu (řešitele), region (sídlo subjektu) a veřejná soutěž programu OMEGA. Provedené statistické testy (ANOVA) poukázaly na významnost rozdílů ve financování projektů z hlediska délky jejich trvání (na hladině významnosti p = 0,10). Konkrétně bylo zjištěno, že průměrná cena jednoho plánovaného výsledku, a to jak z pohledu podpory, tak vlastních zdrojů (a zároveň celkových finančních prostředků) je významně vyšší u dvouletých projektů ve srovnání s těmi, které trvaly méně než 2 roky.

Tabulka 31: Celkové finanční prostředky / podpora / vlastní zdroje připadající na jeden plánovaný výsledek v programu OMEGA (podle délky trvání projektu)

Délka trvání projektu
	méně než 2 roky	2 roky
celkové finanční prostředky	1 631 000 Kč	2 621 154 Kč
podpora	1 304 250 Kč	2 084 845 Kč
vlastní zdroje	326 750 Kč	536 309 Kč

Zdroj: INESAN (2019, N = 37)

Pozn.: p = 0,060/0,066/0,046 (k ověření významnosti diferencí byl použit ANOVA test)

Pozn.: výpočet je založen na projektech, u kterých bylo možno identifikovat cenu konkrétního druhu plánovaného výsledku, tzn. u projektů

s jedním plánovaným výsledkem, popř. u projektů s více plánovanými výsledky stejného druhu

Z pohledu typu subjektu se cena plánovaného výsledku diferencuje především u vynaložených vlastních zdrojů. Zatímco ostatní organizace (zejména z komerční sféry) vynaložily na jeden plánovaný výsledek 645 983 Kč z vlastních zdrojů, v případě VŠ / výzkumných organizací to bylo jen 501 978 Kč. Provedený test však nepotvrdil statistickou významnost daného rozdílu.

Tabulka 32: Celkové finanční prostředky / podpora / vlastní zdroje připadající na jeden plánovaný výsledek v programu OMEGA (podle typu subjektu)

	Typ subjekt
	VŠ/výzkumná organizace	ostatní organizace
celkové finanční prostředky	2 503 326 Kč	2 636 333 Kč
podpora	2 001 648 Kč	1 990 350 Kč
vlastní zdroje	501 978 Kč	645 983 Kč

Zdroj: INESAN (2019, N = 37)

Pozn.: p = 0,829/0,982/0,237 (k ověření významnosti diferencí byl použit ANOVA test)

Pozn.: výpočet je založen na projektech, u kterých bylo možno identifikovat cenu konkrétního druhu plánovaného výsledku, tzn. u projektů

s jedním plánovaným výsledkem, popř. u projektů s více plánovanými výsledky stejného druhu

Z pohledu regionu (resp. místa sídla řešitele) je patrné, že řešitelé z hl. m. Prahy dosáhli plánovaného výsledku s vynaložením vyšších finančních prostředků (viz následující Tabulka 33). Provedené testy však opět nepotvrdily statistickou významnost jednotlivých diferencí.

Tabulka 33: Celkové finanční prostředky / podpora / vlastní zdroje připadající na jeden plánovaný výsledek v programu OMEGA (podle regionu)

	Region
	hl. m. Praha	ostatní kraje
celkové finanční prostředky	2 593 050 Kč	2 268 522 Kč
podpora	2 064 212 Kč	1 802 107 Kč
vlastní zdroje	528 838 Kč	466 416 Kč

Zdroj: INESAN (2019, N = 37)

Pozn.: p = 0,404/0,403/0,423 (k ověření významnosti diferencí byl použit ANOVA test)

Pozn.: výpočet je založen na projektech, u kterých bylo možno identifikovat cenu konkrétního druhu plánovaného výsledku, tzn. u projektů

s jedním plánovaným výsledkem, popř. u projektů s více plánovanými výsledky stejného druhu

Statisticky významné diference nebyly potvrzeny ani v případě diferencí nákladů na jeden plánovaný výsledek z hlediska veřejné soutěže v rámci programu OMEGA, přestože se na první pohled jeví

„nejdražší“ plánované výsledky v rámci první veřejné soutěže a „nejlevnější“ v rámci třetí soutěže.

Tabulka 34: Celkové finanční prostředky / podpora / vlastní zdroje připadající na jeden plánovaný výsledek v programu OMEGA (podle veřejné soutěže)

	Veřejná soutěž
	1. VS	2. VS	3. VS
celkové finanční prostředky	2 689 250 Kč	2 579 406 Kč	2 164 510 Kč
podpora	2 141 583 Kč	2 061 375 Kč	1 703 988 Kč
vlastní zdroje	547 667 Kč	518 031 Kč	460 522 Kč

Zdroj: INESAN (2019, N = 37)

Pozn.: p = 0,476/0,444/0,623 (k ověření významnosti diferencí byl použit ANOVA test)

Pozn.: výpočet je založen na projektech, u kterých bylo možno identifikovat cenu konkrétního druhu plánovaného výsledku, tzn. u projektů

s jedním plánovaným výsledkem, popř. u projektů s více plánovanými výsledky stejného druhu

Na základě srovnání vynaložených nákladů v rámci jednotlivých výsledků projektů byla dále z dostupných dat zjišťována „finanční hodnota“ jednotlivých druhů výsledků.20 Konkrétní výši nákladů se podařilo identifikovat u celkem 6 druhů výsledků. Konkrétně se jedná o výsledek druhu B (odborná kniha

– 2 výsledky), D (článek ve sborníku – 1 výsledek), Hneleg (výsledky promítnuté do právních předpisů a norem / směrnic a předpisů nelegislativní povahy – 1 výsledek), Nmet/Nmap (konkrétně certifikované metodiky a specializované mapy s odborným obsahem – 25 výsledků), R (software – 7 výsledků) a V (výzkumná zpráva – 2 výsledky). Jak je patrné z následujícího Graf 33, nejnákladnější bylo dosažení plánovaného výsledku druhu H (celkové náklady na jeden tento výsledek činí 3 749 000 Kč). Další v pořadí je výsledek druhu B s průměrnými celkovými náklady ve výši 3,03 mil. K; dále výsledky D a N s celkovými průměrnými náklady shodně 2,55 mil. Kč. Průměrná cena softwaru (výsledek druhu R) činila 2,08 mil. Kč a z vybraných výsledků je nejlevnější výzkumná zpráva s utajovaným obsahem (výsledek druhu V), jejíž dosažení stálo v průměru 417 tis. Kč.

Graf 33: Průměrná výše celkových finančních prostředků / podpory / vlastních zdrojů připadajících

na jeden plánovaný výsledek v programu OMEGA (podle druhu výsledku)

3 749 000

2 998 000

3 033 000

2 552 000

2 546 586

4000000

2 425 000

2 040 000

2 081 600

3500000

2 024 543

1 649 280

3000000

2500000

608 000

512 000

522 044

432 320

417 000

333 000

2000000

751 000

1500000

1000000

500000

H B

84 000

D N R V

celkové finanční prostředky podpora vlastní zdroje

údaje jsou v Kč

Zdroj: INESAN (2019, N = 1/2/1/25/7/2)

Z důvodu nízkého počtu jednotlivých výsledků, u kterých bylo možno identifikovat konkrétní náklady na jejich dosažení, není možno definovat cenové (nákladové) rozpětí výsledků v rámci jednotlivých druhů. Jen pro názornost lze uvést nákladové rozpětí u výsledku druhu N (zahrnuje 25 výsledků) a druhu R (zahrnuje 7 výsledků). Výše podpory se v případě výsledku druhu N pohybuje od 510 000 Kč do 3 000 000 Kč, vlastní zdroje pak od 127 500 Kč do 750 000 Kč a celkové finanční prostředky

od 637 500 Kč do 3 750 000 Kč. V případě výsledku R se výše podpory pohybuje od 368 000 Kč

do 2 972 000 Kč, vlastní zdroje pak od 92 000 Kč do 877 000 Kč a celkové finanční prostředky

od 460 000 Kč do 3 849 000 Kč.

20 Výpočet je založen na projektech, u kterých bylo možno identifikovat cenu konkrétního druhu plánovaného výsledku, tzn. u projektů s jedním plánovaným výsledkem, popř. u projektů s více plánovanými výsledky stejného druhu. Při identifikaci ceny výsledku byly porovnávány plánované výsledky (uvedené v projektové žádosti) se skutečně dosaženými výsledky. Cenu konkrétních druhů výsledků bylo možno identifikovat u celkem 34 ze 194 podpořených projektů.

Odpověď na tuto evaluační otázku byla založena na kombinaci několika výzkumných metod. Největším přínosem EO je konfrontace pohledů různých zainteresovaných stran, mezi něž patřili například uživatelé výsledků, útvary schvalujících certifikované metodiky nebo aplikační partneři. Příprava odpovědi na tuto evaluační otázku byla kromě desk research založena na individuálních hloubkových rozhovorech vedených s níže uvedenými cílovými skupinami (viz Tabulka 35).

Ke zpracování odpovědi na tuto evaluační otázku bylo použito mj. Most Significant Change. V tomto ohledu byly na základě desk research nejprve definovány hlavní oblasti změny týkající se využívání výsledků druhu N a rovněž byl upřesněn časový rámec, v němž jsou jednotlivé změny sledovány; z tohoto hlediska je časové hledisko zásadní, neboť umožňuje rozlišit jednotlivé etapy procesu implementace (resp. naplňování implementačních plánů). Rovněž byly prostřednictvím desk research a individuálních hloubkových rozhovorů zjištěny typické vzorce změn dokumentující přístup jednotlivých zainteresovaných stran k používání výsledků druhu N. Následně byly jednotlivé příběhy zakomponovány do prováděných hloubkových rozhovorů a byla sledována jejich reflexe z pohledu významných aktérů. Závěrem byla na základě jednotlivých záznamů dokumentována povaha významných změn, které výsledky druhu N vnesly do rozhodovací činnosti jejich uživatelů. Metoda nejvýznamnější změny byla aplikována spolu s technikou mapování transferu technologií, kdy s využitím sekundárních dat (údaje v implementačních plánech, záznamy v databázi RIV apod.) byly sledovány způsoby utilizace výsledků druhu N.

Použité metody

Most significant change, mapování transferu technologií

Zdroje dat

Desk research, IHI

Tabulka 35: Struktura rozhovorů pro EO 3.12

Cílová skupina	Počet rozhovorů
3 – Řešitelé	16
6 – Aplikační partneři	9
7 – Útvary schvalujících certifikované metodiky	4
8 – Uživatelé výsledků	21
10 – Členové RVVI	2
11 – Pracovníci TA ČR	4

SHRNUTÍ VÝSLEDKU

V programu OMEGA lze vyhodnotit poptávku aplikačních partnerů. V tomto ohledu je možné tvrdit, že poptávka byla záležitostí konkrétního oboru či instituce. Za jedno ze zásadních zjištění lze považovat poznatek, že vzhledem k nízké škále možných druhů uznatelných výsledků byly jako certifikované metodiky předkládány i takové projektové výsledky, které svým obsahem nekorespondují s účelem certifikované metodiky. Jako problematický byl při terénních šetřeních vyhodnocen nejednotný přístup útvarů schvalujících certifikované metodiky k metodikám a nejasné podmínky pro úspěšnou certifikaci.

ŘEŠENÍ EO

Základem řešení této evaluační otázky je Tabulka 36, v níž na základě uskutečněných terénních šetření mezi relevantními cílovými skupinami (členové RVVI, zaměstnanci TA ČR, útvary schvalující certifikované metodiky, řešitelé projektů) definujeme klady a zápory projektových výsledků druhu N s fokusem na certifikované metodiky. Tabulka 36 přináší převahu záporných aspektů využití certifikovaných metodik, kompletní korelace uskutečněných šetření nicméně neindikuje ani tak tendenci zcela se odpoutat od projektových výsledků tohoto druhu, jako spíše rozšířit spektrum možných projektových výsledků, k čemuž došlo v programu ÉTA.

Evaluátor rovněž identifikoval řadu zjištění, jejichž zařazení nebylo vhodné do níže uvedené Tabulka 36.

Tyto informace tedy tvoří druhou část odpovědi na stávající evaluační otázku.

Xxxxxxx 00: Hlavní klady a zápory výsledků druhu N, zejména certifikovaných metodik

Klady	Zápory
relativní jednoduchost dosažení výsledku21	nízká využitelnost (potenciál) metodik v některých oborech
Vytvořené metodiky jsou zpravidla dostupné veřejně a zdarma.	Nedostatečná odbornost zaměstnanců státní a veřejné zprávy, zejména na jednotlivých resortech, aby bylo možné uplatnit případné výstupy projektů.
Pro některé resorty jsou certifikované metodiky jistým výstupem, s nímž umějí pracovat a na nějž jsou „zvyklé“.	Na některých resortech může být potíž s posouzením vhodnosti a kvality metodik.
Volnost témat a oblastí, pro něž mohou být metodiky zpracovávány.	V metodikách chybí zpracování ekonomických kritérií, zejména finančních dopadů.
Některé resorty si samy definují, pro jaké oblasti chtějí zpracovat certifikované metodiky.	komplikující rozdělení metodik platné od roku 2018
využitelnost v zemědělství či životním prostředí	nedostatečná propagace metodik
	závaznost využití metodiky prostřednictvím útvaru schvalujícího certifikované metodiky
	možný nezájem vybraného relevantního resortu o výzkumné téma z vnitropolitických důvodů
	Aktuálně nelze garantovat životnost metodiky, může tedy skončit „v šuplíku“.
	nižší využitelnost ve společenskovědním výzkumu
	obtížné sledování reálného přínosu
	Přílišná specifičnost některých metodik – nelze je aplikovat univerzálně.

Zdroj: INESAN

21 Relativní jednoduchost souvisí ponejvíce s odpovědí na EO 2.7. Zatímco dosažení některých výsledků (např. výsledků typu H) bylo hodnoceno jako velmi obtížné, metodiky byly pro výzkumné organizace „schůdným“ řešením. Tuto relativní jednoduchost je zároveň nezbytné vnímat výhradně v kontextu programu OMEGA, kde bylo spektrum možných výsledků projektů značně limitováno.

Klíčová zjištění

Z rozhovorů vyplynulo pozitivní vnímání proměny aplikační instituce z původních aplikačních partnerů vnímaných vzhledem k nutnosti aplikovat výsledek projektu spíše nezávazně na aplikační garanty, které řešitelé například v programu ÉTA začali vnímat jako určitou jistotu pro své projekty.

Z hlediska vnímání významu certifikovaných metodik je možné pozorovat dva stěžejní a názorové proudy. Na jedné straně lze pozorovat kladné reakce a argumenty podporující tento druh výsledku, na straně druhé však znějí argumenty směřující proti podobě a významu certifikovaných metodik. Tento názorový nesoulad lze dokument například porovnáním rozhovorů se zaměstnanci TA ČR a zástupci certifikačních oddělení dotazovaných resortů. Pracovníci TA ČR v této souvislosti poukazovali na obtížnost procesu schvalování certifikovaných metodik kvůli personálním změnám na resortech, nedostatečnému akcentu na význam metodik a jejich neadekvátní nastavení procesu schvalování certifikovaných metodik. Naproti tomu pracovníci útvarů schvalujících certifikované metodiky v rámci některých resortů hovořili

o certifikovaných metodikách jako o vítaném a hojně využívaném druhu projektového výsledku; ujišťovali rovněž o dodržování interních předpisů ministerstva a poukazovali na užitečnost metodik zejména pro nové zaměstnance.

Nejednotnost nad otázkou certifikovaných metodik napříč dílčími resorty je ovšem patrná i z dalších rozhovorů. Zatímco ve zdravotnictví jde o problematický výstup především z důvodu lékařské etiky a klinického testování (jde o proces, který může trvat řadu let), například pro Ministerstvo zemědělství ČR (dále v textu jako MZe) představují certifikované metodiky standardní výstup, kterých resort schvaluje přibližně 200 ročně. Obdobně běžným výstupem jsou pro MZe specializované mapy s odborným obsahem. Za problém českého prostředí výzkumu a vývoje je považován pasivní postoj Ministerstva školství, mládeže a tělovýchovy ČR (dále v textu jako MŠMT) ke schvalování certifikovaných metodik. Dalšími resorty, které řešitelé identifikovali jako problematické z hlediska schvalování certifikovaných metodik, bylo Ministerstva dopravy a Ministerstvo životního prostředí.

Dalším úskalím spojeným s programem OMEGA týkajícím se výsledku druhu N, především certifikovaných metodik, byla nutnost jejich tvorby coby projektového výsledku z důvodu neexistence jiného (vhodnějšího) výsledku, k jehož dosažení by projekty mohly směřovat. Mezi řešiteli panuje názor, že certifikovaná metodika není nejvhodnějším výstupem společenskovědního výzkumu. Za ten byla považována závěrečná zpráva z výzkumu, která však byla dle platné Xxxxxxxx nezařaditelná vzhledem ke svému zaměření a účelu (obvykle jsou v této zprávě prezentovány výsledky z provedených šetření v rámci realizace projektu). Jde tedy o jiný výsledek než o výsledek druhu V či Vsouhrn). Totéž platilo i pro aplikační partnery, kteří nejsou útvary schvalujícími certifikované metodiky.

Náměty ke zkvalitnění práce s metodikami vycházejí již z uskutečněných rozhovorů s řešiteli projektů a členy certifikačních oddělení jednotlivých institucí. Předně je zřejmé, že proces schvalování certifikovaných metodik by zjednodušilo, pokud certifikované metodiky mohl schvalovat větší počet subjektů veřejné správy, neboť praxe v době realizace programu OMEGA byla značně selektivní a limitována možnou nepotřebností metodik ze strany konkrétních resortů. Proces schvalování certifikovaných metodik by zároveň bylo vhodné sjednotit, aby došlo k vyjasnění nároků a lhůt, během

nichž musí v jednotlivých organizacích schvalování proběhnout. Z praxe plyne poučení, že proces tvorby certifikované metodiky jako výsledku realizovaného projektu je vhodné s útvarem schvalujícím certifikované metodiky průběžně konzultovat, aby se realizátorovi projektu dostávalo ujištění, že jeho výzkumná činnost povede k výzkumnému cíli. Z rozhovorů se zástupci jednotlivých oddělení schvalujících certifikované metodiky zároveň vyplynula nezbytná přítomnost uznávaného odborníka v oboru, který se věnuje tématu dané certifikované metodiky.

Evaluátor v souvislosti s implementací certifikovaných metodik identifikoval nedostatek související s evaluačními otázkami 2.7 a 3.9. Ačkoliv existují implementační plány podpořených projektů, po vytvoření výsledku a „odevzdání“ jeho koncovému uživateli, jímž nezřídka bývá právě některé z ministerstev, již neprobíhá další monitoring využití tohoto výstupu (v tomto případě konkrétně certifikované metodiky). Pro realizátory projektů je ovšem v ohledu dalšího monitoringu takřka nemožné ověřit míru využitelnosti jejich výsledku. Podobné ověřování by mělo být primárně v kompetenci příslušného resortu, k čemuž, jak vyplynulo z rozhovorů se zástupci oddělení schvalujících certifikované metodiky v příslušných organizacích, ne vždy dochází. Zatímco od jednoho ze zaměstnanců certifikačního oddělení ministerstva zaznělo následující tvrzení: (Respondent – CS 5): „… nemáme vyloženě zpracované nebo zkontrolované, jestli naše certifikované metodiky ještě někdo používá“, zaměstnanec jiného resortu uvedl, že jediný způsob měření využitelnosti metodik volně přístupných na internetových stránkách ministerstva je prostřednictvím webového počitadla, které zobrazuje počet stažení dané certifikované metodiky, postrádá však další měřitelné indikátory (mj. kdo danou metodikou stáhl a jak ji využil).

EVALUAČNÍ OKRUH 4 – NAPLNĚNÍ TEORIE ZMĚNY PROGRAMU

Při zpracování evaluačního okruhu Naplnění teorie změny programu se evaluátor primárně zabývá vnitřními a vnějšími faktory ovlivňujícími chod programu OMEGA a jeho následný dopad. Řešen je zde rovněž vliv definovaných faktorů na naplnění specifických cílů programu a dále problematika teorie změny programu OMEGA.

EO 4.13: Do jaké míry byla naplněna teorie změny programu OMEGA?

Prověření koherence programu OMEGA s případnou teorií změny bylo pojato jako komplexní proces, pro jehož zpracování byla nezbytná důkladná analýza sekundárních zdrojů pomocí metody desk research, ale též významné zastoupení primární analýzy praktikované a priori prostřednictvím hloubkových rozhovorů. Ty byly vedeny především s cílovými skupinami uvedenými tabulce (Tabulka 37).

Zadání evaluační otázky přímo vybízí k aplikaci přístupu vedeného teorií. Přestože teorie změny nebyla z řady objektivních důvodů formulována v době vzniku programu OMEGA, lze tohoto konceptuálního modelu využít i ex-post. Teorie změny v takovém případě umožňuje vyhodnotit kongruenci programu a posoudit, do jaké míry byly prováděné aktivity adekvátní ve vztahu ke stanoveným specifickým cílům. Konkrétní forma aplikace teorie změny dále umožňuje vyhodnotit provázanost výstupů a výsledků.

Použité metody

Theory-driven evaluation

Zdroje dat

Desk research, IHI

Tabulka 37: Struktura rozhovorů pro EO 4.13

Cílová skupina	Počet rozhovorů
11 – Pracovníci TA ČR	4
10 – Členové RVVI	2

SHRNUTÍ VÝSLEDKU

Z řady důvodů, které již byly v této evaluační zprávě uvedeny, nebyla teorie změny pro tento program sestavena v době jeho přípravy. Podobně jako v případě jiných programů (např. ALFA), pro které nebyla teorie změny zpracována v době jejich vzniku, také v tomto případě byla teorie změny rekonstruována alespoň dodatečně. Skutečnost, že byl daný program implementován bez zpracované teorie změny, neimplikuje jeho kvalitativní insuficienci. Jak se opakovaně v této zprávě uvádí, v době vzniku programu OMEGA nebyla teorie změny běžně používána. Její dodatečné provedení tak má význam zejména pro realizátora závěrečné evaluace, neboť mu umožňuje nahlížet na hodnocený program ve strukturované podobě.

ŘEŠENÍ EO

V rámci této evaluace se podařilo z dostupných dat sestavit model programové intervenční logiky

v následující podobě:

Obrázek 2: Rekonstruovaná intervenční logika programu

Zdroj: INESAN

Z takto konstruované intervenční logiky je patrná její koherence s programovým dokumentem,22 a to primárně s jeho částmi týkajícími se programových výstupů a výsledků. Konkrétním efektem, k němuž výše uvedené grafické znázornění odkazuje, je především aplikovatelnost výsledků společenskovědního výzkumu, jíž bylo prostřednictvím programu OMEGA dosaženo. Ve vztahu k dopadům programu

b) a c) už ke shodě nedochází neboť, jak vyplývá z dalších zjištění této evaluace (viz např. EO 2.4), program OMEGA se obdobně jako ostatní programy v době svého vzniku zaměřovaly na sledování spíše bezprostředních přínosů měřitelných dostupnými indikátory.

Také v případě této evaluační otázky, respektive jednoho z aspektů tvorby programu společenskovědního výzkumu lze hovořit o přenosu zkušeností a jejich využití při tvorbě programu ÉTA. Pro ten byla obsáhlá a detailní teorie změny vytvořena hned v Podkladové studii pro návrh programu z ledna 2016 (viz str. 40 Podkladové studie) a program byl poté úspěšně převeden do praktického užívání.

22 Program na podporu aplikovaného společenskovědního výzkumu a experimentálního vývoje OMEGA – v účinnosti od 17. 10. 2014 (změna

programu ve znění nových pravidel veřejné podpory).

EO 4.14: Které faktory zásadně ovlivnily splnění/nesplnění cílů programu?

Pro vypracování této evaluační otázky byla nejprve řešena otázka cílů programu. V tomto ohledu byl učiněn pokus o využití teorie změny, který byl ovšem limitován totožnými vlivy, jaké vyplývají z předchozí evaluační otázky. V případě této EO jsou nicméně jasně patrné konkrétní faktory, z nichž je možné vyvozovat jednotlivé determinanty ovlivňující celkové vyznění programu. Pro zpracování této evaluační otázky bylo nezbytné využít rovněž metodu historického stopování. Značná část EO byla zodpovězena na základě uskutečněných kvantitativních (CAWI) i kvalitativních (hloubkové rozhovory) šetření. CAWI se v tomto případě týkalo řešitelů, dalších účastníků a neúspěšných žadatelů. Cílové skupiny pro hloubkové rozhovory jsou popsány v tabulce níže (Tabulka 38).

Evaluace vedená teorií (resp. teorie změny programu) poskytuje veškeré potřebné instrumentárium pro adekvátní zodpovězení této evaluační otázky. Přístup vedený teorií poskytuje robustní fundament v podobě modelu změny, hlavních domén změny v podobě rozlišitelných cílů, vstupů (zdrojů), aktivit a efektů. Důležitým benefitem je v tomto ohledu rovněž schopnost tohoto přístupu popsat jednotlivé mechanismy změn a poskytnout tak vysvětlení, jak jsou použité vstupy (zdroje) v procesu implementace programu OMEGA přetavovány na konkrétní výstupy a výsledky. V tomto ohledu je specifická pozornost věnována identifikaci faktorů, které měly zásadní vliv na splnění, resp. nenaplnění cílů, které byly v rámci programu na počátku stanoveny. Použitá procesní a kontextová vysvětlení se ve značné míře opírají

o kvalitativní informace získávané v rámci individuálních hloubkových rozhovorů.

Použité metody

Theory-driven evaluation

Zdroje dat

Desk research, IHI, CAWI

Tabulka 38: Struktura rozhovorů pro EO 4.14

Cílová skupina	Počet rozhovorů
3 – Řešitelé	16
4 – Další účastníci	15
11 – Pracovníci TA ČR	4
10 – Členové RVVI	2

SHRNUTÍ VÝSLEDKU

Odpověď na tuto otázku byla provedena ve třech úrovních – programové, organizační (TA ČR) a sektorové (veřejná správa). Na programové úrovni bylo mj. zjištěno, že zacílení programu bylo velmi široké. Z celkové evaluace vyplývá zvýšený zájem řešitelských týmů o určitá konkrétní témata (primárně cíl VaVaI z NPOV 4.2.1.1.) a specifické cíle (SC 1 a SC). Jiná z nabízených témat (viz EO 1.2) a specifické cíle (viz EO 3.10) se naopak se zájmem ze strany řešitelů nesetkávají. Na úrovni celé organizace (TA ČR) se mezi dotazovanými objevovaly především pochybnosti o kvalitě a přístupu hodnotitelů. Na úrovni

veřejné správy zaznívaly během hloubkových rozhovorů názory na nedostatečnou připravenost některých orgánů veřejné správy adekvátně formulovat rezortní výzkumné potřeby a následně využívat výsledky VaVaI.

ŘEŠENÍ EO

Řešení této evaluační otázky je koherentní se dvěma výše uvedenými evaluačními otázkami. Předně je i zde nezbytné uvést, že je v případě programu OMEGA možné hovořit o reálných, byť původně nezamýšlených, výsledcích programu. Rovněž je nezbytné počítat s pozitivními a negativními faktory implementace programu definovanými v evaluační otázce 2.7, které měly přímý vliv na naplňování programových dopadů. V rámci realizace této evaluace se však podařilo definovat několik faktorů ovlivňujících chod programu a jeho výsledky. Tyto faktory lze rozdělit do tří kategorií, na programové, organizační a sektorové.

Jako programové faktory byly identifikovány tyto:

● Úskalí spojená s nesnadným stanovením cílů, ukotvením programu OMEGA a aplikovatelností jeho výsledků souvisely s průkopnickým charakterem programu.23

● Do programu měla více zasahovat Rada programu, aby se neorientoval pouze na certifikované metodiky.

● Jedním ze zjištění průběžné evaluace programu OMEGA byla nedostatečná vyhodnotitelnost programu založená jen na základě výsledků projektů zapsaných do databáze RIV. Z této perspektivy lze poukázat na absenci adekvátních hodnotících kritérií, které by sloužily k vyhodnocení programových dopadů.

● Problematika výsledků s utajovaným obsahem, které se dle zaměstnance TA ČR vůbec neměly přijímat: „Na výzkumnou zprávu s utajovaným obsahem se velmi těžko shánějí oponenti a zpravodaj, který by ji potom mohl zhodnotit a zároveň měl bezpečnostní prověrku a patřičnou odbornost.“ (Respondent – CS 11)

● Nutnost naplňovat výzkumné potřeby jednotlivých resortů či organizací veřejné správy prostřednictvím výsledků z RIV.

● Závislost programu, potažmo jednotlivých projektů na postoji resortů a dalších institucí veřejné správy k využívání programových výstupů (projektových výsledků).

● Podpora méně ambiciózních projektů, které ovšem vykazují nižší míru rizikovosti. (Respondent

– CS 11): „… Platí, že čím inovativnější nápad máte, tím větší šance je, že nebude podpořen. Podporují

se běžné projekty, protože i ti hodnotitelé jsou běžní lidé.“ Jde však o obecný problém peer-review.

● Jako jeden z možných ovlivňujících faktorů byla evaluátorem idenfitikována potenciální tematická nedostatečnost. Ze šetření CAWI vyplynulo, že mezi řešiteli a dalšími účastníky byla témata vyhodnocena jako vhodně zvolená (92 % řešitelů a 100 % dalších účastníků). Méně pozitivně se k tématům stavěli neúspěšní žadatelé – jako adekvátní vyhodnotilo určená témata 63 % z nich.

23 Tento bod je blíže specifikován v evaluačních otázkách 2.4, 3.9 a 3.10.

V rámci podrobnější analýzy byla pozornost zaměřena na vztah tematického zaměření programu OMEGA a využití jiných programů na podporu společenskovědního výzkumu, které mohly poskytovat řešitelům prostor k uplatnění jimi preferovaných témat. Jak je patrné z následujících dvou tabulek (Tabulka 39 týkající se řešitelů a Tabulka 40 týkající se neúspěšných žadatelů) část z nich postrádala v rámci programu OMEGA konkrétní témata. Konkrétní témata postrádali přitom ve větší míře řešitelé i neúspěšní žadatelé, kteří podávali žádosti, resp. řešili souběžně jiné projekty v rámci jiných programů na podporu společenskovědního výzkumu. Zdá se tedy, že část subjektů využila jiných programů namísto programu OMEGA z důvodu chybějících témat, nicméně provedené statistické testy nepotvrdily významnost těchto diferencí.

Tabulka 39: Chyběla Vám nějaká konkrétní témata v zaměření programu OMEGA? – řešitelé (podle podání projektové žádosti v jiném programu na podporu společenskovědního výzkumu)

podání projektové žádosti v jiném programu na podporu společenskovědního výzkumu
		podali projektovou žádost	nepodali projektovou žádost
Chyběla Vám nějaká konkrétní témata v zaměření programu OMEGA?	ano	12 %	0 %
	ne	88 %	100 %
	celkem	100 %	100 %

Zdroj: INESAN (2019, N = 35)

Pozn.: p = 0,542 (z důvodu nenaplnění předpokladů pro použití asymptotických testů významnosti, tj. vysoký počet případů a asymptotického rozdělení testové statistiky, byl použit Xxxxxxxxx exaktní test, který lze využít k testování významnosti hypotéz i v případě malého počtu případů)

Tabulka 40: Chyběla Vám nějaká konkrétní témata v zaměření programu OMEGA? – neúspěšní žadatelé (podle podání projektové žádosti v jiném programu na podporu společenskovědního výzkumu)

podání projektové žádosti v jiném programu na podporu společenskovědního výzkumu
		podali projektovou žádost	nepodali projektovou žádost
Chyběla Vám nějaká konkrétní témata v zaměření programu OMEGA?	ano	50 %	22 %
	ne	50 %	78 %
	celkem	100 %	100 %

Zdroj: INESAN (2019, N = 19)

Pozn.: p = 0,350 (z důvodu nenaplnění předpokladů pro použití asymptotických testů významnosti, tj. vysoký počet případů a asymptotického rozdělení testové statistiky, byl použit Xxxxxxxxx exaktní test, který lze využít k testování významnosti hypotéz i v případě malého počtu případů)

Jako organizační faktory definujeme tyto:

● Z rozhovorů s různými cílovými skupinami (zaměstnanci TA ČR, řešitelé, neúspěšní žadatelé, členové RVVI) je možné pozorovat pochybnosti o kvalitě a přístupu hodnotitelů. S kvalifikační úrovní hodnotitelů souvisí i jejich přílišná orientace na výsledky dle RIV. Z rozhovoru se členem RVVI vyplynulo, že hodnotitelé by kromě jiného měli být schopni posoudit potenciál a inovativnost projektu, a nikoliv se soustředit pouze na množství výsledků RIV.

● TA ČR (a obecně celé výzkumné komunitě) chybí adekvátní zpětná vazba a dostatečně podrobné informace o výsledcích konkrétních projektů podpořených z programu OMEGA. Navzdory tomu, že mnohé z podpořených projektů byly velmi úspěšné a jejich výsledky jsou dodnes používány, nejsou tyto úspěchy systematicky vyhledávány a shromažďovány.

Mezi sektorové faktory řadíme následující:

● Nízké uplatnění autority RVVI, které se promítlo v absenci rozhodnutí, jak přistupovat k jednotlivým druhům výsledků společenskovědního výzkumu.

● Personální změny v RVVI, a z nich plynoucí názorová volatilita, měly vliv na program OMEGA a potažmo na společenskovědní výzkum v ČR.

● Přístup státu ve věci institucionální podpory výzkumných organizací symbolizovaný především nedostatečnou akcentací specifik společenskovědního výzkumu a jeho výsledků (zejm. vůči technickému výzkumu) stimuloval zájem mnohých řešitelských týmů o nový program.

● Nejasné vymezení vztahu některých orgánů veřejné správy ve vztahu k prioritizaci výzkumných záměrů a cílů jednotlivých programů. S tímto faktorem souvisí i omezená možnost využívat pro výzkumné účely již získaná data zpracovávaná příslušnými orgány veřejné správy.

EVALUAČNÍ OKRUH 5 – ZHODNOCENÍ DOSAŽENÝCH PŘÍNOSŮ (DOPADŮ)

Součástí řešení evaluačního okruhu Zhodnocení dosažených přínosů (dopadů) je definice a podrobnější rozbor širších přínosů programu OMEGA, a to jak pro příjemce podpory, tak pro TA ČR, ale z velké části též pro celé prostředí VaVaI v Česku.

EO 5.15: Do jaké míry program vyvolal požadované změny u příjemců a celkově

v oblasti aplikovaného výzkumu ve společenských a humanitních vědách?

Pomocí desk research a hloubkových rozhovorů se evaluátor nejprve zabýval definicí „požadovaných změn“, a to jak v rámci jednotlivých příjemců, tak i na úrovni celého programu. Dále byly pomocí individuálních hloubkových rozhovorů identifikovány změny, ke kterým program vedl. Následně bylo prostřednictvím CAWI ověřováno, zdali jednotlivé změny nastaly i u ostatních příjemců a k jakým konkrétním změnám u příjemců podpory došlo.

Odpověď na danou evaluační otázku byla založena zejména na analýze dat získaných z kvantitativního i kvalitativního výzkumu. V rámci CAWI byli osloveni řešitelé a další účastníci projektů, v rámci hloubkových rozhovorů šlo potom o cílové skupiny uvedené v následující tabulce (Tabulka 41).

Ke zpracování odpovědi na tuto evaluační otázku bylo použito mj. techniky nejvýznamnější změny. V tomto ohledu byly na základě desk research nejprve definovány hlavní oblasti změny týkající se prostředí, ve kterém fungují jednotlivé řešitelské týmy, a byl upřesněn časový rámec, do kterého byly jednotlivé změny zasazovány. Dále byly prostřednictvím desk research a prvotních individuálních hloubkových rozhovorů zjištěny jednotlivé modelové změny, které program OMEGA vyvolal na straně jednotlivých řešitelských pracovišť. Poté byla identifikována zobecněná reflexe těchto modelových změn prostřednictvím dalších hloubkových rozhovorů a samotného XXXX. Závěrem byly zjištěné změny doloženy podpůrnou evidencí. V tomto ohledu byla technika nejvýznamnější změny doplněna o prvky tzv. contribution analysis, kdy byla na základě identifikovaných změn odhadována míra, v níž tyto změny přispěly k celkovému efektu programu OMEGA na příjemce.

Použité metody

Most significant change, contribution analysis

Zdroje dat

Desk research, IHI, CAWI

Tabulka 41: Struktura rozhovorů pro EO 5.15

Cílová skupina	Počet rozhovorů
3 – Řešitelé	16
4 – Další účastníci	15
11 – Pracovníci TA ČR	4
10 – Členové RVVI	2

SHRNUTÍ VÝSLEDKU

Program explicitně žádné konkrétní změny u příjemců podpory nepožadoval, k řadě z nich – v tomto ohledu tedy změn neočekávaných – však přesto došlo. Šlo o změny týkající se zvýšení kompetencí pracovníků, zvýšení renomé pracoviště a navázání nové spolupráce. Program rovněž přispěl k rozvoji TA ČR a umožnil zformovat prostředí, ve kterém mohl vzniknout mj. program ÉTA. Ve společenských vědách program kromě jiného vyvolal zájem o výsledky aplikovaného výzkumu a přispěl ke změně uvažování pracovníků v SVV směrem ke komercializaci výsledků.

ŘEŠENÍ EO

Odpověď na tuto evaluační otázku naráží, podobně jako např. odpověď na evaluační otázku 4.14, na programovou bariéru v podobě jasně stanovených požadovaných změn u příjemců podpory a ve společenských a humanitních vědách. Z této perspektivy po stránce formulace požadavků programu zůstalo pouze u „posílení výzkumných aktivit v oblasti aplikovaných společenských věd a uplatnění výsledků těchto aktivit pro zvýšení konkurenceschopnosti České republiky, zvýšení kvality života jejich obyvatel a vyvážený socio-ekonomický rozvoj společnosti“.24 Jak vyplývá z terénních šetření, ke změnám jak v řadách příjemců, tak v oblasti společenských a humanitních věd reálně došlo, vyvolané efekty jsou však spontánního charakteru, kdy nelze hovořit o cíleném naplňování požadovaných hodnot. Vyvolané změny lze rozčlenit dle formulace evaluační otázky na změny, k nimž došlo u příjemců podpory, a změny vyvolané ve společenskovědní a humanitní oblasti.

Změny vyvolané u příjemců podpory

Dotazovaní řešitelé se v hloubkových rozhovorech vyjadřovali k vlivu projektu na sebe a své bezprostřední okolí v podobě výzkumných organizací. Kromě osobnostního rozvoje spojeného s načerpáním nových vědomostí k řešené problematice řešitelé projektů oceňovali zejména možnost zabývat se záležitostmi a oblastmi svých oborů, které by bez realizace svého projektu v rámci programu OMEGA nemohli řešit. K velmi podobnému popisu nabytí nových znalostí a jejich expanzi došlo dle řešitelů též u členů jejich týmů a ostatních participujících osob na výzkumných pracovištích. Z konkrétních vědomostí lze zmínit například osvojení si schopnosti strategického řízení a plánování.

Z CAWI mezi řešiteli a dalšími účastníky vyplývá primárně potvrzení rozvoje kompetencí projektových pracovníků (86 % dotázaných řešitelů a 83 % dalších účastníků). Mezi další efekty patří v menší míře uváděné zvýšení šance na uplatnění dalších výsledků výzkumu v aplikační sféře (64 % řešitelů, 50 % dalších účastníků), zvýšení renomé odborného pracoviště (61 % řešitelů a 67 % dalších účastníků) a rozvoj výzkumné spolupráce s aplikační sférou (58 % řešitelů a 50 % dalších účastníků). Podrobnější pohled na efekty realizace projektu, ke kterým došlo v rámci organizace, přináší shluková analýza provedená na souboru dat řešitelů. Ta definuje primárně dvě hlavní skupiny efektů. Skupinu, kterou je

24 Program na podporu aplikovaného společenskovědního výzkumu a experimentálního vývoje (v účinnosti od 17. 10. 2014), str. 2.

možno považovat za dominantní, tvoří zvýšení šance na uplatnění dalších výsledků výzkumu v aplikační sféře, zvýšení renomé odborného pracoviště, rozvoj výzkumné spolupráce s aplikační sférou a zejména zvýšení kompetencí a znalostí pracovníků. Podrobnější informace přináší následující Graf 34:

Graf 34: K jakým změnám v rámci Vašeho pracoviště došlo v důsledku realizace projektu?

zvýšení šance na uplatnění dalších výsledků výzkumu v aplikační sféře

zvýšení renomé odborného pracoviště

rozvoj výzkumné spolupráce s aplikační sférou zvýšení kompetencí a znalostí pracovníků

získání finančních zdrojů komercializací výsledků

projektu

jiné

rozvoj nové výzkumné platformy v rámci organizace rozvoj výzkumné spolupráce s akademickým

sektorem

zlepšení využití zdrojů organizace zvýšení konkurenceschopnosti

rozvoj stávající výzkumné platformy v organizaci 44

řešitelé další účastníci

Zdroj: INESAN (2019, N = 36/6)

údaje jsou v procentech

Pozn.: schéma (dendrogram) definuje typické skupiny změn v rámci pracoviště; tyto skupiny jsou vytvořeny na základě shlukové analýzy, která vychází z podobnosti změn v rámci pracoviště v důsledku realizace projektu; vodorovné vzdálenosti v dendrogramu naznačují míru podobnosti změn v rámci pracoviště; čím je tato vzdálenost kratší, tím je podobnost vyšší; shluková analýza se vztahuje jen k řešitelům

Zvýšení renomé odborného pracoviště je položkou, která byla zmiňována též při hloubkových rozhovorech s řešiteli a dalšími účastníky projektů. K samotnému renomé však dotazovaní často doplňovali další aktivity týkající se externího působení a komunikace výzkumných organizací. Šlo například o obecné zvýšení povědomí a popularizaci řešené problematiky napříč odbornou i širokou veřejností, transformované v některých případech do zkvalitnění organizačního PR, kladný ohlas odborné veřejnosti a následné využití projektového výsledku či až mimořádně vysoký zájem o výsledek v podobě vývoje nové výzkumné metody. Tyto změny potvrdilo též CAWI, kde prohloubení znalostí o řešeném problému uvedlo jako změnu 75 % řešitelů a 83 % dalších účastníků. Ve značné míře byla též uváděna přispění v podobě zvýšené pozornosti k výsledkům, které řeší aktuální společenské problémy (53 % řešitelů a 50 % dalších účastníků), a rozvinutí interdisciplinárního výzkumu (50 % řešitelů a 50 % dalších účastníků). Z výsledků shlukové analýzy provedené na skupině řešitelů je zřejmé, že změny, ke kterým došlo v odborné oblasti v důsledku realizace projektů, lze rozdělit do celkem tří skupin. První skupinu tvoří prohloubení znalostí o řešeném problému (jedná se o nejčastěji uváděnou změnu). Druhá skupina je z hlediska zastoupení změn největší a tvoří ji zvýšená pozornost k výsledkům, které řeší aktuální společenské problémy, zvýšení povědomí o společenském problému, nalezení řešení společenského problému a rozvinutí interdisciplinárního výzkumu. Změny v odborné oblasti se v rámci

této skupiny vyskytly ve třetině až polovině případů. Poslední skupinu tvoří spíše minoritní změny z hlediska četnosti jejich výskytu a jedná se o uvedení inovovaného produktu na trh a zvýšení konkurenceschopnosti. Podrobnější informace přináší následující Graf 35:

Graf 35: K jakým změnám v rámci Vaší odborné oblasti došlo v důsledku realizace projektu?

uvedení inovovaného produktu na trh zvýšení konkurenceschopnosti

zvýšená pozornost k výsledkům, které řeší aktuální společenské problémy

zvýšení povědomí o společenském problému nalezení řešení společenského problému rozvinutí interdisciplinárního výzkumu

prohloubení znalostí o řešeném problému

řešitelé

další účastníci

údaje jsou v procentech

Zdroj: INESAN (2019, N = 36/6)

Pozn.: schéma (dendrogram) definuje typické skupiny změn v v odborné činnosti; tyto skupiny jsou vytvořeny na základě shlukové analýzy, která vychází z podobnosti změn v odborné činnosti v důsledku realizace projektu; vodorovné vzdálenosti v dendrogramu naznačují míru podobnosti změn v odborné činnosti; čím je tato vzdálenost kratší, tím je podobnost vyšší; shluková analýza se vztahuje jen k řešitelům

Jedním ze zmiňovaných dopadů projektů uskutečňovaných v programu OMEGA byl přímý vliv na jiné projektové aktivity řešené na tomtéž pracovišti. Z rozhovorů se řešiteli projektů vyplynulo, že jejich projekty měly vliv jak na souběžně probíhající projekty a šetření v rámci dané organizace, tak na budoucí projekty a výzkumné záměry. Do jaké míry na řešení projektu navazují další výzkumné aktivity, bylo zjišťováno též prostřednictvím CAWI mezi řešiteli projektů a dalšími účastníky. Toto šetření potvrdilo informaci vycházející z hloubkových rozhovorů, tedy četné navazování na původní projektový záměr (návaznost potvrdilo 53 % řešitelů a 50 % dalších účastníků). Další kritéria šetření zohledňovala primárně institut možného spolupracujícího partnera, přičemž v tomto ohledu vycházelo napříč řešiteli velmi podobné procentuální zastoupení u výzkumu s další výzkumnou organizací, vlastního výzkumu, společného výzkumu s vysokou školou či univerzitou, společného výzkumu s ústředním orgánem státní správy a smluvního výzkumu (možnosti uvádělo 25–33 % oslovených řešitelů). Provedená shluková analýza (na datech řešitelů) poukázala na existenci celkem tří skupin nových výzkumných aktivit. První skupina zahrnuje realizaci projektu ucházejícího se o veřejnou podporu a dále společný výzkum s výzkumnou organizací či vysokou školou. Tyto výzkumné aktivity byly respondenty (řešiteli) v největší míře. Druhou skupinu tvoří smluvní či vlastní výzkum a společný výzkum s veřejnými subjekty, jako jsou města, obce, kraje či ústřední orgány státní správy. Tyto aktivity byly realizovány v menší míře, stále je však realizovala v návaznosti na ukončený projekt v programu OMEGA přibližně pětina až třetina řešitelů. Třetí skupinu lze pak považovat jen za marginální (podrobněji viz následující Graf 36).

Graf 36: Navazují na řešení projektu nové výzkumné aktivity?

společný výzkum se vzdělávacími institucemi mimo VŠ

společný výzkum s kulturními organizacemi společný výzkum s nestátní neziskovou organizací

jiné

společný výzkum se soukromým podnikem produkujícím zboží/služby

smluvní výzkum

společný výzkum s městem, obcí, krajem společný výzkum s ústředním orgánem státní

správy

vlastní výzkum společný výzkum s výzkumnou organizací

společný výzkum s vysokou školou, univerzitou

další projekt, který se uchází o podporu z veřejných zdrojů

řešitelé

další účastníci

údaje jsou v procentech

Zdroj: INESAN (2019, N = 36/6)

Pozn.: schéma (dendrogram) definuje typické skupiny nových výzkumných aktivit; tyto skupiny jsou vytvořeny na základě shlukové analýzy, která vychází z podobnosti realizace nových výzkumných aktivit; vodorovné vzdálenosti v dendrogramu naznačují míru podobnosti realizace nových výzkumných aktivit; čím je tato vzdálenost kratší, tím je podobnost vyšší. Shluková analýza se vztahuje jen k řešitelům

Mezi dalšími změnami uváděnými v hloubkových rozhovorech figurovaly různé formy síťování jednotlivých účastníků projektů s jinými odbornými pracovišti a dalšími institucemi, mezi nimiž se nacházely například místní samosprávy, obce či instituce státní správy. Z navázání spolupráce přitom vznikly též stabilní pracovní týmy činné dodnes. Toto síťování mělo v některých případech též mezinárodní přesah a organizacím se například díky účasti na zahraniční konferenci podařilo navázat spolupráci se zahraničním partnerem. Jedním z dalších způsobů sdílení nashromážděných informací byl jejich přenos a pozdější rozvoj na novém pracovišti spojený se změnou řešitelova pracovního místa po ukončení projektu realizovaného v rámci programu OMEGA.

Podstatným a četně uváděným přínosem realizovaných projektů byla míra zapojení doktorandů a dalších studentů ať už do výzkumných a řešitelských prací, nebo například při pořádání konferencí a seminářů. Řešitelé rovněž odkazovali na možnost doktorandů napsat na základě projektu své disertační práce.

Změny vyvolané v oblasti společenských a humanitních věd

Veškeré změny, k nimž v oblasti společenských a humanitních věd došlo, jsou vzhledem ke svému spontánnímu charakteru uvedeny v předchozích evaluačních otázkách, jmenovitě primárně v EO 1.1, 3.8 a 4.14. Zde tedy uvádíme shrnutí shora formulovaných zjištění.

Vzhledem k charakteru programu OMEGA, lze jeho význam pro TA ČR i pro oblast společenskovědního výzkumu celkově označit za průkopnický. Během realizace programu bylo shromážděno množství nových a do té doby nereflektovaných poznatků o celé oblasti společenskovědního a humanitního výzkumu nezřídka přesahujících TA ČR a programy jím podporované. Poskytovateli program OMEGA umožnil etablovat určité standardy v rámci aplikovaného společenskovědního výzkumu, ať už v oblasti druhů výsledků nebo jejich využití či v oblasti komunikace s řešiteli a s aplikační sférou.

Na úrovni TA ČR je, vzhledem k jeho aktivitám souvisejícím s celým prostředním společenskovědního výzkumu v Česku, největším efektem programu OMEGA souhrn poznatků a zkušeností, na jejichž základě byl vybudován program ÉTA. Nejen s programem ÉTA, ale s přístupem TA ČR ke společenskovědnímu výzkumu celkově souvisí následující změny, z nichž mnohé se dle rozhovorů se zaměstnanci TA ČR již aktuálně v praxi osvědčují právě v programu ÉTA:

▪ navýšení absorpční kapacity společenskovědního výzkumu

▪ transformace institutu aplikačního partnera na institut aplikačního garanta

▪ edukace TA ČR spojená se změnou přístupu, vykazování zpráv a hodnocením projektů

ve společenskovědním výzkumu

▪ navýšení maximální délky projektů (ve 2. veřejné soutěži až na 4 roky)

▪ Zohlednění skutečnosti, že výzkumné organizace ve společenskovědní oblasti jsou odkázány na institucionální podporu více než organizace v jiných oborech; společenskovědně zaměřené výzkumné organizace tak nemají takové možnosti komercializace jako jiné výzkumné organizace.

▪ implementace principů projektového řízení ze strany TA ČR

▪ Změna definice výsledku H, neboť původní definice bylo takřka nemožné dosáhnout.

▪ individualizace přístupu TA ČR k jednotlivým programům

Z hlediska změny ve společenskovědním výzkumu identifikujeme zejména následující efekty:

▪ zvýšený zájem výzkumných organizací o aplikovatelnost výsledků výzkumu

▪ mobilizace soukromých firem a vzbuzení jejich zájmu o výsledky společenskovědního výzkumu

▪ změna výzkumného prostředí v Česku symbolizovaná tvorbou metodiky 2017+, snížením tlaku

na dosahování RIVových bodů

▪ zapojení dalších institucí veřejné správy do tvorby programů TA ČR

▪ přítomnost samostatné oblasti v aktualizované politice i inovační strategii popisující nezbytnost aplikovaného a společenskovědního výzkumu pro velké světové výzvy

Navzdory převládajícímu názoru o úspěšnosti programu OMEGA nelze tvrdit, že by oblast společenskovědního výzkumu dosáhla s programovým nástupcem v podobě ÉTY maximální možné úrovně podpory. Jak vyplynulo z rozhovoru se zaměstnancem TA ČR, v Česku stále není vytvořeno

prostředí pro optimální práci s výsledky společenskovědního výzkumu a výsledky zde vytvořené, jsou

„těžko uchopitelné“ (Respondent – CS 11). Zároveň zde i nadále chybí orientace na potřeby státu a schopnost komercializace. Člen RVVI vnímá jako jeden ze zásadních problémů společenskovědního aplikovaného výzkumu zmiňovanou absenci přístupu k existujícím datům institucí státní a veřejné správy, která by významně zefektivnila výzkumnou práci.

EO 5.16: Které původně zamýšlené přínosy programu dosaženy nebyly nebo je prozatím nelze prokázat?

Nejprve byly identifikovány původně zamýšlené přínosy a došlo k vyhodnocení teoretické možnosti jejich naplnění. Dále byly u relevantních aktérů ověřovány skutečně dosažené přínosy (podobně jako v případě předchozí evaluační otázky), které byly komparovány s reálně dosaženými přínosy. Příprava odpovědi na tuto evaluační otázku byla založena jak na desk research, tak na rozhovorech s relevantními aktéry, jejichž soupis je uveřejněn v níže uvedené tabulce (Tabulka 42).

Odpověď na evaluační otázku je založena na postupu, který srovnává původně zamýšlené přínosy programu s jeho skutečnými efekty. V této konkrétní aplikaci je metoda goal-based zaměřena na identifikaci a popis efektů, které sice byly na počátku realizace programu OMEGA a během jeho příprav očekávány, nicméně faktická implementace programu a způsob, jak byl administrován, k těmto efektům nakonec nevedl. Takto inverzně pojatá evaluace založená na cílech programu byla doplněna o posouzení vyhodnotitelnosti programu OMEGA a jeho jednotlivých cílů. V tomto ohledu jde

o esenciální doplněk goal-based přístupu, bez kterého by závěry nebyly epistemologicky korektní.

Použité metody

Goal-based evaluation, evaluability assessment

Zdroje dat

Desk research, IHI

Tabulka 42: Struktura rozhovorů pro EO 5.16

Cílová skupina	Počet rozhovorů
3 – Řešitelé	16
11 – Pracovníci TA ČR	4
10 – Členové RVVI	2

SHRNUTÍ VÝSLEDKU

Navzdory skutečnosti, že program zaznamenal celou řadu přínosů, nelze vzhledem k absenci měřitelných parametrů způsobených stávajícími limitujícími indikátory vyhodnotit jejich prokazatelnost. Z analýzy teoretické saturace očekávaných přínosů (dále v textu jako OP) vyplynula nerovnoměrnost jejich možného naplnění, což je jev pozorovaný též u obdobného vyhodnocení teoretické saturace specifických cílů. Zatímco některé OP mohly být tematicky naplněny v porovnání s ostatními významně více (např. OP 8 = 16 %, OP 2 = 14 %), u jiných byla tato teoretická saturace nižší (např. OP 4 = 6 %). Z vyhodnocení EO rovněž vyplynula podobnost specifických cílů a očekávaných přínosů programu.

ŘEŠENÍ EO

Odpověď na závěrečnou evaluační otázku je z velké části syntézou odpovědí na několik již dříve zodpovězených evaluačních otázek. Primárně jde o evaluační otázky 2.4, 3.8, 3.10 a 5.15. Konkrétní úseky těchto evaluačních otázek syntetizovaných do odpovědí jsou ještě dále rozvinuty v níže uvedeném textu.

V prvé řadě považujeme za nezbytné zabývat se dosahem a funkčností očekávaných přínosů uvedených například v projektovém dokumentu k programu OMEGA.25 Očekávané přínosy programu byly, podobně jako stanovené specifické cíle, stanoveny v podobě, jejíž měřitelnost je z dnešního pohledu proveditelná jen v omezené míře (jak ostatně vyplývá z EO 2.4, na počátku implementace programu OMEGA nebyla potřeba identifikovat procesní a dopadové indikátory). Z této perspektivy platí, že prokazatelnými přínosy programu jsou jeho tzv. „tvrdé“ výstupy (tj. výsledky projektů) zařazené do RIV a zároveň podchycené prostřednictvím indikátorové soustavy.

Pro účely této evaluace byla vytvořena Příloha 6 vyhodnocující tematickou relevanci jednotlivých soutěží programu vzhledem k řešeným tématům. Z hlediska teoretického naplnění očekávaných přínosů programu z ní vyplývají obdobná zjištění týkající se disproporčnosti jako v případě specifických cílů reflektovaných v evaluační otázce 3.10. Rozdíly mezi teoretickou saturací dílčích přínosů však nejsou natolik markantní jako v případě cílů. Rozptyl těchto teoretických hodnot definovaných dle totožného klíče jako v EO 3.10 je od 4,5 (očekávaný přínos 4) do 12,5 (očekávaný přínos 8). Ve větším detailu zobrazuje teoretickou saturaci Graf 37 níže.

Graf 37: Teoretická saturace očekávaných přínosů programu

OP 1) Zvýšení efektivnosti působení veřejných politik v ČR na všech úrovních

13%

11%

16%

14%

12%

OP 2) Formulace priorit a opatření veřejné politiky regionálního rozvoje ČR

OP 3) Posílení pozice ČR v Evropské unii v rámci probíhajícího evropského integračního

procesu

OP 4) Identifikace příčin a důsledků probíhajících socio-ekonomických a environmentálních jevů, formulace priorit, opatření a nástrojů pro zvýšení kvality života obyvatel ČR

OP 5) Optimalizace státních zásahů a redukce jejich negativních dopadů na hospodářský a společenský vývoj v ČR a na kvalitu životního prostředí

OP 6) Zvýšení konkurenceschopnosti české ekonomiky, v evropském i mezinárodním kontextu

OP 7) Zvýšení efektivnosti systému vzdělávání v ČR

OP 8) Stanovení priorit a opatření sociální politiky ČR, pro řešení sociálních nerovností, chudoby a sociální exkluze určitých skupin obyvatelstva

OP 9) Redukce negativních dopadů populačního vývoje, aktivizace populace seniorů a zvýšení kvality jejich života

Zdroj: TA ČR

Tabulka tematické relevance, která tvoří Přílohu 6 této Zprávy, rovněž ukazuje na souvztažnost mezi specifickými cíli programu a jeho očekávanými přínosy. Nezřídka platí, že pokud je tematicky naplňován

25 Program na podporu aplikovaného společenskovědního výzkumu a experimentálního vývoje OMEGA (Změna v programu OMEGA v účinnosti

od 17. 10. 2014), str. 5.

specifický cíl s konkrétním číslem, je naplňován i očekávaný přínos s totožným číslem. Patrně nejlépe je tato spojitost pozorovatelná na cílech a přínosech programu, které nebyly naplňovány tématem definovaným v dané veřejné soutěži. Například ve 2. veřejné soutěži mohla být teoreticky řešena oblast Kultura, hodnoty, identita a tradice, její obsah se však nestřetává s cíli ani s přínosy programu. Na konkrétní očekávaný přínos programu směřovalo alespoň částečně pět z celkem jedenácti témat, která zároveň nesměřovala k žádnému programovému specifickému cíli.

Navzdory nemožnosti měřit programové přínosy a prokázat jejich význam, existuje skutečnost dokumentovaná evaluačními otázkami 3.8 a 5.15. Mezi hlavní přínosy pro jednotlivá výzkumná pracoviště, patří mj. rozšíření spolupráce se zahraničními odborníky, míra komercializace výsledku či zájem o výsledek projektu převyšující očekávání jeho realizátorů. Jednoznačně nejvýznamnějším přínosem programu OMEGA však byla jeho samotná existence a pozice průkopnického programu ve společenskovědním výzkumu. Z této perspektivy bylo během jeho realizace možné upřesnit a rozvinout řadu konkrétních prvků, které později převzal či zdokonalil nástupnický program ÉTA. Program OMEGA byl zároveň, jak dokládají sami zaměstnanci TA ČR, základem českého aplikovaného výzkumu ve společenských vědách; nezbytný je tedy rovněž jeho historický význam a odkaz. Změny, k nimž došlo ať už u příjemců podpory, v TA ČR nebo na poli českého společenskovědního výzkumu a které se podařilo identifikovat v rámci této evaluace, jsou detailně uvedeny v evaluační otázce 5.15.

ZÁVĚRY A POUČENÍ

Závěry a poučení plynoucí z této Závěrečné evaluační zprávy jsou stručným sumářem zjištění a podnětů, k nimž evaluátor dospěl při vyhodnocování jednotlivých evaluačních otázek. V tomto ohledu lze označit za stěžejní evaluační otázku 1.3, respektive doporučení z Průběžné evaluační zprávy, která již byla ve značné míře reflektována jak ve 3. veřejné soutěži programu OMEGA, tak při přípravách navazujícího programu ÉTA.

Jedním z poznatků identifikovaných v této evaluační zprávě jsou záležitosti spojené s hodnocením projektů v dílčích soutěžích jednotlivých programů. Kromě obecného doporučení k soustavnému zvyšování kvalifikace hodnotitelů z evaluace programu OMEGA plyne potřeba jasnějších a transparentnějších kritérií hodnocení, a to především ve smyslu dodržování vnitřní logiky a zadávacích podmínek programu. Jedním z podnětů z terénních šetření uskutečněných při této evaluaci je zapojení zahraničních hodnotitelů do hodnocení projektů za účelem zvýšení objektivity a nestrannosti.

Zatímco aktuálně probíhající program ÉTA je již nastaven v souladu s programovou intervenční logikou, pro program OMEGA žádná takováto intervenční logika ani teorie změny nebyly v době jejího vzniku explicitně formulovány. Tato skutečnost souvisí s dobovým kontextem, kdy ani pro ostatní tehdy plánované programy nebyla intervenční logika standardní součástí plánovaných programů. Jejich absenci tak nelze vnímat jako nedostatek. Teorie změny, jež je pro stávající programy již běžně připravována umožňuje kromě jiného lépe vyhodnotit koherenci specifických cílů či očekávané přínosy. Příklad programu OMEGA ukazuje, že následné zpracování teorie změny může odhalit sníženou koherenci stanovených specifických cílů a očekávaných přínosů s tematickým nastavením programu, na což poukazuje analýza zpracovaná v rámci EO 3.10 a 5.16.

Po vzoru Průběžné evaluační zprávy programu lze rovněž uvést doporučení zacílené na instituce veřejné správy, konkrétně na jednotlivá ministerstva. Těm, jak vyplynulo z hloubkových rozhovorů, chybí odpovídající personální kapacita a odbornost na řízení interních i externích výzkumných aktivit. Z komunikace s relevantními aktéry vyplynulo, že by ministerstva sama měla formulovat konkrétní výzkumné oblasti či priority, kterými by se měli výzkumníci zabývat, a zároveň aby byla schopna tyto aktivity sama vyhodnocovat. Tato činnost se již částečně děje prostřednictvím programů BETA a BETA 2, leč z vyjádření relevantních aktérů vyplývá, že se tak neděje dostatečné v míře odpovídající aktuálním potřebám samotných ministerstev i výzkumných organizací. Na základě odpovědi na evaluační otázku

3.12 by rovněž bylo vhodné očekávat od jednotlivých resortů systematický monitoring využívání výsledků podpořených projektů, a to zejména certifikovaných metodik a následnému sdílení těchto údajů.

Jedno z doporučení pro TA ČR míří na upřesňování pojmů v jednotlivých dokumentech, v doplnění konkrétních návodů a obecné zjednodušování konkrétních pasáží. Na základě provedených výzkumů se zdá, že tato opatření mají větší význam než snaha snižovat administrativní zátěž, jejíž současná míra je relevantními aktéry považována za adekvátní. Podobné kroky mají potenciál napomoci ke snížení aktuálně příliš vysokého vytížení projektových pracovníků (z dotazování vyplynulo, že zátěž na jednoho pracovníka i nadále činí přibližně 200 projektů). Lze rovněž doporučit specifikaci podoby a kritérií

možných výstupů a výsledků řešených projektů, například v zadávacích podmínkách či v některé ze samostatných směrnic přesně specifikovat, co musí daný projektový výstup splňovat, aby mohl být uznán např. jako software či certifikovaná metodika.

Opakovaně zmiňovaným faktorem, který se vztahuje k podmínkám programu OMEGA, je prodloužení doby řešení projektů s cílem umožnit adekvátní rozsah badatelské činnosti a dosáhnout výsledků s reálným potenciálem uskutečnění společenské změny. Úprava nastavení v TA ČR je z této perspektivy již patrná v programu ÉTA, v němž se maximální možná délka řešení projektů oproti programu OMEGA zdvojnásobila.

Rovněž považujeme za vhodné zdůraznit doporučení směřující k podpoře sdílení velkoobjemových dat napříč všemi institucemi veřejné správy, tedy i TA ČR. Data získávaná ČSÚ, MPSV a dalšími institucemi by poskytla výzkumníkům kvalitní datovou základnu pro jejich projekty. Zároveň by se tak ušetřilo významné kvantum času, které nyní výzkumníci alokují na získávání již existujících údajů; řada informací není navíc veřejně dostupná.

POUŽITÉ DOKUMENTY

▪ Xxxxxxxx Xxxxxxxxxxx. Aplikovaný společenskovědní výzkum. Technologické centrum AV ČR. 2008.

▪ Molas-Gallart J., Xxxxxx A., Xxxxx X., Xxxxx A., Duran X. Measuring Third Stream Activities, Final Report to the Russell Group of Universities. SPRU, University of Sussex. Duben 2002.

▪ Národní politika výzkumu, vývoje a inovací České republiky na léta 2009–2015

▪ Národní politika výzkumu, vývoje a inovací České republiky na léta 2016–2020

▪ Národní priority orientovaného výzkumu, experimentálního vývoje a inovací

▪ Návrh národních priorit orientovaného výzkumu, experimentálního vývoje a inovací

▪ Programové dokumenty GAMA, DELTA, EPSILON, ZÉTA, ÉTA a THÉTA

▪ Programový dokument Program na podporu aplikovaného společenskovědního výzkumu

a experimentálního vývoje OMEGA – v účinnosti do 16. 10. 2014

▪ Programový dokument Program na podporu aplikovaného společenskovědního výzkumu

a experimentálního vývoje OMEGA – v účinnosti od 17. 10. 2014

▪ Programový dokument Program veřejných zakázek ve výzkumu, experimentálním vývoji a inovacích pro potřeby státní správy BETA – v účinnosti od 30. 1. 2013

▪ Programový dokument Programu na podporu aplikovaného výzkumu a experimentálního vývoje

ALFA – v účinnosti od 17. 10. 2014 (změna programu ve znění nových pravidel veřejné podpory)

▪ Programový dokument Programu Technologické agentury České republiky na podporu rozvoje dlouhodobé spolupráce ve výzkumu, vývoji a inovacích mezi veřejným a soukromým sektorem Centra kompetence – v účinnosti od 17. 10. 2014 (změna programu ve znění nových pravidel veřejné podpory)

▪ Průběžná evaluační zpráva programu OMEGA

▪ Průvodce systémem veřejné podpory 2009

▪ Průvodce systémem veřejné podpory 2011

▪ Průvodce systémem veřejné podpory 2017

▪ Příslušné legislativní dokumenty (např. Usnesení vlády ze dne 26. března 2008 č. 287, novela zákona č. 130/2002 Sb., o podpoře výzkumu a vývoje apod.)

▪ Statistické údaje GA ČR

▪ Statistické údaje RVVI

▪ Údaje oddělení Strategických studií Technologického centra AV ČR

▪ Usnesení Vlády České republiky ze dne 19. července 2012 č. 552 o Národních prioritách orientovaného výzkumu, experimentálního vývoje a inovací

▪ Vyhlášení výsledků 2. veřejné soutěže ve výzkumu a experimentálním vývoji a inovacích k Programu na podporu aplikovaného výzkumu a experimentálního vývoje národní a kulturní identity na léta 2016 až 2022 (NAKI II); (příslušné dílčí dokumenty)

▪ Vyhlášení výsledků veřejné soutěže ve výzkumu a experimentálním vývoji a inovacích na rok 2016

(příslušné dílčí dokumenty)

▪ Vyhlášení výsledků veřejné soutěže ve výzkumu, experimentálním vývoji a inovacích na rok 2011

(příslušné dílčí dokumenty)

▪ Vyhlášení výsledků veřejné soutěže ve výzkumu, experimentálním vývoji a inovacích na rok 2012

(příslušné dílčí dokumenty)

▪ Vyhlášení výsledků veřejné soutěže ve výzkumu, experimentálním vývoji a inovacích na rok 2013

(příslušné dílčí dokumenty)

▪ Výroční zpráva Xxxxxxxx agentury ČR 2012

▪ Zadávací dokumentace 1. veřejné soutěže ve výzkumu, vývoji a inovacích programu OMEGA 2011

▪ Zadávací dokumentace 2. veřejné soutěže ve výzkumu, vývoji a inovacích programu OMEGA, 2013

▪ Zadávací dokumentace 3. veřejné soutěže Programu na podporu aplikovaného společenskovědního výzkumu a experimentálního vývoje OMEGA

▪ Zadávací dokumentace Programu aplikovaného výzkumu a vývoje národní a kulturní identity (NAKI)

pro roky 2011, 2012 a 2013

▪ Zadávací dokumentace Programu aplikovaného výzkumu a vývoje národní a kulturní identity II (NAKI

II) pro 1., 2. a 3. veřejnou soutěž

▪ Závěrečná zpráva expertního panelu i – Konkurenceschopná ekonomika založená na znalostech

▪ Závěrečná zpráva expertního panelu II – Udržitelnost energetiky a materiálových zdrojů

▪ Závěrečná zpráva z expertního panelu III – Prostředí pro kvalitní život

▪ Závěrečná zpráva z expertního panelu IV – Sociální a kulturní výzvy

▪ Závěrečná zpráva z expertního panelu v – Zdravá populace

▪ Závěrečná zpráva z expertního panelu VI – Bezpečná společnost

▪ Zpráva o realizaci programu OMEGA

▪ Zprávy o činnosti Grantové agentury ČR 2013–2017

SEZNAM PŘÍLOH

Příloha 1 – Design evaluace

Příloha 2 – Zpracované poznatky z rešerše dokumentů a analýza sekundárních dokumentů Příloha 3 – Scénáře pro příjemce podpory z programu OMEGA

Příloha 4 – Popis metodiky evaluace Závěrečné zprávy

Příloha 5 – Vyhodnocení doporučení z průběžné evaluační zprávy Příloha 6 – Vyhodnocení tematické relevance

Příloha 7 – Další grafy a obrázky Příloha 8 – Dotazníky z šetření CAWI

SEZNAM ZKRATEK

AAPOR	American Association for Public Opinion Research (Americké asociace pro výzkum veřejného
CAWI	mínění) Computer Assisted Web Interviewing
CEP	Centrální evidence projektů
ČES	Česká evaluační společnost
ČR	Česká republika
CS	Cílová skupina
ČSÚ	Český statistický úřad
EES	European Evaluation Society (Evropská evaluační společnost)
EO	Evaluační otázka
FZoI	Finální zpráva o implementaci
GA ČR	Grantová agentura ČR
IHI	Individuální hloubkový rozhovor
MPSV	Ministerstvo práce a sociálních věcí ČR
MŠMT	Ministerstvo školství, mládeže a tělovýchovy ČR
MZe	Ministerstvo zemědělství ČR
NAKI	Programu aplikovaného výzkumu a vývoje národní a kulturní identity
NPOV	Národní priority orientovaného výzkumu, experimentálního vývoje a inovací
OP	Očekávaný přínos
OP VaVpI	Operační program Výzkum a vývoj pro inovace
PO	Prioritní oblast (z Národních priorit orientovaného výzkumu, experimentálního vývoje a inovací)
RIV	Registr informací o výsledcích
RR	Response rate (míra návratnosti)
RVVI	Rada pro vědu, výzkum a inovace
SC	Specifický cíl (programu OMEGA)
SVV	Společenskovědní výzkum
TA ČR	Technologická agentura ČR
TC AV	Technologické centrum Akademie věd
VaV	Výzkum a vývoj
VaVaI	Výzkum, vývoj a inovace
VS	Veřejná soutěž
ZoR	Zpráva o realizaci

Document Metadata

Table of Contents

ZÁVĚREČNÉ HODNOCENÍ PROGRAMU NA PODPORU

Document Metadata

ZÁVĚREČNÉ HODNOCENÍ PROGRAMU NA PODPORU