ZÁVĚREČNÁ EVALUAČNÍ ZPRÁVA
ZÁVĚREČNÁ EVALUAČNÍ ZPRÁVA
finální verze
ORGANIZACE EVALUAČNÍCH FOKUSNÍCH SKUPIN OP LZZ A EVALUAČNÍHO WORKSHOPU
PODPORUJEME VAŠI BUDOUCNOST
Zadavatel:
Ministerstvo práce a sociálních věcí Na Poříčním právu 1
128 01 Praha 2 Organizátor:
Navreme Boheme, s.r.o. U Smaltovny 25
170 00 Praha 7
Tato zpráva je výstupem ze zakázky „Organizace evaluačních fokusních skupin Operačního programu Lidské zdroje a zaměstnanost a evaluačního workshopu“ financované z projektu technické spolupráce OP LZZ „Zpracování evaluací, analýz a odborných studií pro OP LZZ 2008-2015 (č. projektu CZ.1.04/6.1.00/09.00016).
V Praze, dne 30.11. 2009
Verze: 2 (finální)
1.4. Vybrané citáty z fokusních skupin 8
3. PRŮBĚH ŘEŠENÍ PROJEKTU (POPISNÁ ČÁST) 12
3.2. Překlad EQUAL Evaluation Sourcebook 14
3.3. Online komunikace skrze platformu ESF Fóra 14
3.4.2. Zaměření fokusních skupin 15
3.4.3. Organizace a logistika 1. a 2. fáze realizace fokusních skupin 16
4. INTERPRETACE POZOROVÁNÍ A ZJIŠTĚNÍ (INTERPRETAČNÍ ČÁST) 18
4.1. Základní pozorování – skladba FS a způsob zapojení účastníků 18
4.2. Širší charakteristika přístupů účastníků FS (názorové skupiny) 18
4.2.1. Neutrální - procesový: „hlavně jde o to, aby se vše bez problémů zadministrovalo“ 18
4.2.2. Informační-výměnný: „my to děláme takhle, jak to děláte vy?“ 19
4.2.3. Hodnotový: „jde o to zlepšit některé aspekty procesu“ 19
4.2.4. Systémový: „jde o to zlepšit v mezích množností systém“ 19
4.2.5. Procesově - analytický: „kde děláme chyby? chybám je třeba se vyhnout“ 19
4.2.6. Systémově analytický: „ systém je v některých místech přetížený ze své povahy“ 20
4.3. Konkrétní poznatky k uskutečněným FS. 20
4.3.1. Témata „Hodnocení projektů a hodnotící kritéria“ a „Výzvy k předkládání projektů“ 20
4.3.1.1. Podrobnější závěry – jednorázové a průběžné výzvy 21
4.3.1.2. Podrobnější závěry - individuální projekty 21
4.3.1.3. Podrobnější závěry - grantové projekty 22
4.3.1.4. Specifické poznatky z FS pro jednotlivé prioritní osy 23
4.3.1.5. Samostatné FS: hodnotitelé a obecné závěry z FS k hodnocení týkající se hodnotitelů 25
4.3.2. FS zaměřené na realizátory projektů 26
4.3.3. Průřezová skupina „Metodické řízení OP LZZ“ 27
4.3.4. Průřezová skupina „Monitorování programu a informační systémy“ 28
4.3.5. Průřezová skupina „Finanční řízení a finanční toky“ 28
4.3.6. Průřezová skupina k technické asistenci 29
4.3.7. FS zaměřená na Evaluační plán programu OP LZZ 2008-2015 29
4.3.8. Výzva č. 35 „Školení je šance“ – skupina zástupců ŘO a skupina žadatelů 30
4.3.9. Výzva č. 23 „Adaptabilita a konkurenceschopnost“ – skupina realizátorů projektů 30
4.3.10. Výzva č.34 „Vzdělávejte se“– skupina zástupců ZS a ŘO 30
5.1. Doporučení k řízení a implementaci OP LZZ 32
5.1.1. Rámcová doporučení manažerského typu 32
5.1.2. Rámcová doporučení věcná 33
5.1.3. Další dílčí doporučení 35
5.2. Doporučení k evaluačnímu workshopu 37
5.3. Doporučení k online komunikaci skrze platformu ESF Fóra 38
5.4. Doporučení k Evaluačnímu plánu programu OP LZZ 2008-2015 39
Příloha 1: Strukturovaný výtah hlavních výstupů z FS. 45
Příloha 2: Seznam účastníků evaluačního workshopu „Vše co jste chtěli vědět o evaluacích“ 55
Příloha 3: Program evaluačního workshopu 59
Příloha 4: Hodnocení evaluačního workshopu 60
Příloha 5: Příklad pozvánky na fokusní skupinu 64
Příloha 6: Přehled konaných fokusních skupin 68
Příloha 7: Seznam kontaktů do jednotlivých fokusních skupin 71
Příloha 8: Spuštění tématických online fokusních skupin – pracovní materiál 87
Příloha 9: Podněty pro diskuzi na ESF Fóru (dle témat) 89
Příloha 10: Měsíční flash reporty (duben-září 2009) 91
Příloha 11: Připomínkový list k závěrečné zprávě „Organizace evaluačních fokusních skupin OP LZZ a evaluačního workshopu“ 102
1. ÚVOD
Projekt „Organizace evaluačních fokusních skupin Operačního programu Lidské zdroje a zaměstnanost a evaluačního workshopu“ zadaný Ministerstvem práce a sociálních věcí ČR (MPSV) probíhal v období od 27.3. do 4.11. 2009 na území České republiky. Realizátorem projektu byla společnost Navreme Boheme, s.r.o. Jednotlivé kroky projektu, tj. přípravná fáze, evaluační workshop, první a druhá fáze fokusních skupin a online fokusní skupiny, probíhaly podle harmonogramu stanoveného ve Vstupní zprávě a dále zpřesněného v první a druhé Průběžné zprávě. Výstupem projektu byly celkem čtyři zprávy (včetně této Závěrečné evaluační zprávy), přičemž dvě průběžné zprávy shrnovaly dílčí fáze realizace fokusních skupin.
Vzhledem k tomu, že technické provedení projektu a zejména organizace fokusních skupin byly samy o sobě velkým zdrojem poučení, je ve zprávě věnována část též reflexi samotného způsobu zadání a provedení projektu a doporučením z toho plynoucím. Hlavní částí zprávy je pak interpretace pozorování a zjištění učiněných během realizace projektu. Tato část se zabývá jednotlivými tématickými okruhy zahrnutými ve fokusních skupinách, přičemž přidanou hodnotu k této části přináší rozbor postojů a motivací účastníků fokusních skupin, který je důležitým rámcem pro analýzu dílčích sdělení a především pro případné pokračování resp. opakování některých částí projektu (zejm. workshopu a online fokusních skupin).
Smyslem projektu bylo analyzovat dosavadní průběh implementace a řízení Operačního programu Lidské zdroje a zaměstnanost (OP LZZ), identifikovat problémová místa a potenciál pro rozvoj kapacit Řídícího orgánu (ŘO) a dalších částí implementační struktury OP LZZ. Tímto rozvojem kapacit byla konkrétně míněna ochota sdílet zkušenosti, možnosti přenosu know-how, ochota k diskusi a podmínky pro rozvoj znalostí a kapacit orgánů implementační struktury. Tato analýza stavěla na tématicky členěném poli vycházejícím jednak ze zaměření jednotlivých prioritních os (PO) OP LZZ (adaptabilita, aktivní politiky trhu práce, sociální integrace a rovné příležitosti, veřejná správa a veřejné služby, mezinárodní spolupráce a technická asistence) a dále z fází implementace a řízení programu (metodické řízení, výzvy k předkládání projektů, hodnocení projektů, monitorování programu a finanční řízení). Součástí projektu byla sekundárně také facilitace 2. etapy průběžného hodnocení OP LZZ a dalších evaluací zadávaných zadavatelem na základě Evaluačního plánu.
Realizace projektu původně stavěla na matematicky přesné matici témat (metodické řízení, výzvy, hodnocení, monitorování, finance) a všech šesti prioritních os OP LZZ. Smyslem bylo v takto strukturovaném poli hledat zlepšení současného stavu řízení a implementace OP LZZ. Tento záměr byl postupně upraven jednak proto, že nebylo možné některé FS kvalitně zrealizovat a především proto, že se změnily důrazy zadavatele, zvýšil se zájem o to získat též zpětné vazby z prostředí mimo implementační strukturu OP LZZ. Dále byly na žádost zadavatele provedeny FS k vybraným aktuálním výzvám (23, 34 a 35) a speciální FS k hodnotícím rámcům a aktivitám (evaluační plán, roční operační vyhodnocení). K celkovému provedení projektu a ohledem na jeho žádoucí pokračování, reflektuje tato zpráva také poučení z řízení a organizace takto zadaného evaluačního projektu.
Zpráva dále popisuje jednotlivé kroky provedení projektu a opět reflektuje průběh jejich organizace, úspěchy a neúspěchy, a směřuje tak k doporučením týkajícím se jednak organizace budoucího vzdělávání včetně workshopu a jednak k pokračování fokusních skupin, které realizátor považuje za nutné a přínosné a to nejen v online podobě. Ačkoliv se rozjezd online skupin a také organizace osobních setkání potýkaly s nemalými problémy, zpráva konstatuje nejen, že se takto zadaný projekt a takto vybrané metody jeho provedení ukázaly jako velice účinné a úspěšné, ale navíc se ukazuje, že výstupy projektu mohou dobře sloužit pro další pokračování aktivit, které směřují k cíli zkvalitnit řízení a implementaci OP LZZ. Nutno tedy zdůraznit, že smyslem této zprávy není uzavřít, ale naopak otevřít komplex aktivit směřujících k výměně zkušeností, rozvoji kapacit a zkvalitňování řízení OP LZZ.
Xxxxxx, Xxx, Xxx. Xxxxxxxxx, Xxxxxxxx, Xx. Xxxxxxxxx, Xxxxx Xxxxxxxxx, Xxxx, Xxx.
Xxxxxxxx, Xxxxx, Xxx. Xxxxx, Xxxxx, Xxx.
Xxxxx, Xxxxx
Xxxxxxxx Xxxxxxxxxx, Xxxxx, Mgr., PhD. (vedoucí týmu) Vlk, Aleš, PhD.
Xxxxxxxxxx, Xxxxxx, Mgr.
APZ | Aktivní politika zaměstnanosti |
ČR | Česká republika |
EK | Evropská komise |
ERDF | European Regional Development Fund, Evropský fond regionálního rozvoje |
ESF | European Social Fund, Evropský sociální fond |
EU | European Union, Evropská unie |
FS | Fokusní skupina/y |
GP | Grantový projekt |
IP | Individuální projekt |
IS | Informační systém |
JPD | Jednotný programový dokument |
LZ | Lidské zdroje |
Monit | Aktuální monitorovací systém OP LZZ |
MPO | Ministerstvo průmyslu a obchodu |
MPSV | Ministerstvo práce a sociálních věcí |
MV | Ministerstvo vnitra |
NNO | Nestátní nezisková organizace |
NSRR | Národní strategický referenční rámec |
OP | Operační program |
OP LZZ | Operační program Lidské zdroje a zaměstnanost |
OP RLZ | Operační program Rozvoj lidských zdrojů |
OP VK | Operační program Vzdělávání a konkurenceschopnost |
OPPA | Operační program Praha – Adaptabilita |
PO | Prioritní osa |
PSE | Pracovní skupina pro evaluace |
RLZ | Rozvoj lidských zdrojů |
ŘO | Řídící orgán |
TA | Technická asistence |
ÚP | Úřad práce |
ZS | Zprostředkující subjekt |
V textu je vždy u prvního výskytu uveden rozpis zkratky, v závorce následuje zkratka. Ta je užívána dále v textu, ve výjimečných případech je za účelem zvýšení srozumitelnosti a plynulosti textu voleno i plné vyjádření. Ve zprávě jsou upřednostňovány zkratky vytvořené z českých výrazů; v případě, že není česká zkratka zavedena, je užita zkratka vytvořená z původního anglického výrazu.
1.4. Vybrané citáty z fokusních skupin
„Na ministerstvu práce čas není.“
“Ve starém období byl chaos, kolegyně to teď chudák počítá ručně.“ (o indikátorové soustavě)
„Všichni jsou proškoleni, ale na jaké úrovni?“
„Informační systém by byl dokonalý, kdyby nebyl.“
„'Xxxxx problémy řeší': To jméno jsem slyšela tolikrát, že jsem si říkala jak je možné, že se vše stýká u jedné osoby.“
„Kdo není líný, měl by nabízené podpory využít a zažádat o ni.“ (Doporučení realizátora GP) “Někdo si nepřečte ani text výzvy!...“ (O žadatelích)
„Často mám pocit, že hodnotím schopnost žadatele psát projekt, nikoliv potřebnost projektu.“
„Klasicky forma vítězí nad obsahem.“
„Nejde o to, jak se naučíme anglicky, ale o to, jak se naučíme správně. Nejde o to, jak napsat zprávu, ale o to, jak ji napsat dobře.“ (O hodnocení projektových žádostí)
„Bez těch vedlejších tabulek to nejde.“ (na téma „paralelních agend“)
„Komunikace se zástupci MF je obtížná a je to letitý problém, ale co je horší, je neefektivní komunikace mezi jednotlivými útvary MF. Pravidlo vyhotovené v jednom útvaru nereflektuje na situaci v jiném, možné negativní dopady nejsou promyšleny a komunikace následně vázne. Xxxxxxx se o problémech ví, ale kolektivně se o nich mlčí. Jelikož komunikace mezi jednotlivými útvary MF je diskutabilní, nemůžeme očekávat silnou a přímou komunikaci mezi MF a ostatními subjekty a ministerstvy.“
„Myšlenka je na počátku dobrá, ale realizace celého systému je o mnoho složitější, takže se stále jen improvizuje“ (o nastavení rozpočtových pravidel)
„Všechny implementační jednotky by se měly vyčlenit a zcentralizovat.“
„Do budoucna by se mělo přemýšlet nad tím, aby existovala agentura, která bude řídit strukturální fondy.“
„Auditoři jsou brzdou procesu.“
„Resorty jsou brzdou vývoje implementačních struktur.“
„Existují dvě roviny řízení ESF, jedna z nich nechce přijít o práci a tak o problémech mlčí či věci zamlčuje.“
„Zprostředkující subjekt za celou dobu nic nepošle, dělá jen servis nahoru.“
„Najednou se někdo hrozně diví, že máme nastupujících 250 a vystupujících 290, ale oni sami nastavili ukazatele tak, že nastupují lidé, ale vystupují certifikáty – a každý může získat dva.“
„Když je problém s komunikací, pak se špatně prosazují myšlenky. ... Důležité je snažit se udržet, co si člověk naplánoval a přizpůsobit tomu zdroje.“ (o realizaci projektů)
„Lidé, kteří nám pomáhali s přípravou tam jsou pořád, což je dobré. ... Ministerstvo vždy reaguje konstruktivně na naše připomínky či dotazy a vždy nám poskytnou rychlou pomoc.“ (O podpoře ŘO)
„My jsme ti, kdo musí být flexibilní. Na straně ŘO jsou sledovány termíny, administrativa, přizpůsobit se musí realizátor“.
„Výdaje na kontrolu a administrativu převyšují případné úniky.“
„My lhůty máme, oni ne.“ (realizátoři projektů o komunikaci s ŘO)
„Všichni věděli, že řada organizací už mele z posledního, vypadlo jim financování na celý rok – a pak se divili, že byl přetlak projektů v první výzvě.“
„My ani neočekáváme žádná jednání…nám dali (ŘO) jasné instrukce a my je splnili…každý detail by nás posunul o dalšího čtvrt roku a to nechceme. Rozporná komunikace se státní správou z tohoto důvodu nemá smysl“. (O zahájení realizace projektů)
„Amatérská komunikace z jejich strany (ze strany ŘO). Oficiální vyjádření nepřijde a nebo přijde s
velkým zpožděním. Dlouho nevíte na čem jste….a čekáte. Tímto způsobem přijdeme o peníze, protože oni (ŘO) nedodrží časový rozvrh a my čekáme na to, kdy začneme (s realizací)…jestli vůbec.“ (O způsobu vyrozumění o přidělení dotace)
„Míra pomoci řídících orgánů u investičních projektů je velmi dobrá. U měkkých projektů je to pravý opak…lidi, kteří vám mají pomoci nejsou dostatečně informovaní.“
„Co jsem nepochopil je to, že v téhle fázi, kdy hledáme dodavatele máme povinnost vyvěsit na web informaci o tom, že zadáváme výběrové řízení, i přesto, že máme jasnou představu o tom, které dodavatele sami chceme. Takto nám bude chodit stovky žádostí a my se jimi musíme zabývat. Navíc nám bylo nepřímo slíbeno, že si nakonec budeme moci vybrat koho budeme chtít, ale nejprve musíme vyhlásit seriózní výběrové řízení. Tohle je z velké části nedomyšleno, jelikož do toho investujeme čas, který bychom mohli vynaložit na důležitější věci. Přidaná hodnota je nula nebo negativní.“
„Referenti odpovídají: 'Myslím si, že je to tak a tak, ale ještě si to ověřte.'“
„Každá monitorovací zpráva představuje tři a půl šanonu.“
„Všude jsou lidé, moji naštvanost kompenzuje lidský přístup.“
2. MANAŽERSKÉ SHRNUTÍ
1. Shrnutí základních kroků provedení projektu, jejich smyslu, obsahu a výstupů:
a. Evaluační workshop (20.-21.4. 2009): Smysl: podpořit práci interního eval. pracoviště OP LZZ a sebrat podklady pro zlepšení jeho práce; Obsah: evaluace jako součást plánu řízení, principy začleňování evaluací do řízení programu, základní pojmy a typy evaluací, fáze procesu zadávání, řízení a užití evaluací, specifika vstupů evaluací, informačních zdrojů, práce s daty a monitorování, specifika výstupů a dopadů evaluací, indikátory a kritéria a náležitosti evaluačních zpráv; Výstup: pozitivní hodnocení, doporučujeme opakovat ve formě školení šitých na míru třem různým cílovým skupinám s tím, že takové školení je viděno jako součást navrhovaného systematického rozvoje lidských zdrojů v rámci organizace zadavatele.
b. Překlad EQUAL Evaluation Sourcebook (20.4.2009): Smysl: podklad a studijní materiál pro účastníky workshopu; Obsah: překlad do ČJ s drobnými editačními zásahy; Výstup: doporučení rasantnějších úprav textu a přizpůsobení materiálu potřebám konkrétních skupin (publikováno na ESF Fóru vč. návrhu doporučení).
c. Online komunikace skrze platformu ESF Fóra (průběžně): Smysl: rozšíření, pokračování a upevnění procesů nastartovaných v projektu; Obsah: sběr podnětů na workshopu a fokusních skupinách v kombinaci s poučením se z funkčních diskuzí, realizace pilotní testovací skupiny, vypracována strategie moderace online skupin vč. nastavení odpovědností; Výstup: vstup do diskuze o modelu komunikace na MPSV skrze ESF Fórum a další nástroje, kdy v zaměření se na platformu ESF Fóra bylo doporučeno, aby fungovalo jako digitální úložiště-znalostní báze, bylo řešeno nastavení rolí a odpovědností-pozice v rámci jiných platforem, ukotvení v pracovní náplni lidí, funkce+design a otevření se externímu prostředí.
d. Fokusní skupiny (face-to-face: 6.5.-16.9.2009, online skupiny průběžně): Smysl: analyzovat dosavadní průběh implementace a řízení OP LZZ, identifikovat problémová místa a potenciál pro rozvoj kapacit ŘO a dalších částí implementační struktury. Tímto rozvojem kapacit byla konkrétně míněna ochota sdílet zkušenosti, možnosti přenosu know-how, ochota k diskusi a podmínky pro rozvoj znalostí a kapacit. Obsah: tématicky členěné pole dle zaměření jednotlivých prioritních os OP LZZ (adaptabilita, aktivní politiky trhu práce, sociální integrace a rovné příležitosti, veřejná správa a veřejné služby, mezinárodní spolupráce a technická asistence) a dále dle fází implementace a řízení programu (metodické řízení, výzvy k předkládání projektů, hodnocení projektů, monitorování programu a finanční řízení). Výstup: 37 skupin se podařilo realizovat dle harmonogramu za 4,5 měsíce a s průběžnými změnami; doporučujeme ve vybraných skupinách pokračovat v online podobě v kombinaci s face-to-face skupinami a se zahrnutím i externího prostředí programu (například jiné OP); osvědčil se síťový marketing a přímé oslovení, organizace skupin a motivace lidí je náročná, neboť z 1618 oslovených potvrdilo účast 203 a přišlo 177.
2. Hlavní závěry projektu a směry doporučení:
a. Existuje jasný a silný zájem různých aktérů skutečně zlepšit řízení a implementaci OP LZZ; tito zaujímají různé postoje/motivace a s tím je třeba pracovat při realizaci takových opatření, která mají vést ke změnám a na kterých je zároveň nezbytný podíl a spolupráce těchto aktérů.
b. Flexibilita při realizaci projektu a použitá metoda se velmi osvědčily, projekt byl pokrokově zadán (nástroje sběru dat byly použity jako nástroje valorizace zkušeností, projekt nic neuzavírá, ale naopak otevírá), proto doporučujeme pokračovat v takových projektech, dát jim větší časový prostor, flexibilitu obsahu a zvážit rozsah.
c. Podstatná je série doporučení směřující k podpoře systematického rozvoje lidských zdrojů v rámci implementační struktury OP LZZ, tato zpráva navrhuje řadu konkrétních nástrojů, jak tento rozvoj realizovat. S tím úzce souvisí pozornost věnovaná principu tvorby, přenosu a správy znalostí vytvořené v rámci implementace a řízení OP LZZ a požadavek transparentnosti správy veřejných financí ve smyslu budování odpovědnosti za skutečný dopad OP LZZ.
d. V souvislosti s připravovaným oddělením věcného řízení a administrace OP LZZ, které tato zpráva potvrzuje jako dobrý krok, je důležité se zaměřit na roli ŘO ve strategickém řízení programu. Je třeba systematicky budovat vnitřní kapacity a zaměřit se též na externí zdroje znalostí a zkušeností, hledat inspiraci v zahraničí a zavést transparentní komunikační proces po vzoru strategického plánování řízeného Evropskou komisí.
e. Další série doporučení směřuje ke zvýšení odpovědnosti za dílčí fáze implementace, doporučujeme vydat konkrétním osobám mandát k výkladu pravidel, dodržovat harmonogram a zlepšovat komunikaci se žadateli. Poslední jmenované zahrnuje řadu konkrétních opatření, například zavedení konzultačních hodin, diverzifikaci služeb lidí na help lince, podávání přesných a spolehlivých informací, zveřejňování již zodpovězených otázek apod.
f. Sada doporučení se dále věnuje dopadům programu, jak zkvalitnit hodnotící proces tak, aby jeho důsledky vedly k lepšímu naplňování cílů programu, neboť to je průsečíkem všech procesů spojených s řízením a implementací OP LZZ. Je třeba sjednotit informace pro žadatele a hodnotitele a všemi dostupnými způsoby zvyšovat kvalitu hodnocení: školení hodnotitelů zaměřit na hluboké pochopení smyslu výzvy, poskytovat hodnotitelům zpětnou vazbu, pokračovat v ratingu hodnotitelů a ten propojit s odměňováním.
g. Specifická část doporučení se týká zadávání evaluací a vesměs směřuje ke zlepšení 1) získávání podnětů a vstupů pro zadání evaluací a 2) šíření výstupů z evaluací zejména s ohledem na požadavek zprůhlednění způsobu vypořádání evaluačních zjištění a doporučení. Dále je třeba věnovat pozornosti rozvoji kapacit včetně mezinárodního srovnávání, zkvalitnění informačního zázemí pro hodnocení a zlepšení vazeb mezi monitoringem a evaluací.
Konkrétní doporučení staví na zjištěních a pozorování z jednotlivých kroků provedení projektu. Tato doporučení byla dále zvážena na základě porovnání výsledků napříč skupinami a napříč metodami.
3. PRŮBĚH ŘEŠENÍ PROJEKTU (popisná část)
V rámci projektu byly realizovány postupně: evaluační workshop a překlad příručky EQUAL Evaluation Sourcebook, dvě fáze face-to-face fokusních skupin a online fokusní skupiny. V popisné části této zprávy uvádíme základní přehled o tom, jak byla zakázka organizována a výše uvedené kroky naplněny, v návazné kapitole pak uvádíme rozbor pozorování a zjištění a v závěru jsou uvedena doporučení, která stavějí na zjištěních, pozorováních a zkušenostech, které jsme během tohoto projektu učinili.
Ještě než uvedeme popis realizace projektu, považujeme za vhodné učinit poznámku k průběhu projektu jako celku, jednalo se totiž o neobvyklý projekt a rozhodně nešlo o klasicky zadávanou evaluaci, ale o neotřelý a velmi pokrokový způsob zadání evaluačních prací. Předně, byly použity evaluační nástroje k přenosu zkušeností a budování kapacit. Spíše tedy než ke sběru dat, které bývá populárním krokem evaluace, byla akcentována valorizace poznání získaném pomocí těchto nástrojů (navíc nositelem poznání nebyl evaluátor, ale cílové skupiny, se kterými pracoval). Sekundárně z toho vyplývá, že se projekt evaluace zaměřoval na podporu procesu tvorby informační základny pro návazné analýzy, a tedy jeho smyslem nebylo něco „uzavřít“, ale naopak „otevřít“, tedy rozběhnout procesy, které povedou ke zjišťování bariér a příčin problémů a hledání jejich operativního řešení. To není jednoduchý úkol pro evaluátory, neboť se vždy očekává, že závěrečná zpráva bude jakousi tečkou za projektem. Zde bychom však daleko raději, aby to byl počátek dalšího systematického budování kapacit, přenosu znalostí a komunikace v rámci implementační struktury OP LZZ.
Projekt měl jasně vymezený začátek a konec navzdory faktu, že proces, který nastartoval a metody, které použil, tento časový rámec musí překračovat už ze své povahy a požadavku jejich úspěšnosti. Dokonce i aktivita zdánlivě časově jasně ohraničená, evaluační workshop, se v kontextu projektu jeví jako počátek systematicky pojatého rozvoje lidských zdrojů, natož pak fokusní skupiny, jejichž úspěch a skutečný efekt se nutně musí projevit až s jistým časovým odstupem. Face-to-face skupina je sice formálně ustavena, ovšem skupinou se stává až s určitým vývojem, kde jen některé skupiny skutečně obhájily svůj smysl, zatímco pokračování jiných by nebyla relevantní. Online skupiny mají delší tuto iniciační fázi než face-to-face skupiny, není proto možné a ani profesionální činit závěry z něčeho, co se teprve usazuje. Třetím zdroje zvláštnosti tohoto projektu byl na první pohled nevinný, ovšem zcela zásadní posun v zacílení skupin. Zatímco původně měl být celý projekt zaměřen výhradně na implementační strukturu, vnesl do něj v průběhu realizace zadavatel požadavek zapojení aktérů z vnějšího prostředí (z hlediska původního zadání) a tím de facto změnil kontext celé zakázky.
Evaluátor většinou nehodnotí vlastní evaluační projekt, nicméně zkušenost se zadáním a realizací tohoto projektu byla pro nás takovou výzvou, že jsme ji nemohli ignorovat. Předně je zřejmé, že experiment se zdařil a novátorsky pojatý pohled na hodnocení průběhu řízení a implementace OP LZZ se skutečně osvědčil, neboť předkládá dynamičtější a aktuálnější obraz skutečnosti a v principu zabudovává konkrétní nástroj k dalšímu pokračování. Konkrétní změny v zadání projektu se děly ve snaze zvýšit kvalitu projektu a byly tak i přijímány, nicméně flexibilita je možná jen do určité míry ve fixně daném časovém a finančním horizontu. Rozhodně tedy podporujeme pokračování takto pojatých projektů v rámci řízení a implementace OP LZZ i jiných operačních programů, ovšem z hlediska použitých nástrojů a zkušenosti, jak dlouho trvá, než začnou generovat výsledky, silně doporučujeme vymezit takovým projektům větší časový prostor, ponechat jim podobnou flexibilitu a zvážit jejich rozsah. Tento projekt byl totiž poněkud ambiciózní, v krátkém čase (reálně probíhaly fokusní skupiny pouze 4 měsíce) zrealizoval 37 fokusních skupin, každou v jiné kombinaci. Návazně by tedy stálo za úvahu zaměřit se pouze na vybraný vzorek skupin (např. korespondující s vybranými online skupinami) a podporovat je dále v jejich rozvoji. Paralelně by měly být realizovány projekty zaměřené na systematický rozvoj lidských kapacit, jak uvádíme v dalších doporučeních na konci této zprávy.
Smyslem evaluačního workshopu „Vše, co jste chtěli vědět o evaluacích a...“ bylo podpořit zadavatele při přípravě 2. etapy průběžného hodnocení OP LZZ, která bude zahájena v průběhu roku 2010. Dvoudenní workshop proběhl v termínu 20.-21.4. 2009 v divadelním sále Klubu Lávka na Novotného Lávce 1 v Praze 1. Účastníky workshopu byli pracovníci jednotlivých implementačních oddělení OP LZZ, pracovníci interního evaluačního pracoviště v rámci řídícího orgánu, a členové a členky Pracovní skupiny pro evaluace. Seznam všech účastníků workshopu je uveden v příloze 2.
Workshop „Vše, co jste chtěli vědět o evaluacích a ...“ zahrnoval tato témata: evaluace jako součást plánu řízení, principy začleňování evaluací do řízení programu, základní pojmy a typy evaluací, fáze procesu zadávání, řízení a užití evaluací, specifika vstupů evaluací, informačních zdrojů, práce s daty a monitorování, specifika výstupů a dopadů evaluací, indikátory a kritéria a náležitosti evaluačních zpráv a kvalitu evaluátorů (viz program workshopu v příloze 3). Specifickou a závěrečnou částí workshopu byla diskuze k zadání 2. etapy průběžného hodnocení OP LZZ a k aktualizaci Evaluačního plánu. Tato část shrnovala smysl workshopu, totiž podpořit zadavatele při přípravě 2. etapy hodnocení OP LZZ a zviditelnit Evaluační plán. Pozvaní účastníci byly totiž osoby, které by měly aktivně vstupovat do zadávání evaluací v rámci Evaluačního plánu a dále využívat výstupů práce Evaluačního oddělení. Workshop byl odborným seminářem, jehož integrální součástí byly diskuze, interakce s účastníky, hry, samostatná nebo týmová práce účastníků, praktický nácvik dovedností a individuální konzultace během přestávek. Všichni účastníci obdrželi potřebné školicí materiály před začátkem každého meetingu.
Na konci každého dne workshopu proběhl brífink lektorů a zástupců zadavatele jako vyhodnocení dne a zjištění zpětné vazby za účelem zvýšení kvality semináře. Na závěr workshopu proběhlo jeho vyhodnocení účastníky v podobě krátkého dotazníkového šetření. Analýza vyhodnocení dotazníků spokojenosti účastníků s workshopem prokázala, že celých 100% účastníků převážně zhodnotilo oba dva dny semináře za přínosné, praktické a informativní, a ocenilo jak interaktivní přístup řečníků, tak jejich prezentační schopnosti. 40% zúčastněných považovalo přednášky za spíše teoretické a praktické využití probíraných témat za nejasné. Proto účastníci projevili zájem si získané znalosti procvičit hlouběji na konkrétních příkladech z praxe. 88% zúčastněných považovalo probíranou látku, metody výuky a poskytnuté materiály odpovídající cílům workshopu, bylo spokojeno se svým vlastním zapojením do diskuze a uvítalo by v probíraných tématech pokračovat do budoucna. Podrobnější přehled výsledků hodnotících dotazníků od účastníků workshopu je uveden v příloze 4.
Z podrobného zpracování zhodnocení semináře účastníky je především patrná výrazná různorodost účastníků a jejich očekávání. Seminář je celkově hodnocen jednoznačně pozitivně. Rozporně je hodnocena míra praktické využitelnosti získaných poznatků. Je zjevné, že někteří účastníci semináře si nedovedou představit, na co by mohli probranou látku v praxi využít, protože se s hodnocením doposud setkávali spíše okrajově, pokud vůbec. Xxxx účastníci se občas ztráceli v praktických cvičeních, protože jim unikal jejich smysl. Uvítali by spíše přehledové, úvodní bloky k tématu, které by zmapovaly celkový kontext a vysvětlily téma krok za krokem. Nadpoloviční většina účastníků nicméně s evaluací a jejími výstupy aktivně pracuje (někteří již delší dobu), takže oceňovala spíše interaktivní a prakticky zaměřené bloky a v hodnocení volá spíše po dalším „vyzkoušení si na praktických příkladech“. Vzhledem k tomu, že drtivá většina účastníků se shodla v tom, že by se tématy evaluace chtěla dále zabývat a že z dalších šetření v rámci projektu vyplynula potřeba vzdělávání v zadávání a využívání evaluačních prací, směřují některá doporučení uvedená v závěru této zprávy také k oblasti pokračování takových workshopů.
3.2. Překlad EQUAL Evaluation Sourcebook
Součástí projektu bylo též vyhotovení překladu příručky „EQUAL Evaluation Sourcebook“ do češtiny. Překlad byl vyhotoven včas tak, aby mohl být v tištěné i elektronické verzi distribuován účastníkům workshopu „Vše, co jste chtěli vědět o evaluacích a…“. Na základě připomínek zadavatele byly provedeny další úpravy a opravy textu. Kromě toho realizátor sám ještě jednou provedl jazykové a stylistické korektury a překlad opatřil informací o jeho původu (text příručky byl v příloze č. 4 v První průběžné zprávě a byl rovněž re-distribuován účastníkům semináře a vystaven v klubu ESF Fóra). Nicméně bylo třeba se držet původního textu, který byl překládán, a protože realizátor identifikoval možné formální i obsahové oblasti vylepšení textu, byly návrhy na toto vylepšení včetně poslední verze příručky vystaveny dne 22.5.2009 k diskuzi na ESF Fóru v klubu „Vše, co jste chtěli vědět o evaluacích“.
3.3. Online komunikace skrze platformu ESF Fóra
Na základě vyhodnocení zpětné vazby na workshop „Vše co jste chtěli vědět o evaluacích a...“ vznikl stejnojmenný diskusní klub v ESF Fóru s cílem pokračovat v tématech, která byla v rámci workshopu otevřena. Přesto, že byly emailem rozeslány pozvánky a posléze připomínky, přes snahu moderovat tuto diskuzi a navázat na témata, ke kterým se účastníci workshopu živě vyjadřovali face-to-face, se nepodařilo zajistit, aby se účastníci aktivně zapojili, ač pasivně diskuzi sledovalo cca 20 osob (z celkových 28 účastníků workshopu). Detailní shrnutí průběhu a výstupů této online fokusní skupiny lze najít v 1. a 2. průběžné zprávě.
Na základě této zkušenosti a s ohledem na předběžné výstupy z první etapy fokusních skupin byla formulována sada doporučení tak, aby online fokusní skupiny vedly k úspěšné realizaci. Tato doporučení byla shrnuta a odsouhlasena v 1. průběžné zprávě a šlo zejména o následující změnu:
• Moderátorem skupin by byli zástupci zadavatele (MPSV). Ze strany dodavatele (Navreme Boheme, s.r.o.) bude poskytnuta technická pomoc pro start činnosti online skupin, včetně pomoci moderátorovi.
S ohledem na nutnost najít vhodné moderátory na straně zadavatele a přípravu podnětů pro jednotlivé online fokusní skupiny na základně face-to-face fokusních skupin byla realizace dalších online fokusních skupin pozastavena. Na základě výstupů z druhé fáze fokusních skupiny byl připraven a zadavateli 9.9.2009 předán materiál shrnující možnosti využití online fokusních skupin pro tématické okruhy uvedené ve vstupní zprávě (viz příloha 8, Spuštění tématických online fokusních skupin). Tento byl následně rozporován co se týče způsobu provedení online fokusních skupin, a to zejména co se týče původu moderátorů; dodavatelem doporučovaný postup, tj. zapojení zástupců z MPSV jako moderátorů a pouze podpůrná role dodavatele, byla na základě dohody na schůzce dne 16.9.2009 opět změna, a to tak, že budoucí moderátoři z řad MPSV budou sice stanoveni, ale v úvodní fázi spuštění skupin bude diskuze moderovat zástupce dodavatele s tím, že tuto roli posléze předá. Dále byly předány tématicky rozdělené podněty pro diskuzi v online fokusních skupinách (viz příloha 9) s tím, že počet skupin byl změněn z původních pěti na čtyři, a to s ohledem na neuskutečnitelnost tématické online fokusní skupiny „Finanční toky a finanční řízení“. Online fokusní skupiny začaly 12.10.2009 a jsou aktivní do současnosti; předání role moderátorů zástupcům zadavatele proběhlo dne 10.11.2009.
Celkem bylo zrealizováno 37 fokusních skupin (33 face-to-face + 4 online FS), z nichž face-to-face fokusní skupiny byly jádrem projektu. Podstatou fokusních skupin bylo vždy zaměřit se, „zaostřit“, na určitou oblast, téma nebo prioritní osu, a to z toho důvodu, aby reprezentativní zástupci všech, kteří v určité oblasti nebo přípravě a realizaci prioritních os hrají konkrétní roli, mohli svobodně a neformálně vyjádřit své myšlenky, návrhy a nápady.
Fokusní skupiny měly formu diskusních skupin o optimálním počtu přibližně 7-9 účastníků v délce dvou hodin. Jejich záměrem bylo, aby během nich zaznělo co nejvíce nápadů, námětů, připomínek a návrhů od účastníků, které se obecně týkaly různých způsobů, jak zvýšit kvalitu a efektivitu řízení a implementace OP LZZ. Cílem nebylo přednesené myšlenky ihned v průběhu realizace fokusních skupin hodnotit nebo polemizovat s nimi, ale shromáždit co nejvíce originálních nápadů a návrhů pro jejich pozdější analýzu a expertní posouzení. Proto se fokusní skupiny konaly mimo stálá pracoviště účastníků v sídle společnosti Navreme Boheme, s.r.o. v klidném prostředí zasedací místnosti, doplněném malým občerstvením. Vždy po předchozí dohodě s účastníky byly jejich myšlenky zachycovány, a to písemnou formou i digitálními audionahrávkami. Skupiny byly vždy moderovány jedním moderátorem, který řídil diskusi a snažil se ji efektivně vést k předem vytyčeným cílům a dle předem připraveného scénáře, druhou osobou byl asistent-zapisovatel, který pomáhal moderátorovi v jeho úloze a zaznamenával návrhy účastníků i vlastní pozorování skupiny.
Na fokusní skupiny byli účastníci zváni podle předchozího systematického výběru, jehož účelem bylo, aby účastníci v konkrétní fokusní skupině měli k jejímu tématu, ale i mezi sebou navzájem co říci, aby si mohli vyměnit názory, poznatky a zkušenosti i společnými silami se pokusit nalézt řešení eventuálních problémů, které před nimi stojí.
3.4.2. Zaměření fokusních skupin
Původním rozvrhem realizace FS byla matice témat (metodické řízení, výzvy, hodnocení, monitorování, finance) a prioritních os OP LZZ, vč. TA. Podle předpokladu to mělo umožnit celkové shrnutí k tématům a k jednotlivým prioritním osám. Tento záměr byl postupně upraven ze dvou důvodů – jednak objektivních – materiálních, protože se ukázalo, že některé FS prakticky nelze sestavit, neboť je jen velmi málo zainteresovaných osob, na druhé straně se změnily důrazy zadavatele, zvýšil se zájem o to získat též zpětné vazby z prostředí mimo implementační strukturu OP LZZ. Dále byly na žádost zadavatele provedeny FS k vybraným aktuálním výzvám (23, 34 a 35) a speciální FS k hodnotícím rámcům a aktivitám (evaluační plán, roční operační vyhodnocení).
Je třeba ocenit, že zadavatel průběžně reagoval na zjištěné odchylky od původních předpokladů zadání. Například zpětná vazba od realizátorů projektů se ukázala jako velmi inspirativní. Zároveň je třeba podotknout, že změny v průběhu zadání způsobovaly značné komplikace pro rozvržené interpretační rámce zjištění. Kdyby například skupina realizátorů byla do FS zařazena od počátku, výrazně by to změnilo načasování jednotlivých FS, umožnilo by to zpřesňovat jednotlivá dílčí témata ve FS zaměřených na řídící struktury atp. Zpracovatelům se podařilo se s nastalými obtížemi s úspěchem vyrovnat, přesto je tuto skutečnost v jistém smyslu třeba vnímat jako nevyčerpanou příležitost.
3.4.3. Organizace a logistika 1. a 2. fáze realizace fokusních skupin
V rámci první fáze realizace evaluačních fokusních skupin proběhlo deset fokusních skupin zaměřených na témata “Hodnocení projektů a hodnotící kriteria” a “Výzvy k předkládání projektů” napříč pěti věcnými prioritními osami OP LZZ (kromě šesté osy zaměřené na Technickou asistenci). Na základě poskytnutých seznamů kontaktů bylo nejdříve plošně osloveno 110 jedinců. Z tohoto počtu na nabídku reagovalo pouze 67 osob. Z celkového počtu 96 telefonicky oslovených potvrdilo svou účast 62 osob, avšak na skupiny se pak dostavilo pouze 49 osob, tedy 79% z potvrzených a 51% z oslovených kontaktů. Zhruba lze shrnout, že z potvrzených se pak skutečně dostavily tři čtvrtiny a z oslovených polovina.
Na základě doporučení a domluvy se zadavatelem projektu byli všichni nominovaní účastníci osloveni nejprve metodou přímého marketingu v podobě elektronických pozvánek na konkrétní fokusní skupiny. Tyto pozvánky obsahovaly cíl, smysl a detailní popis fokusních skupin společně s popisem konkrétního místa a termínů realizace fokusních skupin (ukázka pozvánky viz příloha 5). Cílem tohoto plošného oslovení bylo podat potencionálním účastníkům dostatečné formální i obsahové informace o evaluačních fokusních skupinách a požádat je o vyjádření zájmu o účast na konkrétních fokusních skupinách. Tato metoda nebyla příliš úspěšná, proto bylo přistoupeno k oslovování telefonicky, což se ukázalo jako nejúčinnější metoda. V průběhu organizace fokusních skupin byla při každé možné příležitosti úspěšně použita metoda síťového marketingu, kdy byli účastníci požádáni, aby informaci o konání fokusních skupin rozšířili mezi své spolupracovníky, a aby zpětně poskytli kontakty na další osoby, které by se fokusních skupin chtěly, mohly nebo měly zúčastnit.
Ačkoliv první fáze realizace evaluačních fokusních skupin proběhla podle harmonogramu, potýkala se s časovými problémy rozjezdu projektu, chápání fokusní skupiny jako řízeného hodnotícího nástroje a motivací jedinců účastnit se skupin nad rámec svých pracovních povinností a zájmů.
V rámci druhé fáze realizace fokusních skupin proběhlo 23 tematických face-to-face fokusních skupin a
4 online fokusní skupiny. Face-to-face fokusních skupin se zúčastnilo 128 osob. Ve vazbě na zkušenosti z první fáze FS (např. skutečné proporce účastníků, vazby mezi tématy, doplnění o nová témata apod.) a v souladu s požadavkem zadavatele na zvýšení vazby z terénu, tj. zapojení lidí mimo vlastní implementační strukturu OP LZZ, bylo ve druhé fázi fokusních skupin realizováno celkem osm skupin zaměřených převážně na samotnou realizaci projektů, kde došlo k zohlednění jak zkušeností z administrace, tak implementace projektů v rámci jednotlivých PO. Tyto fokusní skupiny byly dále rozdělené podle typu a zaměření projektů na individuální a grantové projekty. Další dvě fokusní skupiny byly zaměřeny na hodnocení projektových žádostí, jejichž smyslem bylo odhalit kritická místa a nedostatky v procesu hodnocení a navrhnout doporučení pro zlepšení systému hodnocení projektových žádostí v rámci současného programového období. Ve druhé fázi dále proběhly skupiny, které měly zvláštní scénář a zaměření a částečně shrnovaly a stavěly na předchozích fokusních skupinách. Mezi tyto skupiny patřily zejména diskuse o dosavadní úspěšnosti administrace Výzev č. 23
„Adaptabilita a konkurenceschopnost“, 34 „Vzdělávejte se“ a 35 „Školení zaměstnanců“, vyhlášené v rámci PO 1 OP LZZ a skupina zaměřená na připomínkování plánovaných aktivit a jejich výstupů obsažených v Evaluačním plánu OP LZZ na léta 2007-2013. Připomínky se týkaly jak věcného zaměření a konkretizace zadání evaluací, tak jejich časování. Mezi další specifičtější skupiny patřily tři horizontální skupiny zaměřené na témata „Hodnocení projektů a hodnotící kritéria“, „Výzvy k předkládání projektů“ a „Technická asistence“. Jednalo se o průřezové skupiny, jejichž cílem bylo celkově zvážit a vyhodnotit váhu problémů, které identifikovaly dílčí skupiny na toto téma v rámci jednotlivých prioritních os, které byly realizovány v první fázi FS. Další tři horizontální FS zaměřené na témata „Metodické řízení“, „Finanční řízení“ a „Monitorování a IS“ se věnovaly diskusím o těchto problematikách v rámci všech prioritních os OP LZZ. Specifickou FS byla skupina zaměřená na Roční operační vyhodnocení, ve které proběhl přenos zjištění realizátorů projektu „Organizace evaluačních fokusních skupin OP LZZ a evaluačního workshopu“ do projektu „Roční operační vyhodnocení OP LZZ“ a diskuze obou hodnotitelských týmů. (Celkový přehled fokusních skupin realizovaných v obou fázích evaluačních fokusních skupin OP LZZ je k dispozici v příloze 6).
Realizaci druhé fáze FS komplikovaly rasantní změny ve struktuře a rozložení fokusních skupin. Došlo ke změně, kdy byl původně stanovený plán realizace rozšířen nejen o nová témata, ale i o nové cílové skupiny. Z původně plánovaných 21 skupin (18 skupin za jednotlivé PO + 3 horizontální skupiny dle původního návrhu harmonogramu) zaměřených na témata „Hodnocení projektů“, „Výzvy k předkládání projektů“ a „Technická Asistence“, došlo pouze k realizaci průřezových skupin (sloučených za všechny PO) na zmíněná témata. Zbylých 18 skupin bylo nahrazeno a rozšířeno o nově vzniklé skupiny:
Realizátoři projektů (8 skupin) Hodnotitelé projektových žádostí (2) Výzva č. 35 „Školení je šance“ (2) Výzva č. 34 „Vzdělávejte se“ (1)
Výzva č. 23 „Adaptabilita a konkurenceschopnost“ (1) Metodické řízení (1)
Finanční řízení (1) Monitorování a IS (1)
Roční operační vyhodnocení (1)
Nicméně, na základě vstřícné a flexibilní spolupráce se zadavatelem (včasné dodání potřebných podkladů), se podařilo všechny osoby participující na FS oslovit s dostatečným časovým předstihem a skupiny zrealizovat v původně plánovaných termínech. Respondenti ve druhé fázi realizace fokusních skupin byli stejně jako v první fázi nejprve osloveni plošně. Poté byla s těmi, kteří projevili o dané fokusní skupiny zájem, navázána užší spolupráce a v rámci organizace plánovaných skupin byly se zájemci vyjednány vhodné termíny. Podle potřeby byly zájemcům blíže zodpovězeny případné dotazy vztahující se ke smyslu a podstatě celé zakázky a konkrétního obsahu a průběhu skupin.
V porovnání s první fází FS, byli účastníci skupin realizovaných ve druhé fázi celkově více uvolnění a spontánní. Důvodem mohlo být menší pracovní vytížení v průběhu letních měsíců nebo větší otevřenost a ochota sdílet své zkušenosti vztahující se k daným tématům, jelikož zpráva o realizaci fokusních skupin se postupně dostala do povědomí většího okruhu lidí, kteří pak nebyli výzvou účastnit se FS zaskočeni. Mnozí účastníci ve druhé fázi FS měli taktéž možnost účastnit se vybraných skupin v první fázi realizace FS, a proto byli dopředu na diskuse připraveni. Velmi pozitivně byla vnímána skutečnost, že i přes téměř 6% zdrženlivost zájemců o účast na fokusních skupinách, byli jedinci ve výsledku ochotni se do diskusí zapojit. Jedním důvodem počáteční zdrženlivosti účastníků bylo místo konání FS, jelikož zhruba 60% oslovených pocházelo z jiného, než středočeského regionu. Dalším důvodem byla absence finančního ohodnocení účastníků a cestovních náhrad spojených s účastí na fokusní skupině.
Ze zkušenosti z obou fází realizace fokusních skupin lze shrnout, že jsme fokusní skupiny shledali velmi efektivním evaluačním nástrojem. Většina účastníků měla vlastní zájem na účasti ve FS, jelikož je chápali jako pravou příležitost pro cennou výměnu zkušeností mezi sebou samými a pro získání podnětů od samotných evaluátorů. Někteří účastníci (realizátoři projektů zejména) se navíc svěřili, že se fokusní skupiny zúčastnili s cílem přenést své podněty a připomínky na evaluátory, tedy prostředníky mezi nimi a ŘO, a s přáním předat je dále kompetentním osobám. Ve výsledku lze tedy tvrdit, že obě dvě fáze fokusních skupin proběhly nejen podle nastavených harmonogramů, ale také úspěšně, jelikož zúčastnění prokázali nadšení a motivaci v návazných fokusních skupinách pokračovat i do budoucna.
4. INTERPRETACE POZOROVÁNÍ A ZJIŠTĚNÍ (interpretační
část)
V návaznosti na popisnou část, kapitolu „Zaměření fokusních skupin“ uvádíme následující interpretační blok. V původní matici témat a os se odehrály FS k tématům výzev k předkládání projektů, hodnocení a výběru projektů a v doplněném tématu realizace projektů. Přednostně se tedy zabýváme blokem FS k vypisování výzev napříč prioritními osami, stejně tak následně k hodnocení projektů, zde navíc doplněno o dvě FS, jejichž účastníky byli sami hodnotitelé projektů a následuje blok, kde se zabýváme FS, jejichž účastníci byli napříč prioritními osami řešitelé projektů. Teprve následně se zabýváme průřezovými skupinami a výsledky FS podle jednotlivých prioritních os.
4.1. Základní pozorování – skladba FS a způsob zapojení účastníků.
Většina FS se sešla v přiměřeném počtu účastníků a jen výjimečně bylo z jednání účastníků znát, že je to pro ně nepříjemná povinnost, zejména v prvních uskutečněných skupinách. Ve skupinách byla identifikována celá škála různých postojů, jen relativně malá část účastníků zaujala postoj zcela neutrální ve smyslu „ano, když už jsme tady, tak vám, kteří tomu nerozumíte, popíšeme, jak to funguje“. Velká většina účastníků projevovala zřetelný zájem o věc, který byl zpracovateli identifikován v následujících polohách:
• neutrální – procesový: „hlavně jde o to, aby se vše bez problémů zadministrovalo“
• informační-výměnný: „my to děláme takhle, jak to děláte vy?“
• hodnotový: „jde o to zlepšit některé aspekty procesu“
• systémový: „jde o to zlepšit v mezích množností systém“
• procesově analytický: „kde děláme chyby? Kde můžeme odstranit třecí plochy“?
• systémově analytický: „systém je v některých místech přetížený ze své povahy“
Vzhledem k zadání cílů FS byla zajišťována rovnováha mezi účastníky FS a možnost jejich vyjadřování k dané problematice. Výstupy FS jsou pak uspořádány tak, aby v sobě nesly všechny popsané aspekty a přístupy. Ani skupiny dodatečně zařazené a vytvářené z osob „zvenčí“, tedy zejména příjemců, se neomezovaly na kritiku systému či fungování implementační struktury, ale projevovaly aktivní zájem věci zlepšit a pomoci.
Účastníci v mnoha případech zaměňovali fokusní skupiny za diskusní setkání nebo workshop, někdy přicházeli s očekáváním že absolvují školení, někdy byl problém udržet povahu skupiny, když očekávání účastníků byla jiná. Přitom informace o povaze FS a jejich smyslu byly v písemné pozvánce podrobně popsány.
4.2. Širší charakteristika přístupů účastníků FS (názorové skupiny)
4.2.1. Neutrální - procesový: „hlavně jde o to, aby se vše bez problémů zadministrovalo“
Ze stejného důvodu, totiž že zásadní změny, které by významně proměnily založení systému, se zdají být nereálné, uvažuje část účastníků velmi „pragmaticky“ tak, že v celkovém tlaku je jediné řešení nalézat pokud možno co nejreálnější řešení a dělat jen ty kroky, které jsou nutné k předcházení závažných problémů. Vychází přitom z názoru, že administrace programů ESF je již příliš rozběhlá, že není reálné jakkoli do ní zasáhnout tak, aby se změnil nebo i jen výrazně upravil tento proces. Jejich
4.2.2. Informační-výměnný: „my to děláme takhle, jak to děláte vy?“
Specifickou variantou přístupu zaměřeného na proces je přístup, který je někdy až prvoplánově postaven na optimismu, že dynamika tohoto procesu bude zajištěna již samotnou výměnou zkušeností. Někteří účastníci konstatují, že v rámci procesu se již shromáždila řada zkušeností, a jde o to hledat způsob, jak jich využít, chybou podle nich je, když se zkušenosti ztrácejí při personálních obměnách, a pozitivem je zkušenosti sdílet.
4.2.3. Hodnotový: „jde o to zlepšit některé aspekty procesu“
Někteří účastníci FS považují za samozřejmé, že ti, kdo se na procesu podílejí, mají vždy možnost celý proces zlepšit, zkvalitnit. To je možné buď zcela nezávisle na situaci, prostou snahou, nebo k tomu lze využít nějaké příležitosti, aktuální dynamiku. Předmětem zájmu tu tedy není systém – formalizovaná
„infrastruktura“ administrace OP LZZ - ale vlastní proces, ve kterém hodně záleží na postojích jeho účastníků. Ti, kdo se na procesu podílejí, by měli být lépe vzdělaní, lépe rozumět situaci a problémům druhých a měli by se orientovat v tom, co se děje. Pro ně je také vhodné vytvářet podmínky tím, že se odstraní to, co je pro ně neřešitelné nebo co je v rámci jejich podílu na administraci frustruje. Optimálním výsledkem pak je, že budou dělat svoji práci dobře.
4.2.4. Systémový: „jde o to zlepšit v mezích množností systém“
Vzhledem k tomu, že zásadní změny, které by významně proměnily založení systému, se zdají být nereálné, uvažuje část účastníků nad tím, jak nalézt, popsat a zlepšit fungování alespoň nejkritičtějších míst systému. V tomto smyslu byly identifikovány tři zásadní vady:
1) snaha kontrolovat vše do nejmenších detailů
2) absence odpovědnosti za proces v čase
3) obecná nepřehlednost
Jako řešení se tu jeví především zjednodušovat pokud možno celý proces a zapojovat co nejméně dalších hráčů, dále pak stanovovat osobní zodpovědnosti za dané procesy vč. termínů pro ty, kdo reálně rozhodují. Na druhou stranu je třeba stanovit jistou míru kontroly. Jako dobrý krok tímto směrem je vnímáno zavádění paušálních výdajů, i když naráží na řadu obtíží, zobecňování postupů, zjednodušování metodik s větším důrazem na prostor pro interpretaci předpisu v duchu dané prioritní osy resp. výzvy.
4.2.5. Procesově - analytický: „kde děláme chyby? chybám je třeba se vyhnout“
Někteří účastníci FS vycházejí z hodnotového přístupu, chtějí dělat svoji práci dobře, ale považují za nutné se průběžně učit, vylepšovat proces inovacemi, které vyplývají ze zkušenosti: jde o zcela jiný přístup než pokud by uvažovali nad abstraktním systémem, někdy i záměrně. Vychází z přesvědčení, že snaha zabývat se systémy a podobnými abstrakcemi je zbytečná; realita je dána průnikem mnoha vazeb, vlivů, zájmů atd. a mnohdy proto vůbec nefungují ani skvěle vymyšlené a nastavené mechanismy. Tématem jsou proto přístupy, vlivy, vytvoření maximálního souladu těch, kdo se na procesech podílí. Problémem zde zůstává popsání základního zlomu, kdy takto pojatý model je vnitřně dynamický, rozvíjí se, a kdy je regresní, rozkládající se, postupně stále snižující výkon.
4.2.6. Systémově analytický: „ systém je v některých místech přetížený ze své povahy“
Účastníci FS různým způsobem přicházejí k tomu, že systém má řadu neřešitelných problémů už proto, jak byl založen. Nejčastěji je kritizováno, že je administrován v rámci exekutivy státu a státního rozpočtu, tzn. mimo jiné v režimu velmi složitém a svázaném předpisy, které jsou navíc v různých odvětvích různé, např. zmiňovaná nekompatibilita předpisů pro školské právnické osoby, potíže úřadů práce atd. Tento zvolený systém může fungovat tam, kde je státní správa zavedená jako systém schopný fungovat precizně, bez zdržování a systém reagující na aktuální změny (jako např. v Německu). Řešením je pro další programovací období připravit zcela novou koncepci administrace prostředků z EU nebo zásadní změna v organizaci a praxi státní správy a výrazné zjednodušení předpisů.
Přístupy účastníků FS k danému tématu se někdy doplňují, někdy zcela míjí. Pro další je třeba pracovat s tím, že zde není jeden obecný prostor, ve kterém se dá diskutovat o tom, „co by bylo dobré“. Některými snahami o zlepšení systému se např. pragmatici mohou cítit ohroženi, ve smyslu
„buďme rádi, že to funguje takhle“, stejně tak může docházet ke sporům mezi systematiky soustavně budujícími infrastrukturu a pragmatiky procesů, kteří hledají řešení více intuitivně, s využitím aktuální dynamiky v dané konstelaci. Pozitivní je, že mezi účastníky FS převládala obecná shoda na tom, že systém (nebo) proces se zlepšovat dá a má smysl se o to snažit.
4.3. Konkrétní poznatky k uskutečněným FS
V úvodním schématu, tedy v členění podle prioritních os, se odehrály FS k tématům výzvy k předkládání projektů, hodnocení a výběr projektů a v doplněném tématu realizace projektů. Přednostně se tedy zabýváme blokem FS k vypisování výzev napříč prioritními osami, stejně tak následně k hodnocení projektů, zde navíc doplněno o dvě FS jejichž účastníky byli sami hodnotitelé projektů. Následuje blok kde se zabýváme FS, jejichž účastníci byli napříč prioritními osami řešitelé projektů. Teprve následně se zabýváme některými významnými opakujícími se motivy, průřezovými skupinami atd.
4.3.1. Témata „Hodnocení projektů a hodnotící kritéria“ a „Výzvy k předkládání projektů“
Při shrnutí a interpretaci výstupů FS k těmto tématům využíváme i dílčí poznatky z ostatních FS, např.
„hodnotitelé“, „metodici“ aj. Záměrně ale toto téma pojednáváme zcela odděleně od výstupů těch FS, ve kterých se účastnili žadatelé. Jde totiž hlavně o to, zachytit odlišnost pohledu žadatelů a těch, kdo přímo administrují vypsání výzev a výběr projektů.
FS byly zahájeny na základě požadavků zadavatele tak, aby jejich výsledky mohly být využity v aktuální situaci, kdy se na několika pracovištích realizovalo hodnocení a výběr projektů. Zároveň probíhaly ze stejného důvodu FS k tématu „Výzvy“.
Pro účastníky těchto skupin, většinou zaměstnance v odděleních, která byla pod velkým časovým tlakem, bylo základní otázkou vyřešit smysl a cíl konání FS. Velká část zaměstnanců pracujících na těchto problematikách cítí značnou nejistotu své vlastní pozice, malou podporu ze strany „tradičních“ struktur ministerstev, nejasné politické zadání, často nereálnou časovou zátěž a na druhou stranu nepředvídatelné prodlevy v tom, jak se narychlo zpracované materiály dlouho zdržují ve schvalovacím procesu v rámci daného ministerstva a v mezirezortním jednání zvlášť. Zároveň se cítí být těmi, kdo před žadateli a posléze realizátory vystupují jako nekompetentní, neodpovědní, nedodržující termíny.
Existuje zjevný tlak, aby se v těch či oněch momentálních prioritách „čerpalo“, na druhou stranu existuje řada zábran a barier souvisejících s tím, že není jasné, kdo je zodpovědný za administraci dané výzvy a jakou má pozici vůči různým pracovištím, které se v rámci přípravy a schvalovacího procesu nějak podílejí na výsledku.
Účastníci těchto FS si uvědomují, že se při realizaci setkávají s různými typy subjektů, které musí podle zákona řešit specifické problémy s požadavky na svoje účetnictví, mzdovou regulaci atd. Opakovaně se vyskytují stížnosti na mezirezortní řízení, roztříštěnost pravidel a malou snahu je sjednocovat. I zde zaznívá (byť minimálně) stížnost na to, že je příliš pozornosti a času věnováno formálním věcem, požadavkům na vizuální identitu, povinnou publicitu atd. Obecně je registrována malá přívětivost systémů Benefit a Monit, ale v tomto ohledu panuje celková resignace, neboť zpracovatel těchto počítačových systémů není nijak závislý na pracovištích, které odpovídají za vypsání a přípravu programů.
4.3.1.1. Podrobnější závěry – jednorázové a průběžné výzvy
Formulace výzev je vázána na prováděcí dokument popř. globální grant. Výzvy pak vytvářejí jakousi výseč z takto stanoveného rámce, modifikace se případně dějí v rámci něj. Tento princip je ze své podstaty málo schopný reagovat na aktuální (zejména neočekávané) změny prostředí, ve kterém je program implementován, avšak je však třeba si uvědomit, že mezi přípravou textu výzvy a realizací výstupů a výsledků konkrétního projektu může uplynout i několik let. Z toho vyplývá, že zadání (text výzvy) ani nemůže reagovat na všechny aktuální problémy a že musí volit obecnější formulace. Při formulaci výzev jsou voleny různé postupy, někde je to proces čistě interní, jinde konzultují s odborníky a lidmi z praxe, ale zpravidla jde o neformální postupy. Změny u průběžných výzev jsou choulostivou otázkou – někde se dělají, jinde ne.
4.3.1.2. Podrobnější závěry - individuální projekty
Příprava individuálních projektů je zpravidla vnímána jako plynulý proces, u kterého jde vždy jen o to, aby se včas nalezla taková podoba chystaného projektu, která bude vyhovovat realizátorovi a bude přijatelná pro hodnotící komisi. Někteří účastníci FS ani neměli pocit, že by se toto téma mělo nějak veřejně diskutovat, protože ve většině případů jde o interní úřední záležitost. Chápou je jako nástroj exekutivy, jehož použití je vnitřní záležitostí dotčených pracovišť a věcí jejich profesionality. Jen menší část účastníků si uvědomuje, že zde je potenciální problém nedostatku veřejné kontroly. Uvědomují si, že problémem je, že je celkově nejasné a netransparentní, jaký je postup podle kterého se individuální projekty připravují, alokují se na ně prostředky, formulují požadavky. Z celkového vyhodnocení vyplynulo, že by se problematikou individuálních projektů a jejich rolí v rámci OPLZZ bylo třeba zabývat separátně. Jedinou výraznější diskutabilní záležitostí se tak stal fakt, že je velmi obtížné nutit realizátory individuálních projektů k tomu, aby plnili náležitosti podle schválené dokumentace.
4.3.1.3. Podrobnější závěry - grantové projekty
Vlastní časové zatížení související s vypsáním výzev, hodnocením a výběrem projektů se nedá dobře odhadnout a souvisí s řadou věcí, u kterých mají účastníci FS dojem, že je nemohou ovlivnit. Je to především rozhodnutí o výši prostředků alokovaných do té které výzvy, počtu reálně podaných žádostí (po odkladu zahájení OP LZZ byla řada potenciálních žadatelů v některých PO v zoufalé situaci a převis žádostí byl v některých výzvách obrovský). Problémy způsobuje též proces hodnocení, výrazně se zvýšila četnost případů, u kterých dochází k velkému rozdílu mezi závěry obou hodnotitelů, počet žádostí, které jsou předány ke třetímu hodnocení, tak značně vzrostl. To je dáváno do souvislosti jednak s širokým rozptylem kvalit hodnotitelů (jsou hodnotitelé velmi kvalitní, ale také velmi nekvalitní) a s používáním slovních deskriptorů, které jsou nejasné a jejich použití způsobuje některým hodnotitelům potíže. Složitá situace je též s doplňováním formálních náležitostí u žádostí, což výrazně zdržuje celý proces.
Výběrová komise je poměrně přesně vázána tím, jak má pracovat, může do výsledků hodnotitelů zasáhnout jen po dostatečném zdůvodnění. Často se však stává, že některé projekty jsou vyřazeny a teprve následně se pro to hledá zdůvodnění do zápisu. Tehdy může do hry vstoupit širší kontext, například zjištění, že některé organizace podávají prakticky stejné projekty v různých krajích a na druhé straně zájem komise udržet větší plasticitu příjemců. Jsou však vysloveny pochyby, jestli je to možné dodržet, aby to nebylo zjevně nespravedlivé a v některých ohledech i kontraproduktivní. Komise také může rozhodnout o nevyčerpání celé alokované částky. To je ovšem považováno za sporné zejména při velkém převisu podaných žádostí.
Problém dělá reálné oddělení obsahové a finanční stránky při hodnocení, vyskytují se hlasy, že by rozpočet měl být hodnocen zvlášť. Návrhy na změny rozpočtu přinášejí řadu obtíží. Hodnotitelé v tomto ohledu postupují velmi rozdílně, což komplikuje celý proces ve výběrové komisi a v případě schválení žádosti zdržuje přípravu smlouvy. Nejvíce pozornosti pak zabírají detaily, jako např. dohady o tom, co je cena v místě obvyklá u položek prezentujících zlomky rozpočtů. V položce na evaluace se pravidelně vyskytují odměny pro agentury zajišťující zpracování žádosti a někdy i psaní průběžných monitorovacích a závěrečných monitorovacích zpráv, proto je téma evaluace jako takové v rozpočtech hodnoceno s jistou podezíravostí.
Zájem o účast ve FS byla dána u části účastníků mimo jiné i tím, že sami uvažují o tom, jak zajistit celý proces s dostatečnou rychlostí, přitom s právní čistotou a také tak, aby byla zajištěna co největší efektivita vynaložených prostředků. Tito lidé vnímají a jsou v různých úrovních schopni formulovat obecně pociťovaný problém, že alespoň část prostředků je čerpána „profesionálně“, vše je zadministrováno bez chyb, formálně dokonale, aniž by přitom bylo dosahováno nějakých reálných změn, dopadů. Na jedné straně tak jsou tu žadatelé, kteří mají dokonale zpracované žádosti a je jistota, že po formální stránce nebude s jejich projektem problém, všechny plánované aktivity budou doloženy atd. – a na druhé straně jsou zde žadatelé, kterým zjevně jde „o věc“, ale to sebou přináší řadu komplikací, nejistoty, řešení problémů.
Částečně odvozeně z těchto pozorování a úvah vyplynul ještě druhý problém, řešený touto skupinou: problém požadavku inovativnosti v projektech. V užším slova smyslu je jako inovativnost předkládáno přenesení zkušeností ze zahraničí, příp. vzájemná výměna zkušeností. To však již po mnoha letech spolupráce subjektů ze starých členských zemí a zemí bývalého východního bloku přestává být použitelný argument. S tím, jak vůbec chápat inovativnost mají zjevně problémy i žadatelé – kromě již zmíněného přebírání zkušeností jde zpravidla o rozšíření cílových skupin, zvýšení rozsahu působnosti daného subjektu atd. Jenže to samo o sobě inovativní není. Většina údajných inovativních prvků se dá jednoznačně ukázat jako kvantitativní nárůst té či oné činnosti (nárůst počtu služeb, klientů, zasažených obcí atd.). Diskuse o požadavku inovativnosti ukázala, že existují i názory, že by měla být z požadavků na žadatele zcela vypuštěna. To svědčí o celkové bezradnosti s interpretací jednoho z hlavních myšlenkových pilířů OP LZZ na úrovni velmi citlivé – kontaktu mezi žadateli a věcným řízením programu.
4.3.1.4. Specifické poznatky z FS pro jednotlivé prioritní osy
PO1 (Adaptabilita) Organizace přípravy výzev
Toto téma je specifické v tom, že má „bezednou absorpční kapacitu“. Proto roste význam toho, jak je potenciální žadatel omezen a klesá význam toho, jak je výzva nasměrována. Jde totiž o to vyloučit celé okruhy těch, kdo by se chtěli stát potenciálními žadateli. Účastníci konstatovali, že záleží na tom, jak žadatelé svoje vzdělávání sami popsali, neexistuje způsob, jak jejich tvrzení ověřit nebo ho vyvrátit. (Více ve shrnutí FS ke specifickým výzvám.)
PO2 (Aktivní politiky trhu práce) Organizace přípravy výzev
Účastníci vnímají pozitivní vliv politické objednávky s nastupující krizí. V souvislosti s tím se ale ukazuje, že jednorázové výzvy se připravují pomalu, na aktuální situaci se reaguje se zpožděním dvou let, než se realizuje výběr a příjemci provedou veřejná výběrová řízení dodavatelů.
PO3 (Sociální integrace a rovné příležitosti) Organizace přípravy výzev
Účastníci na začátku pociťují problém: zpracovatelé výzev se musí vcítit do toho, co bude vnímáno jako „politicky korektní“, což vede ke zdržování. V této PO se jako podstatné (na rozdíl od PO1) jeví preambule, vysvětlení záměru výzvy. Žadatelům by mělo být jasné, co se snaží vypisovatel výzvou dosáhnout (organizace působící v této oblasti mají často velmi přesně formulované svoje poslání a vizi). Z hlediska dalších kroků je pak důležité přesné vymezení oprávněných aktivit. Ze strany pracovníků zabývajících se přípravou výzev a výběrem projektů je vnímán potenciál a význam neformálních skupin odborníků a aktivních realizátorů, systém použití příkladů dobré praxe apod.
PO4 (Veřejná správa a veřejné služby) Organizace přípravy výzev
Tato prioritní osa je omezená na individuální projekty. Přesto dochází ke zpožďování vypisování výzev a k chybám v jejich vypsání, které musí řešit řídící orgán. Účastníci také často upozorňují na špatnou komunikaci mezi různými aktéry. Výzvy jsou nejasné a někdy jsou špatně chápány ze strany žadatelů. Obecně panuje celková nespokojenost s procesem i kvalitou výstupů, i když je konstatováno, že stav se přeci jen pomalu lepší. Dalším vnímaným problémem je nedořešená otázka způsobilosti žadatelů a fakt, že ZS MV jako zprostředkující subjekt má s vyhlašováním výzev jen omezené zkušenosti.
PO5 (Mezinárodní spolupráce) Organizace přípravy výzev
Nová prioritní osa, po úvodní velmi obecné výzvě se další zpřesňují a zlepšují podle zkušeností z konzultací s žadateli. Nedochází tu ke zdržení, nezasahují tu tolik jiné složky jako u jiných prioritních os s větší finanční alokací. Zaznívají stížnosti namířené na hodnotitele, kteří někdy asi vlastní výzvu nečtou a hodnotí podle toho, jak by projektovou žádost napsali sami. Opět se objevuje problém s inovativností. Někdy je barierou, že se v rámci průběhu projektu jen obtížně sleduje to, co se ukazuje jako skutečně inovativní prvek, protože tomu v projektu není (nemůže být) dán prostor a volnost.
Průřezová skupina k tématu vypisování výzev shrnuje a potvrzuje zjištění z výše uvedených dílčích FS.
PO1 (Adaptabilita)
Hodnocení projektů a hodnotící kriteria
FS se sešla v nevyvážené sestavě a účastníci reprezentovali jen malou část záběru dané prioritní osy. FS se zaměřila na spolupráci CzechInvestu a přípravu výzvy EDUCA. Implementační jednotka (CzechInvest) komunikuje s MPO (zprostředkující subjekt) a nikoli přímo s MPSV (řídící orgán), jak bylo původně nařízeno, nicméně se zdá, že se tato praxe dobře zaběhla.
PO2 (Aktivní politiky trhu práce) Hodnocení projektů a hodnotící kriteria
Objevuje se námět na zajímavý systémový prvek: lépe ošetřit možnost vyřadit projekt už v rámci hodnocení přijatelnosti. To může vést k odstranění řady problémů s formálně dokonale zpracovanými projekty bez jasného obsahu a ke zjednodušení a zlepšení procesu hodnocení. Problém výběrových komisí s vyřazováním projektů je tu alespoň částečně formálně řešen – může odmítnout projekt s ohledem na absorpční kapacitu regionu.
PO3 (Sociální integrace a rovné příležitosti) Hodnocení projektů a hodnotící kriteria
Skupina odlišila v rámci tématu hodnocení projektů tyto roviny:
1. filosofie výběru projektů – Co a jak brát do úvahy? Kromě projektu samého existují další aspekty a okolnosti: regionální aspekt, předkladatelé projektů s desítkami žádostí, firmy, zpracovávající projekty podobné jako vejce vejci atd.
2. Rozložení práce v době hodnocení projektů: administrátor, hodnotitelé, výběrová komise – v současném modelu dochází ke značnému a zcela pravidelně kritizovanému zpožďování, které by se přitom dalo zlepšit.
3. Reálné problémy při hodnocení – např. odlišný přístup k hodnocení obsahové a finanční části projektu.
PO4 (Veřejná správa a veřejné služby)
Hodnocení projektů a hodnotící kriteria
Jedna z mála FS, která věnovala velkou pozornost nastavení specifických hodnotících kriterií, zejména na opakovaně zmiňovanou, problematickou výzvu č. 32. Požadavek, aby byla nastavena taková specifická kriteria, jejichž nenaplnění by vedlo k odmítnutí projektu před hodnocením. Požadavek, aby byli hodnotitelé vybíráni a více vzděláváni pro konkrétní výzvy tak, aby sami rozuměli jejich smyslu.
Obecně je systém hodnotitelů problematický, lepší a efektivnější se jeví systém hodnotící komise u individuálních grantů.
PO5 (Mezinárodní spolupráce) Hodnocení projektů a hodnotící kriteria
Účastníci pociťují jako problém, že žadatelé jsou informováni jinak než hodnotitelé, resp. že k formulaci cílů v rámci výzvy a specifických hodnotících kriterií dostanou hodnotitelé ještě další zadání co a jak hodnotit, což zpracovatelé projektových žádostí zpravidla neví. Objevuje se konkrétní doporučení, aby příručka pro hodnotitele byla veřejná.
Ve specifických kriteriích chybí možnost ohodnotit kvalitu partnerství. Výběrová komise dostává projekty pro jednání pozdě, nestačí se s nimi ani stručně seznámit.
Průřezová skupina k tématu hodnocení projektů a hodnotící kriteria
Kromě potvrzení většiny závěrů z dílčích FS k jednotlivým prioritním osám, se navíc objevuje větší důraz na otázky týkající se hodnotitelů, jejich malé odpovědnosti, možným zneužitím informací a zejména nápadů, které získají čtením projektů atd. Radikálněji zaznívá návrh na to oddělit a zprofesionalizovat systém hodnocení především co do úrovně hodnocení ekonomické části projektů.
V rámci hodnocení je navrhováno zavést opatření, která by systémově vyloučila, aby se téměř totožné projekty podané v různých krajích dostávaly do hodnocení nezávisle, někdy i v rámci různých výzev. Znovu je akcentován problém s hodnocením inovativnosti a porozuměním tomuto pojmu ze strany hodnotitelů.
4.3.1.5. Samostatné FS: hodnotitelé a obecné závěry z FS k hodnocení týkající se hodnotitelů
Ukazuje se, že obecné školení a testy hodnotitelů byly nekvalitní – někteří hodnotitelé, kteří byli vnímáni jako „dobří“ a podrobní a věnovali se dostatečně obsahu projektů, tímto testem neprošli a byli vyřazeni. Naopak, ti, kdo postupují formálně, zůstali. Ze strany hodnotitelů bylo skládání zkoušek mnohdy chápáno jako ponižující. Testy neprošli mnozí, kteří nad otázkami více přemýšleli a nebyli prvoplánoví. Cvičné hodnocení navíc nejde stihnout za dvě hodiny. Část potenciálně kvalitních hodnotitelů to odrazuje a už se o hodnocení nebudou ucházet. Specifická školení k jednotlivým výzvám bývají výrazně lepší, ale i tady je prostor pro zvyšování kvality. Účastníci konstatují rozpor: na jedné straně je snaha, aby hodnotitelé byli univerzální, na druhou stranu se po nich žádá, aby byli vybíráni a více vzděláváni pro určité výzvy tak, aby dobře rozuměli jejich smyslu.
Zástupci ŘO/ZS hovoří o tom, že hodnotitelé neumí přijmout fakt, že by měli hodnotit podle konkrétních potřeb/podmínek/kritérií jednotlivé prioritní osy a zejména konkrétní výzvy. Hodnotitelům tak vytýkají, že často hodnotí pouze podle svého vlastního přístupu. Hodnotitelé sami mají dojem, že hodnotit nejde jen „formálně“, že vždy jde o to porozumět „o co v projektu jde“. Podle výpovědí je běžnou praxí, že v rámci jednotlivých slovních deskriptorů tyto zpětně přepočítávají k očekávanému výsledku stejně tak, jako tomu bylo dříve u bodového hodnocení. Tomu napomáhá i skutečnost, že většina z nich nepracuje přímo v prostředí Monitu – dle sdělení účastníků FS systém např. padá, hodnotitelé se špatně orientují (program je nepřehledný), písmo je příliš malé a pro většinu nečitelné atd. Běžná praxe je, že hodnotitelé pracují v textovém editoru a jednotlivé bloky pak nakonec do systému kopírují (jen jsou občas problémy s některými znaky). Monit byl také kritizován jako ne příliš bezpečný systém – občas se v něm lze nečekaně dostat k cizím hodnocením, nebo naopak zcela vypadnout ze systému.
Zvnějšku je jako základní problém vnímána nesrovnatelnost hodnotitelů a jejich kvalita. Hledá se způsob jak je hodnotit, sjednocovat vzdělání apod. Hodnotitelé sami pociťují nedostatek v tom, že nemají zpětnou vazbu. Zpravidla se nedozví jak hodnotil druhý hodnotitel a zda/jak se v hodnocení lišili, nedozví se, v jaké se pohybují škále v rámci celku hodnocení, jestli jimi hodnocené projekty získaly podporu nebo ne atd. Magistrát hl.m.Prahy začal v tomto ohledu prosazovat zcela jinou praxi. Nedrží už hodnotitele „v izolaci“ jako nestranné osoby, dává jim zpětné vazby, pracuje s nimi jako s týmem, a snaží se, aby to byl tým uzavřený (letos se nedělal nábor nových hodnotitelů). Hodnotitelé také řadí MPSV k těm vypisovatelům výzev, kteří hodnotitelům nedávají téměř žádné zpětné vazby
Nově byly zavedeny slovní deskriptory namísto bodového hodnocení. I když to není jediný důvod, nastala situace, že až 50% hodnocených projektů šlo ke třetímu hodnocení, což velmi zdržuje proces výběru (dříve 10 – 15%). Nejde jen o kritiku slovních deskriptorů jako formy, ale o to, že mnohdy je škála malá a neúplná (např. jen 4 možnosti) jindy jsou formulace takové, že nelze souhlasit ani s jednou z nich. Problém je vnímán i v metodikách a deskriptorech tam, kde se nejedná o projekty zaměřené „ven“, na pomoc nějaké cílové skupině, ale „dovnitř“ příjemců, zejména na vzdělávání zaměstnanců. Stejně tak projekty v řádu mnoha desítek milionů lze hodnotit podle stejných kriterií a postupů jen s velkou mírou odstupu.
Hodnotitelé nepřímo přiznávají, že se nejvíce zajímají o projekty, které jsou podle nich „dobré“ a leckde se jim dá „přidat“, kde se dají „nasbírat body“ a pak o ty projekty, které jim připadají jako
„podvod“, ale u těch zase ví, kde se dá „ubrat“, na čem se dá hodnocení „srazit“ i když je projekt sebedokonalejší formálně. Hodnotitel chápe svoji práci tak, že jeho odpovědností je, aby odhalil a uvedl na správnou míru to, co je v projektu významově posunuto a deformováno ze strany žadatele, zkresleno pro projekt tak, aby uspěl a získal co největší přínos mimo zadání (výzvu). Je proto pravděpodobné, že systémově způsobují největší problémy ta hodnocení, kdy se hodnotitelům projekt jeví jako „šedá zóna“, málo zajímavý. Tak může dojít k velkým výkyvům v hodnocení.
Účastníci také zmiňují problém s příjmovou hranicí 200 tis Kč ročně – hranice se kterou pracuje zákon o zadávání veřejných zakázek, i když naprostá většina z nich se sice k takové hranici v běžné praxi nemůže přiblížit. Hodnotitelé jsou znepokojeni tím, že budou hodnocení, když nikdo neví kým, jak a podle jakých kriterií. Jediná odpověď s jakou se setkávají je, že dokud jsou oslovováni, aby hodnotili, nemusejí se tím zabývat.
4.3.2. FS zaměřené na realizátory projektů
Uskutečnilo se 7 FS rozdělených podle prioritních os1. Většina FS byla tvořena účastníky, kteří jsou v počátečních fázích realizace projektu. Zkušenosti se liší podle jednotlivých prioritních os, přetrvávajícím problémem jsou posuny termínů (projekty, které měly zahájit na jaře v některých případech nejde jednoduše o půl roku posunout). Přitom není pravidlem, že by změny byly povolovány a byly vnímány jako samozřejmost v rámci co nejlepší realizace projektu. Velký problém účastníci FS pociťují tam, kde se předpokládá aktuální dopad vypsaných výzev, ale celý proces výběru trvá rok, načež je nutné vybírat dodavatele veřejnou výzvou a než je zahájena vlastní realizace projektu, uplynou dva roky, To je situace, kde se přesné naplánování např. vzdělávacích akcí a jejich zaměření, počtu frekventantů atd. ukazuje jako zcela nefunkční a neudržitelné, zejména s ohledem na současné ekonomické změny. Vede to k malé efektivitě projektů – už při jejich formátování je třeba, aby byly pokud možno všeobecně použitelné. Navíc to vylučuje inovativnost, protože není možné naplánovat, co bude inovativní za dva roky. To ještě zesiluje fakt, že projednávání změn v projektu je chápáno jako „problém“, realizátoři se bojí, aby neupadli do „nemilosti“.
Účastníci konstatovali, že je velký rozdíl mezi jednotlivými výzvami – i co do srozumitelnosti a jasnosti, i co do administrativní náročnosti a formálních povinností. Někde stačí elektronická korespondence, kdežto jinde jsou vyžadovány tištěné dokumenty v několika kopiích. Objevují se i významové rozdíly v pojetí, přístupu.
Zásadním problémem jsou zásahy do rozpočtů – mnohdy zjevně vedené bez porozumění smyslu a souvislostem projektu. Někdy nabourávají samotný smysl projektu. Je pak nutno je napravovat
1 Kromě těchto skupin zaměřených na realizátory projektů napříč osami OP LZZ byly uskutečněny dvě další FS složené z realizátorů projektů a to skupina zaměřená na Výzvu 35 „Vnější“ a FS na TA.
Problematicky jsou vnímány monitorovací ukazatele. Vyžadovaný monitoring není využíván pro řízení projektu, v některých větších projektech je to zcela umělá konstrukce, která se dělá navíc, protože existuje vlastní systém monitorování, zpravidla postavený na funkčním sběru dat – klíčových ukazatelů pro ČSÚ atd. Pravidlem je, že se reporty vytvářejí průběžně na základě potřeb managementu. Pro účely povinných monitorovacích zpráv ŘO ani průběžně vznikající dokumenty použít nejde (Benefit neumožňuje průběžné zpracovávání reportů).
Závažná je také obava plynoucí z minulé zkušenosti – realizátora nijak nechrání, že se řídil pokyny metodik a konkrétních pracovníků zprostředkujícího orgánu v případě, že přijde kontrola z finančního úřadu, NKÚ atd. Obava platí též ve věcech veřejného výběru dodavatelů, i když je v materiálech výslovně uvedeno, že se na tyto případy zákon o zadávání veřejných zakázek nevztahuje.
Ti, kdo mají zkušenosti z jiných zemí kritizují zdejší těžkopádnost a neschopnost rychle v administrativě reagovat na aktuální problémy a změny (uváděn příklad Německa). Objevují se nejistoty a obavy typu: porušením projektu je, když se za stejné peníze zrealizuje 5 seminářů místo 4.
Krajští realizátoři velkých individuálních projektů hodnotí především komunikaci s vypisovatelem výzvy, zkušenosti se rozcházejí podle místních podmínek. V některých případech celý běh ovlivnila změna ve vedení kraje.
Specifickou FS byla skupina složená ze zástupců podnikatelů, kteří na základě projektů OP LZZ realizují školení a vzdělávání pro své zaměstnance. Zpravidla přiznávají, že celý projekt jim napsala a administruje najatá agentura. Náklady na administraci odhadují na cca 50 % rozpočtu získaných prostředků. S žádným z procesů jinak hojně rozebíraných nemají žádnou zkušenost, vše vč. monitorovacích zpráv a všech jednání jim zajišťuje třetí osoba. Vnímají však, že prostředky z jiných programů na investiční záměry byly administrovány jednodušeji a lépe (MPO, CzechInvest).
Specifická skupina realizátorů - úřadů práce zapojuje prostředky z individuálních projektů OP LZZ do svojí regionální politiky zaměstnanosti - některé obecnými, plošnými projekty, jiné projekty pro specifické cílové skupiny. Problémem a zároveň příznačnou věcí je pro ně především skutečnost, že projekt se píše 2x ve dvou zcela jiných „řečech“ – jednou jako žádost o individuální grant, podruhé jako zadávací dokumentace pro výběrové řízení.
Obecně je komentován problém s velkým množstvím příruček, které je ale třeba aplikovat na ne zcela typické situace – čím podrobněji se stanoví pravidla aplikace, tím častěji se nachází situace, ve kterých takovýto návod není vhodný. Velké problémy činí pokyny, které se dostávají do rozporů s odvětvovými právními normami a předpisy, platnými pro žadatele. Objevují se obecné stížnosti na administrativní zátěž – např. 10 let skladovat dokumentaci, když monitorovací zprávy s přílohami mívají rozsah několika šanonů atd.
4.3.3. Průřezová skupina „Metodické řízení OP LZZ“
Deklarovaným cílem je, aby změny v metodikách byly jen výjimečné, na druhou stranu realitou je, že metodiky jsou chápány jako návody k použití a je velký tlak na to, aby byly co nejpodrobnější. Xxxxx pak je zas nikdo nečte a když, tak si nepamatuje, co obsahují a nedovede si to v rozsáhlém textu dostatečně rychle najít, takže nakonec raději konzultuje. To vede k přetížení metodických pracovníků. Pokusy systémově zabránit tomu, aby byly kladeny dotazy na to, co je obsahem metodik, nejsou příliš úspěšné. Existují dva názory na to, do jaké míry mají metodiky obsahovat obecná ustanovení konkrétních předpisů vztahujících se k dané věci: pokud je obsahují, musí se měnit vždy, když se změní daný předpis. Pokud je neobsahují, nejsou návodné a obsahují příliš odkazů.
Účastníci vnímali jako významné téma zavádění nepřímých nákladů – metodici jsou v tomto ohledu skupinou, která se snaží, aby tento nástroj zjednodušující administrativní zátěž mohl být běžně používán – ne všude se ale setkávají s pochopením a podporou.
Metodici nepovažují za velký přínos pro svoji práci evaluaci. Výsledky evaluací se zpravidla do nových metodik nebo do jejich úprav nepromítnou. Evaluační materiály podle metodiků přicházejí pozdě a ne vždy mají jednoznačná doporučení ke konkrétním věcem. Podstatný je pro ně audit, který vždy obsahuje konkrétní řešení.
4.3.4. Průřezová skupina „Monitorování programu a informační systémy“
Indikátorová soustava byla zjednodušena. Zůstávají však problémy s porozuměním některým indikátorům, které zůstaly nejasné nebo nevhodné. Při některých výzvách se dokonce zapomnělo na to, že by měly být povinně sledovány.
Skupina v rámci diskuse měla tendenci řešit spíše problémy informačních systémů než monitoringu – to odpovídá zkušenosti z většiny FS, kdy informační systémy Monit a Benefit byly předmětem velké kritiky a projevů nespokojenosti. To má své důvody, protože IS přinášejí problémy nejen malou funkčností a uživatelskou nepřívětivostí, ale také vzhledem k právním dopadům vyplývajícím z jejich průběžných změn. Někteří žadatelé po změně programů nemohou dostát svým povinnostem ze smlouvy, protože IS jim neumožní realizovat to, k čemu se zavázali. Přitom IS „jen“ se zpožděním reaguje na změny metodik.
Nepružnost systému a fakt, že neumožňuje rychlejší změny, způsobuje, že vznikají paralelní agendy. Stejný efekt mají tlaky na dodání aktuálně žádaných dat, která někdy vůbec nejsou v monitorovacích systémech. Podstatné je si uvědomit, že IS sice vytváří dojem, že je nastaven tak, aby odrážel stav metodik, příruček, nastavení procesů, ale ve skutečnosti tomu tak není – a je třeba od počátku hledat způsob, jak s tímto „mezičlánkem“ vyjít tak, aby se komunikace na žádné úrovni nezkolabovala. Velká většina lidí v tomto smyslu resignovala, protože proces zapracování změn a především snaha měnit tak robustní a komplexní systém za pochodu jsou velice složité. Obecně účastníci konstatují, že stav IS je zoufalý a systém funguje jen díky osobnímu nasazení těch, kdo za tuto oblast odpovídají a díky paralelním agendám vytvářeným mimo oficiální IS.
4.3.5. Průřezová skupina „Finanční řízení a finanční toky“
Účastníci FS upozorňují na to, že financování státu a financování z ESF je rozdílné, výklad pojmů na státní úrovni a na úrovni EFS je odlišný, nedaří se skloubit národní a evropské systémy a vše ještě komplikují průběžné změny rozpočtových pravidel. Nejlepší by bylo se přizpůsobit evropským pravidlům, upravit náš systém podle nich. To by podpořilo i jednotný monitoring.
V tomto ohledu klíč k řešení drží Ministerstvo financí, ale i v rámci ŘO by se dala řada věcí zjednodušit, např. při žádosti o vystavení požadavku na rozpočtový výdaj, při změnách rozpočtu v rámci schvalovacího procesu dochází ke zbytečným zdržením v zahájení projektů.
Do problematiky zasahuje ekonomická krize, a to především na úrovni přednostně formulovaných cílů a změn alokací. Na druhou stranu existuje problém s prostředky na administraci, technickou pomoc, vzdělávání. Jejich nedostatek zvyšuje tlak na to, aby se omezovalo zadávání některých úkolů vnějším firmám a více věcí se řešilo přímo ministerstvy, což přetěžuje administrativu.
4.3.6. Průřezová skupina k technické asistenci
Obsah a administrace projektů v rámci Technické asistence (TA) je různými stranami vnímám jako zlepšující se; TA má své limity dané nastavením OP, rozpočtem a jinými kapacitami. V praxi se podle výpovědí účastníků FS dobře osvědčuje neformální komunikace, ale výhrady auditu pak jsou právě vedeny v tom smyslu, že mají být zachovávány oficiální postupy (např. referátníky). Z TA je zajišťováno proškolování pracovníků implementační struktury, které de facto supluje práci personálního odboru, který v těchto činnostech selhává.
Připravuje se výběr externího administrátora. Ačkoliv jsou zkušenosti z EQUAL dobré, je v první fázi přechodu na externího administrátora pracovníky MPSV očekávána velká pracovní zátěž na jejich straně.
Evaluační projekty organizačně spadají pod TA, která však kontroluje pouze formální správnost, nikoli obsahovou. I proto může na ostatních pracovištích vznikat nedorozumění o tom, jaká je povaha a smysl evaluace. Na čtení evaluací není čas, zejména když je zkušenost s tím, jak málo z toho, co je v evaluacích zjištěno, se dotáhne až do podoby reálné změny.
4.3.7. FS zaměřená na Evaluační plán programu OP LZZ 2008-2015
Výpovědi účastníků FS ukazují, že implementační oddělení mají o existenci evaluačního plánu obecné povědomí, ale prakticky na něj svými činnostmi nenavazují. Mezi účastníky proběhla obecná kritika, že evaluační plán je věcí pouze evaluačního referátu a prochází pracovní skupinou jen proto, aby tato byla vůbec vtažena a informována o plánovaných evaluačních pracích. V době, kdy plán vznikal, docházelo k vnitřním organizačním změnám, neexistovala jednotlivá implementační oddělení. Plán vznikal bez zkušeností s činností implementačních oddělení a podnětů z této sféry. Na druhou stranu zaměstnanci těchto oddělení ve svém napření ke každodenní administrativě nemají dostatečný odstup na to, aby porozuměli významu evaluačního plánu.
Většina lidí netuší, že některé problémy, se kterými se běžně potýkají, by bylo možno vyřešit evaluací. Navíc se s evaluací setkávají až ve chvíli, kdy už běží (v roli respondenta) a nebo když už je hotová (v roli adresáta evaluační zprávy) - namísto aktivního zapojení se již do procesu přípravy zadání pro evaluace. Formy a zaměření evaluace by měly být projednávány aktuálně podle situací, které se řeší (v této souvislosti je zmiňována výzva 35). Evaluace jsou chápány jako zatěžující v tom, že podle vnímání účastníků nahrazují v některých případech nedostatečnou funkci monitorovacího systému – evaluátoři pak zatěžují již tak přetížené pracovníky implementačního oddělení žádostmi o zpracování souhrnných dat a informací. Evaluace tak není postavena na standardních datech získaných monitoringem, ale na jednotlivých informačních blocích získaných náhodně prostřednictvím implementačních oddělení a žadatelů.
Na druhou stranu členové skupiny nebyli zjevně schopni nalézt způsob, jak zadat takovou evaluaci, která by podle nich byla přínosná. Nemají zkušenosti s tím, jak evaluační zpráva vypadá, mají (mylný) dojem, že tíha evaluací spočívá na nich a jejich účelem je vytvářet statistické přehledy pro potřeby politické reprezentace ministerstva. Za evaluaci je také považováno jakékoli zpracování dat z monitoringu – např. jednoduchá statistika.
4.3.8. Výzva č. 35 „Školení je šance“ – skupina zástupců ŘO a skupina žadatelů
Výzva 35 vznikla jako aktuální reakce na projevy ekonomické recese, která je přímou hrozbou pro podnikatelské subjekty. Přes očekávání o tom, že bude zrealizována „operativně“ se její realizace zdržuje. Projekty jsou schváleny, ale často ještě nejsou připraveny smlouvy ani na školení zaměstnanců, která měla probíhat již od září, tedy více než po 5 měsících po podání žádosti. Příjemci pomoci se shodují na tom, že ačkoli metodicky byla výzva úspěšná, míra administrativní podpory byla nízká. Ve srovnání s podporou ze strany MPSV vynikla dobrá zkušenost žadatelů s CzechInvestem z investičních projektů (jako i v jiných FS).
Snad vzhledem k tomu, že tato věc již byla otevřeně diskutována i veřejně, vyjadřovali účastníci skupiny sestavené ze zástupců ŘO zájem, aby výzva byla příští rok svěřena externímu administrátorovi. Projektů je mnoho a není k tomu odpovídající personální vybavení administrátora (přes 300 projektů). Obecný problém je s efektivitou dopadů, protože žadatelé zpravidla zajišťují obecné vzdělávání (jazyky, manažerské dovednosti) a není sledováno – na základě předchozí strategie
– do jakých sektorů, velikostí a typů podniků a regionů dopady výzvy směřují.
Výzva je příčinou politických tlaků na provedení evaluace, což může mít i negativní dopady a spouštět obranné mechanismy ze strany administrace výzev. Není totiž jasné, jak dospět k identifikaci těch subjektů, které aktuálně takovou podporu opravdu potřebují, jak vyhodnotit míru ohrožení firmy krizí apod. Jinými slovy jde o to identifikovat způsoby, jak podporu zacílit tam, kde bude mít největší efekt. S tím měli problémy nejen hodnotitelé v této výzvě, ale dokonce i ŘO vzhledem k centrálnímu řízení výzvy (tato výzva ve srovnání s např. výzvou 34 implementovanou prostřednictvím úřadů práce).
4.3.9. Výzva č. 23 „Adaptabilita a konkurenceschopnost“ – skupina realizátorů projektů
Firmy získaly informace od Hospodářské komory případně z tisku, většinou však stejně jako u výzvy č. 35 vstupují do procesu podávání žádostí (zpravidla přes externí zpracovatele) s jasnou představou, co chtějí. Realizátoři hodnotí úroveň metodické a informační podpory z pohledu na-klienta-orientovaných firem, velmi negativně vnímají nedodržování termínů a špatnou orientaci v kompetencích a úředních postupech kontaktních osob. Projekty začínají se zpožděním, které u některých firem je vnímáno jako problém, neboť pracují v režimu sezónních prací. S většinou ostatních problémů se firmy vyrovnávají překvapivě pružně, silná kritika tak přetrvává pouze v případě hodnocení kvality komunikace ŘO.
4.3.10. Výzva č.34 „Vzdělávejte se“– skupina zástupců ZS a ŘO
Cílem této výzvy bylo pomoci podnikům, které mají potíže související s hospodářskou krizí. Pokud musely omezit pracovní dobu, krácenou část mohou využít pro školení zaměstnanců, z projektů lze krýt náklady na vzdělávací kurzy a zároveň i odpovídající část platu zaměstnanců. Výzva se připravovala velmi rychle, při přípravě výzvy šlo hlavně o čas, rozběhla se dřív než byla připravena patřičná dokumentace. Část prostředků byla kryta ze starého programového období, nastalo zdržení při přechodu na období současné. Výzva je implementována decentralizovaně, přes 76 úřadů práce (ÚP). Tato výzva je dokladem toto, že prostředky OP lze implementovat rychle a efektivně i v podmínkách, kdy nejsou ujasněna všechna pravidla do dokonalých detailů. Kromě výhody rychlé implementace se navíc ukazuje, že je tento způsob daleko efektivnější než zdlouhavé, centrálně řízené
V průběhu fokusních skupin nás též zajímalo, jaké komunikační kanály považují účastníci za optimální, a to zejména co se týče podání zpětné vazby, podnětů ke změnám a vylepšením, komunikace na operativní úrovni a zajištění plynulé diskuze nad aktuálními tématy. S ohledem na předpokládané spuštění online fokusních skupin se otázky zaměřily i na potenciál platformy ESF Fóra a na míru jeho využívání a využitelnosti pro tyto účely.
Zjištění lze shrnout do následujících okruhů:
V prostředí ŘO hrají často významnou roli dokumenty, např. ve formě návrhů metodik a příruček (resp. jejich změn). Zainteresované osoby, které mají tyto dokumenty a jejich verze připomínkovat, se shodují na tom, že opakované rozesílání emailem je řešením nevhodným – a považují možnost jejich uložení „v centrálním úložišti“ (např. v ESF Fóru) za ideální. Roli přitom hraje skutečnost, že je možné dokument operativně uložit, omezit k němu přístup a přidat komentář ve smyslu „existuje nová verze“, případně přidat pokyny, jak s dokumentem dále nakládat. Nicméně, pokud je třeba dokument připomínkovat, je vhodné použít nástroje, které komentáře a případné opravy zohlední uvnitř dokumentu a naváží na konkrétní odstavec či slovo (např. sledování změn dokumentu, komentáře apod.). Role ESF Fóra – nebo kterékoli jiné platformy – je v tomto případě spíše administrativní.
ESF Fórum je a priori uzavřený systém, kde je, v případě přání přidat diskusní příspěvek nebo upravovat obsah, nutná registrace. To limituje užití ESF Fóra tehdy, když by v rámci otevřené diskuze mohla např. kritika vést k identifikaci „stěžovatele“ a následně k jeho postihu. Tento důvod uváděli účastníci fokusních skupin jako jeden z klíčových ve chvíli, kdy se vyjadřovali skepticky k možnosti využít tuto platformu právě pro sběr problémů a podnětů k jejich řešení.
Dalším aspektem, který snižuje důvěru v možnost využít ESF Fórum jako platformu, skrze kterou by byla komunikována možná vylepšení a změny, je skutečnost, že ESF Fórum, resp. jeho používání, není ukotveno mezi pracovními povinnostmi. Není vyjasněna jeho pozice v celkové koncepci ŘO, tj. zejména kdo je oprávněn do něj vstupovat a kdo ne a kdo je povinen ho sledovat. S tím souvisí i případný pravidelný a odpovědný sběr podnětů a jejich předávání a zpracování dále – obecně lze říci, že pokud nebude jasné, co se s takto získanými podněty stane (a že se něco stane), nepovažují zaměstnanci ŘO časovou investici do aktivit na ESF Fóru za relevantní. Obdobně není vyjasněn vztah ESF Fórum vs. intranet, a to zejména s ohledem na proces sdílení dokumentů. ESF Fórum je používáno pro sdílení dokumentů, a to i interních dokumentů v pracovních verzích, zejména proto, že je k němu rychlý přístup, je možné nad dokumentem diskutovat a omezit k němu přístup. Důvodem, proč není k podobné diskuzi využíván email, je - dle sdělení účastníků - velký objem těchto dokumentů (zapříčiněný často tím, že je v nich, s ohledem na nutnost dodržet pravidla publicity, vloženo velké množství obrázků). Možnost uložení souboru na intranet a následně diskuze nad takto interně sdíleným dokumentem byla ze strany účastníků odmítána jako nereálná právě vzhledem ke složitosti a zdlouhavosti procesu vkládání souborů na intranet a v některých případech i omezeními v přístupu na
V rámci zakázky nebyly analyzovány všechny kluby na platformě ESF Fóra, a to s ohledem na skutečnost, že jejich značná část je tzv. „privátní“, tj. vstup je umožněn jen úzkému okruhu vybraných osob. Ze sdělení účastníků FS nicméně vyplývá, že velmi dobře fungují takové kluby/diskuze, které si založila specifická skupina uživatele sama a sama má zájem na tom, aby průběh měl praktické výstupy a dopady (viz např. skupina metodiků). Tento fakt tedy podporuje tvrzení, že existence platformy je klíčová co se týče možnosti operativně a rychle využít jejích nástrojů ve chvíli, kdy se ukáže potřeba takové funkcionality.
Specifickou oblastí je možnost využití ESF Fóra pro účely centrální komunikace s žadateli a příjemci. Tento způsob je vnímán jako pozitivní co se týče vytváření „znalostní báze“, tj. možnosti schraňovat dotazy a odpovědi, což by mělo vést k omezení multiplicit a přetížení referentů a dalších dotčených pracovníků. Nicméně, bez jasně definovaných povinností a oficiální podpory platformě není realizace reálná.
Dále je třeba dbát na uživatelskou přívětivost a obecně na design komunikační platformy, neboť tyto faktory dokáží uživatele, denně konfrontované s komerčními systémy jdoucími „s dobou“, od používání jakékoli platformy odradit, a to i v případě, že tato v sobě zahrnuje všechny potřebné funkce. S tím souvisí i podpora funkcí tzv. „sociálních sítí“, tj. vertikálního propojení uživatelů platformy mezi sebou.
Účastníci fokusních skupin ale dále uvádějí, že žádná online platforma nemůže na úrovní ŘO nahradit
– často neformální – komunikaci tváří v tvář, tj. že řešení problémů, diskuze nad možnými změnami, zpětná vazba apod. probíhá a měla by probíhat paralelně i na úrovni setkávání. Online prostředí by tedy mělo být k dispozici stejně, jako prostor pro tato setkávání, v žádném případě by je nemělo zcela nahradit.
5. DOPORUČENÍ
5.1. Doporučení k řízení a implementaci OP LZZ
5.1.1. Rámcová doporučení manažerského typu
1. Je třeba brát v úvahu, že pozitivní snahy zainteresovaných osob nemusí být navzájem kompatibilní, tzn., že je třeba diskuzi/vzdělávání/řízení připravit a vést tak, aby skutečně naváděla ke zlepšení v systému řízení a praxi administrace, nikoli například k diskuzím o smyslu systému či jeho vymezení se k němu. Doporučujeme tedy, aby s každým návrhem na pozitivní změny byl zároveň vymezen rámec, ve kterém lze takové změně rozumět, neboť to zdaleka nemusí být samozřejmé. Například: vytváření příležitostí pro výměny názorů může jedna skupina zaměstnanců chápat jako významný přínos a jiná jako další zbytečnou zátěž, zavádět takový nástroj znamenaná zároveň dostatečně argumentovat, že to bude mít přínos a jaký.
2. Je třeba zvýšit mezi zaměstnanci povědomí o nutnosti transparentnosti přerozdělování veřejných financí. V rámci vzdělávání, osvěty a celkového ovzduší kolem implementace OP LZZ musí být patrná odpovědnost za skutečný dopad programu a snaha jej implementovat s ohledem na veřejné, nikoli sektorové zájmy. Dále zdůrazňujeme nutnost adekvátní publicity výsledků tohoto spravování veřejných prostředků tak, aby byly srozumitelné všem skupinám a vešly tak do povědomí široké veřejnosti. Konkrétně doporučujeme zvyšování povědomí zahrnout do školení a vzdělávání zaměstnanců. Z hlediska sdílení výstupů a výsledků vzniklých
3. Doporučujeme posilovat postavení pracovníků přímo administrujících OP LZZ, připravujících výzvy a zajišťujících přijímání žádostí a proces výběru projektů. Toho lze dosáhnout zlepšením spolupráce s ostatními pracovišti ministerstva, lepším time managementem a vyšší plynulostí procesů při schvalování jednotlivých dokumentů.
4. Vzdělávaní všech úrovní pracovníků zařazených do implementační struktury OP LZZ (a tam, kde je to relevantní, i mimo ni) musí být systematicky pojato a to ve smyslu: a) zvýšení přenosu znalostí a zkušeností s implementací programu, b) zvýšení kvality věcného řízení, a c) zvýšení odpovědnosti za svěřenou část implementace OP LZZ. Dále je třeba vzdělávat zaměstnance, kteří by si měli být schopni zadávat evaluace – a to specificky pro tuto roli.
5. Doporučujeme zavést a nastavit systém předávání/přebírání konkrétních agend, včetně způsobů předávání informací a návaznosti v práci nově nastoupivších zaměstnanců (především vzhledem k vysoké fluktuaci). Je potřeba zavést správu znalostí, například u finálních verzí výzev, metodik a ostatních dokumentů uchovávat argumenty a zdůvodnění, proč se k určitým rozhodnutím dospělo a dále propracovat systémy zpětné vazby a užívání výstupů z externích a interních hodnocení.
6. Navrhujeme oddělit věcné řízení implementace OP LZZ a administrativní výkony (zejm. úkony spojené s příjmem projektových žádostí, výběrem projektů a dále s jejich administrací a monitorováním), přičemž je vhodné administrativní úkony zadat externímu subjektu. V souvislosti s tím je však potřeba výrazně akcentovat roli ŘO ve strategickém řízení OP a jeho odpovědnost za věcnou část implementace, což představuje především posílení odborného zázemí ŘO. Tím se myslí nejen kvalitní výběr a rozvoj vlastních pracovníků, ale především systematické budování vazeb na externí odborníky, zavedení transparentních pravidel komunikačního procesu se zainteresovanými skupinami (např. u připomínkování návrhů výzev), vyhodnocování veřejného mínění, vlastní sběr dat a zjištění z terénu, realizace nezávislých studií, přičemž smyslem je posilovat schopnosti řídit a rozhodovat ve vztahu k cílům programu, řídit kvalitu a přebírat odpovědnost za rozhodnutí týkající se obsahu výzev, kvality hodnocení apod.
7. Navrhujeme zprůhlednit příp. zavést dělbu odpovědností za dílčí fáze implementace programu; musí být jasné, kdo např. konkrétně nese odpovědnost za výzvu jako celek a kdo za dílčí části její implementace, dokdy budou provedeny určité kroky, dokdy se musí příslušný orgán vyjádřit, kdo nese odpovědnost za zpoždění procesu, kdo má mandát k výkladu indikátorů apod. Systém odpovědností je třeba propracovat až na úroveň komunikace s žadateli a realizátory projektů, kdy sdělení podávaná pracovníky ŘO/ZS musí být spolehlivá a právně závazná.
8. Doporučujeme vzdělávat zaměstnance řídícího orgánu, zprostředkujícího subjektu a kontrol tak, aby se změnilo klima nastavené mezi nimi a realizátory, aby se realizátoři neobávali, že jakákoli změna v projektu znamená příznak selhání. To může významně snížit formalismus při realizaci a zvýšit efektivitu projektů.
5.1.2. Rámcová doporučení věcná
9. Je potřeba provést hlubší ohledání pojmu "inovativnost" v kontextu OP LZZ, realizovat jeho hlubší porozumění a převod z ryze formální do praktické, inspirující a dynamizující polohy v rámci projektů. K tomu může přispět větší důraz na to, že hodnotitel musí interpretovat význam projektu vzhledem k cílům formulovaným v dané prioritní ose a podrobněji pak v dané výzvě. Tedy tyto formulace cílů musí být jasné a proces hodnocení musí být nastaven tak, aby hodnotitelé přijali za své, jaké jsou cíle zadavatele a v jakém kontextu je inovativnost chápána.
10. Navrhujeme zkrátit období, které proběhne od formulace výzvy do zahájení vlastní realizace projektů, a to nejlépe kombinací dílčích opatření a kroků s důrazem na osobní odpovědnost za rozhodování v jednotlivých fázích přípravy výzvy. Doporučujeme například vypracovat závazný časový harmonogram jednotlivých nutných kroků (vyhlášení výzvy, příjem žádostí, formální kontrola, externí hodnocení, zasedání výběrové komise atd.) s časovými intervaly (např. s použitím Ganttova diagramu) a identifikací kritické cesty a milníků.
11. Doporučujeme se podrobněji zabývat problematikou veřejné kontroly při vypisování výzev na individuální projekty, vytvořit k tomu potřebné mechanismy zajišťující větší důraz na transparentnost celého procesu.
12. Již při formulaci výzev a následně ve všech fázích hodnocení a výběru projektů je třeba dbát na to, aby financovány byly projekty intervenčního charakteru a OP LZZ byl co nejméně využíván na financování provozu žadatelů.
13. Doporučujeme zkvalitnit a zprofesionalizovat komunikaci se žadateli. Je třeba podávat spolehlivé a včasné informace, zveřejnit seznam odpovědných osob/kontaktních míst s identifikací jejich oblasti odpovědností/mandátu a konzultačních hodin. Dále by měla být stanovena jasná pravidla této komunikace, termíny pro vyjádření a formy tohoto vyjádření. Smyslem této komunikace přitom musí být snaha zvýšit kvalitu projektových žádostí a realizovaných projektů, z tohoto důvodu je třeba pěstovat „netrestající kulturu“ a styl na klienta orientované komunikace.
14. Doporučujeme zvyšovat kvalitu hodnocení projektových žádostí, zejm. systematickou prací s hodnotiteli, hodnotitelé by měli dostávat zpětnou vazbu, měli by mít možnost své výkony porovnat mezi sebou a mít přístup k informacím o projektech, které byly vybrány.
15. Doporučujeme vyhodnotit dopad zavedení slovních deskriptorů pro hodnocení projektů, systémově sbírat připomínky hodnotitelů k existující škále a podle připomínek hodnotitelů provádět postupnou lepší strukturaci deskriptorů a doplňovat je.
16. Doporučujeme zaměřit se více na význam doplňujících kriterií při výběru projektů a věnovat formulaci doplňujících kriterií zvýšenou pozornost, důraz pak věnovat na specificky k tomu zaměřené školení hodnotitelů.
17. Navrhujeme sjednotit informace, které mají k dispozici hodnotitelé projektových žádostí s tím, co dostávají k dispozici žadatelé ve smyslu „stejné informace k dispozici všem stejně“. Metodické pomůcky jakož i školení a zodpovídání dotazů musí být v souladu s tímto požadavkem.
18. Doporučujeme, aby formulace specifických kriterií byla taková, aby umožňovala zachytit též kvalitu partnerství.
19. Doporučujeme, aby mandát hodnotící/výběrové komise při schvalování projektových žádostí byl upraven a doplněn. Komise rozhoduje o projektech v kontextu celkových cílů programu a záměrů konkrétní výzvy, měla by mít možnost vidět projekty v celku a v odpovídajících/žádoucích proporcích (za jednotlivé kraje, cílové skupiny, oblasti aktivit, konkrétní příjemce, typy příjemců apod.), proto musí mít dostatečný prostor na přípravu k takovému rozhodování a zároveň se musí vyvarovat duplikování práce dílčích hodnocení projektových žádostí. Členové výběrové komise by tedy měli dostat konkrétní projektové žádosti dle jejich odbornosti (tedy jen část) k nastudování v dostatečném předstihu a při zasedání komise poreferují o nich ostatním členům, aby ti mohli kvalifikovaně rozhodnout. Práci v komisi by mělo předcházet patřičné školení, dále navrhujeme zvážit honorování práce členů komise a zahrnutí i těch žádostí, které neprošly věcným hodnocením.
21. Dále doporučujeme, aby členové výběrové komise identifikovali svou oblast zájmu/kompetencí, a té se věnovali při hodnocení, tj. například si vybrali konkrétní balík projektových žádostí a s jejich celkovým zhodnocením pak seznámili ostatní členy komise.
22. Doporučujeme klást velký důraz na to, aby byly pro hodnotitele sladěny požadavky na interpretaci žádostí, hodnotitel by měl rozumět "duchu" výzvy, mělo by být patrné, co je smyslem, cílem; hodnotitel pak nemusí sledovat jen formální strukturu žádosti, ale také obsahovou – t.j. do jaké míry se aktivitami projektu dosahuje daného cíle. Interpretace žádosti tak hodnotí míru relevance, tedy aby projekt co nejvíce a co nejefektivněji pomohl naplnit priority programu (příslušné prioritní osy), tzn. aby pomohl tvůrcům programu dosáhnout jejich cílů.
23. Je třeba se systémově zabývat tím, že hodnotitelé často musí podle stanovených kriterií vysoko bodově hodnotit projekty, které jsou formálně dokonalé, ale obsahově nepřesvědčivé. Výrazný podíl projektů, které mají povahu rutinních produktů specializovaných agentur působí demotivačně na všechny účastníky procesu. Doporučujeme zvážit podnět z FS – zavést možnost vyřazení žádosti jako „obsahově nevyhovující“ již při fázi formálního hodnocení přijatelnosti.
24. Doporučujeme rozšiřovat obecné povědomí o tom, že použití paušálních výdajů zjednodušuje administraci nejen pro žadatele. Je potřeba školit hodnotitele v tom, aby nevnímali využití paušálních výdajů v projektech jako něco „nekorektního“.
25. Při administraci doporučujeme využívat neformální skupiny odborníků pro ad hoc konzultace v případech, kdy se vypisuje konkrétní výzva, stanovují limity pro příjemce nebo formuluje rozsah oprávněných aktivit. To obecněji souvisí se zavedením konzultačního procesu a napojením externích odborných kapacit (viz výše).
26. Je třeba podporovat flexibilitu v konkrétní realizaci (vítání a pružnější vyřizování změn, možnost reformulace dílčích zaměření podle nastalé situace). Podstatné je, aby projednávání změny nebylo chápáno jako příznak nějaké "chyby", ale naopak, jako součást snahy o co nejlepší výsledek. Žadatelé obcházejí změny, které nejsou nutné, protože se obávají, že za to budou negativně hodnoceni a že realizace změny bude problematická - tím se ale snižuje efektivita a kvalita projektů.
27. Navrhujeme vytvořit vzdělávací program, v rámci něhož budou školeni a koučováni noví pracovníci ŘO, bude organizována rotace pracovních míst a stáže na pracovištích, budou probíhat školení na míru vč. školení prováděných jinými pracovníky ŘO a externí pracovní stáže. Obsah školení spojuje cyklus řízení OP LZZ a jeho hlavní smysl, kterého si musí být všichni zúčastnění vědomi. Část vzdělávání je potřeba zaměřit na prevenci vysoké fluktuace zaměstnanců ŘO - např. individuální práce se zaměstnanci (manažerská supervize na jednotlivých úrovních), nastavení systému hodnocení zaměstnanců, jehož výsledkem není finanční ohodnocení, ale motivace a individuální rozvoj každého zaměstnance, týmová práce a role. Hodnocení pracovníků ŘO navrhujeme rozšířit o osobní kariérní plán s jasnou perspektivou postupu a finančního i jiného ohodnocení po odpracovaných letech a dále navrhujeme uvažovat o zvýhodnění dlouholetých pracovníků.
28. Doporučujeme pravidelně provádět školení relevantních osob z ŘO a ZS v oblasti zadávání veřejných zakázek a to nejen z hlediska právní správnosti, ale především z hlediska řízení těchto zakázek a jejich zařazení do celkového cyklu řízení v rámci příslušného orgánu či
oddělení (širší kontext zakázky, projektový/programový cyklus). Je třeba vypracovat systém řízení jakosti, komunikace s realizátorem zakázky, kontroly, provádění změn apod. Zakázky musí být zadávány přesně a v souladu se všemi nařízeními včetně vlastních potřeb a plánů, zároveň však musí obsahovat prostor pro změny, aniž by však tyto změny způsobily problémy v plnění nebo kvalitě zakázky.
29. Doporučujeme nadále pokračovat v neformální výměně zkušeností a diskusích (online a face- to-face) mezi různými složkami implementační struktury OP LZZ a využít institut fokusních skupin, workshopů, pravidelných seminářů a jiných forem pro získávání zpětné vazby či řešení problému při implementaci programu. Nad rámec OP LZZ doporučujeme rozvíjet diskusi s řídícími orgány ostatních programů financovaných z ESF (např. OP VK) ke sdílení příkladů dobré praxe, neboť problémy, které ŘO řeší, jsou v mnoha případech stejné.
30. Doporučujeme stanovit jasná pravidla komunikace mezi různými složkami implementační struktury, zejména termíny pro vyjádření a formy tohoto vyjádření. Přitom navrhujeme využít institutu často kladených otázek (FAQ), které by mohly být součástí širší komunikační platformy s žadateli a příjemci jako součást ESF Fóra. Jde o to zodpovídat každý dotaz jen jednou a odpověď dát k dispozici všem zainteresovaným. Namísto odkazování na rozsáhlé příručky navrhujeme zveřejnit vzorové projekty a maximálně zefektivnit zodpovídání konkrétních dotazů pomocí FAQ, neboť žadatelé/příjemci zjevně preferují osobní konzultace, které jsou však při daném počtu žádostí/projektů v případě OPLZZ velmi nákladné.
31. Navrhujeme odlišit přístup k věcnému a finančnímu hodnocení projektových žádostí, finanční hodnocení bude probíhat jednak klasicky ve vztahu k plánovaným výstupům, výsledkům a dopadům (= cena/výkon), ale pro pomoc při vyhodnocování finančních položek v rozpočtu budou přijaty vzorové tabulky (podobně jako u osy 3.2). Věcné hodnocení bude posuzovat pouze oprávněnost rozpočtových položek jako takových vzhledem k zaměření projektu.
32. Doporučujeme zvážit zavedení průběžných face-to-face fokusních skupin, kde se budou scházet konkrétní zástupci implementační struktury s žadateli a příjemci. Jde o to rozšířit komunikaci ŘO s příjemci. Umožní to nejen pružnější korekce implementace projektů a potažmo celého programu, ale lepší vhled do situace projektů a sběr podnětů z terénu k věcnému řízení programu.
33. Pokud se týče metodik, je třeba, aby bylo všem zúčastněným zřejmé, že vždy jde o to, aby se obecné pravidlo vhodně aplikovalo na danou realitu - tedy od počátku pracovat s tím, že metodika není úplným návodem na všechny situace. Metodiky by tedy především měly být formulované tak, aby umožňovaly aplikaci, nikoli tak, aby se snažily být návodem, který není a nemůže být nikdy úplný. Jinak se neustále opakuje situace, kdy cokoli, co není popsáno v metodice je předmětem nejasností a opakovaného jednání realizátora se zprostředkujícím subjektem a zprostředkujícího subjektu s řídícím orgánem. Doporučujeme toto zahrnout do systematického rozvoje lidí (viz doporučení výše), jde o vytvoření atmosféry, kde všichni chápou, že metodika nemůže být všeobsažná a být návodem na všechny možné varianty skutečnosti. V tomto rozvoji lidí doporučujeme akcentovat celkovou „filosofii“ OP a „ducha“ konkrétní výzvy, což obecně napomůže i rozvoji výše požadované změny pohledu na metodiky.
34. Doporučujeme pečlivě analyzovat možnosti zlepšení informačních systémů Monit a Benefit a realizovat změny, které povedou k jejich zjednodušení a zkvalitnění. Pokud se nějaká zlepšení ukáží jako reálná, je potřeba jejich zavedení dobře zvážit a připravit, aby šlo skutečně o jednorázovou a dlouhodobou změnu.
5.2. Doporučení k evaluačnímu workshopu
Výsledky evaluačního workshopu, jeho hodnocení a pozorování jednotlivých účastníků vedou k doporučení pokračovat ve vzdělávání a osvětě pracovníků implementační struktury OP LZZ a dalších zainteresovaných stran také tímto způsobem. Xxxxxx „také“ značí, že by workshop/y neměl/y zůstat osamocené a měly by být součástí systematického rozvoje lidských zdrojů zapojených do implementace a řízení OP LZZ. Jak již bylo uvedeno v doporučeních k řízení a implementaci OP LZZ č. 2-5 výše, je třeba systematicky rozvíjet lidské kapacity v této oblasti mimo jiné také ve směru:
1. schopnosti identifikovat chybějící informační zdroje (analýzy, statistiky, evaluace a jiné studie)
2. schopnosti rozhodnout, jaký zdroj a jeho typ je pro danou situaci relevantní (například externí versus interní zpracování, studie versus evaluace apod.)
3. schopnosti předvídat informační potřeby a na základě toho avizovat požadavky příslušným útvarům ministerstva (např. evaluačnímu oddělení nebo oddělení TA)
4. schopnosti formulovat zadání na tvorbu podkladů pro manažerské rozhodování
5. schopnosti hodnotit kvalitu prováděných prací, korigovat provádění prací a stanovovat podmínky jejich převzetí
6. schopnosti využívat informační a jiné podklady pro manažerské rozhodování a vlastní práci
7. schopnosti šířit výstupy z evaluací, analýz a rešerší mezi ostatní pracovníky implementační struktury OP LZZ
Workshop se tedy jednoznačně osvědčil jako vhodný způsob vzdělávání, samozřejmě v tandemu s jinými formami a možnostmi sdílení znalostí. Z hodnocení workshopu jasně vyplynulo, že v případě pokračování tohoto typu vzdělávání by bylo vhodné lépe strukturovat cílovou skupinu a workshop/y uzpůsobit dle jejích potřeb. Na základě stávajících zjištění lze usoudit, že by mohlo jít o tyto skupiny:
1. manažerská rovina, zadavatelé evaluací a ti, kteří budou jejich výstupy užívat pro rozhodování (evaluace jako podpora řízení)
2. expertní rovina, ti kteří řídí a nebo sami vykonávají evaluační práce, do této skupiny by mohla být zahrnuta Pracovní skupina pro evaluace (PSE), k tomu podrobněji viz níže Doporučení k evaluačnímu plánu (evaluace jako komplex výzkumných metod)
3. osvětová rovina, ti, kteří přicházejí do styku s evaluacemi a u nichž je důležité, aby dobře rozuměli smyslu evaluací, uměli je využívat, (spolu)podílet se na jejich zadávání a dále byli schopni zapojit do své práce principy sebeevaluace a zpětné vazby (evaluace jako proces)
Z toho jasně vyplývá, že pro každou z těchto skupin by školení bylo jiné, resp. bylo by možné udělat vstupní společný blok a dále rozdělit skupiny do třech paralelních sekcí. K samotnému provedení workshopu navrhujeme:
• nepodcenit přípravu, vyprodukovat materiály předem, distribuovat je v předstihu, zadat úkol/y před začátkem workshopu (např. identifikovat a definovat konkrétní problém, který by měl být řešen evaluací)
• provést vstupní test účastníků s cílem zjistit jejich skutečné znalosti, zkušenosti, potřeby a očekávání – ty pak vyhodnotit
• zapojit interaktivní prvky do workshopu, vést diskuze, podporovat týmovou práci
• prezentovat konkrétní příklady a cvičení stavět na reálných problémech účastníků
• jak vyplývá z hodnocení FS k evaluačnímu plánu, je potřeba donutit účastníky k tomu, aby jednak rozlišovali mezi evaluací, monitoringem, auditem apod. a jednak mezi různými typy evaluace a to na praktické rovině, tj. navrhujeme zadat v rámci cvičení úkol přečíst a okomentovat různé druhy evaluačních zpráv či jiných evaluačních výstupů
• uvažovat o modernější formě workshopu, zejména zapojit nové výukové metody
• rozšířit workshop o online diskuzi, pokračování (follow-up) workshopu by přecházelo do příslušného klubu na ESF Fóru
5.3. Doporučení k online komunikaci skrze platformu ESF Fóra
Ve vstupní zprávě bylo mj. uvedeno, že:
„Realizace těchto fokusních skupin je nastartováním dlouhodobějšího procesu, který spočívá ve sdílení zkušeností a názorů zainteresovaných skupin v rámci definovaného tématického spektra, jehož smyslem je zvýšit kvalitu implementace OP LZZ a znalostních kapacit orgánů implementační struktury. Aby tento proces byl udržitelný, musí celé provedení fokusních skupin směřovat k tomu, aby vzniklo aktivní, dynamické online prostředí na platformě ESF Fóra, jehož členové budou v nastartované diskusi a sdílení zkušeností nadále pokračovat.“ (str. 6., zvýraznění pro účely této zprávy)
S ohledem na výstupy z fokusních skupin se ukazuje jako klíčové následující:
• Ujasnění pozice ESF Fóra v rámci platforem ŘO
o Je potřeba nejprve pečlivě zvážit a připravit vizi a cíle provozování ESF Fóra, včetně definice formátu a pravidel komunikace a využití této platformy pro jednotlivé cílové skupiny. V této souvislosti je nutné, aby byla deklarována oficiálnost ESF Fóra, aby byly konkrétní aktivity v něm (např. případná komunikace mezi žadateli a příjemci a referenty) zakotveny v pracovních povinnostech zaměstnanců ŘO a návazně, aby bylo ESF Fórum komunikováno s veřejností jako oficiální komunikační kanál.
o Dále je vhodné zaměřit se na podporu moderátorů jednotlivých diskuzí, tj. na aktivní spolupráci s přirozeně vůdčími osobnostmi v rámci platformy a jejich navázáním na interní procesy v rámci formálních struktur ŘO.
• Podpora ESF Fóra jako znalostní báze
o V návaznosti na předchozí bod je nutné, aby se ESF Fórum stalo „databází oficiálních dotazů a odpovědí“, ne pouze neoficiální platformou duplikující emailový kontakt s referenty. To ovšem vyžaduje i uvědomění a ztotožnění se s touto ideou na straně zaměstnanců ŘO; jedním z klíčových momentů je např. přijmutí odpovědnosti za veřejně dostupné příspěvky na ESF Fóru (zejména odpovědi tazatelům) a aktivní propagace „Desatera ESF Fóra“.
• Aktivní podpora „otevřených prostorů“,
o a to ať již se jedná o podporu ESF Fóra a jeho funkcionalit nebo společných setkání zainteresovaných osob. Právě podpora obou prostředí (online i tváří v tvář) může vést k synergickým efektům, na základě setkání může dojít k nastartování diskuze na ESF Fóru a naopak, na základě diskuze online se může objevit potřeba setkání tváří v tvář. Přitom ani účast v ESF Fóru ani na setkáních by v tomto případě neměla mít formální a povinný charakter, tj. mělo by jít o profesně-zájmové aktivity a činnosti.
o S tím úzce souvisí i možnost přispívat anonymně, i když např. jen omezenému okruhu osob (v návaznosti na interní síť ŘO).
o Dále doporučujeme využívat zkušeností těch klubů na ESF Fóru, které se osvědčily, fungují dobře a přinášejí přidanou hodnotu do řízení a implementace OP LZZ (např. klub metodiků aj.).
• Podpora technologického rozvoje ESF Fóra
o Jde zejména o aktualizace designu a rozšiřování funkcionalit ESF Fóra tak, aby odpovídal postupně se měnícím standardům v oblasti podobných platforem a morálně nezastaral.
5.4. Doporučení k Evaluačnímu plánu programu OP LZZ 2008-2015
Evaluační plán programu OP LZZ 2008-2015 (dále jen evaluační plán) byl jednak diskutován v rámci evaluačního workshopu a dále byla jedna FS zaměřena na připomínkování evaluačního plánu a jeho implementaci v rámci ŘO OP LZZ, tato část reflexe se vyskytuje v příslušné kapitole této zprávy. Kromě toho byl Evaluační plán ve své aktuální verzi zhodnocen evaluačním týmem a to dle následujících kritérií:
• časování evaluací
• zaměření evaluací
• pokrytí témat a oblastí týkajících se implementace OP LZZ
• splnění cílů daných nařízením Rady (ES) č. 1083/2006
• relevance k potřebám řízení a implementace OP LZZ
• schopnost reakce na aktuální situaci a socio-ekonomický vývoj, reflexe kontextu, v jakém je OP LZZ implementován
• adekvátnost zdrojů (časové rozmezí, finanční alokace)
• srozumitelnost a přehlednost plánu
Z těchto tří zdrojů hodnocení vyplývají následující doporučení:
1. Při zadávání evaluací a při realizaci podpůrných činností (utváření a rozvoj evaluační kapacity) požadovat adekvátní a na různé skupiny cílenou diseminaci výstupů a výsledků evaluací. Kromě evaluačních zpráv je potřeba pořádat semináře různé délky pro různé skupiny, vydávat tiskové zprávy, publikovat relevantní části zpráv, zprávy rozdělit na shrnutí (max. 5 stran) určené k šíření mezi management implementační struktury programu a podrobné zdůvodnění, určené pro odborníky. Je třeba uvažovat o atraktivních a neotřelých formách šíření výsledků evaluací, například formou spotů, klipů, animací, vizualizací (vhodných např. tam, kde je třeba ukázat, co by stalo, kdyby...), filmu apod.
2. S výše uvedeným souvisí doporučení zaměřit se též na reflexi průběhu zadávání a řízení evaluací v rámci příslušného oddělení a to od sledování kvality evaluací až po publikování toho, co bylo provedeno, změněno, na základě výsledků evaluací, tj. informování o jejich skutečném dopadu, jak byly použity a k čemu reálně přispěly. Tyto akty budou mít vliv na a) transparentnost prováděných akcí, b) povědomí o významu evaluací uvnitř implementační struktury, a c) zvýšení důvěry veřejnosti a zainteresovaných subjektů (příjemců, cílových skupin programu, respondentů v šetřeních apod.) ve význam a váhu evaluací.
3. S tím souvisí doporučení vždy stanovit odpovědnost konkrétního oddělení za zpracování výsledků a doporučení z konkrétní evaluace, vyjádření se k této evaluaci a publikování toho, co bylo na základě výstupů konkrétní evaluace provedeno. Tato odpovědnost by měla být známa již při formulaci zadávací dokumentace. V průběhu evaluace pak jsou respondenti adekvátně informováni o tom, „co se s jejich sděleními skutečně stane“.
4. V rámci utváření a rozvoje evaluačních kapacit je potřeba se zaměřit také na systematickou práci a rozvoj PSE, tuto skupinu lidí je třeba proškolit a dále udržovat jejich odbornou úroveň, facilitovat přenos zkušeností, aktivizovat ji v jejím zapojení do procesu. Obecně je třeba do procesu dostat více aktérů, kteří na něm budou zainteresováni a budou jej tudíž podporovat.
5. S tím souvisí také systematický rozvoj této sítě aktérů, kteří budou proces podporovat, sytit podněty a aktivně využívat jeho výstupy. Nabízí se možnost využít principy RLZ uvedené v doporučeních výše, konkrétně: páteční semináře na MPSV pro pracovníky ministerstva k osvětě kolem evaluací, specializovaný workshop zaměřený na skupinu manažerů, rotace pracovních míst zaměřit též strategicky na sběr podnětů pro zadávání evaluací a povědomí o práci evaluačního oddělení, pobyty pracovníků evaluačního oddělení na různých pracovištích s cílem konkrétně identifikovat potřeby pro případné evaluační práce, využívat a nebo organizovat schůzky vedoucích příslušných oddělení ke sběru podnětů a osvětě.
6. Kromě toho navrhujeme posílit mezinárodní srovnávání a to nejen ve smyslu realizace evaluačních aktivit, ale také ve smyslu studijních cest pracovníků do zahraničí s cílem získat zkušenosti s prací evaluačních oddělení jinde.
7. Rozhodně je třeba pokračovat v rozvoji ESF Fóra také v tom směru, aby sloužilo ke sběru podnětů pro konkrétní zacílení prací v rámci evaluačního plánu.
8. V komunikaci s manažery, pro jejichž rozhodování se evaluace připravují, je třeba si uvědomit, že zadávání provádí odborníci (evaluační oddělení), cíle, smysl a formu výstupů pak tito manažeři a ostatní pracovníci.
9. Třetím okruhem doporučení je zlepšení informačního zázemí pro hodnocení, vazba mezi monitoringem a evaluacemi se musí zkvalitnit. Data, která poskytuje monitoring, musí být aktuální, dostupná, spolehlivá a ověřitelná. Monitorovací systém tak získá lepší image a nebude ztrácet důvěru evaluátorů, kteří v opačném případě jeho funkce suplují nadbytečnými šetřeními, která zatěžují pracovníky implementační struktury, příjemce a jejich cílové skupiny. Evaluátorům by mělo být zřejmé, která data mohou spolehlivě získat a která nikoli. Paralelní agendy by tudíž nemohli využívat. Kromě toho by evaluace pak lépe dávaly zpětnou vazbu monitoringu a zároveň by se zvýšila jejich efektivita.
Konkrétní doporučení a poznámky k aktuální verzi Evaluačního plánu:
• Vazba mezi monitoringem a evaluací není jasně popsána; to se týká několika částí evaluačního plánu: a) kapitola 3.2. závěr 3. odst. budí dojem, že z monitoringu vycházejí podněty pro zadání evaluace ve chvíli, kdy jsou odhaleny „problémy při čerpání“. Zřejmě se jedná o nepřesnou interpretaci textu, ale monitoring v tomto smyslu navádí již zadanou evaluaci k místům, která vyžadují bližší ohledání. Především však by měl sloužit jako důstojný podklad pro evaluaci, statistický základ pro další šetření s tím, že evaluace nevychází pouze z monitoringu a s tím, že monitoring má svá omezení, se kterými musí evaluace a jejich zadání počítat. b) kapitola 3.4.1 opět poslední věta budí dojem, že operační evaluace je k ničemu, neboť vychází z monitoringu, opět se zřejmě jedná o nešťastnou formulaci, neboť text předchozí dává smysl, tj. monitoring má svou roli (sledování, nikoli hodnocení, informování nikoli rozhodování) a má svá omezení (porovnává stavy již dané programem samotným, nereflektuje změny okolí apod.). Za zvážení stojí, zda neakcentovat roli monitoringu také v tom smyslu, že pokud je nedostatečný, pomalý, invalidní, neaktuální a nebo vykazuje jiné chyby, musí evaluace tato bílá místa suplovat a vyčerpává tím prostředky, které by jinak zvyšovaly její kvalitu.
• Pracovní skupina pro evaluace je uváděna různými názvy a zkratkami, to je třeba sladit. Při prvním výskytu daného výrazu uveďte plný název a do závorky zkratku, dále používejte jen zkratku, tedy Pracovní skupina pro evaluace (PSE).
• Role ESF Xxxx v tomto konkrétním textu by měla být jasně popsána ve vztahu k evaluacím, jeho potenciál je daleko větší, než jak popisuje evaluační plán.
• V rámci částí „Utváření evaluační kapacity“ navrhujeme začlenit výše doporučované aktivity zaměřené na zvyšování povědomí o evaluacích, šíření jejich výsledků a osvětu (doporučení č. 1, 4, 5, 6).
• Studie účinnosti komunikačních aktivit – je-li zhotovována každoročně, pak by se měla zaměřovat na různé oblasti, aktéry či cílové skupiny vždy konkrétněji, případně by měla sloužit jako podklad pro tvorbu sofistikovaných nástrojů diseminace, například částí webů, bulletinů, audiovizuálních materiálů apod. (lze spojit s vyhotovením případových studií plánovaných v roce 2012).
• Chybí hodnocení horizontálních témat a inovativnosti (to bylo identifikováno jako poněkud problematické vzhledem k jeho výkladu a praktickému uchopení při hodnocení projektových žádostí).
• Chystá se oddělení věcného řízení OP LZZ a administrace, v rámci tohoto procesu by evaluace měla reflektovat budování kapacit, změnu řízení, hledat a ukazovat příklady/modely takového uspořádání řízení programu (např. ze zahraničí či osvědčený model CIP EQUAL v ČR), vyhodnotit jejich pozitiva i negativa a stát se tak podkladem pro složitý proces, kterým implementační struktura při tomto oddělování jistě projde.
• Od roku 2011 by evaluace měly začít uvažovat o přípravě budoucího programového období.
6. ZDROJE
6.1. Rámcové a strategické dokumenty, legislativa
o Cohesion Policy 2007-2013 [online]. European Commission [cit. 2008-09-29]. Odkazy na texty národních strategických referenčních rámců a shrnutí programových dokumentů. URL:
<xxxx://xx.xxxxxx.xx/xxxxxxxx_xxxxxx/xxxxx0000/>.
o Common Objectives [online]. European Commission, Employment and Social Affairs [cit. 2008- 09-29]. URL: <xxxx://xx.xxxxxx.xx/xxxxxxxxxx_xxxxxx/xxxx/xxxxxx_xxxxxxxxxx_xx.xxx>.
o Council Regulation (EC) No 1083/2006 of 11 July 2006 laying down general provisions on the European Regional Development Fund, the European Social Fund and the Cohesion Fund and repealing Regulation (EC) No 1260/1999. Official Journal of the European Union [online]. L210, 31.7.2006, s. 25-78 [cit. 2008-09-29]. URL: <xxxx://xxx- xxx.xxxxxx.xx/XxxXxxXxxx/XxxXxxXxxx.xx?xxxxXX:X:0000:000:0000:0000:XX:XXX> (v angličtině) nebo <xxxx://xxx- xxx.xxxxxx.xx/XxxXxxXxxx/xxxx/xx/xx/0000/x_000/x_00000000000xx00000000.xxx> (v češtině).
o European Commission – Growth and Jobs [online]. European Commission [cit. 2008-10-03]. Zejména sekce National Dimension – National Reform Programmes. URL:
<http://ec.europa.eu/growthandjobs/index_en.htm>, resp.
<http://ec.europa.eu/growthandjobs/national-dimension/member-states-2005-2008- reports/index_en.htm>.
o European Commission : Education & Training [online]. European Commission [cit. 2008-10-03]. URL: <http://ec.europa.eu/education/index_en.htm>.
o European Employment Strategy [online]. European Commission, last update: 30/10/2007 [cit. 2008-09-29]. URL:
<http://ec.europa.eu/employment_social/employment_strategy/index_en.htm>.
o Koncepce romské integrace 2005 [online]. Praha : Rada vlády ČR pro záležitosti romské komunity [cit. 2008-08-11]. URL: <http://www.vlada.cz/dokument8150.html>.
o Koncepce vzdělávání a rozvoje vzdělávací soustavy v České republice [online]. Praha : Ministerstvo školství, mládeže a tělovýchovy, květen 1999 [cit. 2008-09-29]. URL:
<http://www.vlada.cz/dokument2094.html>.
o Národní akční plán sociálního začleňování [online]. Praha : MPSV, poslední aktualizace: 18.2.2008 [cit. 2008-08-11]. K dispozici jsou archivní, aktuální i připravované akční plány. URL:
<http://www.mpsv.cz/clanek.php?lg=1&id=1098>.
o Národní program rozvoje vzdělávání v České republice : bílá kniha [online]. Praha : Ministerstvo školství, mládeže a tělovýchovy, 2001 [cit. 2008-09-29]. 98 s. URL:
<http://www.msmt.cz/files/pdf/BilaKniha.pdf>. ISBN 80-211-0372-8.
o Národní rozvojový plán České republiky 2004-2006 [online]. [Praha] : Ministerstvo pro místní rozvoj, 2003 [cit. 2008-09-29]. xii, 244 s. URL:
<http://www.esfcr.cz/files/clanky/1285/NRP_2004-6.pdf>.
o Národní strategický referenční rámec ČR 2007-2013 [online]. [Praha] : Ministerstvo pro místní rozvoj, červenec 2007 [cit. 2008-09-29]. 137 s. URL:
<http://old.mmr.cz/upload/files/evropska_politika/nsrf_CJ_170707_final_db.pdf>.
o Národní zpráva o strategiích sociální ochrany na léta 2006 – 2008 [online]. Praha : MPSV, 2006 [cit. 2008-09-29]. URL: <http://www.mpsv.cz/cs/3000>, resp.
<http://www.mpsv.cz/files/clanky/3002/Narodni_zprava_2006-8.pdf>.
o Návrh národního rozvojového plánu České republiky 2007-2013 [online]. [Praha] : Ministerstvo pro místní rozvoj, leden 2006 [cit. 2008-09-29]. 206 s. Tento návrh byl přijat Vládou ČR 22. 2. 2006 (usnesení č. 175/2006). URL: <http://www.strukturalni- fondy.cz/upload/1141122325.materi-l-nrp---iii.-nrp-upraveny---str-113-a-124.pdf>.
o Regulation (EC) No 1081/2006 of the European Parliament and of the Council of 5 July 2006 on the European Social Fund and repealing Regulation (EC) No 1784/1999. Official Journal of the European Union [online]. L210, 31.7.2006, s. 12-18 [cit. 2008-09-29]. URL: <http://eur- lex.europa.eu/LexUriServ/LexUriServ.do?uri=OJ:L:2006:210:0012:0018:EN:PDF>.
o Rozvoj lidských zdrojů – Strategie rozvoje lidských zdrojů [online]. Praha : Národní vzdělávací fond, [cit. 2008-09-29]. URL: <http://www.nvf.cz/rozvoj_lz/strategie.htm>.
o Rozvoj lidských zdrojů – výstupy [online]. Praha : Národní vzdělávací fond, [cit. 2008-09-29]. URL: <http://www.nvf.cz/rozvoj_lz/vystupy.htm>.
o další strategické dokumenty ČR a EU
6.2. Programové dokumenty a metodické pomůcky
o Evropský sociální fond ČR : Příručky [online]. ESF ČR, aktualizace: 6.10.2005 [cit. 2008-09-29]. K dispozici jsou mj. tyto dokumenty: Příručka pro příjemce finanční podpory OP RLZ - verze ze září 2007, Příručka pro příjemce finanční podpory projektů OP RLZ a Příručka pro žadatele
o finanční podporu grantových projektů OP RLZ. URL:
<http://www.esfcr.cz/clanek.php?lg=1&id=31>.
o Formulář návrhu globálního grantu OP LZZ [online]. [cit. 2008-05-15]. 14 s. Dostupné prostřednictvím ESF Fóra. URL:
<https://forum.esfcr.cz/node/discussion.attachment.php?f=5161,421>.
o Operační program Lidské zdroje a zaměstnanost 2007-2013 [online]. Praha : Ministerstvo práce a sociálních věcí ČR, září 2007 [cit. 2008-04-07]. 184 s. URL:
<http://www.esfcr.cz/files/clanky/3486/OP_LZZ_FINAL.pdf>.
o Prováděcí dokument Operačního programu Lidské zdroje a zaměstnanosti [online]. [Praha] : Ministerstvo práce a sociálních věcí ČR, leden 2008 [cit. 2008-04-07]. 117 s. URL:
<http://www.esfcr.cz/files/clanky/5748/PD_OPLZZ_leden2008.pdf>.
o Příručky platné pro OP LZZ pro programové období 2007 – 13 [online]. [cit. 2008-04-07]. URL:
<http://www.esfcr.cz/clanek.php?lg=1&id=6214>.
o Výzva pro předkládání grantových projektů OP LZZ [online]. [cit. 2008-05-15]. 9 s. Dostupné prostřednictvím ESF Fóra. URL:
<https://forum.esfcr.cz/node/discussion.attachment.php?f=5266,432>.
6.3. Evaluační a monitorovací zprávy
o Evropský sociální fond ČR : Evaluace [online]. ESF ČR, aktualizace: 11.6.2008 [cit. 2008-09-29]. K dispozici jsou mj. tyto dokumenty: Ex-ante evaluace OP LZZ 2007-2013 - Závěrečná zpráva (30.05.2007), Ex-ante hodnocení Operačního programu Rozvoje lidských zdrojů (11.10.2005), Ex-ante hodnocení Programového dodatku k Operačnímu programu Rozvoje lidských zdrojů (11.10.2005), Závěrečná zpráva z hodnocení dosaženého pokroku OP RLZ (13.06.2006) a Závěrečná zpráva z hodnocení přínosu OP RLZ k Aktivní politice zaměstnanosti (21.08.2006). URL: <http://www.esfcr.cz/clanek.php?lg=1&id=23>.
o Ex-ante evaluace operačního programu Lidské zdroje a zaměstnanost pro období 2007-2013 : závěrečná zpráva [online]. Ostrava : prosinec 2006 [cit. 2008-09-29]. 41 s. URL:
<http://www.esfcr.cz/files/clanky/5484/Evaluace-OPLZZ-final.pdf>.
o Ostatní relevantní evaluační zprávy z ČR a EU
6.4. Interní zdroje, tj. zdroje vytvořené v průběhu projektu
o Zápisy z jednotlivých fokusních skupin
o Audio záznamy fokusních skupin
o Statistiky ESF Fóra a obsahy konkrétních diskuzí
o Evaluační formuláře od účastníků workshopu
o Data a sestavy generované systémem Monit
o Písemné podklady a dodatečné podněty od účastníků fokusních skupin
o Zápisy ze schůzek týmu a rozšířené skupiny expertů
o Zápisy z jednání se zadavatelem
o Připomínky členů týmu a rozšířené skupiny expertů
o Připomínky zadavatele
o Připomínky PSE a uživatelů ESF Fóra
7. PŘÍLOHY
Příloha 1: Strukturovaný výtah hlavních výstupů z FS 45 Příloha 2: Seznam účastníků evaluačního workshopu „Vše co jste chtěli vědět o evaluacích“ 55 Příloha 3: Program evaluačního workshopu 59 Příloha 4: Hodnocení evaluačního workshopu 60 Příloha 5: Příklad pozvánky na fokusní skupinu 64 Příloha 6: Přehled konaných fokusních skupin 68 Příloha 7: Seznam kontaktů do jednotlivých fokusních skupin 71 Příloha 8: Spuštění tématických online fokusních skupin – pracovní materiál 87 Příloha 9: Podněty pro diskuzi na ESF Fóru (dle témat) 89 Příloha 10: Měsíční flash reporty (duben-září 2009) 91
Příloha 11: Připomínkový list k závěrečné zprávě „Organizace evaluačních fokusních skupin OP LZZ a evaluačního workshopu“ 102
Příloha 1: Strukturovaný výtah hlavních výstupů z FS
Téma2 (číselně) | Okruhy problémů | Návrhy řešení účastníků | Doporučení účastníků | |
1 | ||||
Omezené pole působnosti metodiků (svázáno zákonem o rozpočtových pravidlech apod.) | ||||
Setrvačnost, pomalé promítnutí změn v metodice do reality | ||||
Neoddělování dotazů od podnětů ke změně metodiky | Elektronická dotazovna/odpovědna na dotazy | |||
Fluktuace zaměstnanců (tj. Neznalost na straně nových zaměstnanců) | Vzdělávací program pro nové pracovníky | *1 | ||
Termíny – vzájemná provázanost vede v případě nedodržení byť jediného ke zpožďování procesu jako celku | *2 | |||
Citace ze zákona v metodice – při změně nutné měnit i metodiku | Omezit – ale pak by se mnozí žadatelé ke znění zákona možná nedostali | |||
Rozpočtová pravidla – problém, a to i s ohledem na různé typy subjektů a rozdílné předpisy pro účetnictví | *3 | |||
Trestání za chyby plynoucí z neznalosti metodiky | Nutná „změna klimatu“ – netrestající kultura; důvěra, ne strach | |||
Změny v metodikách | Jedna obecná krátká metodika; Změny plánovány předem, ne jen v reakci na nutnost | Změn obecně co nejméně; Změny provádět „po balíčcích“ | *4 | |
2 | ||||
Neflexibilita OP, resp. jeho prováděcích dokumentů | ||||
Informační systém – neflexibilita a nedůvěra | *5 |
2 Téma 1: Metodické řízení; Téma 2: Výzvy k předkládání projektů; Téma3: Hodnocení projektů a hodnotící kritéria; Téma 4: Monitorování a IS; Téma 5: Finanční řízení; Téma 6: Realizátoři projektů.
3 Některé okruhy se opakovaly napříč tématy – tyto vazby jsou naznačeny pomocí stejného číselného kódu s prefixem “*”
Téma2 (číselně) | Okruhy problémů | Návrhy řešení účastníků | Doporučení účastníků | |
Monitorovací systém – nastaven předem, bez ohledu na OP | ||||
Problémy se zpožděním – jak na úrovni vyhlašování výzev, tak hodnocení (stačí, aby bylo více žádostí a nestíhá se) | Dostatečný časový předstih, aby bylo dostatek času na „vyladění výzvy“ a zpětnou vazbu | *2 | ||
Zpoždění zapříčiněná spec.činnostmi typu právní stanovisko | ||||
Přetížení administrací vs. „zbytečnosti“ (povinná publicita, vizuální identita...) | Nezdržovat se těmito procesy; Minimalizovat počet pracovníků u těchto činností | Soustředit se na podstatná témata/činnosti | ||
Fluktuace zaměstnanců | Zajistit kontinuitu, předávání znalostí a zkušeností | *1 | ||
Komunikace obsahu výzvy navenek | Průběžné konzultace s potenciálními příjemci | Jasná a srozumitelná preambule | *6 | |
Vztah obsahu výzvy a reality – často psáno „od stolu“ bez znalosti reálných potřeb | ||||
Politický vliv na výzvy – zastavování i urychlování | ||||
Změny v průběžných výzvách „za pochodu“ – téměř nemožné provést | Dodatky k výzvě; Pozastavit a vyhlásit v upraveném znění (revize) | |||
Odpovědnost za schvalovací proces | Přesně definovat odpovědnosti, včetně odpovědnosti za zpoždění | |||
Transparentnost individuálních projektů | ||||
Zpětná vazba na obsah výzev | Využít zkušenosti ze zahraničí; Zveřejnění na webu; Připomínkování v rámci MPSV odstraní chyby ale často neodstraní nesoulad – to zjistí až žadatelé při psaní žádosti (vhodné je tedy získat jejich zpětnou vazbu) | Nutné se poučit z minula, ne vždy „začínat od nuly“ | *7 | |
Definice a specifikace termínů jako: inovativnost | *8 | |||
Vazby mezi partnery v projektu – limity a omezení |
Téma2 (číselně) | Okruhy problémů | Návrhy řešení účastníků | Doporučení účastníků | |
Absorpční kapacita – jak ji zvýšit | ||||
Zdroje pro žadatele (v souvislosti s konkr. výzvou) | Centralizace informací a dokumentů souvisejících s výzvou | Jasně definovat a zveřejnit, na koho se obrátit s dotazy, jakou formou a v jakém termínu přijde odpověď. | *9 | |
Komunikace mezi rezorty je zdlouhavá | *10 | |||
Spolupráce s MF (komplikovaná) | ||||
Mezirezortní sjednocení manuálů | Nedělat, nemožné. | |||
Složitost struktury a rolí v rámci OP | Program měl být zajišťován mimo strukturu rozpočtu a vazby na organizační struktury ministerstev | |||
Kolize OP se zákonem 106 o povinném zveřejňování informací | ||||
3 | ||||
Hodnotitelé a jejich porozumění cílům výzvy | Nutné dobře vysvětlit | *6 | ||
Chyby žadatelů | Nutné důkladné proškolení zejména na administrativní náležitosti žádosti | |||
Definice některých klíčových pojmů (např. inovativnost, partnerství) a problematika jejich hodnocení | Kritérium hodnocení partnerství je kritériem eliminačním, a tedy neumožňuje hodnotit míru kvality partnerství; je třeba se zaměřit na vhodnější způsob hodnocení skutečné kvality partnerství, ne jen sledovat soulad se zákonem o VZ a povahou projektu. | *8 | ||
Typický profil projektů, které úspěšně projdou – úvaha, že jde o „průměrné projekty“, ne ty inovativní | ||||
Databáze hodnotitelů |
Téma2 (číselně) | Okruhy problémů | Návrhy řešení účastníků | Doporučení účastníků | |
Získávání hodnotitelů | Posílit komunikaci mezi ZS a potencionálními hodnotiteli (jednotlivci nebo celou externí firmou) formou přímého oslovení nebo inzerátů | Používat stále stejná kritéria a stejný přístup při jejich výběru | *11 | |
Střet zájmů u hodnotitelů – řeší se „jen“ čestným prohlášením + musí jít o přímou vazbu | ||||
Školení hodnotitelů (obecné vs. specifické školení) | Po školení nutné projít certifikací (zkouškou) | *12 | ||
Rating hodnotitelů | Vliv na rating: míra detailnosti hodnocení projektu (ale ne jen u rozpočtu!) | *13 | ||
Náhodný výběr hodnotitelů vs. Rating (kvalita) | Využívat „kvalitního hodnotitele“ pro rozhodnutí v případě, že se hodnotitelé neshodli | |||
Hodnotitelé a rozpočet projektů | Zbytečné zabývat se položkami rozpočtu, stačí obecně; Speciální „hodnotitel přiměřenosti rozpočtu“ (oddělení obsahu a ekonomické části) – omezení subjektivného hodnocení rozpočtu hodnotiteli | Hodnotitelé mohou na změně rozpočtu demonstrovat to, že se hodnocení věnovali; Důraz by ale měl být na hodnocení obsahu | *14 | |
Ekonomické aspekty žádostí (rozpočet) | Zveřejnit závazné přehledy rozmezí a limitů cen a nákladů – tzv. Obvyklé náklady (hodnotitelé mají k dispozici!) | *15 | ||
Externí hodnotitelé vs. Hodnotící komise (rozdělení rolí) | Zpětná vazba komise – hodnotitelé (míra shody apod.); Komise by měla hodnotit všechny projekty, ne jen ty, které prošly sítem hodnotitelů (s ohledem na různost jejich kvality) | Hodnotící komise má „nadhled“, měla by hodnotit s ohledem na celek; Hodnocení komise by mělo být vysvětleno, zejména pokud se neshoduje s hodnocením hodnotitelů | ||
Hodnotící komise – malé zaškolení, její složení, informovanost | Projekty rozděleny mezi členy, ti pak referují ostatním | Získat projekty s dostatečným předstihem |
Téma2 (číselně) | Okruhy problémů | Návrhy řešení účastníků | Doporučení účastníků | |
Cíle hodnocení – jak k němu přistupovat? Hodnotit jednotlivé projekty samostatně dle jejich kvality nebo všechny podané projekty jako celek a vybrat z nich dle cílů výzvy? | Dosáhnout smysluplného čerpání. | |||
Střet hodnotitelů se zákonem o veřejných zakázkách (limit 200tisíc na hodnotitele) | Najímání hodnotitelů na DPP, DPČ, rámcové smlouvy | |||
Bodové hodnocení (škála) vs. slovní hodnocení – reakce různé, někdo považuje za ideální, jiný má problém je používat, což má vliv na kvalitu hodnocení | *16 | |||
Výměna zkušeností mezi hodnotiteli | ||||
Zpětná vazba hodnotitele na jeho hodnocení (chybí) | Hodnotiteli zaslat porovnání jeho hodnocení s hodnocením ostatních a hod.komise | *17 | ||
Hodnotitelé a počet hodnocených projektů | Málo projektů u jednoho hodnotitele neumožní porovnat, určit kvalitu; 5 považováno za minimum | |||
Zveřejnění příručky pro hodnotitele žadatelům | Doporučeno. | |||
Zpětná vazba na proces hodnocení směrem k dalším výzvám | Provést ve spolupráci s evaluačním oddělením; Sledovat, zda je nutné přenastavení kritérií, příp. jak jinak zjednodušit výzvy | *7 | ||
Hodno- titelé | ||||
Časování projektové práce – výkyvy: nic vs. mnoho | ||||
Výběr hodnotitelů – do databáze se dostali nekvalitní a nedostali kvalitní hodnotitelé | Inzerovat veřejně | *11 |
Téma2 (číselně) | Okruhy problémů | Návrhy řešení účastníků | Doporučení účastníků | |
Školení | Zajistit, aby byli přítomni zástupci MPSV (pro konkrétní dotazy); Více času na školení pro MONIT; Více příkladů z praxe a cvičení; Hodnotit nemůže ten, kdo nepsal projekt (úspěšný) a nerealizoval ho - nutná zkušenost s projektovým řízením. | Zajistit ještě jedno školení typu „workshop hodnotitelů“ pro konkrétní výzvy (sdílení zkušeností, hodnocení na zkoušku, pomoc novým hodnotitelům);Vyjasnit, zda je cílem školení vzdělávat nebo vyfiltrovat | *12 | |
Porozumění cílů výzvy | Nutné dobře vysvětlit záměry a cíle ŘO | *6 | ||
Bodové hodnocení (škála) vs. slovní hodnocení – slovní hodnoceno spíše negativně (špatně nastaveny slovní deskriptory) | Lépe číselná škála doplněná slovním popisem | *16 | ||
Sjednocení hodnocení – 50% projektů má třetí posudek | ||||
Problematika hodnocení inovativnosti, resp. i udržitelný rozvoj, rovné příležitosti (často vyplněno formálně) | *8 | |||
Proces hodnocení – „pocit“ vs. výsledné skóre (dobrý pocit, ale skóre malé); systémové chyby (vysoké skóre, ale nedoporučen hodnotitelem= vyřazení) | Hodnocení ekonomické části ekonomem, hodnotitel jen věcnou část | *14 | ||
Zpětná vazba hodnotitelům | Setkání hodnotitelů s ŘO; Získat 10 nejlepších projektů včetně odůvodnění, proč tomu tak je | *17 | ||
Problémy s platbami (přicházejí pozdě) | ||||
Manuály pro hodnotitele | Lepší specifikace. | |||
Informační systém MONIT – technické problémy; chybové hlášky, uživatelsky není přátelský, neuložení dat po vypršení přihlášení (po 20min), tj. paralelní ukládání do Wordu (pro jistotu) | *5 |
Téma2 (číselně) | Okruhy problémů | Návrhy řešení účastníků | Doporučení účastníků | |
4 | ||||
Indikátorová soustava | ||||
Definice indikátorů | Jasné definice, přesné výklady | Vyjasnit, kdo je autoritou při nejasnostech u definice indikátoru | ||
Indikátory chybějící u výzev – proces zahrnutí indikátorů do výzev | Provést kontrolu nejen po technické, ale i obsahové stránce | |||
Školení zaměstnanců na práci s IS | Přeškolování zaměstnanců na IS; obecně podpora počítačové gramotnosti | Zajistit aktuálnost obsahu školení vzhledem ke stavu systému (který se průběžně mění) | ||
Informační systém – změny za pochodu | Testovat funkce systému, než se chyby projeví v reálném čase | *5 | ||
Informační systém – změny a úpravy (trvání v řádu měsíců) | Konzultovat změny v metodikách v předstihu se správci IS | |||
Paralelní agendy – suplují nefunkční IS | Nevyžadovat statistické informace, které nejsou dostupné z IS | *18 | ||
Správa informačního systému | Zajistit dostatečné lidské zdroje pro správu IS | |||
Výkon informačního systému | Lepší HW na pracovištích; vyšší kapacita připojení | |||
Hodnotitelé – školeni na práci s IS | Do ratingu zahrnout schopnost práce s IS | *13 | ||
5 | ||||
Finanční rámec OP – vnímán jako politické zadání | ||||
Fluktuace lidských zdrojů | *1 | |||
Alokace zdrojů | ||||
Vliv krize na investice do lidských zdrojů | Kvůli rozpočtovým škrtům státní správy je třeba využít kapacit ve státní správě, nikoliv externích dodavatelů a investovat do rozvoje „interních“ LZ | *19 | ||
Čerpání financí, resp. jejich nedočerpání | Vyhlásit dodatečné výzvy – ale musí na ně zbýt čas |
Téma2 (číselně) | Okruhy problémů | Návrhy řešení účastníků | Doporučení účastníků | |
Rozpočtová pravidla | Oddělit financování evropské a státní není dobré, u konečných příjemců podpory se sbíhají - vytvořit jedny pravidla. Nejlépe: přizpůsobit se evropským pravidlům; využít zkušeností z nastavením a implementací rozpočtových pravidel ve starých členských zemích EU a upravit naše pravidla podle nich. Prvním krokem by byl systém státní pokladny, kdy podle jednotné metodiky dojde k financování stejným způsobem. Toto by podpořilo jednodušší monitoring. | *3 | ||
Úpravy projektových žádostí | Zjednodušení Požadavku na rozpočtový výdaj | |||
6 (IP) | ||||
Informační systém – nedostatky a paralelní agendy | *5 *18 | |||
Zpoždění – jak na úrovni výzev, tak hodnocení a následně ještě díky výběrovému řízení | *2 | |||
Hodnocení – krácení rozpočtu hod.komisí bez znalosti skutečných nákladů | Oddělení finančního a věcného hodnocení | *15 | ||
Náročnost přípravy – nutnost odhadnout vývoj v dalších letech (malá flexibilita) | *20 | |||
Žádost o grant vs. zadávací dok. pro výběrové řízení – v návaznosti, ale rozdílné požadavky; neflexibilní | ||||
Metodiky – kolize příručky např. se zákonem o účetnictví; nejasnosti | *8 | |||
Monitorovací ukazatele a indikátory – nepřehledné | ||||
Metodické změny v průběhu projektu | Minimalizovat změny v průběhu projektu. | *4 |
Téma2 (číselně) | Okruhy problémů | Návrhy řešení účastníků | Doporučení účastníků | |
Komunikace mezi zainteresovanými stranami | ||||
Nejasnost pravomocí a kompetencí (zejména při předjednávání konkrétního postupu) | *9 | |||
Fluktuace zaměstnanců ŘO | *1 | |||
6 (GP) | ||||
Administrativní náročnost žádosti | Vyjasnit, zda jsou kritéria sítem nebo zbytečnou komplikací; Sladit jednotlivé výzvy tak, aby měly společné jádro a jen část specifickou | |||
Zpoždění – jak na úrovni výzev, tak hodnocení | Zrychlit proces hodnocení s cílem zachovat inovativnost projektu | *2 | ||
Metodická podpora – neustálé odkazování na příručku, obava pracovníků ŘO závazně se vyjádřit | Vytvoření „často kladených otázek“ dostupných online (znalostní báze) + vše na jenom místě; Seminář pro žadatele s dostatečným předstihem; Stanovení závazných termínů na odpověď na dotaz ze strany ŘO | ŘO: Zaměřit se na kritiku obsahu projektu a realizace, ne jen na formální dozor. | *9 | |
Hodnocení – krácení rozpočtů nesystematické, nelogické | Částku krácení hod.komisí vázat na danou kapitolu, ne na konkrétní položky, ty by si seškrtal sám žadatel | *15 | ||
Monitorování – paralelní agendy na straně příjemců (odlišné potřeby ŘO a manag.projektu) | *18 | |||
Změny v projektu – zejména u financí téměř nemožné | ||||
Změny metodik | *4 | |||
Problémy s financováním zahraničních partnerů a příp. cest do zahraničí | ||||
Harmonogram a systém plateb – nelogický, koliduje se splátkami, vede k nedočerpání/přečerpání |
Téma2 (číselně) | Okruhy problémů | Návrhy řešení účastníků | Doporučení účastníků | |
Dlouhé období proplácení | ||||
6 (TP) | FS 26.+30. | |||
Komunikace – lépe než formální postupy (referátníky) funguje komunikace neformální | ||||
Fluktuace zaměstnanců – vždy se začíná od znovu | Krize působí proti fluktuaci, tj. pozitivně | *1 *19 | ||
Externí administrace – připravuje se zadání, nicméně bude nutné zaškolení a nastavení komunikace | ||||
Personální odbor (neplní svou funkci) – zároveň ale není zařazen do implementační struktury | Zařadit do impl.struktury po vzoru MŠMT | |||
Diseminace výsledků evaluací | Nestačí rozeslat emailem, není čas číst – je třeba prezentace či workshop | |||
Komunikace mezi rezorty – rozdílně nastaveno na jednotlivých ministerstvech | MMR by se této administrace mělo zmocnit celkově; Všechny OP ESF by se měly spojit a zástupci všech programů by se měli stát vyhlašovateli veřejné zakázky (mezičlánek mezi MMR a ŘO MPSV a ZS) – vznik funkční průřezové skupiny pro výměnu informací a zkušeností mezi jednotlivými rezorty v rámci TP | *10 | ||
Analýza vzdělávacích potřeb – vzniká nesystémově |
Nezahrnuty:
• (13.) Evaluační plán
• (15., 16., 19., 28.) konkrétní výzvy
• Online fokusní skupiny
Příloha 2: Seznam účastníků evaluačního workshopu „Vše co jste chtěli vědět o evaluacích“
Jméno | Afiliace | Kontakt |
Blahůšek Jan | Ministerstvo práce a sociálních věcí ESF Management Departement CIP EQUAL Management and Implementation Unit | Tel: 257.196.873 |
Čedíková Markéta | Agentura Czechinvest Implemetační agentura Pracovní skupina EDUCA | E-mail: Marketa.cedikova@czechinvest.org Tel: 296.342.545 |
Foltýn Zdeněk | Ministerstvo práce a sociálních věcí odbor řízení pomoci z Evropského sociálního fondu | Tel: 257.196.846 |
Gablová Jana | odbor Kancelář ředitele magistrátu personální oddělení | E-mail: Jana.gablova@cityofprague.cz Tel: 236.002.449 |
Galáž Petr | Agentura Czechinvest Implemetační agentura Pracovní skupina EDUCA | E-mail: Petr.galaz@czechinvest.org Tel: 296.342.634 |
Görčoš Andrej | Ministerstvo práce a sociálních věcí odbor implementace programů ESF | Tel: 221.923.385 |
Hrachovina Oldřich | Ministerstvo práce a sociálních věcí odbor řízení pomoci z Evropského sociálního fondu | E-mail: Oldrich.hrachovina@mpsv.cz Tel.: 226.206.841 |
Jméno | Afiliace | Kontakt |
Hřebíček Robert Jan | Ministerstvo práce a sociálních věcí odbor řízení pomoci z Evropského sociálního fondu | E-mail: Robert.Hrebicek@mpsv.cz Tel: 257.196.850 |
Kettner Vít | Ministerstvo práce a sociálních věcí ESF Management Departement Monitoring and Evaluation Unit | Tel: 420 257 196 833 |
Kohout Miloslav | Ministerstvo průmyslu a obchodu Zprostředkující subjekt PM 1-3 MPO | Tel: 224.852.827 |
Kučera Filip | Ministerstvo práce a sociálních věcí odbor řízení pomoci z Evropského sociálního fondu | Tel: 226.206.864 |
Kuldová Petra | Ministerstvo práce a sociálních věcí ČR odbor sociálních služeb | Tel: 221.922.117 |
Kváča Vladimír | Ministerstvo práce a sociálních věcí ČR odbor řízení pomoci z ESF oddělení evaluace a monitoringu | E-mail: Vladimir.kvaca@mpsv.cz Tel: 226.206.893 |
Macková Dana | Ministerstvo školství, mládeže a tělovýchovy OPVK | Tel: 234.814.157 |
Míková Ilona | Ministerstvo práce a sociálních věcí odbor řízení pomoci z Evropského sociálního fondu | Tel: 257.196.865 |
Jméno | Afiliace | Kontakt |
Novák Petr | Ministerstvo vnitra odbor azylové a migrační poliitky | Tel: 974.818.488 |
Pitoňáková Lívia | Ministerstvo práce a sociálních věcí odbor řízení pomoci z Evropského sociálního fondu | E-mail: Livia.pitonakova@mpsv.cz Tel: 257.196.890 |
Pouzarová Markéta | Ministerstvo práce a sociálních věcí ESF Management Departement Monitoring and Evaluation Unit | E-mail: marketa.pouzarova@mpsv.cz Tel: 257.196.840 |
Rejholcová Alžběta | Ministerstvo práce a sociálních věcí | E-mail: Alzbeta.rejholcova@mpsv.cz Tel: 226.206.841 |
Řezníčková Lucie | Svaz průmyslu a dopravy ČŘ | Tel: 234.379.480 |
Smrčka Vojtěch | odd.Evropského sociálního fondu konzultant pro monitoring a evaluace | E-mail: Vojtech.smrcka@cityofprague.cz Tel: 236.003.989 |
Sotolářová Iva | Ministerstvo práce a sociálních věcí odbor řízení pomoci z Evropského sociálního fondu | E-mail: Iva.sotolarova@mpsv.cz Tel: 257.196.879 |
Svitáková Jiřina | Česká zemědělská univerzita, Praha | E-mail: Jirina.svitakova@gmail.com Tel: 777.935.336 |
Jméno | Afiliace | Kontakt |
Svítková Petra | Městský úřad v Žatci | E-mail: Tel: 415.736.407 |
Svobodová Eva | Ministerstvo práce a sociálních věcí Sekce zaměstnanosti oddělení poradenství a zprostředkování | E-mail: Eva.svobodova@aa.mpsv.cz Tel: 950.178.453 |
Šimková Marie | odbor Kancelář ředitele magistrátu personální oddělení | E-mail: Marie.simkova@cityofprague.cz Tel: 236.002.666 |
Škréta Martin | Magistrát hl. m. Prahy odd. Evropského fondu regionálního rozvoje | E-mail: Martin.skreta@cityofprague.cz Tel: 236.002.537 |
Vlach Marek | Agentura Czechinvest Implementační agentura Pracovní skupina EDUCA | E-mail: Marek.vlach@czechinvest.org Tel: 296.342.815 |
Příloha 3: Program evaluačního workshopu
„Vše, co jste chtěli vědět o evaluacích a …“
evaluační workshop konaný v rámci projektu „Organizace evaluačních fokusních skupin OP LZZ a evaluačního workshopu“
POZVÁNKA A PROGRAM
MÍSTO A DATUM KONÁNÍ: 20.-21.4.2009 KLUB LÁVKA, NOVOTNÉHO LÁVKA 1 (PRAHA 1), DIVADELNÍ SÁL V PŘÍZEMÍ
ONLINE REGISTRACE - PROSÍME PŘIHLAŠTE SE NA SEMINÁŘ DO 15.4.2009 NA ADRESE:
http://surveys.navreme.cz/eval_workshop
1. DEN PONDĚLÍ 20.4.2009 | |
8,30-9,00 | Prezence |
9,00-9,30 | Úvodní slovo zadavatele MPSV (představení Evaluačního plánu 2009 a 1. a 2. etapy hodnocení OP LZZ) |
9,30-10,30 | Evaluace jako součást plánu řízení, součinnost cílů řízení a zadávání evaluací Seznámení se s principy začleňování evaluací do řízení programu jeho celku |
10,30-11,00 | Přestávka |
11,00-12,30 | Vymezení základních pojmů a typů evaluací Představení fází procesu zadávání, řízení a užití evaluací |
12,30-13,30 | Oběd |
13,30-15,00 | I. fáze: vstupní analýzy, formulace očekávání, cílů a priorit Formulace zadání evaluace |
15,00-15,30 | Přestávka |
15,30-16,30 | Informační zdroje, práce s daty, monitorování |
16,30 | Předpokládané ukončení prvního dne semináře |
2. DEN ÚTERÝ 21.4.2009 | |
8,30-9,00 | Prezence |
9,00-10,30 | II. fáze: Výstupy evaluací, dopady, indikátory, kritéria Náležitosti evaluačních zpráv a kvalita evaluátorů |
10,30-11,00 | Přestávka |
11,00-12,30 | III. fáze: Dopady evaluací, manažerská rozhodnutí a změny v řízení a implementaci programu/projektu |
12,30-13,30 | Oběd |
13,30-14,30 | Diskuse k zadání 2. etapy průběžného hodnocení OP LZZ a aktualizace Evaluačního plánu na příslušná léta |
14,30-15,00 | Klíčová a průřezová témata: Relevance, kvalita evaluací a standardy, evaluační metody, synergie a kapitalizace výstupů |
15,00-15,30 | Přestávka |
15,30-16,30 | Vyhodnocení celého workshopu (kulatý stůl + hodnotící dotazníky) Smysl a cíle fokusních skupin + diskuse o využití získaných poznatků v praxi |
16,30 | Ukončení workshopu |
OBECNÉ INFORMACE K SEMINÁŘI:
• Integrální součástí semináře jsou diskuse, interakce s účastníky, hry a samostatná nebo týmová práce, praktický nácvik dovedností a individuální konzultace během přestávek
• Všichni účastníci obdrží školicí materiály
• Pro všechny účastníky semináře je zajištěn oběd a občerstvení o přestávkách, v průběhu celého semináře jsou k dispozici nápoje
• Na konci každého dne semináře proběhne brífink lektorů (kterého se mohou zúčastnit i účastníci semináře), vyhodnocení dne a zpětná vazba za účelem zvýšení kvality semináře
Příloha 4: Hodnocení evaluačního workshopu
CELKOVÉ ZHODNOCENÍ WORKSHOPU
„Vše, co jste chtěli vědět o evaluacích a ...“
evaluační workshop konaný v rámci projektu „Organizace evaluačních fokusních skupin OP LZZ a evaluačního workshopu“
CELKOVÝ POČET VYPLNĚNÝCH DOTAZNÍKŮ: 15
CELKOVÉ HODNOCENÍ WORKSHOPU: | 1- (23/15 =1.5) | ||
Velmi dobrý 1 | Převážně dobrý 2 | Něco bylo dobré, něco špatné 3 | Nic moc 4 |
47% | 53% | 0% | 0% |
CELKOVÉ ZHODNOCENÍ JEDNOTLIVÝCH TVRZENÍ : | |||
Některé znalosti z workshopu uplatním při své práci: | 2 (31/15 = 2.1) | ||
Zcela odpovídá 1 | Skoro odpovídá 2 | Tak trochu odpovídá 3 | Ani náhodou 4 |
34% | 20% | 47% | 0% |
Kurz dobře navazoval na moje předchozí zkušenosti a znalosti: | 2 (34/15 = 2.3) | ||
Zcela odpovídá 1 | Skoro odpovídá 2 | Tak trochu odpovídá 3 | Ani náhodou 4 |
20% | 40% | 33% | 7% |
Probíraná látka odpovídala cílům workshopu: | 2- (24/15=1.6) | ||
Zcela odpovídá 1 | Skoro odpovídá 2 | Tak trochu odpovídá 3 | Ani náhodou 4 |
53% | 34% | 13% | 0% |
Probíraná látka byla srozumitelná: | 2- (24/15)=1.6 | ||
Zcela odpovídá 1 | Skoro odpovídá 2 | Tak trochu odpovídá 3 | Ani náhodou 4 |
47% | 40% | 13% | 0% |
Metody výuky a materiály odpovídaly cílům workshopu: | 2 (23/15=1.5) | ||
Zcela odpovídá 1 | Skoro odpovídá 2 | Tak trochu odpovídá 3 | Ani náhodou 4 |
47% | 53% | 0% | 0% |
Od ostatních účastníků workshopu jsem se hodně naučil/a: | 2 (33/15 =2.2) | ||
Zcela odpovídá 1 | Skoro odpovídá 2 | Tak trochu odpovídá 3 | Ani náhodou 4 |
20% | 54% | 13% | 13% |
Jsem spokojen/a s mým vlastním zapojením do diskusí: | 2+ (29/15=1.9) | ||
Zcela odpovídá 1 | Skoro odpovídá 2 | Tak trochu odpovídá 3 | Ani náhodou 4 |
40% | 33% | 20% | 7% |
Moje očekávání byla splněna: | 2+ (26/14=1.9) | ||
Zcela odpovídá 1 | Skoro odpovídá 2 | Tak trochu odpovídá 3 | Ani náhodou 4 |
36% | 44% | 20% | 0% |
Chtěl/a bych v probíraných tématech pokračovat: | 1 (20/14=1.4) | ||
Zcela odpovídá 1 | Skoro odpovídá 2 | Tak trochu odpovídá 3 | Ani náhodou 4 |
64% | 29% | 7% | 0% |
SOUHRN INDIVIDUÁLNÍCH POZNÁMEK K HODNOCENÍ: |
Která část workshopu vás nejvíce zaujala? |
oba dny byly pro mne přínosem dopady, výstupy, výsledky celý 1. den, zprostředkování pohledu jak ze strany zadavatelů, tak realizátorů evaluací hodnocení dopadů, „Kovanda“ hry (cvičení) – vhodně zakomponované prezentační „schopnosti“ většiny řečníků vše mělo svoje místo a smysl, ovšem asi nejvěcnější byly přednášky Josefa Štogra; nicméně to neznamená nic proti ostatním částem-vše bylo maximálně poutavé (tak beru zpět, diskuze o evaluačním plánu OPLZZ byla dost jalová) den 1 – Josef Štogr – podmínky zadání a úspěchu evaluace – mohlo by být i o chvíli delší, abychom se dozvěděli více ze zkušeností „Kovanda“ indikátory – výstupy atd. indikátory a kritéria, evaluační plán hry, interaktivní přístup fokusní skupiny praktická cvičení 1. i 2. část (1. i 2. den) |
Souhrn: Účastníci celkově považovali oba dva dny semináře za přínosné, praktické a informativní, a ocenili jak interaktivní přístup řečníků, tak jejich prezentační schopnosti. 27% zúčastněných kladně zhodnotilo prezentace o dopadech & výstupech a indikátorech & kritériích. 33% zúčastněných ocenilo interaktivní a praktická cvičení a hry včetně „Kovandy“ Jana Kroupy. 13% pozitivně zhodnotilo prezentaci o „podmínkách zadávání a úspěchu evaluace“ Josefa Štogra. Naopak relativně neúspěšně se umístila „diskuze o evaluačním plánu OPLZZ“ Aleše Vlka. |
Kterou část jste naopak považovali za zbytečnou? |
• Úvodní část – evaluační plán versus OP • indikátory byly příliš dlouhé – stačilo by 10 příkladů • křížovky • zbytečně dramatický průběh diskuze o evaluačním plánu OP LZZ, stačilo to formou několika slidů • příliš mnoho her a dlouhých přestávek, přednášku pana Vlka lépe vynechat (evaluační plán ve formě jaké byl prezentován) • Relevance • úvod k diskuzi na evaluační plán (vyjasnění posléze – ztracený čas) • aktualizace evaluačního plánu |
Souhrn: 33% zúčastněných považovalo samotný úvod či celou diskuzi o „evaluačním plánu OP LZZ“ pana Vlka za nemístnou, zbytečnou a místy dramatickou. 13% zúčastněných by rádo vynechalo připravené hry včetně křížovek a zkrátilo jednotlivé přestávky. 7% účastníků považovalo prezentaci o „indikátorech a kritériích“ pana Pstružiny za zdlouhavou. 47% se k této otázce nevyjádřilo. |
Co byste se v probírané oblasti ještě rádi naučili? |
• Spíš by bylo třeba to konkrétně vztáhnout na určitý program/grant (postup, data, zadávání...) • žádnou • jak nejlépe hodnotit průběžné zprávy z evaluací • evaluační metody a techniky • prohloubit ve všech oblastech, více např. o zadávačkách a praktických problémech práce evaluátora (sběr dat) • praktické využití – bylo to příliš teoretické – nechat hovořit účastníky, abychom se mohli navzájem ohodnotit a slyšeli více praktických příkladů • Co dál s výstupem evaluace/studií? • Načasování evaluace; ToR; metody evaluace- typy, princip, +, -, • více procvičit získané dovednosti • konkrétní postup na příkladu • jak zhodnotit práci s evaluacemi • metody a konkrétní využití evaluací |
Souhrn: 40% zúčastněných považovalo přednášky za spíše teoretické a praktické využití probíraných témat za nejasné. Účastníci projevili zájem si získané znalosti procvičit hlouběji na konkrétních příkladech (programu, projektu, intervence, aj.). 20% zúčastněných by uvítalo prohloubit své znalosti v oblasti evaluačních metod a technik, a projevilo zájem slyšet více o běžné praxi evaluátora“. 13% účastníků by se rádo dozvědělo jak nejlépe hodnotit průběžné zprávy z evaluací. Naopak 20% se k této otázce vůbec nevyjádřilo, a 7% nemá potřebu se v žádné probírané oblasti zdokonalovat. |
Kdyby se workshop opakoval, co byste rádi změnili? |
• Nic-byla jsem s průběhem maximálně spokojena • více probrat evaluační kritéria • zahrnout více příkladů/ problémů/ výzev...z evaluačních programů ESF (ilustrativnost na relevantní téma) • nic-možná jen po ránu něco slaného (místo štrúdlu); málokdy jsem tak spokojen a málokdy mi workshop tolik „seděl“ • zkrátit přestávky a rozšířit prostor pro neoficiální či neplánované vzniklé diskuze; vzhledem k vážnosti tématu by bylo lepší dostat více informací, více nápadů k práci v realitě • lepší strukturování, překvapivě často nebyla jasná úloha té které části • měl by být více praktický • konkrétní typy příkladů a projektů + využití evaluací • křížovky byly moc těžké, ale oceňuji snahu a zpestření |
Souhrn: 20% zúčastněných by uvítalo „více konkrétních případů z praxe“ a praktické využití evaluace. 13% zúčastněných by neměnilo nic. 7% by změnilo či vynechalo prezentaci o evaluačních kritériích, dalších 7% by zkrátilo přestávky a rozšířilo prostor pro neoficiální neplánované diskuze a dalších 7% negativně zhodnotilo strukturu workshopu. Naopak 46% se k této otázce nevyjádřilo. |
Prostor pro případný další komentář: |
• Celkově tématicky velmi dobře, dobře připraveno, moderace diskusní části k evaluačnímu plánu o něco slabší • ačkoliv se mi to celkem daří, myslím si že vyplňovací křížovky byly dost špatně napsané a bylo jich příliš mnoho; den 2: klíčová a průřezová témata byla probrána velmi omezeně • možná příliš proměnlivá úroveň; celkově poněkud nekonzistentní (odbornosti/obecnosti) • zaujalo mě, že se workshopu zúčastnili zajímaví hosté i z jiných institucí než MPSV – zajímal by mě více jejich pohled na to, jak se řeší evaluace jinde, škoda že nevydrželi a neprojevili se tolik – podnět pro vás do příště jak se více zapojit a zprostředkovat i nám i vám pohled odjinud |
Souhrn: 7% zúčastněných zhodnotilo kladně vybraná témata workshopu a připravenost řečníků, ale diskusní část k „evaluačnímu plánu OP LZZ“ už považovalo za slabší. Dalších 7% negativně zhodnotilo křížovky, a dalších 7% zúčastněných považovalo workshop za příliš proměnlivý a poněkud nekonzistentní. 7% vyjádřilo zájem o hlubší diskuzi o praktickém využití probíraných témat s ostatními hosty workshopu. 72% nemělo žádné další komentáře. |
Příloha 5: Příklad pozvánky na fokusní skupinu
Vzhledem k podobnosti pozvánek pro jednotlivé FS přikládáme pouze jednu pozvánku jako příklad
POZVÁNKA
NA EVALUAČNÍ FOKUSNÍ SKUPINU OP LZZ PRIORITNÍ OSA 3 (SOCIÁLNÍ INTEGRACE A ROVNÉ PŘÍLEŽITOSTI) – TÉMA 2 (VÝZVY K PŘEDKLÁDÁNÍ
PROJEKTŮ)
Zadavatel:
Ministerstvo práce a sociálních věcí
Na Poříčním právu 1 128 01 Praha 2
Organizátor: Navreme Boheme, s.r.o. Dukelských hrdinů 29
170 00 Praha 7 office@navreme.cz www.navreme.cz
Kontakt: Kateřina Jelínková Tel: 220 513 674
Rádi bychom vás jménem Řídícího orgánu MPSV a Evaluační jednotky pozvali na evaluační fokusní skupinu v termínu 5. května 2009 od 9 do 11 hodin, která se bude konat na adrese Dukelských hrdinů 29 (přímo na Strossmayerově náměstí) v zasedací místnosti organizátora v 5. patře. Tato fokusní skupina bude zaměřena na řešení problémů spojených s časováním, formulací a vyhlašováním výzev v rámci prioritní osy OP LZZ Sociální integrace a rovné příležitosti. Fokusní skupina je součástí zakázky MPSV „Organizace evaluačních fokusních skupin OP LZZ a evaluačního workshopu“, jejímž smyslem je zkvalitnění řízení a implementace OP LZZ. Jak bude přesně fokusní skupina probíhat, je uvedeno níže, půjde o maximálně dvouhodinovou moderovanou diskusi nad těmito okruhy:
1. Organizace výzev: podle čeho a jak se časují, jaké vznikají problémy a kdo by je mohl řešit (a jak)
2. Obsahová stránka výzev: jaká jsou očekávání z hlediska zaměření projektů, kdo tato očekávání formuluje, co by bylo možné v tomto procesu změnit/zlepšit
3. Zdroje: odkud se čerpají podklady pro formulaci výzev, kdo v tom pomáhá (a nebo by měl pomáhat)
4. Proces: co zabírá nejvíce času, s čím jsou potíže a co se naopak osvědčilo, co funguje dobře
5. Celkové zhodnocení: jak probíhá bezprostřední vyhodnocení jednotlivých výzev, jak probíhá vyhodnocení s odstupem, kdy už jsou projekty zrealizovány, jaké jsou podstatné problémy a jaké mají priority řešení
6. Vazba na ostatní fokusní skupiny: s čím mohou pomoci ostatní, jaká jsou doporučení pro ostatní, o jaký typ spolupráce je zájem
7. Pokračování této fokusní skupiny: zkušenosti s online diskusemi, očekávání a možnosti realizace online fokusní skupiny, preference ve způsobech komunikace a výměny informací
Celkový smysl a cíle fokusních skupin
• zintenzívnit komunikaci mezi lidmi, kteří se zabývají implementací OP LZZ
• hledat aktivní zaujaté osoby, kterým mohu pomoci a nebo které mně mohou pomoci
• hledat další témata, která lze touto formou diskutovat a řešit
• maximální využití času a kapacit
• podpora aktivního používání ESF Fóra
• hledat potenciál rozvoje fokusních skupin do budoucna
• podporovat rozvoj lidí, kteří jsou zapojeni do implementace ESF a OP LZZ
• generovat materiál pro další zkoumání a analýzy, zejména otázky směřující k aktivitám dle Evaluačního plánu na příslušný rok
Jak budou fokusní skupiny organizovány
Fokusní skupina je standardním kvalitativním nástrojem evaluace; jde o moderovanou diskusi zpravidla 7-9 lidí na 1-2 hodiny. Fokusní skupina má připravený scénář, který není účastníkům dopředu znám. Tento scénář definuje konkrétní otázky vztahující se k výše uvedeným okruhům, časovou dotaci, pokyny pro moderátora a definici rolí členů evaluačního týmu – skupinu zpravidla řídí moderátor a zapisuje ji zapisovatel. Moderátor klade otázky a zapojuje přítomné do diskuse, zatímco zapisovatel dělá poznámky na flipchart, shrnuje podstatné závěry diskuse a vyhotovuje zápis. Skupina se nahrává (s vědomím a pokud souhlasí všichni přítomní) a je z ní pořízen podrobný záznam. Ten se dále zpracovává, přičemž první úroveň analýzy vytváří zapisovatel-evaluátor, který sepisuje zprávu ze skupiny, poté je zpráva diskutována v týmu expertů a teprve pak je sepsán závěr. Po prvním setkání skupiny bude každá skupina dále pracovat v online prostředí ESF Fóra, kde bude opět moderována a kde se bude vyvíjet podle aktuálních témat a potřeb jejich členů.
Skupiny budou uspořádány podle témat a prioritních os OP LZZ, kdy ke každé z šesti prioritních os bude provedena skupina zaměřená na:
1. Metodické řízení OP LZZ („Desatero OP LZZ“, operační manuál, metodické pokyny; vhodnost, detailnost a srozumitelnost pokynů apod.)
2. Výzvy k předkládání projektů (alokace, načasování výzev, zacílení výzev apod.)
3. Hodnocení projektů a hodnotící kritéria (vhodnost kritérií, vypovídací schopnost, kvalita projektů, proces hodnocení apod.)
4. Monitorování programu a informační systémy (indikátory programu, podpůrné informační systémy – analýza potřeb na informační podporu apod.)
5. Finanční řízení a finanční toky (plynulost, absorpční kapacita apod.) Na této úrovni tedy proběhne celkem 30 fokusních skupin.
Kromě toho bude realizováno 5 horizontálních skupin, které kombinují zástupce k jednotlivým výše uvedeným pěti skupinám; tyto skupiny budou probíhat v online prostředí, výhradně však po skončení face-to-face fokusních skupin. Dále bude vytvořena zvláštní skupina, která se napoprvé sejde fyzicky a dále bude stejně jako ostatní pokračovat v online prostředí ESF Fóra, a která bude zaměřena na principy OP LZZ, která provázejí implementaci celého programu horizontálně a které byly převzaty z předchozích iniciativ financovaných z ESF, zejména z programu CIP EQUAL. Jedná se o princip mezinárodní spolupráce, partnerství a inovativnosti. Skupina moderátorů bude od počátku pracovat v online prostředí a paralelně s výše uvedeným bude testovat principy sociálních sítí uplatnitelných na ESF Fóru a adekvátních jeho účastníkům.
Celkem tedy bude připraveno, zorganizováno a facilitováno 37 fokusních skupin.
Kdo bude skupiny organizovat Moderátoři
Kroupa, Jan Millerová, Iveta Vlk, Aleš
Evaluátoři a zapisovatelé
Pstružina, Jiří Štogr, Josef
Štogrová Jedličková, Petra
Organizační podpora Jelínková, Kateřina Skolková, Linda
Štogr, Jakub Vojtášková, Helena
Příloha 6: Přehled konaných fokusních skupin
POŘADOVÉ Č. | DATUM | PRIORITNÍ OSA1 | TÉMA2/ ZAMĚŘENÍ | OSLOVENO3 | ZÁJEM POTVRDILO | ÚČAST POTVRDILO | PŘIŠLO | MODEROVAL | ZAPISOVAL | ZÁPIS | NAHRÁVKA | PRVNÍ FÁZE FS |
1. | 6.5.2009 | 3 | 3 | 12 | N/A | 7 | 8 | PŠJ | AV | ANO | ANO | |
2. | 11.5.2009 | 3 | 2 | 10 | N/A | 5 | 4 | JOŠ | JOŠ | ANO | NE4 | |
3. | 11.5.2009 | 5 | 2 | 6 | N/A | 3 | 2 | AV | AV | ANO | ANO | |
4. | 12.5.2009 | 5 | 3 | 12 | N/A | 3 | 2 | JP | HV | ANO | ANO | |
5. | 12.5.2009 | 4 | 3 | 8 | N/A | 7 | 3 | JP | KJ | ANO | ANO | |
6. | 14.5.2009 | 1 | 2 | 9 | N/A | 7 | 6 | JOŠ | HV | ANO | NE5 | |
7. | 19.5.2009 | 2 | 2 | 6 | N/A | 5 | 5 | JK | HV | ANO | ANO | |
8. | 19.5.2009 | 2 | 3 | 12 | N/A | 11 | 8 | JK | AV | ANO | ANO | |
9. | 21.5.2009 | 1 | 3 | 12 | N/A | 7 | 4 | JP | HV | ANO | ANO | |
10. | 21.5.2009 | 4 | 2 | 9 | N/A | 7 | 7 | JP | KJ | ANO | ANO | |
CELKEM | 96 | 62 | 49 | 10 | 8 | |||||||
11. | 25.6.2009 | H6 | 1 | 11 | 5 | 5 | 4 | JP | JOŠ | ANO | ANO | DRUHÁ FÁZE FS |
12. | 22.7.2009 | H | 5 | 17 | 9 | 13 | 13 | JP | KJ | ANO | ANO | |
13. | 23.7.2009 | H | Evaluační plán | 10 | 8 | 8 | 8 | PŠJ | KJ | ANO | ANO | |
14. | 29.7.2009 | H | 4 | 30 | 13 | 13 | 14 | PŠJ | JAŠ | ANO | ANO | |
15. | 6.8.2009 | 1 | Výzva č. 357 „Vnější'“ | 58 | 10 | 6 | 6 | PŠJ | KJ | ANO | ANO | |
16. | 11.8.2009 | 1 | Výzva č. 238 | 229 | 10 | 3 | 5 | JK | AV | ANO | ANO | |
17. | 12.8.2009 | H | Hodnotitelé | 909 | 17 | 6 | 11 | JOŠ | HV | ANO | ANO | |
18. | 13.8.2009 | 2 | 6 (IP10) | 28 | 7 | 5 | 4 | JK | JOŠ | ANO | ANO | |
19. | 14.8.2009 | 1 | Výzva č. 35 „Vnitřní“ | 10 | 7 | 7 | 7 | PŠJ | HV | ANO | ANO | |
20. | 19.8.2009 | 3 | 6 (IP) | 12 | 11 | 4 | 3 | JP | KJ | ANO | ANO | |
21. | 24.8.2009 | 4 | 6 (IP) | 22 | 11 | 5 | 7 | PŠJ | HV | ANO | ANO | |
22. | 25.8.2009 | H | 3 | 19 | 8 | 6 | 4 | JAŠ | HV | ANO | ANO | |
23. | 26.8.2009 | 3 | 6 (GP11) | 73 | 11 | 9 | 7 | JK | JAŠ | ANO | ANO | |
24. | 26.8.2009 | H | 2 | 17 | 5 | 4 | 4 | JK | HV | ANO | ANO | |
25. | 27.8.2009 | 5 | 6 (GP) | 28 | 6 | 6 | 2 | JOŠ | HV | ANO | ANO | |
26. | 27.8.2009 | H | Technická Asistence | 11 | 1 | 1 | 3 | PŠJ | AV | ANO | ANO | |
27a.12 | 2.9.2009 | 1 | 6 (GP) | 288 | 21 | 15 | 4 | JP | JAŠ | ANO | ANO | |
27b. | 2.9.2009 | 1 | 6 (GP) | 8 | JOŠ | KJ | ANO | ANO | ||||
28. | 3.9.2009 | 1 | Výzva č. 3413 | 24 | 7 | 4 | 4 | PŠJ | HV | ANO | ANO | |
29. | 9.9.2009 | N/A | Roční operační Vyhodnocení14 | 5 | 5 | 5 | 5 | PŠJ | N/A | NE | NE | |
30. | 10.9.2009 | 6 | Technická Asistence (projekty TP) | 8 | 5 | 5 | 5 | PŠJ | KJ | ANO | ANO | |
31. | 16.9.2009 | H | Hodnotitelé | 90 | 18 | 11 | 8 | JOŠ | HV | ANO | ANO | |
32. | Téma č.1: Metodické řízení OP LZZ | Průběžně online | ||||||||||
33. | Téma č. 2: Výzvy k předkládání projektů | Průběžně online | ||||||||||
34. | Téma č. 3: Hodnocení projektů a hodnotící kritéria | Průběžně online | ||||||||||
35. | Téma č. 4: Monitorování programů a IS | Průběžně online | ||||||||||
36. | Pilotní online FS | Průběžně online | ||||||||||
CELKEM15 | 1522 | 195 | 141 | 128 | 20 | 20 | ||||||
CELKEM F1 + F2 | 1618 | 195 | 203 | 177 | 30 | 28 | ||||||
Poznámky:
1 PO1: Adaptabilita, PO2: Aktivní politiky zaměstnanosti (APZ), PO3: Sociální integrace, PO4: Veřejná správa, PO5: Mezinárodní spolupráce, PO6: Technická asistence (TA)
2 Téma 1: Metodické řízení; téma 2: Výzvy k předkládání projektů; Téma3: Hodnocení projektů a hodnotící kritéria; téma 4: Monitorování a IS; téma 5: Finanční řízení; téma 6: Realizátoři projektů
3 1. fáze realizace FS: Ve skutečnosti byl počet oslovených vyšší, neboť o organizaci FS věděl větší okruh lidí než jen ti přímo oslovení, informace byla zpravidla k dispozici celým oddělením (ŘO, ZS). V tabulce je uveden počet těch, kteří byli kontaktováni telefonicky
2. fáze realizace FS: indikuje počet plošně či hromadně oslovených na základě celkových počtů poskytnutých kontaktů pro jednotlivé FS. Z důvodu oslovování poměrně velkého počtu potenciálních účastníků v této fázi FS, byla tabulka rozšířena o kolonku „Zájem potvrdilo“, kde je indikován počet lidí z celkového počtu oslovených, kteří projevili o účast na FS zájem bez ohledu na to, jestli vzápětí svou účast potvrdili a skupiny se opravdu zúčastnili.
4 Ze všech FS byl standardně pořizován audiozáznam. Účastníci jsou na počátku na nahrávání upozorněni a požádáni o souhlas s nahráváním, přičemž je jim nabídnuta možnost zastavit nahrávání kdykoliv během skupiny.
5 V tomto případě si jeden účastník přál smazat celá záznam až po skončení skupiny
6 H – Horizontální FS
7 Výzva č. 35 - „Školení je šance“: byly realizovány 2 FS, z nichž jedna, složená ze zástupců ŘO MPSV – oddělení č. 723: oddělení realizace OP LZZ – Adaptabilita, se zaměřila na průběh přípravy a realizaci celé výzvy (taktéž označena jako „vnitřní FS“) a druhá se zaměřila na realizátory projektů a srozumitelnost metodické podpory (též označena jako „vnější FS“).
8 Výzva č. 23 – Adaptabilita a konkurenceschopnost: byla realizována 1 FS zaměřená na realizátory projektů v rámci této výzvy
9 90 – toto číslo znázorňuje celkový počet oslovených hodnotitelů a objevuje se i u pořadového čísla 31. Do celkového počtu oslovených je toto číslo započítáno pouze jednou.
10 IP – Individuální projekty
11 GP – Grantové projekty
12 Pro velký zájem (vysoký počet účastníků) jsme se rozhodli místo jedné početné fokusní skupiny uspořádat dvě s optimálním počtem účastníků ve stejnou dobu. Celkově bylo osloveno 240 osob, z nichž 21 potvrdilo zájem o účast, 15 z nich svou účast potvrdilo a 12 z nich se na FS dostavilo. Těchto 12 respondentů bylo rozděleno do dvou skupin s identickým tématickým zaměřením a okruhem otázek. Zaměřením této skupiny byli Realizátoři projektů za Výzvy č. 2 „Posilování sociálního dialogu“, 23 Adaptabilita a konkurenceschopnost a 35 „Školení je šance“
13 Výzva č. 34- Školení zaměstnanců realizovaná prostřednictvím NIP pod názvem „Vzdělávejte se“. Tato fokusní skupina byla zastoupena pracovníky ŘO MPSV a pracovníky krajských ÚP, kteří připravovali a koordinovali projektové řízení v rámci výzvy č. 34. Důvodem realizace fokusní skupiny právě tohoto zaměření bylo přání zadavatele zakázky zhodnotit úspěšnost výzvy č. 34.
14 Roční operační vyhodnocení – Jednalo se o velmi specifickou FS, při které došlo k přenosu dosavadních zjištění z nynějšího projektu „Organizace evaluačních fokusních skupin a evaluačního workshopu“ do projektu „Roční operační vyhodnocení OP LZZ“. Jednalo se o setkání realizátorů obou projektů, tedy Navreme Boheme a RegioPartner, a ŘO MPSV, kdy došlo k doplnění potřebných informací a zodpovězení potenciálních otázek realizátorů projektu „Roční operační vyhodnocení OP LZZ“. Z tohoto důvodu nebyl z FS pořízen zápis ani záznam.
15 703 osob bylo osloveno plošně. Položka „288“ (pořadové číslo 27a, 27b) zahrnuje položku „229“ (pořadové číslo 16) a položku „58“ (pořadové číslo 15). 128 osob se zúčastnilo fokusních skupin. V případě, že jedna osoba byla přítomna více fokusním skupinám, je v této hodnotě započítána víckrát.
Příloha 7: Seznam kontaktů do jednotlivých fokusních skupin
FOKUSNÍ SKUPINA - PO1 Adaptabilita - HODNOCENÍ PROJEKTŮ A HODNOTÍCÍ KRITÉRIA
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
PhDr. Marína Landová | MPSV | |
Alexandra Bábíčková | MPSV - odd. 721 | |
Julie Radová | MPSV - odd. 721 | |
Ing. Petr Galáž | Czech Invest | |
Ing. Marta Šindlářová | Czech Invest | |
Ing.Marek Vlach | Czech Invest | |
Ing. Markéta Čedíková | Czech Invest | |
Ing. Radovan Vaštyl | MPO | |
Ing. Miloslav Kohout | MPO | |
Adriana Haufová | MSMT | |
Petr Brožek | MSMT | |
Veronika Burešová | MSMT |
FOKUSNÍ SKUPINA - PO1 Adaptabilita - VÝZVY K PŘEDKLÁDÁNÍ PROJEKTŮ
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
PhDr.Marína Landová | MPSV | |
Martin Doležal | MPSV - odd. 721 | |
Julie Radová | MPSV - odd. 721 | |
Ing. Petr Galáž | Czech Invest | |
Ing.Radovan Vaštyl | MPO | |
Ing. Miloslav Kohout | MPO | |
Květuše Macháčková | MSMT | |
Eva Klímová | MSMT | |
Petr Brozek | MSMT |
FOKUSNÍ SKUPINA - PO2 APZ - HODNOCENÍ PROJEKTŮ A HODNOTÍCÍ KRITÉRIA
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Ing. Naděžda Holmanová | Fakultní nemocnice | Všeobecná fakultní nemocnice v Praze U Nemocnice 2 128 08 Praha 2 tel: +420 224 963 152 E- |
Ing. Ivana Projsová | MPSV -odb. 45 | |
Ing. Markéta Charvátová | MPSV - ZS – odb.45 | |
Alexandra Bábíčková | MPSV - odd. 721 | |
Julie Radová | MPSV - odd. 721 |
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Kateřina Vágnerová | OP PK (ERDF) | |
Mgr. Jan Blahušek | ||
Ing. Michaela Navrátilová | MPSV-odbor 45 | |
Mgr. Kateřina Bučková | MŠMT – OPVK | |
Mgr. Květoslava Macháčková | MŠMT – OPVK | |
Lenka Fardová | NVF | |
Jarmila Tinlová | NVF |
FOKUSNÍ SKUPINA - PO2 APZ - VÝZVY K PŘEDKLÁDÁNÍ PROJEKTŮ
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Ing. Pavlína Kožíšková | MPSV - ZS - odb.45 | 221923364 |
Martin Doležal | MPSV - odd. 721 | |
Julie Radová | MPSV - odd. 721 | |
Mgr. Jan Blahušek | ||
Ing. Tomáš Trávníček | MPSV SSZ | |
Martin Bambas | NVF |
FOKUSNÍ SKUPINA – Sociální integrace a RP - HODNOCENÍ PROJEKTŮ A HODNOTÍCÍ KRITÉRIA
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
PhDr. Adéla Purschová | MPSV | 257196810 |
Mgr. Iva Sotolářová | MPSV | 257196879 |
Mgr. Jana Jirků | MPSV | 257196857 |
Ing.Radoslava Horáková | MPSV | 950141631 |
MUDr. Petr Ježek | 773508568 | |
Mgr. Zdeněk Sloboda | Sociologický ústav | |
Mgr. Marek Nerud | KÚ JHK | 606792318 |
Mgr. Pavel Vicherek | momentálně v CC Systems - žadatel | 724220551 |
Mgr. Jana Ludvíková | MPSV - odb. 22 | 221922896 |
Mgr. Kateřina Kolářová | MPSV - odb. 22 | |
Mgr. Jaromír Petelík | MPSV - odd. implementace ESF a IOP | |
Mgr. Robert Hřebíček | MPSV |
FOKUSNÍ SKUPINA - Sociální integrace a RP - VÝZVY K PŘEDKLÁDÁNÍ PROJEKTŮ
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Adéla Purschová | MPSV | 257196810 |
Martin Doležal | MPSV - odd. 721 | |
Julie Radová | MPSV - odd. 721 | |
Veronika Mrmusová | NVF, o.p.s. | |
Ing. Lucie Trunečková | MPSV | lucie.truneckova@mpsv.cz 257196872 |
Kateřina Zápotocká | MPSV | |
Mgr. Svatava Škantová | MPSV | svatava.skantova@mpsv.cz 221 92 3920 |
Mgr. Patricia Tiso Ferulíková | Magistrál hl. m. P. | +420 236 00 2554 |
p. Francová | Rada vlády pro nevládní organizace | |
p. Kolínská | Síť mateřských center | rut.kolinska@materska-centra.cz 224 826 585 |
FOKUSNÍ SKUPINA – Veřejná správa - HODNOCENÍ PROJEKTŮ A HODNOTÍCÍ KRITÉRIA
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) | |
Ing. Martin Vaněk | MPSV | 257196871 | |
Alexandra Bábíčková | MPSV - odd. 721 | ||
Julie Radová | MPSV - odd. 721 | ||
Mgr. Šárka Kysilková | MV | ||
Petr Brožek | MŠMT | ||
Eva Klímová | MŠMT | ||
Kateřina Bučková | MŠMT | ||
Adriana Haufová | MŠMT | ||
FOKUSNÍ SKUPINA - Veřejná správa - VÝZVY K PŘEDKLÁDÁNÍ PROJEKTŮ
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) | |
Ing. Martin Vaněk | MPSV | 257196871 | |
Martin Doležal | MPSV - odd. 721 | ||
Julie Radová | MPSV - odd. 721 | ||
Mgr. Zdeněk Drga | MPSV | ||
Mgr. Iveta Kučerová | MPSV | ||
Mgr. Šárka Kysilková | MV | ||
Mgr. Šárka Poláková | MV | ||
Ing. Aleš Holeček | MV | ||
Martin Bambas | NVF | ||
FOKUSNÍ SKUPINA – Mezinár. spolupráce - HODNOCENÍ PROJEKTŮ A HODNOTÍCÍ KRITÉRIA
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Ing. Livia Pitoňáková, M.A. | MPSV | livia.pitonakova@mpsv.cz, 257196890 |
Ing. Ilona Miková, M.A. | MPSV | ilona.mikova@mpsv.cz, 257196865 |
Ing. Filip Kučera | MPSV | filip.kucera@mpsv.cz, 226206864 |
Bc. Hana Prchalová | Informační centrum neziskových organizací | prchalova@neziskovky.cz, 725 800 242 |
Tomáš Zmeškal, B. A. Hons | tomas.zmeskal@centrum.cz,606475374 | |
PhDr. Ing. Radka Havlová, PhD. | radka.havlova@centrum.cz, 603223906 | |
Mgr. Marie Buňatová | bunatova.marie@email.cz, 603855661 | |
Mgr. Helena Schaumannová | h.skornokova@seznam.cz, 603216771 | |
Bc. Richard Kořínek | richard.korinek@gmail.com, 608732386 | |
Veronika Součková, Dis. | vsouckova@volny.cz, 739612492 | |
PhDr. Zdeňka Hajná, CSc. | zdenkahajna@seznam.cz, 777913061 | |
Kateřina Vágnerová | OP PK (ERDF) |
FOKUSNÍ SKUPINA - Mezinár. spolupráce - VÝZVY K PŘEDKLÁDÁNÍ PROJEKTŮ
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Ing. Livia Pitoňáková, M.A. | MPSV | livia.pitonakova@mpsv.cz, 257196890 |
Mgr. Jana Jirků | MPSV | 257196857 |
Ing. Ilona Miková, M.A. | MPSV | ilona.mikova@mpsv.cz, 257196865 |
Ing. Filip Kučera | MPSV | filip.kucera@mpsv.cz, 226206864 |
Martin Doležal | MPSV - odd. 721 | |
Julie Radová | MPSV - odd. 721 |
FOKUSNÍ SKUPINA - METODICKÉ ŘÍZENÍ (OP LZZ)
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Ing. Livia Pitoňáková, M.A. | MPSV | livia.pitonakova@mpsv.cz, 257196890 |
Ing. Ilona Miková, M.A. | MPSV | ilona.mikova@mpsv.cz, 257196865 |
Ing. Filip Kučera | MPSV | filip.kucera@mpsv.cz, 226206864 |
Ing. Petr Válek | MPSV | |
Ing. Lucie Trunečková | MPSV | lucie.truneckova@mpsv.cz, 257196872 |
Ing. Zdeněk Foltýn | MPSV - odd. 721 | |
Mgr. Alexandra Bábíčková | MPSV - odd. 721 | alexandra.babickova@mpsv.cz 257.196.825 |
Mgr. Martin Doležal | MPSV - odd. 721 | |
Ing. Radka Soukupová | MV | |
Mgr. Tomáš Fantyš | MPSV | tomas.fantys@cb.mpsv.cz 387 709 247 |
Ing. Ivana Projsová | MPSV | |
PhDr. Adéla Purschová | MPSV | adela.purschova@mpsv.cz 257196810 |
Bc. Vojtěch Smrčka | Magistrát hl. m.P. | Vojtech.Smrcka@cityofprague.cz tel:236 003 989 |
Martin Škréta | Magistrát hl. m.P. | martin.skreta@cityofprague.cz 236002537 |
Petr Chuděj | NVF |
Veronika Burešová | OP VK | 234814122 |
Iva Tužinská | OP VK | 234.814.123 |
Mgr. Šárka Poláková | MV | |
Ing. Zuzana Horáková | MV | |
Ing. Markéta Charvátová | MPSV – odbor 45 | |
Ing. Tomáš Trávníček | MPSV – odbor 45 |
FOKUSNÍ SKUPINA - MONITOROVÁNÍ A INFORMAČNÍ SYSTÉMY
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Ing. Petr Válek | MPSV | |
Andrej Görčöš | MPSV | |
Mgr. Ladislava Veselá | MPSV | ladislava.vesela@mpsv.cz; 257196862 |
Ing. Janka Kopečná | MPSV | janka.kopecna@mpsv.cz tel: 257196869 |
PhDr. Jakub Škoda | MPSV | jakub.skoda@mpsv.cz; 257196863 |
Bc. Markéta Fuchsová | MPSV | |
PhDr. Adéla Purschová | MPSV | |
Ing. Lucie Trunečková Náhradník: Jaromír Petelík | MPSV | lucie.trumeckova@mpsv.cz 257 196 810 jaromir.petelik@mpsv.cz 221 923 895 |
Mgr. Petra Kottová | MPSV | petra.kuldova@mpsv.cz; 221922117 |
Ing. Ilona Míková | MPSV | ilona.mikova@mpsv.cz, 257196865 |
Ing. Martin Vaněk | MPSV | martin.vanek@mpsv.cz; 257196871 |
Ing. Miloslava Stejskalová | MPO | |
Ing. Miloslav Kohout | MPO | |
Bc. Vojtěch Smrčka | Magistrát hl. m. Prahy | Vojtech.Smrcka@cityofprague.cz tel:236 003 989 |
FOKUSNÍ SKUPINA - FINANČNÍ ŘÍZENÍ A FINANČNÍ TOKY
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) | |
Ing. Lucie Trunečková | MPSV | lucie.truneckova@mpsv.cz, 257196872 | |
Ing. Karel Tauchman | MPSV | ||
Ing. Helena Kněnická | MPSV | ||
Ing. František Beckert | MPSV | ||
Ing. Blanka Machová | MPSV | ||
Mgr. Zdeněk Drga | MPSV - ŘO 72 | ||
Mgr. Koníčková | MPSV - ŘO 72 | ||
Mgr. Barbora Tučková | MPSV - ŘO 72 | ||
Ing. Jan Hájek | MPSV - ŘO 72 | ||
Ing. Šárka Müllerová | MPSV | ||
Jana Buchtová | MPO | ||
Ing Michal Týfa | MF | ||
Petr Příplata | MŠMT | ||
Jana Hvězdová | MŠMT | ||
Petra Švaříčková | MŠMT | ||
Veronika Burešová | MŠMT | ||
Ing. Ladislav Kolařík, Csc. Náhrada: Ing. Josef Mičkal, PhD. | MV | ladislav.kolarik@mvcr.cz, 974 818 446 josef.mickal@mvcr.cz, 974 818 508 |
Ing. Bohumila Vlastníková | MV | |
Ing. Miroslava Koníčková | MPSV | |
Magdalena Šimková | Magistrát hl. m. Prahy | |
Aleš Petera | MPO | |
Vendula Hronová | MPO | |
Jiří Kyncl | MPO | |
Stanislava Pechová | NVF | |
Jana Hrnčířová-Konstantinová | NVF | |
Hana Bendová | NVF | |
Pavla Pánková | MŠMT | |
Ing. Jan Zavadil | MV | 974.818.485 |
Ing. Jana Paclíková | MPSV-45 | 221 923 185 |
Ing. Ludvík Beneš | MPSV-45 | 221 923 478 |
Ing. Jitka Kovářiková | MPSV-45 | 221 923 192 |
Ing. Blanka Machová | MPSV-45 | 221 923 379 |
Ing. Silvie Málková | MPSV-45 | 221 923 380 |
Ing. Dušan Němec | MPSV-45 | 221 923 365 |
Ing. Milan Pošmura | MPSV-45 | 221 923 340 |
Ing. Jiří Radil | MPSV-45 | 221 923 434 |
Ing. Jitka Svitáková | MPSV-45 | 221 923 191 |
Ing. Marek Šimák | MPSV-45 | 221 923 368 |
Ing. Helena Šimáková | MPSV-45 | 221 923 386 |
Ing. Ivan Vlk | MPSV-45 | 221 923 378 |
Ing. Jaroslava Zárybnická | MPSV-45 | 221 923 561 |
REALIZACE PROJEKTŮ – PO 1 (GP)
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Ing. Pavel Fučík | SOME JH s. r.o. tel. č. 384 372 050 Jarošovská 1267/II mobil: 602 413 054 377 01 J.Hradec | |
Mgr. Petr Jíra | Adler Czech s.r.o., velkoobchod, Ústí n.L. | |
Tomáš Majtner | Institut vzdělávání SPS v ČR Sokolská třída 15/1498, 120 00 | |
Ing. Božena Dvořáková | SAPELI a.s. Pávovská 3104/15a, 586 01 Jihlava http://www.sapeli.cz Telefon WORK: +420 567 572 511 | bozena.dvorakova@sapeli. cz |
Ing. Irena Doktorová | Svaz strojírenské technologie Politických vězňů 1419/11 113 42 Praha 1 Tel: +420 234 698 424 | |
Kateřina Špidlová | Anglo česká s.r.o. spidlova-k@angloceska.cz 384372314, 728219097 | |
Ing. Neščáková Libuše | BRED Consulting,s.r.o. Lidské zdroje Evropské unie s.r.o. Mob.tel. 606 731 479 | nescakova@bred- consulting |
Pavel Bartoň | SKLÁRNY MORAVIA, akciová společnost Úsobrno č.pop.79 679 39 ÚSOBRNO Czech Republik tel.: +420 516 427 709 | pavel.barton@sklomoravia. com |
Lucie Houšková | Praemia s.r.o. Masarykova 6 400 01 Ústí nad Labem tel.: 475 501 591 fax: 475 501 604 mobil: 775 667 655 | |
Martina Macurová | Centrum pro komunitní práci CpKP střední Čechy Vodičkova 36 110 00 Praha 1 Fax: +420 | |
Ing. Vladimír Vesecký | ekonom společnosti ELTSEN a.s. Tel.: 737 230 330 |
Naďa Málková | Stapro, s.r.o. Pernštýnské náměstí 51, 530 02 Pardubice-Staré Město tel: 603 556 368 | |
Mgr. Anna Chvojková | SVAZ PRŮMYSLU A DOPRAVY ČR Jankovcova 1569/2c | 170 00 Praha 7 telefon: 234 379 483 | GSM: 731 411 188 | |
PhDr. Jiří Pavlík | CONSTRUCT A&D, a.s. | |
Ing. Martin Radič | Mechanika Prostějov, v.d. Letecká 2, 796 86 Prostějov | |
Ing. Miloš Krasnický | oaza-net spol. s r.o. Dr.M.Horákové 81 CZ - 460 06 Liberec 6 Tel.: +420 485 252 222 Fax: +420 485 252 210 telefon: +420 485 252 237 | |
Šárka Hradská | TART, s.r.o. Vinohradská 91 618 00 BRNO tel. +420 602 151 473 | |
Jaroslav Vendl | Colognia press, a.s. Havlíčkova 844 CZ 280 02 Kolín 4 tel.: +420 321 752 111 fax: +420 321 752 110 | |
Hana Žáková | Kosmas s.r.o. Za Halami 877 252 62 Horoměřice | |
Ing. Petra Šišková | Klastr výrobců obalů, družstvo Husova 114, 551 01 Jaroměř Ondříčkova 609/27, 130 00 Praha 3 Mobil: 603 770 762 | petra.siskova@klastromnip ack.cz |
Eva Svobodová | ||
Ing. Marek Volockij | CHOVSERVIS a.s. Hradec Králové |
REALIZACE PROJEKTŮ – PO 2 (IP)
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Magdalena Bičová | Úřad práce v Olomouci | |
Mgr. Jitka Pokorná | Úřad práce v HK | jitka.pokorna@hk.mpsv.cz 495 868 480 |
Mgr. Alena Brichtová | Úřad práce v Plzni | |
Ing. Denis Tomáš | Úřad práce v Liberci | |
Mgr. Alena Zieglerová | Úřad práce v Mostě |
REALIZACE PROJEKTŮ – PO 3 (IP)
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Ing. Monika Sádlíková | KÚ Karlovy Vary | |
Ing. Petr Uhříček | KÚ Karlovy Vary | |
Mgr. Martina Ozorovská | KÚ Středočeský kraj | |
Bc. Martin Pěcha | KÚ Olomouc |
REALIZACE PROJEKTŮ – PO 3 (GP)
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Wail Khazal | IQ Roma servis, o. s. Hybešova 41 602 00 BRNO tel.: +420 543 213 310 fax.: +420 543 214 809 mob.:+420 608 440 170 | |
Ing. Libuše Kaprálová | SIMP, o.s. Šlikova 8 Praha 6 - Břevnov tel.:233 313 210, 774/238797 | |
Bc. Jana Juřenová | LIGA o. s. Dr. E. Beneše 1497/21 792 01 Bruntál korespondenční adresa: Lidická 1817/33, Bruntál tel. 554 725 159, 603 523 876 | |
Alena Svobodová | Poradna pro občanství/Občanská A lidská práva Ječná 7 120 00 Praha 2 777 208 568, 270 003 291 | alena.svobodova@poradna- prava.cz |
Kristián Drapák | Tel:+420 476 61 19 99 GSM:+420 603 14 81 27 | |
Ing. Vladimír Nídl | bfz - centrála Cheb Provaznická 16 CZ - 350 02 Cheb Tel: 00420/354597175 Tel: 00420/777686243 fax: 00420 355 320 282 | |
David Kyncl | Iuridicum Remedium, o.s. Sídlo: Vírská 14/278, Praha 9, 198 00 Kancelář a korespondenční adresa: U Průhonu 23/1201, Praha 7, 170 00, Tel.:222 515 564 | |
Jana Raška Moutelíková | o.s. Masopust |
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Bc. Lenka Tichavská | Středisko rozvoje sociálních služeb, o.p.s. Se sídlem: Seifertova 721/5 Doručovací adresa: Na Stráni 297/22 790 01 Jeseník IČO: 278 47 977 Mob.: 736 472 168 | |
Robert Nováček | Sdružení občanů zabývajících Se emigranty Mostecká 5 614 | |
Kristýna Limanová | Spolu dětem o.p.s. (dříve OPS při Nadaci Terezy Maxové) Křižíkova 70/67, 186 00 Praha 8 tel.: 222 317 199 gsm: +420 605 840 647 |
REALIZACE PROJEKTŮ – PO 4 (IP)
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) | |
Petra Kuncová | Český statistický úřad Na padesátém 81, 100 82 Praha 10 | ||
Ing.Jiří Macíček | Státní úřad inspekce práce Horní náměstí 103/2, 74601Opava Tel: +420553696220 | ||
PhDr. Robert Ledvinka Ing. Steinbachová | Ministerstvo vnitra nám, Hrdinů 3 140 21 Praha 4 tel. +420974816401 fax. +420974816407 | ||
Lucie Zajícová (nebo pan Makalouš) | Český statistický úřad tel.: 274 05 4377 mob.: 737280837 | ||
Ing. Jiří Kudlík | ČESKÁ SPRÁVA SOCIÁLNÍHO ZABEZPEČENÍ | ||
Ing. Karel Kettner | Státní ústav pro kontrolu léčiv Šrobárova 48 100 41 Praha 10 | ||
Ing. Jan Nepimach | MINISTERSTVO ŽIVOTNÍHO PROSTŘEDÍ | ||
Vilibald Knob | Ministerstvo kultury | ||
Ing. Vít Lidinský | Ministerstvo Zahraničních věcí ČR | ||
Ing. Fares Shima | Ministerstvo Zdravotnictví | ||
Mgr. Daniel Žouželka | Město Konice | ||
REALIZACE PROJEKTŮ – PO 5 (GP)
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Jiří Hort | KOTEC o.s. Nádražní náměstí 299 353 01 Mariánské Lázně +420 608 656 537 reditel@kotec.cz Skype: jiri.hort | |
Ing. Jiří Krátký | Koalice nevládek Pardubicka, o. s. kancelář: Husova 168 530 03 Pardubice T: 461 031 821 M: 777 140 513 | |
Irena Zemánková | Asociace manažerů absolventů o.s. Jordana Jovkova 3260 143 00 Praha 12 Modřany | |
Mgr. Eva Kuchařová | Městský úřad Otrokovice Tel.: 577 680 448 | |
Mgr. Jindřich Racek (popřípadě kolegyně) | Česká asociace streetwork | |
Petra Kubálková | Centrum ProEquality Otevřená společnost o.p.s. |
REALIZACE PROJEKTŮ – PO 6 TA
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Julie Radová | MPSV - odd. 721 | |
Ing. Helena Petroková | MPSV | |
Mgr. Pavel Rybín | MPSV | |
Petra Fuksová | MPSV | |
Mgr. Vít Kettner | MPSV Kartouzská 4 150 00 Prague 5 Czech Republic Tel: +420 257 196 833 | |
Mgr. Petra Dvořáková | MPSV Karlovo náměstí 1, 128 01 Praha 2. tel.: 221 923 372 | |
Mgr. Barbora Machová | MPSV ESF Management Department Ministry of Labour and Social Affairs of the Czech Republic | |
Ing. Alena Hyková | MVČR | |
Dita Hůlová | MVČR |
VÝZVA Č. 35 PŘÍJEMCI PODPORY
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Hana Kedrová | Moduslink Global, Inc. | |
Hana Volfíková + 1 účastník | Moduslink Global, Inc. | |
Mgr. Tomáš Chovanec | Tesla Blatná, a.s. | |
Ing. Eva Prokopová | Alca Plast, s.r.o. | |
Mgr. Anna Kotranová | STAVKOM SERVIS spol. s.r.o. |
VÝZVA Č. 35 IMPLEMENTACE PROJEKTŮ
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Ing. Jana Antlová | MPSV | |
Ing. Eva Tomsová | MPSV | |
Ing. Magdaléna Chlupáčová | MPSV | |
Ing. Jiří Stuchl | MPSV | |
Ing. Veronika Šerá | MPSV | |
Ing. Veronika Mužíková | MPSV | |
Mgr. Marcela Pavelková | MPSV |
VÝZVA Č. 23 PŘÍJEMCI PODPORY
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Ing. Adam Zwettler | První Elektro, a.s. | |
prof. Jiří Pavelka | Česká elektrotechnická společnost | |
Hana Žáková | Kosmas s.r.o. | |
Mgr. Jaroslav Bezchleba | ABS WYDA s.r.o. Vzdělávací společnost |
VÝZVA 34 – IMPLEMENTACE PROJEKTŮ
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Ing. Igor Sládek | MPSV Odbor poradenství a Zprostředkování | |
Ing. Petr Jiříček | MPSV ŘO – 414 oddělení podpor Zaměstnanosti |
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
JUDr. Jana Židoňová | MPSV oddělení právní podpory Služeb zaměstnanosti | |
PhDr.Václav Kulhavý Phd. | MPSV ŘO-453 oddělení realizace projektů | |
PhDr. Karel Vít | MPSV ŘO – 45 odbor implementace programů Evropského Sociálního fondu | |
PhDr. Marína Landová | MPSV ŘO – 723 | |
Mgr. Ladislava Veselá | MPSV ŘO-723 | |
Mgr. Marcela Pavelková | MPSV ŘO-723 | |
Mgr. Jana Antlová | MPSV ŘO-723 | |
Mgr. Ivana Ondráková | ÚP Brno město | |
Ing. Tomáš Hrubiš | ÚP Frýdek-Místek | |
Ing. Jana Macková | ÚP Jesenik | |
Marcela Partyová | ÚP Jihlava | |
Ing. Miroslav Strnadel | ÚP Kroměříš | |
PhDr. Kateřina Sadílková | ÚP Liberec | |
Ing. Bc. Alena Křtěnová | ÚP Litoměřice | |
Mgr. Lucie Sedláčková | ÚP Náchod |
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Ing. Michal Kubík | ÚP Opava | |
Ing. Naděžda Černá | ÚP Pardubice | |
PhDr. Adolf Tomandl | ÚP Prostějov | |
Ing. Anna Kočová | ÚP Teplice | |
Jana Žáková | ÚP Sokolov | |
Ilona Jílková | ÚP Ústí nad Orlicí | |
Ing. Lucie Topolánková | ÚP Zlín |
ROČNÍ OPERAČNÍ VYHODNOCENÍ OP LZZ
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) | |
Mgr. Petra Štogrová Jedličková | Navreme Boheme | ||
Mgr. Jakub Štogr | Navreme Boheme | ||
Mgr. Vít kettner | MPSV | ||
Mgr. Markéta Pouzarová | MPSV | ||
Ing. Lucie Bučinová | RegioPartner | ||
Mgr. Lenka Sekyrová | RegioPartner | ||
FOKUSNÍ SKUPINA – EVALUAČNÍ PLÁN A JEHO PŘIPOMÍNKOVÁNÍ
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Mgr. Jan Blahůšek | MPSV | |
Mgr. Vít Kettner | MPSV | |
Ing. Filip Kučera | MPSV | |
Ing. Vladimír Kváča | MPSV | |
Ing. Markéta Pouzarová | MPSV | |
Ing. Jana Antlová | MPSV | |
Ing. Eva Tomsová | MPSV | |
Ing. Magdaléna Chlupáčová | MPSV | |
Mgr. Petr Leistner | MPSV | |
Mgr. Jana Jirků | MPSV |
FOKUSNÍ SKUPINA – HORIZONTÁLNÍ Téma 3 HODNOTÍCÍ KRITÉRIA
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
PhDr. Adéla Purschová | MPSV | 257196810 |
Mgr. Iva Sotolářová | 257196879 | |
Ing.Radoslava Horáková | 950141631 | |
Mgr. Kateřina Kolářová | katerina.kolarova@mpsv.cz 221922395 | |
Mgr. Jaromír Petelík | jaromir.petelik@mpsv.cz 221923895 | |
Mgr. Jana Ludvíková | ||
Martin Doležal | ||
Ing. Livia Pitoňáková, M.A. | livia.pitonakova@mpsv.cz, 257196890 | |
Ing. Filip Kučera | filip.kucera@mpsv.cz, 226206864 | |
Ing. Martin Vaněk | 257196871 | |
Alexandra Bábíčková | ||
Mgr. Jan Blahušek | ||
Ing. Michaela Navrátilová | ||
Ing. Markéta Charvátová | odbor implementace programů ESF | |
Mgr. Robert Hřebíček | ||
Mgr. Zdeněk Sloboda | Sociologický ústav | |
Mgr. Květuše Macháčková | MSMT – OPVK | |
Mgr. Šárka Kysilková | MV | |
Ing. Peter Galáž | CzechInvest |
FOKUSNÍ SKUPINA – HORIZONTÁLNÍ Téma 2 VÝZVY
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) | |
PhDr. Adéla Purschová | MPSV | 257196810 | |
Martin Doležal | |||
Mgr. Jan Blahušek | |||
Ing. Livia Pitoňáková, M.A. | livia.pitonakova@mpsv.cz, 257196890 | ||
Ing. Martin Vaněk | 257196871 | ||
Ing. Filip Kučera | filip.kucera@mpsv.cz, 226206864 | ||
Kateřina Zápotocká | |||
Ing. Pavlína Kožíšková | 221923364 | ||
Ing. Tomáš Trávníček | |||
PhDr. Marína Landová | |||
Mgr. Iveta Kučerová | |||
Mgr. Zdeněk Drga | |||
Ing. Peter Galáž | CzechInvest | ||
Ing. Aleš Holeček | MV | ||
Veronika Mrmusová | NVF | ||
Martin Bambas | NVF | ||
Květuše Macháčková | MŠMT | ||
FOKUSNÍ SKUPINA – HORIZONTÁLNÍ PO 6 TA
Jméno a příjmení | Instituce | Kontakt (Tel., E-mail) |
Julie Radová | MPSV | |
Miroslava Koníčková | ||
Ing. Petr Válek | ||
Alexandra Babíčková | ||
Ing. Filip Kučera | filip.kucera@mpsv.cz, 226206864 | |
Mgr. Martin Doležal | ||
Helena Liskova | ||
Ing. Radovan Vaštyl | MPO | Vaštyl@mpo.cz 224852094 |
Ing. Jiří Toman | MVČR | |
Mgr. Kateřina Lisnerová | ||
Vlasta Gróf Melionová |
Příloha 8: Spuštění tématických online fokusních skupin – pracovní materiál
Ve 2. průběžné zprávě zakázky „Organizace evaluačních fokusních skupin Operačního programu Lidské zdroje a zaměstnanost a evaluačního workshopu“ (ze dne 26. 8. 2009) je na straně 18. v tabulce
„Přehled fokusních skupin dle harmonogramu ke dni 20. 8. 2009” uvedeno celkem 5 tématických online fokusních skupin. S ohledem na první průběžnou zprávu (a návazně na nabídku a vstupní zprávu této zakázky) mělo jít o následující online fokusní skupiny:
1. Metodické řízení (resp. Metodické řízení OP LZZ, téma 1)
2. Výzvy (resp. Výzvy k předkládání projektů, téma 2)
3. Hodnocení (resp. Hodnocení projektů a hodnotící kritéria, téma 3)
4. Monitorování (resp. Monitorování a informační systémy, téma 4)
5. Finance (resp. Finanční toky a finanční řízení, téma 5)
Po ukončení druhé fáze zakázky byla provedena analýza fokusních skupin, resp. jejich výstupů (zápisů), s cílem:
▪ identifikovat okruhy otázek a podnětů, které by mohly posloužit ke spuštění a úspěchu online fokusních skupin a při jejich moderaci,
▪ identifikovat bariéry a překážky, které by mohly vést k neúspěchu konkrétních online fokusních skupin realizovaných skrze platformu ESF Fóra.
▪ rozhodnout, které online fokusní skupiny navrhnout k realizaci. Z původních pěti skupin totiž došlo díky provedení většího počtu „face-to-face“ skupin (konkrétně realizátorů projektů) ke snížení na skupiny čtyři.
Výsledkem analýzy byla následující tématická zjištění a návrhy:
1, Metodické řízení
▪ Na ESF Fóru již existuje a aktivně komunikuje skupina metodiků; tato skupina (tzv. „klub“) je určena jen pro uzavřený okruh pracovníků, a to i s ohledem na skutečnost, že jsou v ní diskutovány interní materiály a pracovní verze dokumentů.
▪ Návrh:
o Založení nové skupiny (klubu) považujeme za nevhodné, naopak navrhujeme využít potenciál existující aktivní metodické skupiny. Tj. realizátor poskytne podněty vzešlé z fokusních skupin vybranému členovi této skupiny (moderátorovi); tato osoba bude vybrána a kontaktována po dohodě se zadavatelem, neboť realizátor nemá přístup do daného klubu a nemůže tedy posoudit, kdo je vhodným kandidátem na moderátora. V případě potřeby je realizátor připraven moderátorovi poskytnout rady a tipy, jak skupinu moderovat – nicméně, s ohledem na fakt, že jde o fungující a aktivně komunikující skupinu, problémy tohoto typu nepředpokládáme.
2, Výzvy, Hodnocení, Monitorování
▪ Žádné z těchto témat nemá na ESF Fóru skupinu, která by byla stejně aktivní, jako skupina Metodická (viz výše)4; zároveň bylo nashromážděno dostatečné množství podnětů pro založení online fokusní skupiny.
▪ Návrh:
o 1, po dohodě se zadavatelem: vytipovat moderátory pro každou z těchto skupin, kontaktovat je, zajistit jejich souhlas s touto rolí, přidělit jim roli správce daného (nově vzniklého) klubu,
o 2, z pozice realizátora: předat podněty z fokusních skupin a v případě potřeby moderátory instruovat tak, aby svou funkci mohli úspěšně plnit. Realizátor počítá s tím, že jeho zástupci budou dění ve skupinách sledovat (pokud jim to zadavatel umožní) a aktivitu ve skupině vhodně podpoří.
3. Finance
▪ Jedná se o velmi specifické téma, které je na jedné straně silně provázáno s legislativním rámcem a pravidly OP, na straně druhé s relativně úzkým okruhem osob již nyní vymezených organizační strukturou ŘO. Z toho důvodu navrhujeme tuto skupinu nerealizovat, protože očekávaná přidaná hodnota a aktivita takové skupiny by byla minimální.
Obecná doporučení:
▪ Na existenci nových klubů upozornit emailem v první řadě ty osoby, které se zúčastnily fokusních skupin „face-to-face“, dále pak ty, které byly do těchto skupin nominovány ze strany zadavatele, ale nakonec se nezúčastnily. Je na konzultaci se zadavatelem, zda má tento email odeslat moderátor (tj. i správce) klubu – což doporučujeme – nebo realizátor zakázky. U klubu Metodiků je čistě na moderátorovi, zda vzhledem k povaze klubu přizve další členy, realizátor mu může v případě potřeby a se souhlasem zadavatele předat kontakty na účastníky dané tématické fokusní skupiny.
▪ Ponechat na moderátorech skupin, aby zvolili vhodné pořadí diskutovaných témat v jejich klubech; zejména úvodní téma(ta) je třeba vybrat tak, aby bylo poutavé a aktuální, tj. tak, aby oslovené osoby „nutilo“ vyjádřit se a zároveň nevyžadovalo dlouhé studování dokumentů, popř. zjišťování dodatečných informací.
▪ Navrhujeme nově vzniklé skupiny zahrnout do jedné nové kategorie (např. s názvem
„pokračování fokusních skupin“) a vhodně tématicky zařadit, a to do kategorie „OP LIDSKÉ ZDROJE A ZAMĚSTNANOST 2007+“. To umožní zájemcům o další témata online fokusních skupin tyto jednoznačně identifikovat, a to i v případě, že budou emailem upozorněni jen na jednu z nich.
4 Na ESF Fóru sice existuje skupina s názvem „Monitorování a informační systémy; indikátory“ (na: https://forum.esfcr.cz/node/discussion.php?ident=114 ), ale v té jsou nyní jen dva diskusní příspěvky, a to s poněkud odlišným zaměřením.
Příloha 9: Podněty pro diskuzi na ESF Fóru (dle témat)
Metodické řízení (resp. Metodické řízení OP LZZ, téma 1) |
- dotazy a podněty |
Jak filtrovat přicházející "dotazy na metodiku" od "podnětů ke změně metodiky"? |
Je vhodné (a vůbec možné), aby se změny metodik řešily "otevřenou formou", se zainteresovanými stranami např. ze strany žadatelů a příjemců? Jak? |
Jak administroval podněty k metodikám tak, aby se omezil počet jejich změn, ale zachovala jejich aktuálnost? |
Jak docílit toho, že se budou metodiky měnit "proaktivně" a ne jen v reakci na problémy? |
- obsah a forma metodik |
Co má být součástí metodik? Co by mělo být pouze odkazováno? Jaké specifické možnosti nabízí elektronická verze metodiky? |
Jak zamezit nejednoznačnostem a nekonzistenci metodik? Jaké procesy ověření kvality a konzistence metodik se používají? |
- znalost metodiky a její přenos |
Jak zajistit, aby byli s metodikou dobře seznámeni noví pracovníci? Je na místě "prozkoušení"? |
Jak zajistit, aby byli s metodikou dobře seznámeni žadatelé, popř. příjemci? Je co zlepšovat? |
Hodnocení (resp. Hodnocení projektů a hodnotící kritéria, téma 3) |
- hodnocení vzhledem k žádostem |
Jak řešit nízkou úroveň formálního zpracování projektů. |
- hodnotitelé (kvalita) |
Jak lépe pracovat s hodnotiteli? |
Jak zajistit kvalitu hodnotitelů? Jak je hodnotit, na základě jakých kritérií? |
Jak zajistit srovnatelnost hodnocení hodnotitelů (více školení?, více příkladů?)? |
- proces hodnocení |
Dá se zlepšit postup hodnocení nastavením či změnou hodnotících kriterií či změnou výzev? |
Jak nastavit proces hodnocení tak, aby se jednotlivé procesy vzájemně doplňovaly, popřípadě působily jako kontrola (administrátoři, hodnotitelé, výběrová komise)? |
Automatické přidělování hodnotitelů – pro a proti |
- kvalita hodnocení a posuzování |
Nyní se hodnotí pouze projekty. Jak (a zda) omezovat subjekty co do počtu podobných projektů podaných ve více krajích? Jak dosáhnout spravedlivou distribuci zdrojů a výsledků v rámci celé ČR? |
Inovativnost projektů – je to správný výraz? Jak určit, co to znamená? |
Jak řešit srovnání ekonomické stránky projektu? |
Kde využít "check-listy"? Kde je vhodné ponechat prostor a kde zvolit např. jen škály? |
Výzvy (resp. Výzvy k předkládání projektů, téma 2) |
- kvalita a obsah výzvy |
Jak se pozná "nekvalitní výzva"? |
Jak zpřesnit výzvy? Co v nich opakovaně chybí, popř. co se ukazuje jako problém? |
- žádosti |
Jak zajistit, aby struktura žádosti odpovídala požadavkům výzvy? |
- vyhlašování |
Jak předejít zpožděním, která provázejí vyhlášení výzev a následné procesy? |
Které procesy na úrovni ministerstev a zprostředkujících subjektů vedou k problémům s vyhlašováním výzev? Jak tyto problémy řešit? |
Jak dospět ke zjednodušení procesu vyhlášení výzvy? Co lze zjednodušit? |
Jak zajistit kontinuitu, tj. minimalizovat dopady fluktuace? |
Jak dobře nastavit alokaci tak, aby odpovídala kapacitě? |
- komunikace výzvy |
Jakým způsobem nejlépe komunikovat "smysl výzvy" směrem k žadatelům? Jak mezi hodnotiteli? Jak na úrovni oddělení? |
- zpětná vazba |
Jak získávat zpětnou vazbu na text výzvy? Jak ji získat před jejím vyhlášením? |
Jak využít možnosti neformálních pracovních skupin – s různými hráči, nejen potenciálními příjemci, kteří ale nejsou za práci na výzvách honorováni? |
Monitorování (resp. Monitorování a informační systémy, téma 4) |
- indikátory |
Jak docílit toho, aby byly indikátory definovány jednoznačně, resp. aby byla definice pochopitelná i pro laiky? |
- dotazy a podněty |
Jak filtrovat, případně oddělit, přicházející "dotazy na fungování IS" od "podnětů ke změně v IS"? |
Existuje nutnost, aby připomínky k fungování informačních systému nepřicházely jen náhodně od uživatelů, ale i ve formě auditů či evaluací fungování IS? |
- znalosti a jejich přenos |
Kdo by měl provádět školení na práci s informačním systémem? Správci IS, jednotlivá oddělení nebo ve spolupráci? |
Jakým způsobem koordinovat změny v informačním systému s obsahem školení zaměstnanců a již proškolenými zaměstnanci? |
Jak zajistit přenositelnost znalostí o fungování informačních systémů a jejich funkcí na úrovni uživatel? Jsou školení dostatečná nebo existují specifické znalosti/dovednosti na úrovni oddělení? |
- změny a data |
Jak zajistit, aby byly chystané změny (např. v metodice, ve sledovaných datech) nejprve konzultovány vzhledem k připravenosti informačního systému a kapacitám oddělení? |
Jak zamezit vzniku paralelních agend nezávislých na IS? Lze to? Co je nutným předpokladem? |
Příloha 10: Měsíční flash reporty (duben-září 2009)
Příjemci: zadavatel (MPSV), evaluační tým
Organizace evaluačních fokusních skupin OP LZZ a evaluačního workshopu
Měsíční Flash Report vypracovaný vedoucí týmu PŠJ – Duben 2009
Aktivita | Předchozí měsíc | Aktuální měsíc | Následující měsíc (plán) | Poznámky |
Spolupráce se zadavatelem | Dne 24.3. proběhla schůzka se zástupci zadavatele, na které byly diskutovány hlavní body nabídky, očekávání od projektu, jeho smysl a cíle, návaznosti na jiné aktivity zadavatele a konkrétní provedení. Byl aktualizován harmonogram prací. Ihned po této schůzce následovala schůzka týmu, kde byly tyto informace předány a zapracovány do návrhu workshopu a FS. | Byla nastartována komunikace přes klub na ESF Fóru, pokračuje e-mailová komunikace. Spolupráce se zadavatelem je velmi živá a intenzivní. | Zadavateli budou předány předběžné výstupy z FS, proběhne diskuse nad organizací FS ve druhé fázi a pokračování FS v online prostředí. | Je třeba odlehčit zadavateli v organizaci FS. |
Informační zdroje | Bylo dohodnuto, že kontakty na účastníky workshopu a jednotlivých FS dodá zadavatel. | Byly sebrány kontakty na potenciální účastníky workshopu, tito byli pozváni, zadavateli pak byla předána prezenční listina z každého dne workshopu v originále. Zadavatel dále dodává kontakty na potenciální účastníky FS. | Dokončení sběru kontaktů na účastníky FS, zahájení sekundárního sběru kontaktů přes informace z FS a doporučení jejich potenciálních i skutečných účastníků na další kolegy. | Uvažuje se o lepším využití ESF Fóra pro sběr doporučení/nominací lidí do FS. Typ „sněhová koule“, případně síťový marketing. |
Workshop | Byl připraven předběžný program workshopu, na základě schůzky se zadavatelem 24.3. byla zpřesněna představa o účastnících, jejich očekáváních, jejich úrovni znalostí a celkovém smyslu a cíli workshopu. | Byl realizován workshop ve dnech 20.-21.4. Na konci každého dne proběhlo vyhodnocení workshopu, vznikla souhrnná zpráva, byly vyvozeny změny. Účastníci workshopu byli přizváni do klubu na ESF Fóru. | Pokračuje komunikace ve zmíněném kubu na ESF Fóru. Vznikne zpráva částečně založená na diskusi z workshopu vztahující se k evaluačnímu plánu OP LZZ. | |
Fokusní skupiny | ---- | Byly připraveny pozvánky pro jednotlivé skupiny a scénáře k nim. Byl připraven zápis z FS, struktura a evaluační otázky. Tým se pravidelně scházel. Podle reality a komunikace se zadavatelem zřejmě dojde ke sdružení některých skupin a zároveň se skupiny rozšíří o účastníky mimo řízení OP LZZ, konkrétně jde o OP VK a PA. | 6.5. proběhne první FS, v dalších týdnech pak další, každá skupina bude vyhodnocena, na konci etapy proběhne souhrnné vyhodnocení. Dle toho také vzniknou fundovaná doporučení pro případné slučování skupin, změny v jejich organizaci a přidání dalších účastníků. | Kdo vymyslí elegantní řešení toho, jak pozvat x lidí do 37 skupin na konkrétní datumy, všem vyhovět, dodržet pravidla FS jako evaluačního nástroje a zároveň se z toho nezbláznit, dostane Nobelovu cenu ;-) |
Aktivita | Předchozí měsíc | Aktuální měsíc | Následující měsíc (plán) | Poznámky |
ESF Fórum a online fokusní skupiny | 24.3. rovněž proběhla diskuse na téma technického zázemí ESF Fóra. | Organizátor připravil návrh úprav ESF Fóra, který posléze konkretizoval. Zároveň byly založeny příslušné kluby na ESF Fóru, které kopírují FS plus skupina s názvem „Vše co jste chtěli vědět o evaluacích a …“, která jednak funguje jako follow-up stejnojmenného workshopu a zároveň slouží jako diskusní fórum pro přípravu FS a moderátorů. | Pokračuje práce v diskusní skupině „Vše co jste chtěli vědět o evaluacích a …“. Zároveň se připravují první skupiny po odeznění fyzických FS, na nichž evaluátoři m.j. identifikují otázky vhodné pro pokračování a rozvoj v online prostředí. | |
Reporty | ---- | Vstupní zpráva byla dle požadavků smlouvy odevzdána dne 7.4.2009. Dne 24.4. byla předána hodnotící zpráva z workshopu zadavateli a posléze (na žádost zadavatele) i účastníkům workshopu. | Interní reporty z jednotlivých FS. Flash report za duben. Draft zprávy (poznámek) k evaluačnímu plánu OP LZZ (návrh). | |
Administrace | Smlouva se zadavatelem byla podepsána dne 24.3.2009. | Na základě akceptace vstupní zprávy byla vystavena první faktura na první splátku. Pravidelně probíhaly schůzky evaluačního týmu. | Do 17.6. musí být ukončena první fáze fokusních skupin, odevzdány příslušné zprávy a vystavena faktura na druhou splátku dle smlouvy. | Navrhujeme odevzdat: shrnutí první fáze FS, návrh na úpravy druhé fáze FS, poznámky k evaluačnímu plánu. |
V Praze dne 5.5.2009, Petra Štogrová Jedličková, Navreme Boheme, s.r.o.
Příjemci: zadavatel (MPSV), evaluační tým
Organizace evaluačních fokusních skupin OP LZZ a evaluačního workshopu
Měsíční Flash Report vypracovaný vedoucí týmu PŠJ – Květen 2009
Aktivita | Předchozí měsíc | Aktuální měsíc | Následující měsíc (plán) | Poznámky |
Spolupráce se zadavatelem | Byla nastartována komunikace přes klub na ESF Fóru, pokračuje e- mailová komunikace. Spolupráce se zadavatelem je velmi živá a intenzivní. | Byl vypracován podklad pro jednání se zadavatelem za účelem vyhodnocení 1. fáze FS. Zadavatel vypracoval vlastní body shrnutí, obojí pak bylo probráno na schůzce dne 26.5. na MPSV. Zároveň byly připraveny podklady pro jednání projektového týmu dne 9.6. 13-17 hod., kam byl zadavatel rovněž pozván. | Zadavateli bude předána zpráva dle struktury projednané dne 26.5. na MPSV a zpřesněné na jednání týmu dne 9.6. Tato zpráva bude obsahovat shrnutí první fáze, plán pro fázi II a strategii pro online skupiny. | |
Informační zdroje | Byly sebrány kontakty na potenciální účastníky workshopu, tito byli pozváni, zadavateli pak byla předána prezenční listina z každého dne workshopu v originále. Zadavatel dále dodává kontakty na potenciální účastníky FS. | Tabulka s kontakty na účastníky FS je neustále aktualizována. Zároveň vzniká tabulka potvrzených kontaktů na hodnotitele projektových žádostí OP LZZ, účastníky zvláštní FS u nichž je vyžadována předchozí praktická zkušenost tedy nejen vyškolení. | Pokračování v aktualizaci kontaktů na FS zejm. na ty FS plánované pro druhou fázi a speciální FS: hodnotitele, průřezové skupiny, téma 1, 4 a 5. U TA je třeba předjednat a získat doporučení. Stávající tabulka kontaktů začne reflektovat i vývoj online skupin. | Uvažuje se o lepším využití ESF Fóra pro sběr doporučení/nominací lidí do FS. Typ „sněhová koule“, případně síťový marketing. |
Workshop | Byl realizován workshop ve dnech 20.-21.4. Na konci každého dne proběhlo vyhodnocení workshopu, vznikla souhrnná zpráva, byly vyvozeny změny. Účastníci workshopu byli přizváni do klubu na ESF Fóru. | Pokračovala komunikace ve zmíněném kubu na ESF Fóru. Součástí průběžné zprávy o shrnutí první fáze FS bude i zpráva založená na diskusi z workshopu vztahující se k evaluačnímu plánu OP LZZ. Byla dopracována česká verze příručky EQUAL Evaluation Sourcebook, zároveň byla vystavena na ESF Fóru spolu s náměty na její další úpravy (tentokrát ne jazykové, ale obsahové). Vznikl návrh připomenout účastníkům workshopu klub na ESF Fóru zasláním dopisu s informací o aktualizované verzi příručky. | Budou rozeslány dopisy připomínající účastníkům workshopu follow-up: aktualizovanou příručky, nový design ESF Fóra apod. | Je možné uvažovat o zaslání připomínky všem zaregistrovaným uživatelům Fóra, např. ve spojení s novým designem Fóra. |
Aktivita | Předchozí měsíc | Aktuální měsíc | Následující měsíc (plán) | Poznámky |
Fokusní skupiny | Byly připraveny pozvánky pro jednotlivé skupiny a scénáře k nim. Byl připraven zápis z FS, struktura a evaluační otázky. Tým se pravidelně scházel. Podle reality a komunikace se zadavatelem zřejmě dojde ke sdružení některých skupin a zároveň se skupiny rozšíří o účastníky mimo řízení OP LZZ, konkrétně jde o OP VK a PA. | 6.5. proběhla první FS, poslední pak 21.5., celkem bylo uspořádáno 10 FS, osloveno bylo 96 osob na tyto FS a dalších 120 na skupinu hodnotitelů, přišlo na celkem 10 FS 49 osob. Z každé skupiny je vyhotoven zápis a až na jednu FS, kdy si to účastníci nepřáli, jsou skupiny nahrány, poučení ze skupin byla průběžně přenášena dle témat, PO a nebo organizačních a moderátorských prací, poznatky, zkušenosti byly sepsány. Scénáře byly upraveny dle těchto zkušeností a vyhodnocení. Proces organizace byl výrazně upraven dle přání účastníků a zadavatele. | 9.6. evaluační tým vyhodnotí první fázi FS. Bude připraven plán na druhou fázi FS a na online skupiny. Připravuje se skupina hodnotitelů, realizátorů projektů, průřezové skupiny a skupiny k tématům 1,4 a 5. K těmto skupinám budou připraveny scénáře s využitím posbíraných podnětů. | |
ESF Fórum a online fokusní skupiny | Organizátor připravil návrh úprav ESF Fóra, který posléze konkretizoval. Zároveň byly založeny příslušné kluby na ESF Fóru, které kopírují FS plus skupina s názvem „Vše co jste chtěli vědět o evaluacích a …“, která jednak funguje jako follow-up stejnojmenného workshopu a zároveň slouží jako diskusní fórum pro přípravu FS a moderátorů. | Pokračovala práce v diskusní skupině „Vše co jste chtěli vědět o evaluacích a …“. Z každé FS evaluátoři identifikovali otázky vhodné pro pokračování a rozvoj v online prostředí. PO 9.6. bude připraven konkrétní plán. Zároveň byly vyvíjeny aktivity směrem k získání větší účasti ze strany účastníků workshopu. | Budou spuštěny první online FS. | |
Reporty | Vstupní zpráva byla dle požadavků smlouvy odevzdána dne 7.4.2009. Dne 24.4. byla předána hodnotící zpráva z workshopu zadavateli a posléze (na žádost zadavatele) i účastníkům workshopu. Flash report za duben. | Interní reporty z 10 FS. Flash report za květen. Podklad k jednání 26.5. – shrnutí první fáze FS. | Průběžná zpráva, shrnutí první fáze FS. Flash report za červen. | |
Administrace | Na základě akceptace vstupní zprávy byla vystavena první faktura na první splátku. Pravidelně probíhaly schůzky evaluačního týmu. | Do 17.6. musí být ukončena první fáze fokusních skupin, odevzdány příslušné zprávy a vystavena faktura na druhou splátku dle smlouvy. |
V Praze dne 2.6.2009, Petra Štogrová Jedličková, Navreme Boheme, s.r.o.
Příjemci: zadavatel (MPSV), evaluační tým
Organizace evaluačních fokusních skupin OP LZZ a evaluačního workshopu
Měsíční Flash Report vypracovaný vedoucí týmu PŠJ – Červen 2009
Aktivita | Předchozí měsíc | Aktuální měsíc | Následující měsíc (plán) | Poznámky |
Spolupráce se zadavatelem | Byl vypracován podklad pro jednání se zadavatelem za účelem vyhodnocení 1. fáze FS. Zadavatel vypracoval vlastní body shrnutí, obojí pak bylo probráno na schůzce dne 26.5. na MPSV. Zároveň byly připraveny podklady pro jednání projektového týmu dne 9.6. 13-17 hod., kam byl zadavatel rovněž pozván. | Zadavateli byla předána dne 22.6. Průběžná zpráva dle struktury projednané dne 26.5. na MPSV a zpřesněné na jednání týmu dne 9.6. Tato zpráva obsahuje shrnutí první fáze, plán pro fázi II a strategii pro online skupiny. Dne 29.6. byly doručeny připomínky zadavatele, nad kterými se ještě odehraje schůzka plánovaná na 2.7. | Proběhne schůzka se zadavatelem dne 2.7. k připomínkám k Průběžné zprávě a plánu druhé fáze FS. Na základě těchto podnětů bude přepracována Průběžná zpráva, termín předání finální verze bude v týdnu po 6.7. | |
Informační zdroje | Tabulka s kontakty na účastníky FS je neustále aktualizována. Zároveň vzniká tabulka potvrzených kontaktů na hodnotitele projektových žádostí OP LZZ, účastníky zvláštní FS u nichž je vyžadována předchozí praktická zkušenost tedy nejen vyškolení. | Pokračovala aktualizace kontaktů na FS zejm. na ty FS plánované pro druhou fázi: hodnotitelé, realizátoři projektů, průřezové skupiny, téma 1, 4 a 5. Je vedena tabulka, přehled realizace FS a počtu lidí. Bylo zjištěno, v jaké fázi jsou projekty financované z jednotlivých PO kvůli zpřesnění scénářů pro FS realizátorů za každou PO zvlášť. | Dokončení kontaktů pro hodnotitele a realizátory. U TA je třeba předjednat a získat doporučení. Stávající tabulka kontaktů začne reflektovat i vývoj online skupin. | Uvažuje se o lepším využití ESF Fóra pro sběr doporučení/nominací lidí do FS. Typ „sněhová koule“, případně síťový marketing. |
Workshop | Pokračovala komunikace ve zmíněném kubu na ESF Fóru. Součástí průběžné zprávy o shrnutí první fáze FS bude i zpráva založená na diskusi z workshopu vztahující se k evaluačnímu plánu OP LZZ. Byla dopracována česká verze příručky EQUAL Evaluation Sourcebook, zároveň byla vystavena na ESF Fóru spolu s náměty na její další úpravy (tentokrát ne jazykové, ale obsahové). Vznikl návrh připomenout účastníkům workshopu klub na ESF Fóru zasláním dopisu s informací o aktualizované verzi příručky. | Dne 3.6 byly rozeslány dopisy připomínající účastníkům workshopu follow-up - aktualizovanou příručku EQUAL Evaluation Sourcebook. | Až bude dokončen re-design ESF Fóra, chystá se další připomenutí online skupiny a to v souvislosti s novým designem a funkcemi. | Je možné uvažovat o zaslání připomínky všem zaregistrovaným uživatelům Fóra, např. ve spojení s novým designem Fóra. |
Aktivita | Předchozí měsíc | Aktuální měsíc | Následující měsíc (plán) | Poznámky |
Fokusní skupiny | 6.5. proběhla první FS, poslední pak 21.5., celkem bylo uspořádáno 10 FS, osloveno bylo 96 osob na tyto FS a dalších 120 na skupinu hodnotitelů, přišlo na celkem 10 FS 49 osob. Z každé skupiny je vyhotoven zápis a až na jednu FS, kdy si to účastníci nepřáli, jsou skupiny nahrány, poučení ze skupin byla průběžně přenášena dle témat, PO a nebo organizačních a moderátorských prací, poznatky, zkušenosti byly sepsány. Scénáře byly upraveny dle těchto zkušeností a vyhodnocení. Proces organizace byl výrazně upraven dle přání účastníků a zadavatele. | 9.6. evaluační tým vyhodnotil první fázi FS a připravil plán na druhou fázi FS a na online skupiny. Připravuje se skupina hodnotitelů, realizátorů projektů, průřezové skupiny a skupiny k tématům 1,4 a 5. Vznikl scénář FS zaměřené na metodiky, skupina proběhla 25.6. | Proběhnou FS: téma 2 a 3, PO 6, téma 4, PO 1-5, průřezová k tématu 5, FS na evaluační plán. Je třeba rozjet online skupiny. Bude dopracován scénář/e na FS realizátorů, hodnotitelů a monitoring. | |
ESF Fórum a online fokusní skupiny | Pokračovala práce v diskusní skupině „Vše co jste chtěli vědět o evaluacích a …“. Z každé FS evaluátoři identifikovali otázky vhodné pro pokračování a rozvoj v online prostředí. PO 9.6. bude připraven konkrétní plán. Zároveň byly vyvíjeny aktivity směrem k získání větší účasti ze strany účastníků workshopu. | Připraveny otázky a metodika online skupin. Je to třeba diskutovat se zadavatelem. | Budou spuštěny první online FS. | |
Reporty | Interní reporty z 10 FS. Flash report za květen. Podklad k jednání 26.5. – shrnutí první fáze FS. | Průběžná zpráva – návrh 22.6. Flash report za červen. Interní report z 1 FS. | Průběžná zpráva – finální verze. Flash report za červenec. Interní reporty z FS. | |
Administrace | Připomínkový list k Průběžné zprávě. | Předávací protokol finální verze Průběžné zprávy a fakturace. |
V Praze dne 1. 7. 2009, Petra Štogrová Jedličková, Navreme Boheme, s.r.o.
Příjemci: zadavatel (MPSV), evaluační tým
Organizace evaluačních fokusních skupin OP LZZ a evaluačního workshopu
Měsíční Flash Report vypracovaný vedoucí týmu PŠJ – Červenec 2009
Aktivita | Předchozí měsíc | Aktuální měsíc | Následující měsíc (plán) | Poznámky |
Spolupráce se zadavatelem | Zadavateli byla předána dne 22.6. Průběžná zpráva dle struktury projednané dne 26.5. na MPSV a zpřesněné na jednání týmu dne 9.6. Tato zpráva obsahuje shrnutí první fáze, plán pro fázi II a strategii pro online skupiny. Dne 29.6. byly doručeny připomínky zadavatele, nad kterými se ještě odehraje schůzka plánovaná na 2.7. | Proběhla schůzka se zadavatelem dne 2.7. k připomínkám k Průběžné zprávě a plánu druhé fáze FS. Na základě těchto podnětů byla přepracována Průběžná zpráva, předání finální verze 13.7. 2009, poté drobné připomínky, které byly probrány na schůzce na MPSV dne 16.7., zpráva obratem doplněna a odevzdána dne 17.7. | Probíhá komunikace ohledně naplňování FS, kontaktů pro ně a případných „pozorovatelů“. | Naplnění 37 FS tak, jak je uvedeno v Průběžné zprávě se již měnit nebude. Mohou se měnit pouze plánovaná data uskutečnění podle časových možností pozvaných. |
Informační zdroje | Pokračovala aktualizace kontaktů na FS zejm. na ty FS plánované pro druhou fázi: hodnotitelé, realizátoři projektů, průřezové skupiny, téma 1, 4 a 5. Je vedena tabulka, přehled realizace FS a počtu lidí. Bylo zjištěno, v jaké fázi jsou projekty financované z jednotlivých PO kvůli zpřesnění scénářů pro FS realizátorů za každou PO zvlášť. | Dokončení kontaktů pro hodnotitele a realizátory. U TA byla třeba předjednat a získat doporučení. Průběžné aktualizace kontaktů. | Stávající tabulka kontaktů začne reflektovat i vývoj online skupin. | Uvažuje se o lepším využití ESF Fóra pro sběr doporučení/nominací lidí do FS. Typ „sněhová koule“, případně síťový marketing. |
Fokusní skupiny | 9.6. evaluační tým vyhodnotil první fázi FS a připravil plán na druhou fázi FS a na online skupiny. Připravuje se skupina hodnotitelů, realizátorů projektů, průřezové skupiny a skupiny k tématům 1,4 a 5. Vznikl scénář FS zaměřené na metodiky, skupina proběhla 25.6. | Proběhly FS: téma 2 a 3, PO 6, téma 4, PO 1-5, průřezová k tématu 5, FS na evaluační plán. Doposud proběhlo 14 face-to-face skupin, plus průběžně běží online skupiny. Byly dopracovány scénáře na FS realizátorů, hodnotitelů, monitoring, eval. plán, fin. řízení a výzvu 35. | Započetí druhé fáze realizace FS a rozjezd online skupin dle plánu v Průběžné zprávě. Vypracování scénářů na FS: výzva 34 a 23, průřezová skupina k tématům 3, 2 a 6, skupina k ročnímu operačnímu vyhodnocení, hodnotitelé, a skupina na TA. | |
ESF Fórum a online fokusní skupiny | Připraveny otázky a metodika online skupin. Je to třeba diskutovat se zadavatelem. | Budou spuštěny další online FS – ty, které proběhly face-to-face. | Až bude dokončen re-design ESF Fóra, chystá se další připomenutí online skupiny a to v souvislosti s novým designem a funkcemi. | |
Reporty | Průběžná zpráva – návrh 22.6. Flash report za červen. Interní report z 1 FS. | Průběžná zpráva – finální verze 13.7. a 17.7. Flash report za červenec. Interní reporty z FS. | Flash report za srpen. Interní reporty z FS. |
Aktivita | Předchozí měsíc | Aktuální měsíc | Následující měsíc (plán) | Poznámky |
Administrace | Připomínkový list k Průběžné zprávě. | Předávací protokol finální verze Průběžné zprávy a fakturace. |
V Praze dne 3.8. 2009, Petra Štogrová Jedličková, Navreme Boheme, s.r.o.