REFERENTIETERMEN VOOR DE EINDEVALUATIE
REFERENTIETERMEN VOOR DE EINDEVALUATIE
VAN HET
Programma Effectievere LBO- Scholen in Suriname (PROGRESS-LBO)
2017-2021
Onderhandelingsprocedure zonder voorafgaande bekendmaking
Uiterste indieningsdatum en-uur:
6 September 2020 23:00 CEST
Te sturen naar :
Xxxxx.Xxxxxxxx@xxxx.xxx en xxxxxxxx.xxxxx@xxxx.xxx
VVOB
Referentietermen Eindevaluatie van het DGD programma 2017-2021 in Suriname 1/14
Land | Suriname |
Titel | Programma Effectievere LBO-scholen Suriname (PROGRESS-LBO) |
Locatie | Nationaal |
Periode | 01/01/2017 – 31/08/2021 |
Budget | € 2.248.854 |
Donor | België, Directie-Generaal Ontwikkelingssamenwerking en Humanitaire Hulp (DGD) |
Subsector | Secundair technisch en beroepsonderwijs |
Focus | Professionele ontwikkeling van leerkrachten (PRESET en INSET) en schoolleiders; gelijke onderwijskansen |
Type | Eindevaluatie |
Doelstelling | Externe appreciatie van de effectiviteit, efficiëntie, relevantie, potentiële duurzaamheid, impact en transversale thema's gender en milieu van het programma |
Tijdspanne | Start Deskstudie: december 2020 / januari 2021 Veldstudie: maart 2021 Finaal Rapport: juni 2021 |
Methodologie | Inceptiefase: documentstudie; initiële interviews met VVOB-medewerkers Veldstudie: briefing, interviews en observaties, debriefing meeting Rapportering: preliminair rapport, validatie-workshop, finaal rapport |
Profiel | Evaluatie-expert of -team met grondige kennis van de onderwijssector en uitgebreide bewezen ervaring in het land |
Indieningsdatum | 6 September, 23:00 CEST (UTC +2) |
Inhoudstafel
Samenvatting van de Opdracht 2 Info Programma 2 Info Evaluatie 2
1.1. De aanbestedende instantie 4
2.1. Achtergrond bij het Programma 5
2.2. Nut en doelstellingen van de evaluatie 6
2.3. Evaluatiecriteria en kernvragen 6
2.4. Methodologie en verwachtte producten 9
2.5. Tijdslijn van belangrijkste activiteiten en producten 11
2.6. Profiel van de consultant(s) 11
3. Administratieve bepalingen 12
3.2. Inschrijvingsvereisten 13
3.3. Gunningscriteria en procedure 13
1.1. De aanbestedende instantie
De aanbestedende instantie is VVOB Suriname, vertegenwoordigd door haar Country Programme Manager, Xxxxx Xxxxxxxx.
Adres: Xxxxxxxxxxxxxxxx 00 bv, Paramaribo, Xxxxxxx 00000
Xx xxxxxxxx wordt opgevolgd door Xxxxx Xxxxxxxx, Country Programme Manager Suriname en door Xxxxxxxx Xxxxx, M&E Advisor op het hoofdkantoor (België, Brussel). Alle correspondentie over de inhoud en de procedure van deze oproep moet gestuurd worden naar Xxxxx.Xxxxxxx@xxxx.xxx en naar xxxxxxxx.xxxxx@xxxx.xxx
VVOB is een non-profitorganisatie met meer dan 35 jaar ervaring in het verbeteren van de kwaliteit van onderwijssystemen vanuit een rights-based approach. VVOB heeft momenteel samenwerkingsverbanden met onderwijsactoren in 9 landen in het Zuiden (Cambodja, XX Xxxxx, Xxxxxxx, Xxxxxx, Xxxx-Xxxxxx, Xxxxxxxx, Xxxxxxx, Xxxxxx en Oeganda) en in België/Vlaanderen. Haar jaarlijks budget is ongeveer 13 miljoen euro.
De visie van VVOB is om te streven naar een duurzame wereld op basis van gelijke kansen door middel van kwaliteitsvol onderwijs. Voor VVOB betekent kwaliteitsvol onderwijs: "... één die alle leerlingen de capaciteiten biedt die ze nodig hebben om economisch productief te worden, om in een duurzaam levensonderhoud te voorzien, om bij te dragen aan een vreedzame en democratische samenleving en om het individuele welzijn te verbeteren."
In het streven naar kwaliteitsvol onderwijs werkt VVOB aan de professionele ontwikkeling van leraren en schoolleiders in vier onderwijssectoren met volgende doelstellingen:
• Leerkrachten en schoolleiders in het kleuteronderwijs (en in de overgang naar het lager onderwijs) verzekeren een gelijke start voor alle leerlingen zodat ze zich ten volle kunnen ontplooien tijdens hun verdere studieloopbaan
• Leerkrachten en schoolleiders in het lager onderwijs gebruiken gepaste pedagogische en didactische methodieken om de taal-, reken- en levensvaardigheden van alle leerlingen te verbeteren
• Leerkrachten en schoolleiders in het algemeen secundair onderwijs (en de overgang daar naartoe) zorgen ervoor dat alle leerlingen de nodige vaardigheden voor de 21ste eeuw verwerven
• Leerkrachten en schoolleiders in het secundair technisch en beroepsonderwijs bereiden alle leerlingen voor op de noden van de samenleving en waardig werk.
Om deze doelstellingen te realiseren zet VVOB in op capaciteitsontwikkeling van haar operationele partners: ministeries van onderwijs, lerarenopleidingen en organisaties gericht op professionele ontwikkeling. Partners variëren van nationale en regionale overheden tot instellingen, individuele scholen, schoolleiders, docenten en studenten.
VVOB’s vijfjarenprogramma 2017-2021, gefinancierd door de Belgische federale overheid via de Directie-Generaal Ontwikkelingssamenwerking en Humanitaire Hulp (DGD), omvat 10 lopende programma's in het Zuiden die zich richten op de volgende subsectoren:
• Kleuteronderwijs: Vietnam, Zambia, Zuid-Afrika
• Basisonderwijs: Cambodja, Rwanda, Zuid-Afrika
• Secundair technisch en beroepsonderwijs en -opleiding: Ecuador, Suriname, RD Congo en Oeganda
In Suriname voert VVOB sinds 2017 volgende interventies uit:
- Programma Effectievere LBO-scholen Suriname (PROGRESS-LBO), gefinancierd door België (DGD);
- Initiatief voor Gender-Responsief Onderwijs (iGROW), gefinancierd door de EU en België (DGD) en afgrond in 2019.
Deze opdracht focust op de eerste interventie (PROGRESS-LBO) dat in 2017 startte en tot eind augustus 2021 loopt. Na afronding van dit programma zal VVOB haar kantoor in Suriname sluiten.
2.1. Achtergrond bij het Programma
Het programma heeft als doel de pedagogische competenties van leerkrachten en schoolleiders van het Lager Beroepsonderwijs (LBO) te versterken om de kwaliteit van het onderwijs en het leren van alle jongeren van alle LBO-scholen te verbeteren.
Een deel van de LBO-leerlingen behoort tot gezinnen met een lagere sociaaleconomische achtergrond, sommigen komen uit ontwrichte families, en een deel kampt met een leerachterstand die ze (gedeeltelijk) meenamen uit het lager onderwijs. Deze leerlingen hebben bij uitstek nood aan een schoolomgeving waar oog is voor hun welzijn en waar onderwijs wordt aangeboden op een manier die minder “klassikaal” is. LBO-leerkrachten zijn vaak onvoldoende uitgerust om tegemoet te komen aan deze uitdagingen. Ook schoolleiders hebben nood aan bijkomende ondersteuning om van het LBO een stimulerende leeromgeving te maken voor alle leerlingen.
Het programma is gericht op het versterken van de professionele ontwikkeling voor LBO- leerkrachten en schoolleiders via volgende drie pijlers:
• Het verbeteren van de initiële opleiding voor LBO-leerkrachten die aangeboden wordt door XXXX, de enige lerarenopleiding voor het LBO in Suriname;
• Het verbeteren van de professionele ontwikkeling voor inset-leerkrachten, die aangeboden wordt door het Centrum voor Nascholing Suriname (CENASU);
• Het creëren van continue nascholingsmogelijkheden voor schooldirecteurs in de vorm van professionele leernetwerken gesteund door het Onderdirectoraat Beroepsonderwijs (ODB) van het Ministerie van Onderwijs Wetenschap en Cultuur (MinOWC)
Binnen elke pijler ligt de focus op het voorbereiden van professionals binnen het LBO-systeem om een veilige en studentgerichte school- en klasomgeving te creëren.
Tegen het einde van het programma worden volgende doelstellingen en capaciteiten bij de onderwijspartners beoogd:
LOBO:
• Heeft de technische en pedagogische opleiding voor LBO-leerkrachten versterkt op het gebied van pedagogiek en (vak)didactiek.
• Heeft een opleidingsmodule ontwikkeld en geïmplementeerd over gender responsieve preventie en aanpak van probleemgedrag van leerlingen.
CENASU:
• Heeft een nascholingstraject ontwikkeld en geïmplementeerd voor LBO-leerkrachten en schoolleiders over gender responsieve preventie en aanpak van probleemgedrag van leerlingen;
• Heeft een nascholingstraject ontwikkeld en geïmplementeerd voor mentoren die een belangrijke rol spelen in de schoolbrede aanvangsbegeleiding;
• Is in staat om in opdracht van ODB relevante nascholing voor schoolleiders te verzorgen.
ODB:
• Heeft een professioneel leernetwerk voor LBO-schoolleiders gepiloteerd.
• Heeft de nodige stappen genomen om deze netwerken te implementeren en institutionaliseren.
• Heeft een systeem voor schoolbrede aanvangsbegeleiding geïmplementeerd op de LBO scholen.
• Heeft schoolleiders versterkt op het gebied van schoolleiderschap.
Om deze doelstellingen te bereiken, versterkt VVOB Suriname de capaciteit van haar onderwijspartners. VVOB maakt gebruik van capaciteitsversterkende trajecten die een maximum aan verantwoordelijkheid in de handen van de partners leggen tijdens de uitvoering en management van het eigen veranderingsproces. Het VVOB Suriname team, dat bestaat uit zowel lokale als internationale onderwijsexperts, biedt technische ondersteuning aan.
Zie ook website van VVOB (xxxxx://xxx.xxxx.xxx/xx/xxxx-xx-xxxxxxxx; xxxxx://xxx.xxxx.xxx/xx/xxxxxxxxxx/xxxxxxxx-xxxxxxxx-xxx) en van VVOB Suriname (xxxxx://xxxxxxxx.xxxx.xxx/)
2.2. Nut en doelstellingen van de evaluatie
Via de eindevaluatie wil VVOB een externe appreciatie verkrijgen over het programma en dit met betrekking tot de vijf DAC-criteria, efficiëntie, effectiviteit, relevantie, duurzaamheid en impact, alsook over de transversale thema's gender en milieu.
De eindevaluatie dient voornamelijk ter verantwoording jegens de donor, samenwerkende partners en programmabegunstigden. Daarnaast zal het rapport van de eindevaluatie ook de eindrapportering van het programma kunnen informeren. Gezien de exit van VVOB uit Suriname na afronding van dit programma, zullen de resultaten van deze evaluatie vooral op organisatieniveau meegenomen worden.
De eindevaluatie is ook gericht op het genereren van inzichten en aanbevelingen die nuttig zijn voor de programmapartners.
De belangrijkste doelstellingen van deze eindevaluatie kunnen als volgt worden samengevat:
- De programmaresultaten beoordelen in termen van efficiëntie, effectiviteit, relevantie, potentiële duurzaamheid, impact en mainstreaming van gender- en milieuaspecten die in het programma worden beoogd.
- De belangrijkste succesgebieden identificeren, evenals de kritische factoren die tot dit succes hebben geleid of daartoe hebben bijgedragen.
- Het identificeren van kritische verbeterpunten in relatie tot het ontwerp/formulering, de implementatie of de opvolging & evaluatie (“M&E”) van het programma.
- Het genereren van conclusies en aanbevelingen voor VVOB en haar partners die toekomstige formulerings- en planningsprocessen kunnen informeren.
2.3. Evaluatiecriteria en kernvragen
Gezien bovenstaande doelstellingen, dient de evaluatie de hieronder beschreven criteria en gerelateerde kernvragen te behandelen.
Opmerkingen:
- Onderstaande criteria volgen de interpretatie zoals gedefinieerd in de Performantiescores, het verplichte jaarlijkse rapportageformat van DGD, behalve voor het criteria "impact" dat geen deel uitmaakt van deze rapportage. Voor impact wordt de herziene definitie van de OECD DAC- evaluatiecriteria van december 2019 gebruikt1.
- “Outcome” verwijst naar de specifieke doelstelling van het programma, terwijl “output” betrekking heeft op de resultaten en subresultaten zoals gespecificeerd in het logische kader van het programma.
- Voor het transversale thema gender werd de interpretatie zoals gebruikt in de Performantiescores uitgebreid naar "gender en andere dimensies van gelijkheid", aangezien het programma ook andere belemmeringen voor gelijkheid in het onderwijs kan aanpakken zoals de sociaaleconomische status, taal, etniciteit, leerstoornissen of geografische barrières (stad/platteland, klimaatverandering, natuurrampen).
1 Better Criteria for Better Evaluation. Revised Evaluation Criteria definitions and Principles for Use. OECD/DAC Network on Development Evaluation. Dec.2019 (xxxxx://xxx.xxxx.xxx/xxx/xxxxxxxxxx/xxxxxxx- evaluation-criteria-dec-2019.pdf)
1. Efficiëntie: de mate waarin de middelen van de interventie (fondsen, expertise, tijd, etc.) omgezet zijn in outputs op een efficiënte manier en binnen het voorziene tijdsbestek
- de ratio input/output: de middelen die gebruikt worden leveren de beste “kosten/baten”- verhouding op voor het behalen van de vooropgezette outputs. Voor de kosten wordt er verwezen naar het budget zoals het goedgekeurd werd door de DGD.
- de tijdigheid van het behalen van de outputs: de activiteiten verlopen zoals gepland en de outputs zullen binnen de vooropgestelde termijn behaald worden.
Kernvragen:
1.1 In welke mate zijn de inputs kostenefficiënt beheerd?
1.2 In welke mate worden de voorziene processen (het geheel van types activiteiten die gesubsidieerd worden) uitgevoerd binnen de voorziene tijdsspanne?
2. Effectiviteit: de mate waarin de specifieke doelstelling (outcome) behaald is, zoals voorzien aan het einde van het programma
Effectiviteit (of doeltreffendheid) gaat over het bereiken van de specifieke doelstelling (= outcome) en bevindt zich op het niveau van de begunstigden. Het behalen van de outputs wordt hier ook beoordeeld omdat dit als een voorwaarde beschouwd wordt voor het behalen van de outcome. Het gaat hier over de volledigheid en de kwaliteit van de geleverde outputs. De kwaliteit refereert naar het beantwoorden aan de behoeften van de begunstigden. Dit betekent bijvoorbeeld ook dat de begunstigden toegang hebben tot de outputs en dat de outputs naar alle waarschijnlijkheid gebruikt zullen worden door de begunstigden.
Kernvragen:
2.1 In welke mate zijn de outputs behaald en zijn ze van goede kwaliteit?
2.2 Met welke waarschijnlijkheid zal het specifieke objectief gerealiseerd worden in termen van kwaliteit en beoogde omvang?
3. Relevantie: de mate waarin de interventie in lijn ligt met de prioriteiten van de doelgroep, partnerorganisaties of donor
De relevantie werd in eerste instantie beoordeeld tijdens de formulering en daaropvolgend de appreciatie van het programma. De invulling van dit criterium is bijgevolg eerder gericht op eventuele veranderingen die ertoe kunnen leiden dat de relevantie niet meer (volledig) gegarandeerd kan worden en moet leiden tot aanpassingen. Tot die aanpassingen kan bijvoorbeeld een aanpassing van de Theory of Change behoren.
Kernvragen:
3.1 Wat is de relevantie van de outcome, rekening houdend met eventuele veranderingen die zich de afgelopen jaren voordeden in de externe context (land/partner/etc.) of binnen de organisatie (globaal en/of op landenniveau) inzake HR, institutioneel en/of op financieel vlak?
3.2 In welke mate hadden die veranderingen een effect op de relevantie van de interventie en hoe werd hiermee omgegaan?
4. Potentiële Duurzaamheid: de mate van waarschijnlijkheid om de voordelen van de interventie te behouden en te repliceren op de lange termijn (na de uitvoeringsperiode van de interventie)
Onder dit criterium wordt het potentieel van voortbestaan van de interventie na de afloop van het huidige subsidiëring ingeschat. Hiervoor worden vier aspecten van duurzaamheid beoordeeld: de financiële, de sociale, de technische en de institutionele duurzaamheid. Een analyse van deze vier dimensies moet een antwoord bieden op de vraag in welke mate het programma, qua opzet en uitvoering, ervoor gezorgd heeft dat de Surinaamse partners in staat zijn om de programma onderdelen zelfstandig voort te zetten?
Kernvragen:
4.1 Hoe groot is de potentiële financiële en economische leefbaarheid van de interventie? (financiële duurzaamheid)
4.2 Zijn de voorwaarden voor lokaal eigenaarschap voldaan en zal dat ook zo blijven na beëindiging van de interventie? (sociale duurzaamheid).
4.3 Beschikken de partners over de nodige capaciteiten om zelf de controle over de interventie op te nemen en de resultaten voort te zetten (kennisoverdracht/capaciteitsversterking/technische duurzaamheid)?
4.4 In welke mate zijn de programmaresultaten en de aanpak ingebed in de lokale structuren, processen, procedures en het budget (institutionele verduurzaming)?
4.5 Wat is de kwaliteit van de dialoog met partners en stakeholders rond exit?
5. Transversaal thema gender en andere equity-dimensies
De beoordeling van dit criteria moet gezien worden in het licht van wat gepland is in termen van gender-gerelateerde of andere equity-gerelateerde maatregelen en of deze consequent werden uitgevoerd. Dit kan zowel specifieke resultaten als uitkomsten betreffen die een gender- of een andere equity-dimensie doelstelling hebben of de transversale integratie binnen een specifieke doelstelling.
Kernvragen:
5.1 In welke mate werden gender-gerelateerde of andere equity-gerelateerde maatregelen uitgevoerd zoals gepland?
5.2 In hoeverre hebben deze maatregelen het gewenste effect?
6. Transversaal thema milieu
De beoordeling van dit criterium moet gezien worden in het licht van wat er gepland is op het vlak van milieu en of dit consequent uitgevoerd werd.
Kernvragen:
6.1 In welke mate werden de milieu-gerelateerde maatregelen uitgevoerd zoals gepland?
6.2 In hoeverre hebben deze maatregelen het gewenste effect?
7. Impact: de mate waarin de interventie significante positieve of negatieve, beoogde of onbedoelde effecten op hoger niveau heeft gegenereerd of naar verwachting zal opleveren
Impact behandelt de uiteindelijke significante en potentieel transformerende effecten van de interventie. Het doel is om de effecten van de interventie te identificeren die op langere termijn of breder van omvang zijn dan de effecten die al onder het effectiviteitscriterium vallen. Naast de onmiddellijke resultaten tracht dit criterium de indirecte, secundaire en potentiële gevolgen van de interventie vast te leggen. Het doet dit door de holistische en blijvende veranderingen in systemen of normen te onderzoeken, en mogelijke effecten op het welzijn van mensen, mensenrechten, gendergelijkheid en het milieu.
Kernvragen:
7.1 In hoeverre heeft de interventie geleid tot of zal het waarschijnlijk leiden tot blijvende veranderingen in systemen, normen, het welzijn van mensen, mensenrechten, gendergelijkheid of het milieu?
8. Kritische Successen en Verbeterpunten
Van de evaluatie wordt ook verwacht dat ze de belangrijkste succesgebieden en verbeterpunten identificeert, evenals de factoren die hebben bijgedragen tot deze successen of, het behalen van resultaten hebben belemmerd of afgeremd.
Daarom moeten naast de hierboven genoemde kernvragen ook volgende vragen transversaal meegenomen worden bij de beoordeling van elk van de bovenstaande criteria:
8.1 Welke factoren waren cruciaal voor het behalen van de resultaten?
8.2 Welke factoren belemmerden het behalen van de vooropgestelde resultaten?
2.4. Methodologie en verwachtte producten
Evidence verzameld in het kader van deze evaluatie moet afkomstig zijn van zowel secundaire bronnen (programmadocument, jaarverslagen, studies in opdracht van het programma enz.) als primaire bronnen (interviews, focusgroepen, veldobservaties…). De evaluatie zal daarom een combinatie van deskstudie en veldstudie omvatten. De deskstudie (of inceptiefase) zal door de consultant worden gebruikt voor het uitwerken van een gedetailleerde methodologie, planning en instrumenten voor de gegevensverzameling. Bij de evaluatie moeten de belangrijkste partners en begunstigden op verschillende niveaus geraadpleegd worden. Het gebruik van innovatieve methoden voor gegevensverzameling en raadpleging van diverse stakeholders, waaronder het gebruik van “remote data collection methods” kan vallen, wordt aangemoedigd.
Volgende fases, activiteiten en producten zijn voorzien:
1. Inceptiefase
De inceptiefase omvat een documentstudie en interviews en overleg met VVOB-medewerkers en is gericht op de ontwikkeling en validatie van een gedetailleerde evaluatiemethodologie (met name, evaluatiematrix, programma voor veldstudie en instrumenten voor gegevensverzameling).
Activiteiten/Taken:
- Studie van relevante documenten die door VVOB zullen worden aangeleverd zoals: Programmadocument, Jaarverslagen 2017-2020 (d.w.z. Performantiescores, Indicator Progress Tables, Lessons Learned), Operationele planning incl. Capaciteitsontwikkelingstrajecten voor 2017-2021, programma-outputs en materialen (handleidingen, richtlijnen ...), nationale onderwijs strategieën, beleidsdocumenten en/of plannen etc.
- Face-to-face of virtuele interviews met programmamedewerkers van VVOB Suriname en het hoofdkantoor om een beter begrip te krijgen van de Theory of Change, programma-aanpak (inclusief aanpak voor capaciteitsontwikkeling), behaalde resultaten, uitdagingen van het programma etc.
- Identificeren van doelgroepen voor gegevensverzameling en opmaak van een gedetailleerd programma voor de veldstudie in overleg met VVOB Suriname. Gegevensverzameling moet betrekking hebben op doelgroepen op verschillende niveaus: strategische partners (MinOWC), operationele partners (LOBO, CENASU, ODB), (startende) leerkrachten, mentoren, schoolleiders en een aantal schoolbezoeken ter plaatse voor een beter begrip van de context.
- Ontwikkelen van checklists, leidraad of gids voor interviews, focusgroepen en/of observaties.
- Presentatie van de producten van de inceptiefase (zie hieronder) aan het VVOB Suriname Team in de vorm van een workshop (+ delen van producten met medewerkers van het hoofdkantoor). Alternatief: presentatie van producten aan VVOB Suriname en de medewerkers van het hoofdkantoor via videoconferentie.
- Aanpassen van de producten op basis van input van de presentatieworkshop en/of schriftelijke feedback van VVOB Suriname en de medewerkers van het hoofdkantoor.
Producten:
1. Narratieve beschrijving en schematische voorstelling van de Theory of Change van het programma2
2. Sterkte/Zwakte analyse per evaluatiecriteria op basis van de documentstudie en initiële interviews met VVOB medewerkers
3. Evaluatiematrix: gedetailleerde evaluatievragen voor elk evaluatiecriterium en gerelateerde kernvragen zoals gespecificeerd in hoofdstuk 2.3 (zie onderstaande xxxxxxxx)
4. Gedetailleerd programma voor de veldstudie: datum en plaats van veldbezoeken, wie wordt geïnterviewd, wat zal worden waargenomen enz.
5. Instrumenten voor gegevensverzameling: interview, focusgroep en/of observatiegidsen of checklists voor elke doelgroep
2 Het Programmadocument bevat reeds een generieke Theory of Change. De ToC die uitgewerkt moet worden als deel van de inceptiefase moet gericht zijn op de specifieke programmadoelstelling en resultaten, doelgroepen en implementatieaanpak.
Sjabloon Evaluatiematrix:
Zoals gedefinieerd in de referentietermen | Te ontwikkelen door de evaluator als deel van de inceptiefase | |||
Criterium & interpretatie | Kernvragen | Evaluatievragen | Bron (wie of wat) | Data Collectie Methode |
1. Efficiëntie | 1.1 / 1.2 / 8.1 / 8.2 | |||
2. Effectiviteit | 2.1 / 2.2 / 8.1 / 8.2 | |||
3. Relevantie | 3.1 / 3.2 / 8.1 / 8.2 | |||
4. Potentiële Duurzaamheid | 4.1 / 4.2 / 4.3 / 4.4 / 4.5 8.1 / 8.2 | |||
5. Gender & Gelijkheid | 5.1 / 5.2 / 8.1 / 8.2 | |||
6. Milieu | 6.1 / 6.2 / 8.1 / 8.2 | |||
7. Impact | 7.1 / 8.1 / 8.2 | |||
2. Veldstudie
Activiteiten/Taken:
- Briefing met VVOB Suriname team om de definitieve/aangepaste producten van de inceptiefase te overlopen, in het bijzonder de instrumenten voor gegevensverzameling en het programma voor de veldstudie, alsook de praktische regelingen voor de veldstudie.
- Veldbezoeken: interviews, focusgroepen en/of observaties met verschillende doelgroepen.
- Debriefing met VVOB Suriname team voor terugkoppeling van eerste indrukken en inzichten inzake bevindingen, belangrijke succesgebieden en/of verbeterpunten.
Voor de veldstudie moet een 10-tal werkdagen voorzien worden.
Producten:
6. Presentatie (PowerPoint) van de debriefing meeting
3. Rapportering en Validatie
Activiteiten/Taken:
- Gegevensanalyse, inclusief triangulatie van primaire gegevens met secundaire bronnen en opmaak van voorlopig rapport.
- Voorlopig rapport wordt gedeeld met VVOB Suriname en het hoofdkantoor.
- Presentatie en bespreking van bevindingen en conclusies en validatie en/of co-creatie van aanbevelingen met medewerkers van VVOB Suriname en een vertegenwoordiging van strategische en/of operationele partners van het programma in de vorm van een workshop (+ optie voor het hoofdkantoor om hieraan deel te nemen via videoconferentie). Alternatief: presentatie en bespreking met medewerkers van VVOB Suriname, programmapartners en het hoofdkantoor via videoconferentie.
- Opmaak finaal rapport op basis van input van de validatieworkshop en de schriftelijke feedback van het VVOB Suriname team en het hoofdkantoor.
Producten:
7. Voorlopig rapport op basis van een VVOB sjabloon
8. Finaal rapport op basis van een VVOB sjabloon
Inhoudstafel van het Evaluatierapport dat opgemaakt moet worden op basis van een sjabloon dat door VVOB aangeleverd wordt:
1. Samenvatting (in het Engels en in het Nederlands) - bruikbaar als een stand-alone document van xxx. 3 pagina’s
2. Achtergrond bij het programma
- Programmacontext
- Samenvatting van het programma
- Theory of Change
3. Achtergrond bij de evaluatie
- Doelstellingen van de evaluatie
- Evaluatiemethodologie
- Beperkingen en uitdagingen
4. Bevindingen
- Efficiëntie
- Effectiviteit
- Relevantie
- Potentiële Duurzaamheid
- Gender & Gelijkheid
- Milieu
- Impact
5. Analyse
- Belangrijkste succesgebieden
- Kritische verbeterpunten
6. Conclusies
7. Aanbevelingen
8. Bijlagen
- Programma Logisch Kader
- Evaluatiematrix
- Programma van de veldstudie
- Geïnterviewde personen
- Geraadpleegde documenten, rapporten, data
- Overzicht instrumenten voor gegevensverzameling
Maximum 35 pagina’s (uitgebreide samenvatting en bijlagen niet inbegrepen)
2.5. Tijdslijn van belangrijkste activiteiten en producten
De opdracht zal naar verwachting starten in november/december 2020 en het finaal rapport dient voor eind juni 2021 opgeleverd te worden. Tijdgebonden activiteiten en producten zullen worden opgenomen in het contract dat bij het winnende voorstel aan de consultant zal worden aangeboden. Het indicatief tijdschema is als volgt:
Activiteiten & Producten | 2020 | 2021 | ||||||||
N | D | J | F | M | A | M | J | J | A | |
1. Kick-off en overhandiging documentatie | X | X | X | |||||||
2. Deskstudie incl. interviews met VVOB Suriname en hoofdkantoor | X | X | X | |||||||
3. Presentatie producten inceptiefase (ToC, S/Z analyse, evaluatiematrix, programma veldstudie, datacollectie instrumenten) + finaliseren | X | X | ||||||||
4. Veldstudie (incl. briefing & debriefing) | X | |||||||||
5. Opmaak & indiening voorlopig rapport | X | X | ||||||||
6. Validatie workshop voorlopig rapport | X | |||||||||
7. Feedback van VVOB op voorlopig rapport | X | X | ||||||||
8. Indiening finaal rapport | X | |||||||||
9. Goedkeuring finaal rapport | X | |||||||||
Voor de uitvoering van de opdracht wordt een evaluatiedeskundige beoogd met grondige kennis van de onderwijssector en bewezen ervaring in of kennis van Suriname.
Indien de evaluatiedeskundige beperkte ervaring heeft met Suriname, kan hij/zij overwegen om een lokale deskundige in te schakelen om met hem/haar samen te werken als "co-evaluator". Lokale evaluatiedeskundigen kunnen er ook voor kiezen om één of meer co-evaluatoren/assistenten in hun voorstel op te nemen.
Indien een team wordt voorgesteld, moet er een Lead Evaluator worden aangesteld. Houd er rekening mee dat internationale vluchten alleen kunnen worden gedekt voor de Lead Evaluator (zie ook het indieningsformulier voor meer informatie over het financieel voorstel).
De voorgestelde consultant of het team van consultants moet aan de volgende vereisten voldoen:
Essentiële vereisten voor de evaluatiedeskundige of de Lead Evaluator in het geval een team wordt voorgesteld:
- Minstens 7 jaar ervaring met de evaluatie van internationale ontwikkelings-/donorgedreven projecten, zowel tussentijdse als eindevaluaties
- Teamleader van minimaal 3 evaluaties of andere relevante studies in de afgelopen 5 jaar, bij voorkeur in Suriname
- Ervaring met de evaluatie van interventies voor capaciteitsontwikkeling in de onderwijssector in het Zuiden
- Uitstekende schriftelijke en gesproken beheersing van het Nederlands en goede kennis van het Engels
Vereisten waaraan ten minste één evaluator/teamlid moet voldoen:
- Bewezen kennis van en inzicht in aspecten van capaciteitsontwikkeling binnen de onderwijssector van Suriname
- Ervaring met overheidsinstellingen/instanties in de onderwijssector in Suriname
Het financieel voorstel moet alle mogelijke kosten dekken die verband houden met de levering van de diensten, met uitzondering van:
- Reiskosten in Suriname nodig voor het uitvoeren van de overeengekomen veldstudie (behalve voor de internationale vluchten waarvoor wel een kostenraming in het financiële voorstel moet worden opgenomen)
- Kosten nodig voor het organiseren en houden van vergaderingen, interviews etc. met belanghebbenden en respondenten (bv. huur van vergaderlocatie, eventuele dagvergoeding en reiskosten van respondenten).
Zie ook het Indieningsformulier voor details over het financiële voorstel.
De opdracht wordt opengesteld voor consultants:
- die toestemming hebben om in Suriname te werken
- die voldoen aan de vereiste ervaring en expertise zoals hoger gespecificeerd;
- die voldoen aan alle administratieve vereisten en wettelijke verplichtingen zoals reisdocumenten, visa, fiscale en sociale verplichtingen, werkvergunningen etc. nodig voor het uitvoeren van de opdracht zoals beschreven in deze referentietermen.
Uitsluitingscriteria:
Gezien het een externe evaluatie betreft, waarbij het onafhankelijkheidsprincipe gegarandeerd moet worden, mogen leden van het voorgestelde team niet in dienst zijn geweest bij VVOB in 2016 of later. Ook eerstegraads familieleden (ouder, broer of zus of kind) van VVOB werknemers worden uitgesloten van deze oproep.
Dienstverleners die voor VVOB zijn ingeschakeld bij de formulering of bij de uitvoering van het PROGRESS-LBO programma, of die contractuele relaties hebben met één van de operationele partners van het programma, zijn eveneens uitgesloten voor deze oproep.
Onderaanbesteding is niet toegestaan, behalve voor contracten tussen de inschrijver en de individuele (lokale) consultants voor wie het CV een intrinsiek onderdeel is van het voorstel.
VVOB nodigt consultants die voldoen aan de toelatingscriteria uit om een voorstel in te dienen met behulp van het bijgevoegde indieningsformulier. Andere formulieren worden niet aanvaard.
Andere documenten die ingediend moeten worden zoals ook aangegeven in het indieningsformulier:
- Bedrijfsprofiel (indien van toepassing)
- CV van voorgestelde consultant(s)
- Rapport van eerder relevant werk (optioneel)
Uiterste indieningsdatum: 6 september, 23:00 Belgische Tijd (CEST/UTC+2)
Voorstellen moeten per mail gestuurd worden naar: Xxxxx.Xxxxxxxx@xxxx.xxx en xxxxxxxx.xxxxx@xxxx.xxx
3.3. Gunningscriteria en procedure
Voorstellen die voldoen aan de toegangscriteria en inschrijvingsvereisten zullen geëvalueerd worden op volgende criteria:
Technisch deel:
1. Kwalificaties van consultants op basis van eerder werk, CV’s, illustratief rapport van eerder relevant werk (maximaal 50 punten)
• Bewezen ervaring met evaluatie, onderwijssector, interventies voor capaciteitsontwikkeling
• Bewezen ervaring met en kennis van Suriname
• Rapportage- en communicatieve vaardigheden
2. De motivatie van consultants die hun geschiktheid en sterke punten om de opdracht uit te voeren volgens de beschreven methodologie benadrukken (maximaal 20 punten)
Alleen voorstellen die ten minste 70% hebben op het technische deel (d.w.z. minimaal 49 punten), worden weerhouden voor de evaluatie van het financiële deel.
Financieel voorstel:
3. Prijs (maximum 30 punten): berekend als: 30 x (prijs voorstel met laagste prijs / prijs van dit voorstel)
VVOB zal een stuurgroep instellen om de ontvangen voorstellen te evalueren en te rangschikken op basis van de bovenstaande criteria. Indien nodig of wenselijk geacht, kan VVOB besluiten het voorstel in één of meer rondes verder te onderhandelen met één of meer inschrijvers. Deze onderhandelingen kunnen leiden tot een aangepast voorstel van de consultant en latere wijzigingen in de evaluatie en rangschikking van de voorstellen door de stuurgroep.
Alle gekwalificeerde inschrijvers worden op de hoogte gebracht van de uiteindelijke beslissing. De consultant met het winnende voorstel krijgt een contract aangeboden met standaard VVOB voorwaarden.
VVOB behoudt zich het recht voor om de referentietermen opnieuw te adverteren indien er geen geschikt voorstel werd ontvangen.
Vragen met betrekking tot deze oproep kunnen enkel per email gestuurd worden naar Xxxxx.Xxxxxxxx@xxxx.xxx en xxxxxxxx.xxxxx@xxxx.xxx en dit uiterlijk tot vrijdag 21 augustus 2020.
Referentietermen Eindevaluatie van het DGD programma 2017-2021 in Suriname 14/14