Logiske modeller til evaluering og strukturering af aftaler og kontrakter

Logiske modeller til evaluering og strukturering af aftaler og kontrakter

Xxxxx Xxxxxxx

DES konference 13. september 2008

Præsentation

Erfaringer:

◼ Xxxxxx rådgiver – planlægning og evaluering

◼ Konsulent ude og hjemme i 11 år

◼ Evalueringer vedr. skole/uddannelse, arbejdsmarked, social, sundhed, aftalestyring, udviklingsbistand, boligsocial, integration, informationskampagner

◼ Opsætning af monitoreringssystemer ifm. aftale/kontraktstyring og performance management

◼ LFA (modelværktøj): undervisning i og udarbejdelse af utallige LFA

◼ ”Evaluering som ledelsesredskab” Børsens Forlag

Dagsorden og arbejdsform

1. Introduktion (5)

2. Begrebsdefinitioner (5)

3. LFA og aftaler/kontrakter (20)

4. Øvelse med deltagercase (30)

5. Plenumdebat – styrker og svagheder (10)

6. Hvad vil du bruge når du kommer hjem? (5)

Oplevede problemer med aftaler

Begrebs-definitioner

Evaluering

En systematisk tilbageskuende vurdering af drifts- og udviklingsaktiviteters gennemførsel og resultaterne deraf. Vurderingen tiltænkes at spille en rolle i den fremtidige praksis. (Inspireret af Xxxxx Xxxxxx)

Monitorering (løbende selvevaluering)

Monitorering er en løbende og systematisk dataindsamling angående specifikke indikatorer, som giver ledelse og andre nøgleinteressenter et indblik i en indsats fremdrift og resultater i forhold til opsatte mål og brug af ressourcer. (OECD, DAC)

M & E

M	E
Løbende	Punktvis (før, midtvejs, slut, efter)
Intern	Primært ekstern
Primært input, aktivitet og output	Primært outcome og effekt
Mest kontrol og dokumentation	Mest dokumentation og læring
M – en forudsætning for god E

Formål med både M & E

At forbedre den eksisterende praksis

Tre delmål, der alle enkeltvis eller samlet kan lede til formålet:

1. Kontrol

2. Dokumentation

3. Læring

Prioritering

◼ Alle formål er relevante, så hvor ligger vi kræfterne?

◼ Det bestemmes af

◼ tradition,

◼ politik,

◼ interne behov,

◼ eksterne krav og

◼ evalueringskapaciteten i organisationen.

Hvad er LFA?

Bidrager til

Succeskriterier	Evalueringsmetoder	Antagelser
Effekt (development obj.):
Outcome (immediate obj.):	K
Umiddelbare resultater (outputs): Ansvarlig	A U S
Aktiviteter: for	A L I T E
Ressourcer (input):	T

Mål

◼ 1 Development objective (effekt) – max 1

◼ Immediate objective (outcome) – max 3

◼ Alternativ 1: Mission, vision, mål

◼ Alternativ 2:Langsigtede og kortsigtede mål

◼ Fx: Styrket projektledelse i de af styrelsen støttede pulje-projekter

Output, aktiviteter og inputs (mekanismen)

◼ Outputs: umiddelbare resultater (fx øget viden om projektledelse blandt projektledere)

◼ Aktiviteter: Den egentlige handling, der skal til for at opnå outputs (fx træning af projektlederne i rapportering eller i procesledelse)

◼ Input: Ressourcer (penge, materialer og tid)

Succeskriterier (indikatorer)

◼ “Kvantitative eller kvalitative faktorer eller variabler, der giver en simpel men troværdig måde at måle et resultat på, der reflekterer forandringer relateret til en intervention eller der hjælper med at vurdere en aktørs performance.” (DAC)

SMART

Mål og succeskriterier skal samlet set være SMARTe:

◼ Specifikke – Er du præcis om hvad du ønsker at opnå?

◼ Målbare – Er de kvantificerbare?

◼ Attraktive – Mener nøgleinteressenterne at de er attraktive?

◼ Realistiske – Xxxxxxx mål og ressourcer overens?

◼ Tidsbundne – Er der start og især slutdato på?

Eksempel på SMARTe mål

Mål	Succeskriterier	Tid
Integration af etniske minoritets- kvinder på arbejds- markedet	a. 100 kvinder er i fuld beskæftigelse (ordinære jobs)	Inden 31.12.08
	b. 50 kvinder er under uddannelse	Inden 31.12.08
	c. 20 % af deprojektdeltagere, som hverken er i beskæftigelse eller under uddannelse, giver udtryk for at de er mere mentalt klar til at kvalificere sig til et job, end de var før projektet Må bruges med rette kildehenvisning: Xxxxx	Xxxxx 31.12.08

Means of Verification

◼ = M&E redskaber

◼ Give valid data/information

◼ Så billigt som mulig – brug eksisterende data så ofte som muligt

Antagelser (hypoteser og kontekst)

◼ Eksterne ift. indsatsen – konteksten fx konjunkturudviklingen ift. integration på arbejdsmarkedet

◼ Relaterede termer: Risici, hypoteser og forudsætninger

◼ Kun de kritiske antagelser

◼ Vi tror de holder men det vil have store konsekvenser for projektet hvis de ikke gør

◼ Dræber antagelser 🡪 nye aktiviterter eller drop projektet

	Succeskriterier	Evalueringsmetoder	Antagelser
Effekt: Færre senkomplikationer i forhold til type 2 diabetes	A. Udgifter til hjælpemidler daler 20% frem til år 2012 i ældreplejen (pr. borger). B. Antallet af borgere med fodsår er faldet med 25 % inden 2012	A. Kommunal statistik B. Do.	Antal diabetikere i stiger moderat, og borgerne er modtagelige for KRAM- budskaberne
Outcome: 1. Medarbejderne taler med borgerne om kost og motion 2. Flere borgere med (nykonstateret) type to diabetes er opsporet	1. Alle medarbejderne taler med alle ”deres” borgere om kost, motion og, når det er relevant, om type 2 diabetes - senest fra januar 2009 2. Vi opsporer 25% flere borgere med type to diabetes i 2008 – målt i forhold til det antallet i 2007	1. FG-interview og spørge- skemaundersøgelse (medarbejderne) og fokusgrupper med udvalgte borgere 2. Data indsamles i 2007 og 2008 af gruppeledere	2. Praktiserende læger er villige til at samarbejde med personalet om diabetestests
Output: 1. Medarbejdere og lederne har øget deres viden om type to diabetes og forebyggelse 2. Sundere mad i kantinen på centrene er afprøvet 3…	1. Mindst 90% svarer 90% rigtigt på afsluttende videnstest i april 2008 2. Fire kantiner har i mindst tre måneder afprøvet og evalueret sundere kost ordning før 01.03.08	1. Analyse af videnstest 2. Samtale med køkkenledere	Medarbejdere der ofte selv har KRAM- relaterede problemer kan motiveres til at formidle KRAM- budskaber
Aktiviteter: 1.1 Opstarts-workshop for medarbejdere og ledere 1.2. Workshops for projekt- ambassadører 1.3. Videnstests 1.4. Vidensspil 2.1. Kursus for kantinepersonale	1.1. 200 deltager august 2007 1.2. Tolv workshops er afholdt april 2008 1.3. To videnstests er udført (2007 og medio 2008) 1.4. Vidensspil bruges af alle grupper mindst tre gange i 2007/2008 2.1. Alle deltagere i kurset inden udgangen af 2007	1. Deltagerregister 2. Deltagerregister 3. Analyse af videnstests 4. Tilbagemelding fra projekt-ambassadører til projektleder 2. Deltagerregister	Der gives den fornødne tid af ledelsen til at udføre aktiviteterne – også hvis det ”koster på driften” i mindre omfang
Ressourcer: ▪1,2 mill. over to år til ekstern facilitator ▪1.500 medarbejdertimer ▪200 ledertimer ▪600 projektledertimer	N/A	▪Faktura ▪Timeregistrering af gruppeledere der bearbejdes af projektleder	Xxxxx xxxxxxxxx gives ikke forrang for dette af ledelsen/ kommunalbestyrelsen

LFA og monitorering af aftaler og kontrakter?

Den typiske aftale

◼ Étårig aftale mellem virksomhed og kommunalbestyrelse

◼ Mål (udviklings- og/eller driftsmål; politisk satte og virksomhedens egne mål)

◼ Ydelseskatalog (drift)

◼ Budget

◼ Standard tekst om ansvar og råderum og juridisk status m.m.

Cyklus i aftalesystemet

2. Implementering

1. Aftale inkl. mål

3. Analyse af målopnåelse

4. Refleksion

5. Ny prioritering

/ fokusering

Svagheder

◼ Ukonkrete mål

◼ Ingen succeskriterier – eller manglende logisk sammenhæng med mål

◼ Rituelle – bruges ikke eller kun lidt

◼ Bruges til at straffe med

◼ Evalueres enten ikke eller oftest usystematisk ”en finger i vinden” – M&E metoderne er ofte svage

(mine personlige erfaringer: i KREVI’s undersøgelse vurderer kommunerne selv i 93 % af tilfældene at man følger systematisk op – dog fortæller det ikke noget om hvordan monitoreringen foretages. KREVIs undersøgelse viser også at borgernes opfattelser ikke spiller en væsentlig rolle i opfølgningen på kontrakterne)

Muligheder

◼ Gør dem vedkomne – en inddragende proces

◼ Gør dem operationelle – link med budget og aktiviteter (LFA)

◼ Gør dem strategiske (ikke omhandle alt men det der skal udvikles - prioriter)

◼ Gør dem evaluerbare – klare mål, succeskriterier og antagelser + programteori (LFA)

◼ Gør dem lærende – fokuser evalueringen på metoder og mål (evaluer ikke blot aktivitetsniveauet (tendens i NPM i dag = kontrol før læring og udviklng) men mest på målopnåelse og det som virker/ikke virker)

Må bruges med rette kild

ehenvisning:

Xxxxx

Et eksempel

		Mål	Succeskriterietekst	Eva- me- tode	Opnået	Lys	Kommentarer
Politiske mål
Reduceret sygefravær	Målet er nået, når sygefraværet er under 8,5 %, næsten nået, når det er mellem 8,6 % og 10 %, og ikke nået, hvis det er over 10 %	Stat. udtræk	9 %		Vi nåede ikke målet, fordi vi fik to langtidssyge
Virksomhedens udviklingsmål
Beboerne oplever, at de mødes af personalet med forståelse og respekt, og at de har indflydelse på deres hverdag	Målet er nået, hvis brugerunder- søgelsen viser, at 80 % af beboerne svarer positivt på disse områder, næsten nået ved 75 % og ikke nået ved 74 % og derunder	Spg.- Skema	85 %		Vi har arbejdet hårdt på dette. Samråd med pårørenderådet har givet mange gode ideer. Det kan anbefales at planlægge og evaluere løbende med rådet. De bedst fungerende ældre er også løbende blevet spurgt om, hvad de har ønsket, at vi ændrer på.
						Virksomhedens driftsmål
Borgeren hjælpes eller støttes til at bevare eller generhverve psykisk velbefindende	Målet er nået, når 90 % af alle beboere, der har brug for psykisk støtte, modtager denne, næsten nået ved 80-89 % og ikke nået under 80 %	Faglig vurde- ring	70 %		Målet blev urealistisk, da vores psykolog fandt andet arbejde. Dog har plejepersonalet gjort en stor indsats.

LFA bliver den detaljerede virksomhedsplan

◼ Politikeres og egne mål identificeres

◼ Aftalen udarbejdes

◼ Virksomhedsplan i LFA format udarbejdes (delvist sideløbende med aftalen) = beskrivelse af hvordan målene fra aftalen nås etc.

Læring og proces

Registrering af målopnåelse giver ikke i sig selv udvikling! Men det er et

godt udgangspunkt for refleksion:

◼ Først drøfter man resultatet internt i organisationen, dernæst med forvaltningsledelse/andre ledere/lignende organisationer

◼ Leder og medarbejdere i plejecentret kan se, hvorvidt målene nås, og

drøfte hvorfor de ikke nås og hvordan det kan gøres bedre.

◼ Lederen kan bruge skemaet til at vurdere, om de aftalte mål er realistiske (hvis de ikke nås) eller måske for uambitiøse (hvis de nås alt for let). Derved kan det også bruges som udgangspunkt for at sætte nye mål i den næste aftaleperiode.

◼ Forvaltning og politikere kan bruge skemaet til at få et hurtigt overblik over, hvordan det står til med drift og udvikling i kommunens virksomheder.

◼ Skemaerne kan være afsæt til i ledergruppen at diskutere god praksis: ”når I når jeres mål og vi ikke gøre, hvad kan vi så metodisk lærere af jer?”

ØVELSE

	Succeskriterier	Evalueringsmetoder	Antagelser
Effekt: 1.
Outcome: 1.
Umiddelbare resultater (output): 1.
Aktiviteter: 1.

Øvelse Mål	Succeskriterietekst	Eva- me- tode	Opnået	Lys	Kommentarer
Mål 1
Mål 2
Mål 3

Styrker og svagheder

◼Svaghed: Hvad der ellers sker i organisationen, som har indflydelse på dens arbejde (det ikke målsatte)

◼Svaghed: Langsigtede effekter

◼…