NordicMetrics

NordicMetrics

Samarbejdsaftale vedr. udvikling af redskab til måling af non-kognitive færdigheder, projektoplæg til samarbejde med København og Aarhus kommune

1. Parterne

Aftale mellem hhv. København og Aarhus kommune (kommunerne) og NordicMetrics/Epinion (NM)

2. Aktiviteternes omfang

Ydelsens karakter og omfang er beskrevet i vedhæftede projektbeskrivelse (se Bilag 1).

3. Tidsplan

NM forestår projektledelsen, herunder at sikre at projektet bliver gennemført som beskrevet ved udgangen af august 2017, med mindre andet aftales mellem projektets parter.

4. Projektorganisation

Den overordnede styring af projektet varetages af NM i samspil med kommunerne (herunder også de deltagende skoler). Der afholdes løbende møder med ordregiver efter behov. Projekt- leder på opgaven er NM ved Xxxxx Xxxxxxx.

5. Finansiering

Projektet finansieres ved at de tre parter (NM samt Aarhus og Københavns kommuner) bidra- ger med hver 450.000 kroner, eksklusiv moms, inklusiv udlæg. Betalingen falder i to rater.

6. Rettigheder og adgang til system og data

NM erhverver alle IP-rettigheder til items, skalaer og systemet, mens København og Århus kommune er dataejere. Der gives gensidige tidsubegrænsede ikke-eksklusive brugsrettighe- der, jf bilag 2.

7. Tavshedspligt

Parterne og deres personale skal iagttage ubetinget tavshed med hensyn til alle forhold vedrø- rende denne aftale.

8. Aftalens varighed

Nærværende aftale træder i kraft ved de tre parters underskrift og er i princippet tidsubegrænser, jf. dog bilag 2.

9. Almindelige bestemmelser

Enhver ændring af aftalen skal ske skriftligt og underskrives af alle parter. d. 2017 d. 2017 d. 2017

Aarhus Kommune Københavns kommune NordicMetrics/Epinion

Bilag 1: Projektbeskrivelse vedr ”UiL - Udvikling i livsfærdigheder”,

1. Indledning

Skolesystemer i så godt som alle lande har til opgave at sikre, at eleverne udvikler faglige kundskaber og færdigheder (kognitive færdigheder). I visse lande – især de nordiske - er der yderligere højere mål om livs- duelighed, nemlig at eleverne også udvikler non-kognitive livsfærdigheder, såsom motivation, selvtillid, vedholdenhed og samarbejdsevner, der på hver sin vis hjælper den enkelte med at øge muligheden for at leve et godt liv til nytte for samfundet og til glæde for sig selv. Herunder er det også evner, som internatio- nale videnskabelige undersøgelser har gjort særligt opmærksom på, har mindst lige så prædiktiv kraft for livssucces som elevers kognitive færdigheder/evner (fx intelligens og faglige eksamensresultater). Vigtigst af alt tyder samme forskning også på, at non-kognitive færdigheder er påvirkelige gennem pædagogisk indsats og at det derfor også kan være en god økonomisk investering at sætte pædagogisk fokus på udvik- lingen af disse. Som et led i at kvalificere det pædagogiske fokus og arbejde med de non-kognitive færdig- heder, har NordicMetrics/Epinion derfor indgået et samarbejde med København og Aarhus kommune om at udvikle et redskab til at måle elevernes non-kognitive færdigheder. Vi kalder det ”UiL - Udvikling i Livs- færdigheder” med underteksten ”et redskab til datainformering i lærerens værktøjskasse”.

2. Det overordnede projekt

Projektets mål og indhold

Projektet går ud at udvikle og validere dansksprogede skalaer, som læreren kan bruge til at måle elevernes udvikling i forskellige livsfærdigheder. Livsfærdigheder defineres her som de non-kognitive færdigheder og egenskaber, der fremhæves direkte og indirekte i folkeskolens formålsparagraf. Skalaerne indgår som den psykometriske rygrad et system som administreres på den brugervenlige it-platform som NordicMetrics og Epinion også designer, hvor eleverne via spørgsmålsbatterier bliver scoret på de enkelte færdigheder, og hvor lærerne kan få visualiseret disse scores på forskellig vis. Både skalaer og it-platformen bliver undervejs i projektet testet og revideret gennem 3 runder med elevbesvarelser og gennem løbende brugerinddragel- se af udvalgte kontaktpersoner på skolerne, observationer og interviews ved dataindsamlingen, samt 2 udviklingsseminar/workshops. Målene er dermed som følger:

• Udvikling og validering af skalaer der scores med IRT-model (så vidt muligt en Raschskala), afprøve- de og designede specifikt til en dansk kulturel kontekst

• Design af et brugervenligt it-baseret system, der kan bruges til at følge, og på forskellige måder vi- sualisere, målinger af elevernes non-kognitive udvikling fra 4.-9. klasse

Da formålet er at lave et redskab, som lærerne finder det meningsfuldt at anvende ift. deres egen pædago- giske/didaktiske praksis, er det desuden et mål at relatere (igennem formidling og erfaringsopsamling) red- skabet til kommunernes/skolernes/lærernes sideløbende indsats på det non-kognitive område.

Den konkrete projektbeskrivelse

Nedenfor beskrives hvordan målene opfyldes over projektperioden, som løber fra ultimo august 2016 og frem til 1. september 2017.

I forlængelse af møder i foråret 2016 har vi i fællesskab afgrænset projektets deltagelse, så der i både hhv. København og Aarhus kommune deltager 4 pilotskoler, hvis lærere og elever bidrager med at afprøve ska- laerne og IT-systemet med henblik på anvendelse af målingerne i deres pædagogiske praksis. For at valide- re skalaerne efter videnskabelige standarder, er det aftalt at så vidt muligt samtlige elever i 4.-9. klasse på hver enkel pilotskole deltager i de i alt 3 besvarelser af samtlige 116 items (som udgangspunkt) på de i alt 17 skalaer. Hver runde består af 2 sæt spørgsmål: Sæt 1 omfatter 51 items og 10 evalueringsspørgsmål, sæt

2 omfatter 65 items. Hvert sæt tager erfaringsmæssigt i gennemsnit knap 15 minutter (fra ca. 25 minutter for eleverne i 4 klasse til knap minutter for eleverne i overbygningen).

På den enkelte skole er udpeget en kontaktperson, som har til opgave at videreformidle og koordinere pro- jektets aktiviteter i samarbejde med NM, herunder følge op på at aktiviteterne gennemføres på skolen, fx at hver klasse besvarer og løbende viderekommunikerer eventuelle fejl eller problemer ved indsamlingen. Kontaktpersonen deltager også i planlagte seminarer og møder.

Ved starten af udviklingsprojektet blev opgaver og præmisser formidlet til skolerne. Dette inkluderede, at:

1) Forvaltningen aftalte med skolelederne hvilke aktiviteter, der skulle foregå som en del af den almindelige undervisning/læreropgave. Forvaltningen sikrede ressourcer til skolen svarende til de 6 arbejdsdage, som den enkelte skoles kontaktperson forventes at bruge på projektrelaterede opgaver i løbet af skoleåret.

2) Kommunerne informerede skolerne om hvilke forventninger og potentialer parterne så for brugen af redskabet i fremtiden. NordicMetrics præsenterer løbende projektets resultater for forvaltninger og skoler, og evt. diskussionsoplæg for de politiske udvalg angående nogle overordnede overvejelser om brug af data i skolesammenhæng.

Sådan når vi målene – bemanding, aktiviteter, mål og tidsplan

Projekt indebærer en betydelig indsats fra mange sider, mht. såvel forskning, udvikling, formidling, organi- sering og it-udvikling. NordicMetrics/Epinion stiller derfor med følgende projektgruppe:

A. Xxxxx Xxxxxxxxx: Ansvarlig for skalaudvikling og tilpasning, psykometri, måling samt videnskabelig formidling og varetager kontakt til projektets internationale videnskabelige deltagere (Xxxxx er til daglig lektor i psykologi på SDU).

B. Xxxxx Xxxxxxx: Overordnet projektledelse, ansvarlig for udviklingsaktiviteter, design, koordinering, organisering og formidling. (Xxxxx er direktør for R&D i NordicMetrics & ekstern lektor, AU/DPU).

C. Xxxxxx Xxxx Xxxxxxxx: Organisering, analyse og projektansvar for organisering af it- systemudviklingen (Xxxxxx er direktør i både NordicMetrics & Epinion).

D. Xxxxx Xxxxxx Xxxxxx: Daglig projektledelse, varetager kontakt til skolerne, erfaringsopsamling, pædagogisk udvikling/sparring (Simon er pædagogisk projektkonsulent hos Nordic Metrics)

Bemandingens varetager løbende opgaver på forskellige delopgaver, som beskrives nedenfor. Disse delop- gaver indeholder korte beskrivelser af aktiviteter, delmål og milepæle, der korresponderer til den efterføl- gende tids- og budgetplan.

Delopgave 1: Udvikling, afprøvning og validering af skalaer: Denne delopgave har til op- gave at designe psykometriske skalaer til en dansk skolekontekst, der kan valideres ift. internationale, kvan- titative forsknings standarder. Under dette hører et omfattende forarbejde med oversættelser og pilotfor- søg (er allerede i gang i samarbejde med Epinion) og løbende afprøvninger og justeringer ift. målgruppen, som er elever i 4.- 9. klasse (se tidsplan). Dette element i projektet er afhængigt af, at så mange elever som muligt deltager i afprøvningerne. Delmål er:

- Undersøgelse af internationalt validerede skalaer, oversættelse til dansk sprog/kontekst, indleden- de test (foretaget)

- Itemafprøvning på deltagerskolerne, med efterfølgende justeringer af spørgsmål, endelig validering af skalaer (milepæl)

Delopgave 2: Udvikling og afprøvning af it-system: Denne delopgave har til opgave at skabe et brugervenligt it-system. Systemet skal både fungere som platform for indsamling af elevbesvarelser, som tilgår systemet via UNI-login, og på forskellige måder kunne visualisere elevens udvikling ift. livsfærdighe- der. Yderligere vil it-systemet blive designet, så at der i fremtiden ville kunne tilføjes flere skalaer hertil

(både non-kognitive og kognitive test), såfremt det ønskes. Dette element i projektet beror således på at kontaktpersonerne/lærerne giver feedback så tidligt som muligt i processen, efter at 1. version er klar, lige- som de løbende bedes logge ind og teste systemet. En stor arbejdsopgave for NordicMetrics ved siden af de tekniske aspekter er således at komme ud på skolerne, både for at observere afprøvningssituationen, få feedback herpå, etablere klar kommunikation ift. lærernes afrapporteringer og fejlfinding, samt skabe en- gagement ift. at overholde afprøvnings-deadlines. Konkret består opgaven i at designe, hhv.:

1. Et rettigheds- og aktivitets-styringssystem hvor lærerne kan tildele opgaver (test/surveys) til ele- verne og administrator kan tildele rettigheder til at tilgå resultater

2. Et survey/test-system, hvor eleven kan besvare spørgsmålene

3. En databasestruktur, der kan lagre elevdata, item-data og responsoplysninger

4. Et beregningssystem, der kan omsætte responserne til skalascorer

5. Et rapporteringssystem til skolen, hvor der gives let fortolkeligt og meningsfuldt feedback (typisk til læreren) om resultatet vedr. klassen og den enkelte elevs besvarelser

6. En facilitet, så der let kan foretages dataudtræk til analysebrug

Hertil sammenkædes skalaerne. De enkelte elementer justeres undervejs. It-systemet forventes at være fuldt operationelt med validerede skalaer medio juni 2017 (jf. tidsplan) og når det er sat i drift, er projektets mål i denne fase nået. Herefter mangler kun overlevering og møde om samarbejde fremadrettet.

Delopgave 3: Seminarer og erfaringsopsamling: Denne delopgave består af afholdelsen af to seminarer pr. kommune, hhv. et startseminar og et midtvejsseminar. Hvert seminar anslået 3 timer og dagsorden aftales med kommunen. Det forudsættes at kommunens fire pilotskoler deltager (hvor mange lærere der har mulighed for at deltage pr. skole, er op til kommunen og skolerne at aftale). Ved afprøvning af systemet medbringer lærerne egne computere. Formålet med seminarene er at introducere lærerne til foreløbige resultater og den forskning der ligger til grund for at arbejde kvantitativt med non-kognitive fær- digheder, samt på baggrund af andre faglige oplæg (om it-systemets potentielle rolle i pædagogisk praksis, jf. fx dialogværktøjet i Københavns kommune), at diskutere potentialer og mulige udfordringer i arbejdet med det kommende dataredskab. Midtvejsseminariet forventes at blive et workshopseminar, hvor redska- bet introduceres og lærerne får ”hands-on” erfaring med at se på data fra lærernes egne klasser. Ved midt- vejsseminaret påregnes skalaer og it-systemer at være tilgængeligt for lærerne i en demoversion. Uden om seminarerne er tovholderen på projektet i jævnlig kontakt (besøg/support/erfaringsopsamling medio fe- bruar) med lærerne angående eventuelle spørgsmål og vidensbehov som kan samles til seminarerne og endeligt bruges til at kvalificere udarbejdelsen af et vejledningsmateriale. Delmål er som følger:

- Udarbejdelse af vejledningsmateriale, med særligt fokus på hvordan man opnår bedst muligt data- kvalitet

- Midtvejseminar m. workshops og “hands-on” erfaring med 1. version af systemet

Delopgave 4: Projektledelse, kommunikation og overordnede analyse: Denne delop- gave sørger for, at alle parter og aktiviteter i projektet er koordineret ift. tidsplan og mål, samt løbende at indarbejde eventuelle udvidelser, efter aftale mellem kommuner og NordicMetrics.

Delmål:

- Overlevering, med oplæg og analyse af fremtidige potentiale og udfordringer i at arbejde datain- formeret med non-kognitive færdigheder (projektafslutning).

Tidshorisonter for de forskellige opgaver og delmål, kan ses i det samlede tids-og budget overslag nedenfor:

Aktivitet	Projektperiode	Budget, kr.
DELOPGAVE 1: Udvikling, afprøvning og validering af skalaer (herunder kontinuerlig skolekontakt/besøg ifm. afprøvning /feedback)	September2016-marts 2017 Milepæl: Skalaerne testet, valideret og revideret medio januar 2017 Milepæl: Baseline etableret ultimo februar 2017	XXXX
DELOPGAVE 2: Udvikling og afprøvning af IT-system	Oktober 2016-juli, 2017	XXXX
DELOPGAVE 3: Seminarer og erfaringsopsamling 1 Startseminar pr. kommune (halv dag), 2 konsulenter fra Nordic Metrics deltager, forvaltningsmedarbejdere, lærere/ledere.) 1 Midtvejsseminar pr. kommune (halv dag), 2 konsulenter fra Nordic Metrics deltager, maks. 16 lærere/ledere (marts) Løbende erfaringsopsamling gennem dialog og support, samt erfarings- opsamling (ift. til ønsker om viden), samt udarbejdelse af vejledningsma- teriale.	Startseminar november 2016 Midtvejseminar ultimo marts, demoversion vises/afprøves på workshop	XXXX
DELOPGAVE 4: Projektledelse, kommunikation og analyser	September 2016-juli, 2017 Afslutning: ”Udvikling i Livsfærdig- heder” tages i brug med vejlednin- ger, samt minianalyse af potentia- ler og udfordringer, ultimo august 2017.	XXXX
SAMLET Udgift		XXXX

Finansiering

Ovenstående projektbeskrivelses budgetterede omkostninger dækkes af ved at Københavns Kommune, Aarhus Kommune samt Epinion/NordicMetrics hver bidrager med i alt XXXX kr. i projekt-perioden. I budget- tet forudsættes, at omkostningerne holdes på et minimum, hvorfor, at det forudsættes, at kommuner- ne/skolerne stiller lokaler, faciliteter (herunder god it-forsyning, lyd og gode præsentationsmuligheder) og evt. deltagerforplejning til rådighed ifm. workshops, at administration i forbindelse med tilmeldinger hertil mv. varetages af skolerne/kommunerne i samarbejde med NM, samt at kommunerne bidrager til at pilot- skolerne deltager aktivt (fx ved understregning af vigtighed samt rykkere til ubesvarede). Alle øvrige om- kostninger er omfattet af budgettet (herunder befordring, materialer, indledende kompetenceafdækning og anden forberedelse).

3. Mulighed for udvikling ud over indeværende projektperiode

Da både designet af og det pædagogisk arbejde med et redskab som ”Udvikling i Livsfærdigheder” er stort set ubetrådt grund i Danmark, er der en lang række aspekter af processen, som ikke lader sig forudsige. Der er en række ubekendte faktorer i den statistiske, teknologiske og formidlingsmæssige del, men det er især i den pædagogisk anvendelse (dvs. hvordan lærerne kan en mening med, og finde anvendelse/motiveres ved tanken om, at bruge det nye redskab) der er behov for kreativitet, nysgerrighed og nytænkning.

Da skolerne og NordicMetrics i forvejen skal arbejde tæt sammen ifm det igangværende projekt med at dele viden og erfaringer, ville det være naturligt at bygge videre herpå, med at udvikle indsatsen på det non-kognitive område, både på det korte og længere sigt.

Bilag 2: Om rettigheder til IP og data samt adgang til data

NordicMetrics/Epinion erhverver alle IP-rettigheder til items, skalaer og til systemet og er databehandlere for København og Aarhus kommuner, som er dataejere. Som partnere i projektet, hvor København og Aar- hus kommuner bidrager til udviklingen, er der også et fælles ejerskab til projektet. Dette indebærer tids- ubegrænsede ikke-eksklusive brugsrettigheder samt at der ikke skal erlægges anden betaling for at benyt- te systemet end at NordicMetrics/Epinion får dækket de udgifter, som de to kommuners brug af systemet medfører for NordicMetrics/Epinion. De markerede begreber er foldet ud i tekstboksen nedenfor.

Begrebsafklaring:

”Tidsubegrænsede ikke-eksklusive brugsrettigheder” betyder:

• Tidsubegrænsede betyder at der ikke er nogen udløbsdato på aftalen – den kan ikke ensidigt opsi- ges af Nordicmetrics eller den/dem som Nordicmetrics måtte vælge at overdrage systemets ret- tigheder til.

• Ikke-eksklusive betyder at NordicMetrics frit kan sælge brugsrettigheder til andre skoler, kommu- ner mv. der ikke er omfattet af denne aftale.

• Brugsrettigheder betyder, at det er rettigheder til brug af system og indhold og at disse rettighed ikke kan overdrages til tredjepart.

• Kommunerne ejer alle elevresponser og kan med en måneds varsel trække sig helt eller delvist ud af aftalen og få slettet henførbarheden til personer, skoler og kommune for så vidt angår alle data i databasen. De anonymiserede data indgår dog i den løbende kvalitetssikring af systemet og vil fortsat være en del af grundlaget for forskningsbaseret statistik (fx beregning af normer, skalaer og items egenskaber)

• Det er en selvfølgelig forudsætning for brugsretten, at der er et system i drift. Viser det sig mod forventning, at det – uanset årsag – ikke længere lader sig gøre at holde systemet i drift, er kom- munerne ikke berettiget til nogen form for kompensation el.lign.

”udgifter, som de to kommuners brug af systemet medfører” betyder:

Udgifter til lager- og IT-kapacitet samt abonnementer (fx forbrugsrelaterede betaling til programmer og licenser), som påføres NordicMetrics/Epinion som følge af kommunens anvendelse, skønnes til XXXX kr. pr. år for hver kommune. Afgift for brug af UNI-Login kommer herudover. Bliver der behov for direkte support aftales dette herudover (pris for konsulenttimer er ca. XXXX kr.).

Det står således klart, at kommunerne er ejere af alle lærer- og elevdata, men NordicMetrics/Epinion har samtidigt en interesse, i at den viden, der kommer ud af projektet, kan komme alle til gavn, og gives med denne aftale adgang til at kunne forske i og offentliggøre artikler om disse data. Det skal dog ske indenfor rammer, der aftales med kommunerne, og som kan godkendes af Datatilsynet.

Og da NordicMetrics/Epinion forventer, at der vil være interesse for at benytte UiL-systemet fra anden side (fx andre kommuner og uddannelsesinstitutioner) er det intentionen at sælge licenser til tredjepart på for- retningsmæssige vilkår.

Det aftales nærmere, hvordan kommunerne kan tilgå data, herunder hvordan systemet kan fremstå som integrerbart i forhold til andre kommunale systemer (fx læringsplatforme). Parterne forpligter sig på i videst muligt omfang at forberede UIL-systemet til integration/kobling til læringsplatformen. Ved udvikling af UiL- systemet fastlægges således indenfor denne aftales rammer ét standardiseret interface mellem UiL- systemet og kommunernes applikationer. Indenfor disse rammer, erhverver Københavns kommune og Aar- hus kommune med denne aftale ret til at tilgå systemets elevdata uden yderligere betaling. Bliver der be- hov for udvidelse af integrationen herudover eller behov for bistand til generering af særlige rapporter, formater o. lign. vil det bero på særskilt aftale mellem kommunen og NordicMetrics/Epinion.