Beretning til Statsrevisorerne om udviklingen af de nationale test

Januar 2010

Rigsrevisionen afgiver denne beretning til Statsrevisorerne i henhold til § 8, stk. 1, og § 17, stk. 2, i rigsrevisorloven, jf. lovbekendtgørelse nr. 3 af 7. januar 1997 som

ændret ved lov nr. 590 af 13. juni 2006.

Beretningen vedrører finanslovens § 20. Undervisningsministeriet. I undersøgelsesperioden har der været følgende ministre:

Xxxx Xxxxxx: november 2001 - februar 2005 Xxxxxx Xxxxxxx: februar 2005 -

I. Introduktion og resultater ‌

Projektets grundsten De nationale test blev introduceret politisk via regeringsgrundlaget fra 2005.

De nationale test blev indført med vedtagel- sen af lovforslag om ændring af lov om fol- keskolen, fremsat den

7. december 2005 (L 101).

1. Nationale test er en ny måde at teste folkeskoleelevers færdigheder på. Testsystemet skal fra 2010 være obligatorisk i en række fag – bl.a. dansk/læsning og matematik på for- skellige klassetrin. Testene gennemføres af eleverne over internettet og er adaptive, dvs. at de tilpasser sig den enkelte elevs niveau. Når en elev flere gange har afgivet rigtige svar, udløser testsystemet automatisk sværere testspørgsmål, mens forkerte svar udløser lette- re spørgsmål. Testsystemet beregner elektronisk den enkelte elevs testresultat. De natio- nale test bliver bl.a. et supplement til de internationale PISA-undersøgelser.

De 10 obligatoriske nationale test

• Dansk/læsning,

2., 4., 6. og 8. klasse

• Matematik, 3. og 6. klasse

• Engelsk, 7. klasse

• Fysik/kemi, 8. klasse

• Geografi, 8. klasse

• Biologi, 8. klasse.

Herudover er der 2 fri- villige test i dansk som andetsprog, 5. og 7. klasse.

2. Efter 2 udbudsrunder indgik Undervisningsministeriet den 30. juni 2006 kontrakt med en privat leverandør om at udvikle de nationale test. De første 3 obligatoriske nationale test blev lanceret efter planen den 1. maj 2007, men efterfølgende viste det sig, at testopgaver- ne ikke havde den fornødne kvalitet og spredning. Testresultaterne kunne derfor ikke som forudsat bruges til måling af elevernes færdigheder på landsplan. De resterende 7 obliga- toriske test, som skulle have været klar i april 2008, blev herefter udskudt. Siden har teste- ne ikke været anvendt som obligatoriske test. Når de 10 test tages i brug i foråret 2010, er de derfor forsinket henholdsvis 2 og 3 år.

3. Bevillingen til projektet er givet via Akt 191 1/6 2006 og er på 110,8 mio. kr.

4. Statsrevisorerne anmodede i februar 2009 om en undersøgelse af de nationale test med den begrundelse, at projektet har været mere problemfyldt og arbejdskrævende end forven- tet.

5. Undersøgelsens formål er at vurdere Undervisningsministeriets forberedelse og styring af projektet om de nationale test. Herunder vurderes, om det er realistisk, at de nationale test færdiggøres inden for rammerne af den nuværende tidsplan og budget samt med det love- de indhold. Undersøgelsen omfatter ikke leverandørens rolle i projektet.

6. Formålet er undersøgt ved at besvare følgende spørgsmål:

• Har Undervisningsministeriets forberedelse af projektet forud for kontraktindgåelse væ- ret fyldestgørende?

• Har Undervisningsministeriet risikostyret projektet i kontraktfasen i forhold til risici, der

kunne påvirke projektets indhold, tid og økonomi?

• Lever de nationale test op til kravene til indhold, tid og økonomi?

• Har Undervisningsministeriets oplysninger til Folketinget fra februar 2005 til udgangen af 2009 givet et korrekt billede af projektets status?

UNDERSØGELSENS RESULTATER

Efter flere års forsinkelse bliver de nationale test lanceret i februar 2010 med test- opgaver, som lever op til de forventninger, der blev stillet i lovforslaget.

Xxxxxx set har Undervisningsministeriets styring af projektet om de nationale test været god. Rigsrevisionen kan konstatere, at leverandøren gennem hele projektet ikke har kunnet levere som aftalt. Med en mere fyldestgørende forberedelse kunne ministeriet dog have skabt bedre rammer for projektets gennemførelse.

Undervisningsministeriet tog testene i brug i 2007. Senere viste de sig dog ikke at leve op til ministeriets kvalitetskrav. Siden har ministeriet prioriteret testenes kvalitet højt og involveret sig mere end forudsat i kvalitetssikringen af testopgaverne.

Projektet forventes at holde bevillingen på 110,8 mio. kr. fra Akt 191 1/6 2006.

Denne samlede vurdering er baseret på følgende:

Undervisningsministeriets forberedelse af projektet om de nationale test kunne have været mere fyldestgørende. Ministeriets fastsættelse af projektets økono- miske rammer hvilede på et usikkert grundlag, tidsplanen var meget stram, og ministeriet tilrettelagde ikke projektet under hensyn til, at markedet af egnede leverandører var begrænset. Ministeriet definerede klare mål for, hvad de færdi- ge test skulle kunne, men overvejede ikke, hvilke risici der kunne være forbun- det med selve opgavekonstruktionen til testene.

1. udbud

• Undervisningsministeriet fastsatte med afsæt i regeringsgrundlaget fra 2005 en meget stram tidsplan for udviklingen af de nationale test, som indebar risici for projektets gennemførelse og kvalitet.

• Ministeriet udarbejdede ingen økonomiske analyser som grundlag for udgiftsskøn- net, selv om ministeriet var i tvivl om, hvorvidt der var afsat tilstrækkelige midler.

• Ministeriet havde defineret klare mål for, hvad de færdige test skulle kunne.

• Ministeriet burde have overvejet at inddele projektet i selvstændige udbudsfaser i stedet for at udbyde opgaven som et samlet forløb.

• Ministeriet udarbejdede under udbuddet risikoanalyser, der forholdt sig til tid, øko- nomi, indhold og valg af leverandør. Ministeriet handlede for at mindske de fund- ne risici ved at lukke 1. udbud uden ordretildeling.

2. udbud

• Undervisningsministeriet udarbejdede også under 2. udbud risikoanalyser, der for- holdt sig til tid, økonomi, indhold og valg af leverandør.

• Tidsplanen var stadig stram og udgjorde en høj risikofaktor for projektet.

• Ministeriet udarbejdede ikke økonomiske analyser, der kunne understøtte fast- sættelsen af bevillingen på 110,8 mio. kr. i Akt 191. Ministeriet baserede sit ud- giftsskøn på oplysningerne fra tilbudsgiverne til 1. udbud og søgte at imødegå ri- sikoen for at overskride den økonomiske ramme ved at afsætte 20 mio. kr. som buffer i Akt 191.

• Ministeriet genovervejede ikke udbudskonstruktionen, selv om 1. udbud kun hav- de resulteret i et enkelt egnet udbud. Ministeriet burde også ved 2. udbud have overvejet at inddele projektet i udbudsfaser, som afsluttes, før en ny fase påbe- gyndes, fx en selvstændig pilotfase. Det ville have sænket risikoniveauet i projek- tet og dermed gjort det mere attraktivt at byde på opgaven.

• Ministeriet udformede udbudsmaterialet, så leverandøren havde mulighed for at gå på kompromis med de fleste af ministeriets detailkrav. Det gjorde ministeriet for at imødegå risikoen for, at de tidsmæssige og økonomiske rammer ville afhol- de egnede leverandører fra at byde på opgaven.

• Ministeriet søgte at sikre kvaliteten af testenes indhold ved at stille krav til leveran- døren i udbudsmaterialet. Ministeriet overvejede dog ikke, hvilke risici der kunne være forbundet med den konkrete opgavekonstruktion til testene inden for de ud- valgte fag.

• Ministeriet var opmærksom på, at der var væsentlige risici for testenes indholds- mæssige kvalitet forbundet med at indgå kontrakt med leverandøren i juni 2006. Ministeriet søgte at imødegå disse risici ved at udforme kontrakten, så den bl.a. omfattede bodsbelagte milepæle, og ved ekstra vejledning af leverandøren i pro- jektets opstart.

Undervisningsministeriet har i kontraktfasen løbende vurderet risici forbundet med projektets indhold, tid og økonomi og har i vid udstrækning handlet på de identificerede risici. Ministeriet har styret projektet ved at anvende en palet af forskellige styringsredskaber. Ministeriet har hævet kravene til testopgaverne undervejs og påtaget sig medansvar for overskridelsen af tidsplanen.

• Undervisningsministeriet har i kontraktfasen løbende udarbejdet risikoanalyser, der forholder sig til indhold, tid og økonomi. Ministeriet har brugt analyserne som dialog- og styringsredskab over for leverandøren og indadtil i ministeriet.

• Ministeriet lancerede i maj 2007 de nationale test efter planen i kontrakten. Op- gaverne dækkede dog ikke alle områder, og den efterfølgende evaluering viste, at kvaliteten ikke var god nok. Testresultaterne kunne derfor ikke anvendes til at danne et samlet landsresultat. Siden er testene blevet udskudt 3 gange.

• Rigsrevisionen kan konstatere, at leverandøren flere gange har overskredet pro- jektets milepæle og har haft problemer med at levere opgaver til de nationale test som forudsat i kontrakten.

• Forud for testafviklingen i maj 2007 styrede ministeriet projektet via dialog, støtte og tæt opfølgning på kontraktens milepæle. Ministeriet var fokuseret på kontrakt- forholdets arbejdsdeling og projektets tidsplan og ændrede derfor ikke rammerne for projektet, selv om der var usikkerhed om kvaliteten af testopgaverne.

• Efter testafviklingen i maj 2007 fokuserede ministeriet på at sikre, at de nationale test kom til at indfri formålet om at være et nyttigt evalueringsredskab. Ministeriet involverede sig mere direkte i projektet og udvidede sit styringsrepertoire gennem sanktioner (bod), incitamenter (mulighed for genvinding af bod) og øget kontrol. Det medførte, at udgifterne til ekstern rådgivning steg kraftigt.

• Ministeriet indgik i sommeren 2008 forlig med leverandøren, hvor det påtog sig en del af leverandørens ekstra omkostninger til udvikling af opgaver. Dermed aner- kendte ministeriet, at kravene til opgaverne var blevet større, end det oprindeligt fremgik af kravspecifikationen, og ministeriet påtog sig et medansvar for, at pro- jektets tidsplan blev forlænget.

• Ministeriet havde ikke fra start tilknyttet de interne resurser, der var nødvendige for at styre så stort og komplekst et projekt. Det blev der dog rådet bod på i for- året 2007, hvor ministeriet styrkede sin projektstyring.

De nationale test lanceres som landsdækkende obligatoriske test fra februar 2010 i henhold til den seneste tidsplan. Undervisningsministeriet forventer, at testene ved lanceringen lever op til kontraktens krav til testenes indhold. Mini- steriet forventer at holde bevillingen på trods af projektets forsinkelse.

• Ifølge Undervisningsministeriet vil de 10 obligatoriske test være klar til brug fra februar til ultimo april 2010. Dermed afvikles testene i henhold til tidsplanen i Akt 35 18/12 2008.

• Det er usikkert, om kontraktens krav til opgavebankens størrelse vil være opfyldt ved testafviklingen, og om de frivillige test i dansk som andetsprog vil være klar ved milepælens udløb den 30. april 2010. Testene har fra efteråret 2009 fungeret som frivillige test og har efter ministeriets opfattelse fungeret med det antal opga- ver, der er til rådighed.

• Ministeriet forventer, at det samlede projekt om de nationale test kan holdes inden for bevillingsrammen fra Akt 191 på 110,8 mio. kr. frem til medio 2010, på trods af at bevillingsperioden er udvidet med 7 måneder.

• Der er sket væsentlige forskydninger af projektets udgifter i forhold til ministeriets budget fra 2006. Testopgaverne er blevet dyrere at udvikle og kvalitetssikre end forudsat, og ministeriet har haft større behov for it-support end forventet. Til gen- gæld har ministeriet købt færre ekstra ydelser hos leverandøren end forventet, fx ingen supplerende opgavepakker.

• De samlede omkostninger til projektet bliver højere end 110,8 mio. kr., hvis der tages højde for ministeriets interne udgifter på 16 mio. kr. i kontraktperioden, de indirekte omkostninger som følge af projektets forsinkelse i form af 2 års drift af testsystemet og tabt undervisningstid som følge af ekstra opgaveafprøvning. Til gengæld har testene ifølge ministeriet fået højere kvalitet på en række områder.

Undervisningsministeriets oplysninger til Folketinget har været korrekte fra februar 2005 til udgangen af 2009 og har dermed givet et korrekt billede af projektets status.

• Undervisningsministeriets oplysninger til Folketinget fra februar 2005 til udgangen af 2009 om udviklingen i projektet har været korrekte og omfatter de væsentlige forhold, som ministeriet burde videregive i perioden.

II. Indledning ‌

A. Baggrund ‌

7. Denne beretning handler om udviklingen af de nationale test, som indgår i Undervisnings- ministeriets projekt ”Fremme af evalueringskulturen i folkeskolen”. Baggrunden for beretnin- gen er, at Statsrevisorerne i februar 2009 anmodede Rigsrevisionen om en undersøgelse af de nationale test med den begrundelse, at arbejdet med udvikling og drift af de nationale test har været mere problemfyldt og arbejdskrævende end forventet.

National præstations- profil Præstationsprofilen er en samlet oversigt over de danske skoleelevers testresultater i det en- kelte fag. Den skal ud- arbejdes efter hver obli- gatoriske testrunde, så elevernes præstationer på nationalt niveau kan følges.

8. Ifølge projektets oprindelige tidsplan skulle 3 af de obligatoriske test være klar den 1. maj 2007, mens de øvrige 7 obligatoriske test samt 2 frivillige test skulle være klar den 1. april 2008. De 3 første test blev gennemført efter planen i maj 2007, men med testopgaver, som ikke var dækkende for de fagområder, der skulle testes i, og som ved en senere evaluering viste sig ikke at have en tilstrækkelig høj kvalitet. Testresultaterne kunne ikke bruges til at beregne den nationale præstationsprofil over elevernes faglige niveau på landsplan.

9. Som følge af problemerne med udvikling af testsystemet og opgaverne har Undervisnings- ministeriet i 3 omgange udskudt tidsplanen for de nationale test. Senest blev det med Akt 35 18/12 2008 besluttet at udskyde ibrugtagningen af de obligatoriske test til 2010. De før- ste test tages efter planen i brug den 15. februar 2010. Dermed bliver de nationale test for- sinket henholdsvis 2 og 3 år.

Figur 1. Oversigt over forløbet for udvikling af de nationale test i perioden 2005-2010

Akt 109 30/4 2008

Ny tidsplan

Akt 191 1/6 2006 Akt 15 11/10 2007 Akt 35 18/12 2008

Bevilling Ny tidsplan Ny tidsplan

10. Figur 1 giver en oversigt over forløbet med de nationale test.

	1. udbud	2. udbud	Oprindelig kontraktperiode	Forlængelse
Forberedelsesfasen			Kontraktfasen

2005

2006

2007

2008

2009

2010

L 101

fremsættes den

7. december 2005

L 170

fremsættes den

1. marts 2006

1. obligatoriske testrunde i maj 2007

2. obligatoriske testrunde i februar 2010

11. Som det fremgår af figur 1, er forløbet opdelt i en forberedelsesfase og en kontraktfase. Forberedelsesfasen omfatter 2 udbudsrunder, da det 1. udbud blev afsluttet uden ordretil- deling. Undervisningsministeriet indgik kontrakt med en privat leverandør om udvikling af de nationale test den 30. juni 2006. Kontraktfasen løb oprindeligt frem til medio 2009, men

er undervejs blevet forlænget med 1 år indtil medio 2010. Se bilag 1 for en udførlig oversigt over begivenhederne i forløbet.

12. Undervisningsministeriets arbejde med at udvikle de nationale test har været varetaget af Undervisningsministeriets departement frem til 1. december 2006, hvor den nyetablerede Styrelse for Evaluering og Kvalitetsudvikling af Grundskolen (Skolestyrelsen) overtog opga- ven. I beretningen sondres generelt ikke mellem ministeriets institutioner, da departementet gennem hele forløbet har været inddraget i alle væsentlige beslutninger for projektet.

13. Undervisningsministeriet har såvel i forberedelsesfasen som i kontraktfasen købt ekstern rådgivning hos et rådgivningsfirma med speciale i it-projekter (herefter omtalt som rådgiv- ningsfirmaet) og hos Kammeradvokaten. Leverandøren, som ministeriet indgik kontrakt med om udvikling og idriftsættelse de nationale test, er et konsortium af forskellige virksomheder under ledelse af et konsulentfirma (herefter omtalt som leverandøren).

B. Rammerne for de nationale test ‌

14. Rammerne for de nationale test fremgår af:

• folkeskolelovens § 13

• bemærkninger til L 101 – Forslag til lov om ændring af lov om folkeskolen (styrket xxx- xxxxxxx og anvendelse af nationale test som pædagogisk redskab samt obligatoriske prøver m.v.) fremsat den 7. december 2005

• bemærkninger til L 170 – Forslag til lov om ændring af lov om folkeskolen (præcisering af folkeskolens formål, ekstra timer i dansk og historie, elevplaner, offentliggørelse af landsresultater af test, præcisering af det kommunale ansvar samt etablering af nyt råd for evaluering og kvalitetsudvikling af folkeskolen) fremsat den 1. marts 2006

• bekendtgørelse nr. 1157 af 24. oktober 2006 om anvendelse af test i folkeskolen mv.

Boks 1 viser rammerne for de nationale test i love og bekendtgørelser.

Dansk /læsning 2., 4., 6. og 8. klasse

Dansk som andetsprog

5. og 7. klasse

Matematik 3. og 6. klasse

Engelsk 7. klasse

Fysik/kemi 8. klasse

Biologi 8. klasse

Geografi 8. klasse

BOKS 1. RAMMERNE FOR DE NATIONALE TEST I LOVE OG BEKENDTGØRELSER

Folkeskoleloven om nationale test (lovbekendtgørelse nr. 593 af 24. juni 2009)

§ 13, stk. 3. Undervisningsministeren udarbejder test i udvalgte fag og på bestemte klassetrin, som skal anvendes som led i den løbende evaluering, jf. stk. 2. Undervisningsministeren fastsætter reg- ler om, i hvilke fag og på hvilke klassetrin der skal afholdes test, om afviklingen af disse, om gennem- førelse af test på særlige vilkår for elever med særlige behov, og om visse elever kan fritages for at aflægge test. Undervisningsministeren kan fastsætte regler om, at skolerne frivilligt kan anvende te- stene.

§ 13 a. Undervisningsministeren offentliggør på baggrund af de afholdte test, jf. § 13, stk. 3, hvert år landsresultaterne.

Oversigt over de nationale test (L 101 og bekendtgørelse nr. 1157 af 24. oktober 2006)

Obligatoriske test Frivillige test

Forventningerne til indholdet i de nationale test (bemærkningerne til L 101)

• Testene skal være it-baserede og være et pædagogisk redskab.

• Testene skal være adaptive, så testenes sværhedsgrad tilpasses efter den enkelte elevs svar i løbet af testen. Testene skal være baseret på en opgavebank, hvorfra der maskinelt udvælges opgaver til hver elev afhængig af elevens besvarelser og dermed af elevens faglige niveau.

• Testene skal være udviklet med udgangspunkt i fagenes trinmål, dvs. de krav, som stilles til ele- vernes færdigheder på hvert enkelt klassetrin.

• Testsystemet skal give en tilbagemelding om elevens standpunkt, der beskriver elevens stærke og svage sider inden for testens faglige områder i form af en verbal profil og en indplacering på en trinskala.

• Testene forudsættes at være baseret på et forskningsmæssigt grundlag og de nyeste nationale og internationale erfaringer.

Ikrafttrædelsesbestemmelser vedrørende nationale test (bekendtgørelse nr. 1157 af 24. oktober 2006)

§ 10, stk. 2. I skoleåret 2006/07 afholdes alene test i matematik i 6. klasse, fysik/kemi i 8. klasse og læsetest i faget dansk i 8. klasse. I dette skoleår afvikles disse 3 test i perioden 1. maj - 29. juni 2007, herunder fraværsafvikling.

Stk. 3. Fra skoleåret 2007/08 afholdes alle de i § 1 nævnte test. I dette skoleår afvikles testene i pe- rioden 1. april - 27. juni 2008.

Optioner

Optioner er køb af ekstra ydelser hos le- verandøren. Det kan være optioner, der er nævnt i kontrakten, el- ler andre tilkøb hos le- verandøren til projektet.

15. Det fremgår af boks 1, at de nationale test er obligatoriske og landsdækkende. Det frem- går også, hvordan testene fordeler sig på fag og klassetrin, forventningerne til indholdet i testene, og hvornår de skulle træde i kraft.

16. Bevillingen for det samlede projekt ”Fremme af evalueringskulturen i folkeskolen”, her- under nationale test, blev fastlagt ved Finansudvalgets tiltrædelse af Akt 191 1/6 2006. Be- villingen er ifølge aktstykket på 110,8 mio. kr. i perioden 2005-2009. Udgifterne til projektet afholdes inden for Undervisningsministeriets egen ramme. Ministeriet forventede ved akt- stykkets tiltrædelse at bruge ca. 80 % af bevillingen på udgifter til leverandøren (hovedkon- trakt og tilkøb af optioner) og resten til bl.a. rådgivning og it-support.

C. Formål, metode og afgrænsning ‌

Formål

17. Statsrevisorerne anmodede den 19. februar 2009 Rigsrevisionen om en undersøgelse af Undervisningsministeriets projekt om nationale test, jf. boks 2.

BOKS 2. STATSREVISORERNES ØNSKER TIL INDHOLD I EN UNDERSØGELSE AF NATIO- NALE TEST

• Afholdte og forventede udgifter til udvikling og idriftsættelse af nationale test i folkeskolen, herun- der vurdering af, om projektet kan færdiggøres inden for den afsatte bevilling.

• Undervisningsministeriets styring af projektet, herunder styring af projektets fremdrift, økonomi og risici.

• Realismen i projektet og tidsplanen for projektet.

• Undervisningsministeriets oplysninger til Folketinget i aktstykker mv. har givet et korrekt billede af projektets status. Det bedes fremgå af notatet, såfremt Rigsrevisionen skulle blive opmærksom på, at væsentlige oplysninger ikke er tilgået Folketinget.

18. Det fremgår af Rigsrevisionens notat til Statsrevisorerne af 18. marts 2009 om tilrette- læggelsen af en større undersøgelse af de nationale test, at undersøgelsen primært vil ta- ge udgangspunkt i Undervisningsministeriets styring af projektet. Statsrevisorernes anmod- ning er derfor besvaret ved følgende spørgsmål:

• Har Undervisningsministeriets forberedelse af projektet forud for kontraktindgåelse væ- ret fyldestgørende?

• Har Undervisningsministeriet risikostyret projektet i kontraktfasen i forhold til risici, der

kunne påvirke projektets indhold, tid og økonomi?

• Lever de nationale test op til kravene til indhold, tid og økonomi?

• Har Undervisningsministeriets oplysninger til Folketinget fra februar 2005 til udgangen af 2009 givet et korrekt billede af projektets status?

19. Beretningens kap. III handler om Undervisningsministeriets forberedelse af projektet fra regeringsgrundlaget i 2005 og frem til kontraktindgåelsen i juni 2006, mens kap. IV dækker kontraktperioden frem til Rigsrevisionens undersøgelse er afsluttet ultimo 2009. Beretnin- gens kap. V giver en status over projektets tidsplan, indhold og økonomi. Endelig handler kap. VI om ministeriets information til Folketinget om de nationale test. Af beretningens bi- lag 1 fremgår en oversigt over begivenheder i hele projektforløbet.

Metode og afgrænsning

20. Undervisningsministeriets forberedelse og styring af projektet om de nationale test er analyseret med fokus på risikostyring. Undersøgelsen fokuserer derfor på, om ministeriet har efterlevet de krav og forventninger, som Finansministeriet stiller til risikostyring af it-pro- jekter, jf. boks 3.

BOKS 3. IT-PROJEKTER OG RISIKOSTYRING (REGLER OG VEJLEDNING)

Ifølge Finansministeriets budgetvejledning 2001 kan ”it-projekter, hvor de samlede budgetterede udgifter til anskaffelse og udvikling, herunder internt resurseforbrug, udgør 50 mio. kr. eller derover, først igangsættes efter tilslutning fra Finansudvalget” (2.6.13.1).

”Før forelæggelse og igangsætning af et it-projekt foretages en vurdering af væsentlige risikoelemen- ter, som kan have betydning for projektets gennemførelse, herunder hvad der kan gøres for at mini- mere risikoen. Risikovurderingen skal bl.a. omfatte en vurdering af sandsynligheden for overholdel- sen af tidsplan og totaludgifter, hvilke risici der ud fra en teknisk vurdering er forbundet med projektet, organisationens parathed og leverandørens evne til at levere det bestilte” (2.6.13.2).

Af Finansministeriets vejledning om risikostyring af it-projekter (2001) fremgår, at igangsættel- sen af et it-projekt, uanset forelæggelse eller ej, først bør ske efter, at der er gennemført en risikovur- dering. Det fremgår endvidere, at en risikovurdering som minimum skal vurdere de relevante risici i forhold til organisation, teknisk løsning, leverandører og interessenter.

Risikostyring bør ifølge vejledningen være med fra projektets tilblivelse. Værdien af en risikovurdering er hovedsageligt knyttet til den information, som kan erhverves ved at anvende risikovurderingen som et løbende værktøj til at følge udviklingen i it-projektet. Det fremgår endvidere, at risikovurdering skal anvendes som et konstruktivt værktøj til at fastholde balancen mellem omkostninger, funktionalitet og risiko.

Note: Budgetvejledning 2001 blev i finansåret 2007 afløst af Budgetvejledning 2006. Reglerne fra 2001 gælder stadig og er i visse tilfælde blevet skærpet.

21. Som det fremgår af boks 3, har institutioner efter budgetvejledningen pligt til at foretage risikovurdering forud for igangsættelse af it-projekter over 50 mio. kr. Ifølge Finansministe- riets vejledning om risikovurdering er det god projektstyring at gennemføre risikovurdering af it-projekter, uanset størrelsen, og at risikostyre it-projekter løbende fra projektets opstart. Det er disse krav og anbefalinger, der ligger til grund for vurderingerne i beretningen.

22. Der er 2 elementer i risikostyring: For det første skal risici identificeres og vurderes, og der skal opstilles strategier for imødegåelse af risici (fx i en risikoanalyse). For det andet skal der handles for at imødegå relevante risici, så der gennem projektet opnås den rette balan- ce mellem omkostninger, funktionalitet og risiko, jf. boks 3.

23. Da undersøgelsen viser, at det hovedsageligt er projektets indhold, tidsramme og leve- randørforhold, der har skabt udfordringer for udviklingen af de nationale test, har Rigsrevi- sionen valgt at fokusere på Undervisningsministeriets risikostyring i forhold til:

• projektets tidsramme og økonomiske ramme

• testenes indhold

• leverandøren, dvs. risici knyttet til valg og styring af leverandør

• Undervisningsministeriets organisering af projektet.

24. Undersøgelsen fokuserer således ikke særskilt på ministeriets risikostyring i forhold til projektets interessenter, som også indgår i Finansministeriets vejledning om risikostyring.

25. De nationale test indgår i det samlede projekt ”Fremme af evalueringskulturen i folke- skolen”, som ud over de nationale test indeholder en række inspirationsmaterialer til brug for den løbende interne evaluering i folkeskolen samt en evalueringsportal, hvorfra de natio- nale test også skal afvikles. Undersøgelsen fokuserer hovedsageligt på de nationale test, men det er umuligt at adskille de nationale test fra det øvrige evalueringsprojekt, fx fordi dele af projektet er forudsætninger for de nationale test. Undervisningsministeriet oplyser dog, at langt hovedparten af den samlede bevilling anvendes til de nationale test.

26. Undersøgelsen er rettet mod Undervisningsministeriets styring af projektet nationale test og ikke mod leverandøren. Analysen er foretaget på baggrund af det materiale, Rigs- revisionen har modtaget fra ministeriet i forbindelse med undersøgelsen. Derudover har Rigsrevisionen gennemført interviews med ministeriet, Skolestyrelsen, rådgivningsfirmaet og leverandøren. Oplysningerne fra interviewene indgår i begrænset omfang.

27. Beretningen har i udkast været forelagt Undervisningsministeriet, og ministeriets be- mærkninger er i videst muligt omfang indarbejdet i beretningen.

28. Undersøgelsen vedrører perioden fra omtalen af de nationale test i regeringsgrundlaget fra februar 2005 til udgangen af 2009.

III. Undervisningsministeriets forberedelse af projektet ‌

UNDERSØGELSENS RESULTATER

Undervisningsministeriets forberedelse af projektet om de nationale test kunne have været mere fyldestgørende. Ministeriets fastsættelse af projektets økonomiske ram- mer hvilede på et usikkert grundlag, tidsplanen var meget stram, og ministeriet tilret- telagde ikke projektet under hensyn til, at markedet af egnede leverandører var be- grænset. Ministeriet definerede klare mål for, hvad de færdige test skulle kunne, men overvejede ikke, hvilke risici der kunne være forbundet med selve opgavekonstruk- tionen til testene.

29. Rigsrevisionen vurderer i dette kapitel, om Undervisningsministeriets forberedelse af projektet om de nationale test har været fyldestgørende. For at vurdere dette har Rigsrevi- sionen undersøgt, om Undervisningsministeriet har risikostyret projektet i tiden forud for kon- traktindgåelsen (februar 2005 - juni 2006). Rigsrevisionen har herunder undersøgt, om Un- dervisningsministeriet har forberedt projektet ved at risikostyre i forhold til tid, økonomi, ind- hold og valg af leverandør i de 2 perioder:

• før og under 1. udbudsrunde (februar 2005 - oktober 2005)

• under 2. udbudsrunde (december 2005 - juni 2006).

30. Som det fremgår, angiver undersøgelseskriterierne 2 forberedelsesperioder, som kapit- let er struktureret efter. Undervisningsministeriet var ifølge Finansministeriets budgetvejled- ning først forpligtet til at udarbejde en risikoanalyse for projektet i den 2. periode, hvor pro- jektets it-udgifter steg til over 50 mio. kr. Rigsrevisionen har dog også fundet det relevant at undersøge ministeriets risikostyring af projektet i den 1. forberedelsesperiode, da dette er en naturlig del af god projektstyring, uanset projektets størrelse.

A. Undervisningsministeriets forberedelse før og under 1. udbud ‌

31. Dette afsnit handler om, hvordan Undervisningsministeriet har forberedt projektet om de nationale test forud for og under 1. udbudsrunde, dvs. fra det politiske opdrag lå fast med regeringsgrundlaget i februar 2005, til 1. udbud blev afsluttet i oktober 2005 uden ordretil- deling.

Tidsplanen og den økonomiske ramme

32. Projektets overordnede tidsplan og den økonomiske ramme blev fastlagt i tiden umiddel- bart efter, regeringsgrundlaget blev offentliggjort i februar 2005, men byggede videre på et tidligere forarbejde i ministeriet.

33. Regeringsgrundlaget fastlagde, at de første test skulle lanceres i skoleåret 2005/06, og Undervisningsministeriet besluttede derfor at igangsætte et udbud på udviklingsopgaven i maj 2005 med henblik på kontraktindgåelse i efteråret 2005. På den måde ville en kommen- de leverandør have ca. 6 måneder efter kontraktindgåelsen til at udvikle de første test.

34. Ministeriet var klar over, at dette var en meget stram tidsplan, da erfaringer fra Norge havde vist, at det tog ca. 1 år at udvikle it-baserede test af høj kvalitet. Rådgivningsfirmaet påpegede, at den stramme tidsplan indebar risici for gennemførelsen og kvaliteten af projek- tet og for, at ellers kvalificerede tilbudsgivere ville undlade at byde på opgaven, når de så tidsplanen. Ministeriet mente dog, at leverandøren ville kunne gøre en stor del af arbejdet allerede ved udarbejdelsen af deres tilbud, og at en privat leverandør ville være i stand til at sammensætte en projektorganisation med de nødvendige ekstra resurser til det korte udvik- lingsforløb. Derfor vurderede ministeriet, at den politisk fastsatte tidsplan var realistisk.

35. Undervisningsministeriet opstillede i marts 2005 et estimat på udgifterne til det samlede projekt på 68,7 mio. kr. Samtidig blev udbudsrammen for 1. udbud fastlagt til 30-35 mio. kr. Beløbet på 68,7 mio. kr. havde ifølge ministeriet karakter af et foreløbigt internt skøn. Kom- binationen af ydelser var det første af sin art, og ministeriet var ikke bekendt med lignende store adaptive testsystemer i andre lande. Skønnet blev til på baggrund af erfaringer fra Nor- ge, rådgivningsfirmaets vurderinger med hensyn til bl.a. it-omkostningerne og ministeriets erfaringer med udviklingen af de elektroniske afgangsprøver.

36. Ministeriet udarbejdede dog ikke nogen form for økonomisk analyse, der yderligere kun- ne kvalificere det foreløbige skøn og fastsættelsen af udbudsrammen, selv om ministeriet var usikker på, om beløbet var tilstrækkeligt stort.

37. Undervisningsministeriet søgte at imødegå de risici, som den stramme tidsplan og usik- kerheden på det økonomiske skøn medførte, ved at tilrettelægge udbuddet på en måde, der tog hensyn til tilbudsgivernes eventuelle forbehold i forhold til at byde på opgaven. Således var udbuddet udformet som en kombination af basisydelser og optioner, og udbudsmateria- let indeholdt kun enkelte obligatoriske mindstekrav. På den måde havde tilbudsgiver mulig- hed for at skalere sine ydelser.

38. Som endnu en strategi valgte ministeriet undervejs i udbudsprocessen at hæve udbuds- rammen til 39 mio. kr. Dette var det højest mulige beløb, uden at udbuddet skulle gå om. Be- løbet på 39 mio. kr. lå dog væsentligt under de skøn på henholdsvis 56-60 mio. kr. og 60- 70 mio. kr., som 2 af de 3 prækvalificerede konsortier mente, det ville koste at løse opgaven fyldestgørende.

Valget af udbudsløsning

39. Allerede før regeringsgrundlaget kom i februar 2005, havde Undervisningsministeriet besluttet, at opgaven med at udvikle nationale test skulle løses af en privat leverandør valgt via en udbudsproces. Begrundelsen var, at ministeriet manglede den kapacitet, der skulle til for at udvikle testene selv.

40. Undervisningsministeriet var dog klar over, at der var risici forbundet med et udbud. Mi- nisteriet havde tidligt konstateret en risiko for, at markedet for opgaven var så begrænset, at det enten slet ikke ville kunne levere en egnet leverandør, eller at der ville være så få til- budsgivere, at det ville gå ud over konkurrencesituationen.

41. Ministeriet har oplyst, at det overvejede at lade noget af arbejdet hvile på ministerielle hænder og nøjes med at sende dele af opgaven i udbud. Ligeledes overvejede ministeriet at udbyde de forskellige dele af projektet separat, så de blev varetaget af forskellige leveran- dører. Dette ville dog betyde, at ministeriet skulle bruge meget tid på at styre og sikre koor- dinering imellem de mange leverandører. Desuden vurderede ministeriet, at det var for tids- krævende at gennemføre et udbud for hver opgave. På grundlag af ydelsernes kompleksi- tet og deres gensidige afhængighed vurderede ministeriet endvidere, at en model med en entydig ansvarsfordeling var den eneste farbare vej.

Konkurrencepræget dialog

En udbudsform, hvor kravspecifikationen ju- steres efter en eller fle- re runders dialog med de prækvalificerede til- budsgivere. Metoden sikrer, at det endelige tilbud tilpasses udby- ders behov.

42. Ministeriet overvejede ikke muligheden for at faseinddele projektet i mindre på hinanden følgende udbudsopgaver, fx en selvstændig pilotfase. En faseinddeling af udbudsopgaven kunne ellers have gjort det muligt at ændre beslutninger om fx indhold og organisering ved overgangen fra en fase til den næste i lyset af de problemer og den nye viden, der måtte fremkomme undervejs.

43. Udbuddet blev tilrettelagt i samarbejde med Kammeradvokaten og rådgivningsfirmaet. Efter råd fra Kammeradvokaten blev udbuddet gennemført som en konkurrencepræget dia- log, der gav mulighed for dialog om kravspecifikationen og tilbudsgivernes løsningsforslag. Undervisningsministeriet forventede, at denne udbudsmodel og de muligheder for forbehold, der var lagt ind i udbudsmaterialet, ville give tilstrækkelig fleksibilitet til at tiltrække egnede tilbudsgivere, trods den stramme tidsplan og usikkerheden om udbudsrammen.

Forskningsforan- kring

De nationale test skal være baseret på forsk- ning samt nationale og internationale erfarin- ger. Derudover skal der være forskningsmæs- sigt grundlag for de modeller og metoder, som testsystemet byg- ger på.

44. Da tilbudsfristen udløb i oktober 2005, havde Undervisningsministeriet kun modtaget et tilbud, der opfyldte ministeriets mindstekrav. Selv om tilbuddet opfyldte betingelserne, vurderede ministeriet, at det ville indebære betydelige risici at indgå kontrakt, herunder risici for det faglige niveau og testenes forskningsforankring, mængden af testopgaver samt for, at ministeriet måtte arbejde mere med opgaven end forudsat. Ministeren besluttede derfor at afslutte udbuddet uden ordretildeling.

Testenes indhold

45. Undervisningsministeriet havde siden 2003-2004 arbejdet med de faglige mål for de na- tionale test. Der var derfor defineret klare mål for, hvad de færdige test skulle kunne, da ud- budsplanlægningen begyndte i starten af 2005.

46. Undervisningsministeriet var fra start optaget af at sikre testenes kvalitet og brugerven- lighed, idet det ønskede at undgå en gentagelse af den kritik, der havde været af de norske test om bl.a. opgavernes kvalitet. Vedrørende projektets it-del havde ministeriet vurderet for- dele og ulemper ved elektroniske frem for papirbaserede test, sikkerheden, skolernes ud- styrssituation mv.

Adaptive test

Den adaptive testform indebærer, at opgaver- nes sværhedsgrad lø- bende tilpasses ele- vens besvarelser gen- nem en test. Hvis ele- ven svarer forkert på

2 spørgsmål i træk, gi- ves et lettere spørgs- mål, og hvis eleven svarer rigtigt på 2 op- gaver i træk, udløser det et sværere spørgs- mål.

47. Ministeriet vidste, at der ikke fandtes leverandører med specifik erfaring med de ønske- de adaptive test, og at leverandøren ville skulle trække på resurser fra forskellige fagområ- der for at opnå den rette kombination af kompetencer. Det øgede risikoen for ikke at nå den ønskede kvalitet, og ministeriet var derfor tidligt opmærksom på, at der skulle stilles krav til leverandøren om forskningsforankring og løbende kvalitetssikring i form af afprøvning af op- gaverne til testene.

48. Under 1. udbud vurderede Undervisningsministeriet løbende risici i forhold til de overord- nede mål for testenes anvendelse, brugervenlighed og indholdsmæssige kvalitet, fx at den adaptive testform ikke tidligere var anvendt. Der var også risici forbundet med implemente- ringen af it-systemet, hvilket ministeriet imødegik gennem opstilling af krav i kontrakten. En- delig var der usikkerhed om, hvorvidt skolerne havde it-udstyr nok til at gennemføre testene.

Vurdering

49. Undervisningsministeriet fastsatte med afsæt i regeringsgrundlaget fra 2005 en meget stram tidsplan for udviklingen af de nationale test, som indebar risici for projektets gennem- førelse og kvalitet.

50. Ministeriet udarbejdede ingen økonomiske analyser som grundlag for udgiftsskønnet, selv om ministeriet var i tvivl om, hvorvidt der var afsat tilstrækkelige midler.

51. Ministeriet havde defineret klare mål for, hvad de færdige test skulle kunne.

52. Ministeriet burde have overvejet at inddele projektet i selvstændige udbudsfaser i ste- det for at udbyde opgaven som et samlet forløb.

53. Ministeriet udarbejdede under udbuddet risikoanalyser, der forholdt sig til tid, økonomi, indhold og valg af leverandør. Ministeriet handlede for at mindske de fundne risici ved at lukke 1. udbud uden ordretildeling.

B. Undervisningsministeriets forberedelse under 2. udbud ‌

54. Dette afsnit handler om, hvordan Undervisningsministeriet forberedte projektet under

2. udbud, dvs. fra udbuddet blev igangsat i december 2005, til kontrakten blev indgået i juni 2006.

Tidsplanen og den økonomiske ramme

55. Samtidig med afslutningen af det 1. udbud besluttede Undervisningsministeriet at igang- sætte et nyt udbud. I den forbindelse blev fristen for de 3 første test udskudt 1 år. Herunder blev en del af opgaven med testdesignet flyttet ind i tilbudsfasen, hvilket ministeriet vurde- rede ville spare tid i udviklingsfasen. Reelt blev der dog kun lagt 4 måneder til den periode, leverandøren havde til at udvikle de første test, så der var i alt 10 måneder. Da ministeriet samtidig øgede kravene til tilbudsgiveren, var tidsplanen således også ved indgangen til

2. udbud meget stram og udgjorde fortsat en høj risikofaktor.

56. Med det 2. udbud blev den økonomiske ramme for det samlede projekt udvidet til i alt 90 mio. kr., og udbudsrammen blev hævet til 50-60 mio. kr. Udvidelsen var ifølge Under- visningsministeriet nødvendig, da kravene i udbuddet skulle skærpes. Desuden ønskede ministeriet at øge sikkerheden for egnede tilbud.

Opgavebanken Den mængde test- opgaver, som ifølge

kontrakten er tilstræk- kelig for at sikre en testfaglig sikker vurde- ring af dels de enkelte fag, dels de enkelte fastsatte trinmål.

57. Med den økonomiske udvidelse af projektet ville it-udgifterne overstige 50 mio. kr., og Undervisningsministeriet var derfor forpligtet til at forelægge projektet for Finansudvalget i et aktstykke. Af hensyn til tidsplanen valgte ministeriet at udarbejde aktstykket, før et ende- ligt tilbud forelå. Dette indebar en risiko for, at aktstykket ikke til fulde ville afspejle udgifterne i det endelige tilbud. Derfor anmodede ministeriet om at kunne overføre yderligere 20 mio. kr. fra andre konti til køb af optioner – dvs. som en buffer. Med Akt 191 1/6 2006 lød den sam- lede økonomiske ramme for projektet således på 110,8 mio. kr.

58. I forhold til projektets økonomi søgte ministeriet altså at imødegå risikoen for at overskri- de udbudsrammen ved 2. udbud ved at afsætte ekstra midler i Akt 191.

Trinmål

Trinmål er fælles na- tionale mål for, hvad undervisningen i de enkelte fag skal lede frem mod. De angiver, hvad eleverne skal ha- ve tilegnet sig af kund- skaber og færdigheder i faget ved afslutningen af bestemte klassetrin.

59. Ministeriets skøn på omkostningerne, som er angivet i Akt 191, hvilede på de oplysnin- ger, som ministeriet havde fået fra tilbudsgiverne under 1. udbudsrunde. Ministeriet har op- lyst, at det ikke mente, det havde grundlag for at igangsætte mere detaljerede analyser for at kvalificere informationen fra markedet, da det ikke havde detaljeret kendskab til omkost- ningsstrukturen bag de løsninger, som konsortierne havde forelagt ministeriet under 1. ud- bud. Undervisningsministeriet udarbejdede således heller ikke ved indgangen til 2. udbud nogen form for egne økonomiske analyser, der kunne understøtte fastsættelsen af den øko- nomiske ramme for projektet.

Testenes indhold

60. De overordnede mål for testenes anvendelse ændrede sig ikke fra 1. til 2. udbud. Det gjorde kravene til testenes faglige kvalitet derimod. Bl.a. skulle opgavebanken nu være dob- belt så stor, og kravene til opgavernes kvalitet blev præciseret. Der blev også stillet strenge- re krav til afprøvning af opgaverne til testene. Derudover skulle tilbudsgiver selv udvælge, hvilke trinmål der skulle indgå i testene. Dette skete bl.a. ud fra hensynet om, at den valgte tjenesteyder på den måde ville komme til at kende konceptet bedre og dermed spare tid i forbindelse med implementeringen. Men samlet betød ændringerne i forhold til 1. udbud, at opgaven for tilbudsgiveren voksede, mens tidsrammen for de 3 første test kun blev udvidet fra 6 til 10 måneder.

61. Også under 2. udbud var Undervisningsministeriets risikoanalyser af testenes indhold knyttet til de overordnede mål for testenes anvendelse, brugervenlighed og indholdsmæs- sige kvalitet. Fx søgte Undervisningsministeriet gennem krav i udbudsmaterialet at imøde- gå risikoen for, at opgaverne i testene havde en uensartet form. I forhold til den tekniske løs- ning var Undervisningsministeriet klar over, at der var en risiko forbundet med skolernes it- udstyr, der ikke alle steder havde den fornødne kapacitet.

62. Undervisningsministeriet forholdt sig imidlertid ikke til eventuelle risici for testudviklingen i form af mere praktiske forhindringer, fx udfordringer ved at anvende den adaptive testform og konstruere opgaver inden for de forskellige fag. Bl.a. forudså risikoanalyserne ikke de ud- fordringer med at konstruere opgaver til læsetesten, som senere opstod, og som blev en væsentlig udfordring for projektets fremdrift.

Valget af leverandør

63. Undervisningsministeriet genovervejede ikke udbudstilrettelæggelsen i forbindelse med

2. udbud, selv om markedet kun havde leveret et enkelt tilbud, som levede op til kravene ef- ter det 1. udbud, og selv om ministeriet i forbindelse med afslutningen af 1. udbud havde konstateret, at ”der er ingen garanti for et bedre tilbud, selv om der gennemføres et nyt ud- bud, og der afsættes flere penge”.

64. Det var ved indgangen til 2. udbud fortsat Undervisningsministeriets vurdering, at mini- steriet ikke rådede over de nødvendige kompetencer til at udvikle testene selv. Samtidig vur- derede ministeriet, at markedet havde vist, at de nødvendige kompetencer var til stede. Mi- nisteriet overvejede derfor ikke alternative udbudstilrettelæggelser.

65. Ministeriet overvejede heller ikke under 2. udbud at opdele projektet i udbudsfaser, så ny viden kunne indarbejdes i projektet ved overgangen til en ny fase.

66. Undervisningsministeriet endte dog efter 2. udbud i samme situation som efter 1. ud- budsrunde med kun ét tilbud og dermed uden reelle valgmuligheder mellem forskellige le- verandører. Ministeriet havde modtaget ét tilbud fra hvert af de 2 prækvalificerede konsor- tier. Det ene tilbud levede dog ikke op til ministeriets mindstekrav, idet dele af leverandø- rens konsortium havde taget forbehold for kontraktens krav.

Profilområder Profilområderne i de nationale test angiver de faglige områder in- den for et fag, der gø- res til genstand for en test. Fx er profilområ- derne i testen i dansk/ læsning ”afkodning”, ”sprogforståelse” og ”tekstforståelse”. Pro- filområderne tager ud- gangspunkt i fagenes trinmål.

67. Det tilbageværende tilbud var efter ministeriets vurdering ”tilfredsstillende, både hvad angår kvalitet, leveringssikkerhed og økonomi”. Tilbuddet havde dog svage sider ”på visse af de fag-faglige emner, herunder især læse- og sprogfaglige problemstillinger”, dvs. forhold, der kunne gå ud over testenes faglige kvalitet. Disse svage sider skyldtes tilsyneladende, at tilbudsgiveren ikke havde kunnet tilknytte kompetencer på alle fagområder. I forhold til be- mandingen ”savnes nogle bærende kræfter, fx fremtrædende forskere”. Tilbudsgiver havde dog signaleret, at man efter kontraktindgåelsen ville tilføre flere resurser.

68. Tilbudsevalueringen pegede desuden på, at Undervisningsministeriet med det valgte til- bud forventede at skulle bruge mange resurser til kvalitetssikring i etableringsfasen, bl.a. i forbindelse med afgrænsning af læsetestenes profilområder og ved at sørge for, at relevan- te forskere blev tilknyttet.

69. Sammenlagt var Undervisningsministeriet altså forud for kontraktindgåelsen opmærk- som på, at der var væsentlige risici forbundet med at indgå kontrakten. Ministeriet søgte at imødegå disse risici med udformningen af den kontrakt, der blev indgået den 30. juni 2006 med leverandøren. Boks 4 beskriver indholdet i kontrakten.

BOKS 4. INDHOLDET I KONTRAKTEN

Kontrakten mellem Undervisningsministeriet og leverandøren er en serviceydelseskontrakt med en fast pris på kontraktens ydelser (55 mio. kr.) og mulighed for at tilkøbe ekstra ydelser (optioner).

Kontrakten indeholder en række bestemmelser vedrørende de produkter, som leverandøren skal le- vere (herunder it-baserede test), fx kravspecifikationen og løsningsbeskrivelsen. Kontrakten indehol- der derudover en række proceskrav, fx en hovedtidsplan med bodsbelagte milepæle samt en detal- jeret beskrivelse af projektorganiseringen og samarbejdet mellem Undervisningsministeriet og leve- randøren. Kontrakten indeholder desuden bestemmelser for misligholdelse og ophævelse.

70. Som det fremgår af boks 4, er kontrakten en servicekontrakt med en fast pris på kontrak- tens ydelser. Kontrakten omfatter en række andre leverancer end testene, som skal udvik- les sideløbende. I alt er der tale om 5 obligatoriske hovedydelser, som gensidigt skal under- støtte hinanden:

1) et netsted og it-platform

2) generelle vejledende materialer

3) fagspecifikke inspirationsmaterialer

4) it-baserede test

5) deltagelse i kampagne og formidling.

Leverandøren skal gradvist lancere/etablere, drive og videreudvikle ydelserne under 1-4.

71. Kontrakten indeholder en række proceskrav. Dels i hovedtidsplanen med bodsbelagte milepæle, dels i kravspecifikationen i form af krav om, at testopgaverne udvikles med foran- kring i forskning samt med krav om afprøvning og kvalitetssikring af opgaverne. Derudover indeholder kontrakten en række krav til udformningen af de nationale test, som klart afspej- ler de forventninger til testene, der fremgår af L 101. Hvordan testene mere praktisk skal ud- formes, fx hvordan opgaverne skal konstrueres, indgår ikke i kontrakten.

72. Undervisningsministeriet forventede, at det med kontraktens udformning havde taget høj- de for risici forbundet med indholdet i testene, tidsplanen og økonomien. Men for at imøde- gå svaghederne ved de faglige valg i leverandørens tilbud, iværksatte ministeriet umiddel- bart efter kontraktindgåelsen en ekstra vejledningsindsats. Den ekstra vejledning bestod bl.a. i detaljerede kommentarer til de faglige valg og forslag til profilområder. Der blev også udar- bejdet en liste over eksperter, som ministeriet anbefalede leverandøren at tage kontakt til. Endelig fik leverandøren tilsendt ministeriets risikoanalyse fra juni 2006 for at se, hvor de skulle sætte ind for at skabe tryghed om kontrakten i ministeriet.

Vurdering

73. Undervisningsministeriet udarbejdede også under 2. udbud risikoanalyser, der forholdt sig til tid, økonomi, indhold og valg af leverandør.

74. Tidsplanen var stadig stram og udgjorde en høj risikofaktor for projektet.

75. Ministeriet udarbejdede ikke økonomiske analyser, der kunne understøtte fastsættelsen af bevillingen på 110,8 mio. kr. i Akt 191. Ministeriet baserede sit udgiftsskøn på oplysninger- ne fra tilbudsgiverne til 1. udbud og søgte at imødegå risikoen for at overskride den økono- miske ramme ved at afsætte 20 mio. kr. som buffer i Akt 191.

76. Ministeriet genovervejede ikke udbudskonstruktionen, selv om 1. udbud kun havde resul- teret i et enkelt egnet udbud. Ministeriet burde også ved 2. udbud have overvejet at inddele projektet i udbudsfaser, som afsluttes, før en ny fase påbegyndes, fx en selvstændig pilot- fase. Det ville have sænket risikoniveauet i projektet og dermed gjort det mere attraktivt at byde på opgaven.

77. Ministeriet udformede udbudsmaterialet, så leverandøren havde mulighed for at gå på kompromis med de fleste af ministeriets detailkrav. Det gjorde ministeriet for at imødegå ri- sikoen for, at de tidsmæssige og økonomiske rammer ville afholde egnede leverandører fra at byde på opgaven.

78. Ministeriet søgte at sikre kvaliteten af testenes indhold ved at stille krav til leverandøren i udbudsmaterialet. Ministeriet overvejede dog ikke, hvilke risici der kunne være forbundet med den konkrete opgavekonstruktion til testene inden for de udvalgte fag.

79. Ministeriet var opmærksom på, at der var væsentlige risici for testenes indholdsmæssi- ge kvalitet forbundet med at indgå kontrakt med leverandøren i juni 2006. Ministeriet søgte at imødegå disse risici ved at udforme kontrakten, så den bl.a. omfattede bodsbelagte mile- pæle, og ved ekstra vejledning af leverandøren i projektets opstart.

IV. Risikostyring i kontraktfasen ‌

UNDERSØGELSENS RESULTATER

Undervisningsministeriet har i kontraktfasen løbende vurderet risici forbundet med projektets indhold, tid og økonomi og har i vid udstrækning handlet på de identifice- rede risici. Ministeriet har styret projektet ved at anvende en palet af forskellige sty- ringsredskaber. Ministeriet har hævet kravene til testopgaverne undervejs og påta- get sig medansvar for overskridelsen af tidsplanen.

80. Rigsrevisionen vurderer i dette kapitel, om Undervisningsministeriet har risikostyret ud- viklingen af de nationale test i projektets kontraktfase (juli 2006 - ultimo 2009).

81. For at vurdere dette har Rigsrevisionen undersøgt, om:

• Undervisningsministeriet løbende har identificeret, vurderet og opstillet strategier for ri- sici ved projektets indhold, tid og økonomi

• Undervisningsministeriet har handlet i forhold til risici for leverandøren og leverancerne

• Undervisningsministeriet har risikostyret projektet indadtil, dvs. handlet i forhold til risici ved ministeriets egen projektorganisering.

A. Undervisningsministeriets risikoanalyser ‌

82. Undervisningsministeriet har gennem hele kontraktfasen med jævne mellemrum udar- bejdet risikoanalyser, som indeholder identifikation og vurdering af risici samt forslag til stra- tegier til imødegåelse af risici.

83. Risikoanalyserne fra tilbudsevalueringen og ordretildelingen (begge juni 2006) blev brugt som afsæt for de løbende risikoanalyser. Tabel 1 viser de områder vedrørende organiserin- gen, løsningen og leverandøren, som ved projektets opstart havde en høj eller middelhøj risikovurdering. Desuden viser tabellen ministeriets strategier for, hvordan ministeriet ville imødegå risici.

Tabel 1. Højrisikoområder og imødegåelsesstrategier fra tilbudsevalueringen
	Højrisikoområder	Imødegåelsesstrategier
Organisering	• Der skal udvikles nye pædagogiske redskaber. • Det er et kontroversielt projekt. • Projektet skal flyttes til ny styrelse, hvilket med- fører risiko for tab af projektviden. • Projektet er afhængigt af, at en meget stor bru- gergruppe lærer at bruge systemet og oplever det som nyttigt og relevant. • Projektet er organisatorisk komplekst. Der skal trækkes på mange forskellige kompetencer i ministeriet, og leverandøren er et konsortium. Det kræver stærk projektledelse i ministeriet.	• Proceskrav og bodsbelagte milepæle i kontrak- ten. • Ledelsesfokus samt fokus på kontrakt- og leve- randørstyring. • Købe bistand til projektledelse. • Projektteamet og rådgivere fra ministeriet føl- ger med projektet til Skolestyrelsen. • Løbende risikostyring og vurdering af kompe- tencebehov. • Fagligt nødberedskab.
Tid	• Stram tidsplan – kort udviklingsperiode til både testplatform og opgavebank, hvor der er krav om forskningsbasering.	• Bodsbelagte milepæle. • Fokus på tidsplan og procedurer. • Plan for forholdsregler ved eventuel forsinkelse udarbejdes.
Faglig og teknisk løsning	• Systemet skal virke stabilt (troværdighed). • Det adaptive system er det første af sin art. • Det er vanskeligt at konstruere testtilbagemel- dinger, som er anvendelige for lærere/elever. • Projektet er teknisk komplekst.	• Proceskrav og bodsbelagte milepæle i kontrak- ten. • Inddrage eksperter som et fagligt beredskab i ministeriet.
Leverandører	• Leverandøren har god indsigt i det testfaglige, men er mindre overbevisende på det fag-fag- lige område. Den forskningsmæssige forankring er ikke helt på plads. • Leverandøren er et konsortium af mange parter. Det kræver stærk projektledelse.	• Proceskrav og bodsbelagte milepæle. • Leverandørens ansvar for projektledelse, koor- dinering og styring af underleverancer skal fast- holdes.
Kilde: Rigsrevisionen på baggrund af risikoanalysen fra tilbudsevalueringen og risikoanalysen til brug for beslutning om ordre- tildeling (begge juni 2006).

84. Som det fremgår af tabel 1 og kap. III, var der forud for kontraktindgåelsen identificeret en række højrisikofaktorer, både i forhold til organiseringen af projektet (fx tidsplanen), den faglige og tekniske løsning samt leverandøren. Der fremgår også, at Undervisningsministe- riet forventede, at bestemmelserne i kontrakten i form af proceskrav og bodsbelagte milepæ- le ville kunne imødegå de risici, ministeriet havde identificeret. Spørgsmålet om projektets økonomi indgår ikke i tabel 1, da ministeriet vurderede risikoen for, at projektet ikke kunne leveres inden for den økonomiske ramme, som lav i de indledende risikovurderinger.

85. Ministeriets strategier for at levere den fornødne projektstyring var koncentreret om le- delsesmæssigt fokus på projektet, fokus på kontrakt- og leverandørstyring samt løbende risiko- og kompetencevurdering. Derudover ville ministeriet tilkøbe projektledelsesbistand hos rådgivningsfirmaet og tilknytte faglige rådgivere.

86. Efterfølgende har Undervisningsministeriet udarbejdet 10 risikoanalyser. Den seneste er fra august 2009. Ministeriet har løbende identificeret og vurderet risici i forhold til tidspla- nen, organiseringen af projektet i ministeriet, den faglige og tekniske løsning samt leveran- døren. Fra marts 2007 indeholder analyserne også risici i forhold til projektets økonomi og strategier til imødegåelse af risici. Strategierne blev udarbejdet af ministeriet alene eller i samarbejde med leverandøren, da ministeriet i oktober 2006 tog initiativ til, at risikoanaly- serne skulle være et fælles dialog- og styringsredskab. Xxxxxxxxxxxxxxxxxxx og strategier- ne blev derfor fra foråret 2007 til foråret 2008 drøftet fast på projektets styregruppemøder. Derefter blev risikoanalyserne et mere internt redskab for ministeriet.

87. De første risikoanalyser er udarbejdet ud fra den risikovurdering, som ministeriet anvend- te ved tilbudsevalueringen. Efterhånden blev analysens form dog ændret, så risikovurderin- gerne blev tilpasset de konkrete udfordringer i projektet og blev mere gennemskuelige og nuancerede. Mange af de højrisikofaktorer, som nævnes i risikovurderingen ved tilbudseva- lueringen, kom dog til at følge projektet helt frem til sommeren 2009. Det gælder fx risikofak- torerne vedrørende den stramme tidsplan og leverandørens projektstyring.

Vurdering

88. Undervisningsministeriet har i kontraktfasen løbende udarbejdet risikoanalyser, der for- holder sig til indhold, tid og økonomi. Ministeriet har brugt analyserne som dialog- og sty- ringsredskab over for leverandøren og indadtil i ministeriet.

B. Undervisningsministeriets risikostyring af leverandøren ‌

89. I dette afsnit analyseres Undervisningsministeriets risikostyring rettet mod leverandøren og leverancerne. Risikostyringen analyseres ud fra en opdeling af kontraktfasen:

• 1. udviklingsfase, juli 2006 - juni 2007

• evaluerings- og videreudviklingsfasen, juli 2007- juni 2008

• pilotfasen, juli 2008 - ultimo 2009.

1. udviklingsfase, juli 2006 - juni 2007

90. 1. udviklingsfase blev indledt ved kontraktindgåelsen den 30. juni 2006. Projektets op- start var præget af et tæt samarbejde mellem Undervisningsministeriet og leverandøren om at få defineret projektets indhold og få tydeliggjort eventuelle uklarheder i forhold til udbuds- og tilbudsmaterialet. Ministeriet fulgte løbende op på fremdriften i projektet, bl.a. ved at ef- terspørge statusoplysninger samt detaljerede bemandings- og projektplaner.

91. Allerede i det sene efterår 2006 dukkede de første problemer dog op i projektet. Proble- merne var koncentreret om forskningsforankringen i projektet, opgaveproduktionen (mæng- de og kvalitet) og tidsplanen.

92. Forskningsforankringen af de nationale test blev en tilbagevendende problemstilling i

1. udviklingsfase. Som nævnt i kap. III, savnede Undervisningsministeriet nogle fremtræ- dende forskere i leverandørens tilbud. Ministeriet tog derfor emnet op over for leverandø- ren få dage efter kontraktindgåelsen og foreslog en række konkrete forskere, som kunne tilknyttes projektet. På trods af dette havde leverandøren hen over efteråret 2006 store pro- blemer med rekrutteringen, og ved årsskiftet var der stadig huller i bemandingen. Proble- met var særligt stort på læseområdet. De producerede opgaver havde efter ministeriets op- fattelse ikke den fornødne kvalitet og kom til at bygge på et forkert syn på, hvordan man tester læsning. Først i marts 2007 blev problemet med tilknytningen af forskere til projek- tet til fulde løst, da det endelig lykkedes at få tilknyttet en forsker til læseområdet.

Rasch-analyse

Rasch-analyse er en forskningsbaseret ana- lysemetode, som på baggrund af afprøvning af opgaver på min. 500 elever vurderer, om op- gaverne har den nød- vendige testfaglige kva- litet og fungerer efter hensigten. Hvis dette ikke er tilfældet, kas- seres opgaverne.

93. Produktionen af opgaver blev en risikofaktor for projektet fra efteråret 2006, hvor de før- ste tegn på, at leverandøren havde problemer med produktionen af opgaver til opgaveban- ken, viste sig. Fx måtte leverandøren flere gange udskyde afprøvningen af opgaver og der- med også Rasch-analyserne. Det var alvorligt for projektet, da Rasch-analyserne er nødven- dige for at afgøre, om opgaverne afprøver samme form for dygtighed, og hvor svære opga- verne er i forhold til hinanden. Ministeriet baserede hovedsageligt sin kvalitetskontrol af test- opgaverne på Rasch-analyser og anså det i øvrigt for at være leverandørens opgave at fore- tage yderligere kvalitetskontrol af det faglige indhold i de enkelte opgaver.

94. I januar 2007 viste det sig, at leverandøren var usikker på, om opgavebanken ved den obligatoriske testrunde i maj ville indeholde tilstrækkelig mange opgaver i aftalt kvalitet til at kunne danne fundament for den nationale præstationsprofil, som Folketinget ved L 170 hav- de vedtaget skulle udarbejdes på baggrund af testrunden. Leverandøren foreslog derfor, at opgavernes kvalitet blev evalueret efter 1. testrunde. Det accepterede Undervisningsmini-

steriet, da det også var utrygt – især ved sammensætningen af opgavebanken. Ministeriet mente på dette tidspunkt, at kvaliteten af de enkelte opgaver var sikret via Rasch-analyser- ne og den forskningsmæssige forankring af opgaveudviklingen.

95. Ministeriet blev i de følgende måneder tiltagende usikker på opgaveudviklingens frem- drift. Risikoanalyserne fra perioden afspejler dette, fx ved at risikofaktoren ”at opgaver til for- årets test ikke leveres i den tilbudte kvalitet” blev opjusteret til højrisiko i marts 2007. I sam- me analyse konstaterede ministeriet, at ”erfaringerne fra det foreløbige samarbejde om op- gavefremstillingen har vist, at leverandøren har overordentligt svært ved at få fastsat ram- merne og kvalitetsniveauet blandt opgavekonstruktørerne”. Ministeriet handlede på denne usikkerhed ved at kritisere leverandøren for manglende information om fremdriften og skær- pe tonen, efterhånden som usikkerheden voksende.

96. Problemerne fortsatte ind i foråret, og i midten af april 2007 måtte leverandøren konsta- tere, at opgavebanken ikke ville leve op til kontraktens krav ved testafviklingen. Leverandø- ren havde kun opgaver nok til, at der kunne gennemføres test på 7 ud af de 9 profilområder, der skulle indgå i den 1. testrunde. Desuden måtte leverandøren tage forbehold for, om der var testopgaver nok til de allersvageste elever. Derfor manglede der 2 profilområder ved lan- ceringen af den 1. obligatoriske testrunde i maj 2007, der blev gennemført, uden at Under- visningsministeriet havde godkendt opgavebanken.

1. testudskydelse

I sommeren 2007 be- sluttede Undervisnings- ministeriet på leveran- dørens opfordring at udskyde testene i en- gelsk, 7. klasse, geo- grafi/biologi, 8. klasse, og dansk som andet- sprog, 5. og 7. klasse fra skoleåret 2007/08 til skoleåret 2008/09.

97. Rigsrevisionens interviews med Undervisningsministeriet har vist, at ministeriet indled- ningsvist mente, at der med kontrakten var taget tilstrækkelig højde for projektets risici. Mi- nisteriet følte sig forpligtet af regeringsgrundlaget og af ændringerne til folkeskoleloven fra foråret 2006, hvoraf det fremgik, at der skulle gennemføres obligatoriske test i maj 2007. Derfor tog ministeriet ikke initiativ til at forlænge tidsrammen ved at aflyse den obligatori- ske testrunde på trods af usikkerhed vedrørende opgavebanken og den pressede tidsplan.

98. Ministeriet har oplyst, at gennemførelsen af den 1. testrunde skete på baggrund af leve- randørens oplysninger om, at alle opgaverne havde gennemgået Rasch-analyser, og at der ikke var noget, der tydede på, at der ikke var en tilstrækkelig mængde brugbare opgaver i opgavebanken. Ministeriet var klar over, at testene ville mangle 2 profilområder i 1. testrun- de, og at der var usikkerhed om antallet af opgaver til de svageste elever. Men ministeriet havde en forventning om, at testene også i 1. testrunde ville leve op til deres formål som et brugbart pædagogisk værktøj for lærerne, om end i 1. version.

Evaluerings- og videreudviklingsfasen, juli 2007 - juni 2008

Reviewet

Reviewet blev gennem- ført af et panel af for- skere udpeget af mini- steriet og leverandø- ren. Panelet skulle af- dække, om leverancen af de nationale test (herunder opgaveban- ken) levede op til kra- vene i kontrakten ved testafviklingen, og der- udover stille forslag til forbedringer.

99. Efter afslutningen af den 1. testperiode stod det klart, at Undervisningsministeriets hidti- dige styringstilgang i form af kontraktstyring, dialog og støtte ikke i tilstrækkeligt omfang hav- de kunnet imødegå projektets risici. Dette fik bl.a. den konsekvens, at ministeriet i løbet af efteråret 2007 ændrede radikalt på sine strategier og handlinger i forhold til risikostyringen af projektet. Xx valgte ministeriet at følge leverandørens forslag om at udskyde 3 af testene et skoleår og senere at tage initiativ til at udskyde alle testene til 2009.

Reviewet

100. I efteråret 2007 gennemførte ministeriet og leverandøren den evaluering (review) af de anvendte testopgaver, som var blevet aftalt i foråret, og som skulle afgøre, om ministeriet ex post kunne godkende opgavebanken. Konklusionen på reviewet var, at testmetoden (adap- tive test) er grundlæggende rigtig, og de testfaglige metoder velvalgte. Derimod var vurde- ringen af opgavebanken meget kritisk – især hvad angik opgaverne til læsning, hvor hoved- parten blev vurderet som ubrugelige i deres oprindelige udformning, på trods af at opgaver- ne havde bestået forudgående Rasch-analyse. Rapporten var så kritisk, at Undervisnings- ministeriet ikke kunne godkende opgavebanken.

2. testudskydelse Primo 2008 besluttede Undervisningsministe- riet at udskyde alle obli- gatoriske test til 2. halv- del af skoleåret 2008/09 og gøre 2008 til et øve- og prøveår.

101. Reviewet gav anledning til, at ministeriet sammen med leverandøren fik udarbejdet klare faglige standarder og skabeloner for opgaverne til de nationale test. Det medførte også, at ministeriet besluttede, at reviewets anbefalinger i videst muligt omfang skulle ef- terleves, og at det var vigtigere at få udviklet et produkt af en høj kvalitet end at overholde tidsplanen. Denne beslutning førte således til, at ministeriet udskød alle obligatoriske test til 2009.

Partnerskab og parallelorganisation

102. Reviewet gav også anledning til, at Undervisningsministeriet fik gennemført nogle om- fattende ændringer i opgaveudviklingen og i samarbejdet med leverandøren. Ministeriet blev således langt tættere involveret i opgaveudviklingen og den konkrete implementering af forskningsforankringen. Derfor introducerede ministeriet det udvidede partnerskab, jf. boks 5.

BOKS 5. PRINCIPPER FOR DET UDVIDEDE PARTNERSKAB

• Det er fortsat leverandørens ansvar at udvikle opgaver, jf. kontrakten.

• Der etableres en ”udbygget partnerskabsmodel”, hvor Undervisningsministeriet i meget højere grad end tidligere knyttes tæt til leverandøren for at støtte, udstikke retningslinjer og kvalitetssikre alle processer og opgaver relateret til de nationale test.

• Undervisningsministeriet vil på alle niveauer, med undtagelse af egentlig produktion af opgaver, sikre en organisation, der kan matche leverandørens organisation (parallelorganisation). Dette gælder også på forskningssiden.

• Undervisningsministeriet skal fremover have alle testopgaver til endelig godkendelse.

Parallelorganiserin- gen medførte, at Un- dervisningsministeriet fx knyttede lige så mange forskere til egen organisation, som le- verandøren rådede over, og at ministeriets eksperter i opgaveud- vikling skulle indgå i leverandørens opgave- udviklingsgruppe. Det eneste, ministeriet ikke involverede sig i, var den praktiske udform- ning af opgaverne.

103. Som det fremgår af boks 5, involverede Undervisningsministeriet sig med den udvide- de partnerskabsmodel meget direkte i leverandørens arbejde. Ministeriet stillede omfatten- de krav til leverandørens organisering af projektet og tog initiativ til, at projektlederne fra le- verandøren og ministeriet fysisk kom til at sidde sammen 1-2 dage om ugen i en periode. Derudover indgik det i den nye model, at ministeriet fremover skulle godkende hver enkelt opgave i stedet for de stikprøver og skabeloner, som ministeriet, jf. kontrakten, tidligere skul- le godkende. Dermed opgav ministeriet den tidligere forudsætning om, at opgavernes kva- litet kunne sikres tilstrækkeligt via Rasch-analyse, og at ansvaret for den faglige kvalitet af opgaverne i øvrigt kunne overlades til leverandøren.

104. Et andet element af det udvidede partnerskab var den parallelorganisering, som mini- steriet opbyggede efter reviewet for at kunne matche leverandøren fuldstændig både i for- hold til projektledelsen og i forhold til udviklingen af testopgaver. I praksis fik rådgivnings- firmaet til opgave at varetage koordinationen mellem ministeriets faglige kvalitetskoordina- torer, forskere/eksperter og leverandørens opgaveudviklere, kvalitetssikrere mv. Det med- førte, at udgifterne til rådgivningsfirmaet steg meget som følge af beslutningen om at eta- blere en parallelorganisation.

Forlig

105. Reviewet og beslutningen om at udskyde alle obligatoriske test til 2009 betød, at par- terne stod uden en hovedtidsplan og efterlod en række udeståender – fx hvem der skulle finansiere forbedringen af testopgaverne, og hvor stor opgavebanken skulle være. I januar 2008 indledte Undervisningsministeriet derfor forhandlinger med leverandøren om projek- tets fremtid efter reviewet, fortolkningen af kontrakten og økonomien i projektet. Ministeriet havde som indledning til forhandlingerne varslet opkrævning af bod som følge af, at ministe- riet ikke kunne godkende den opgavebank, der blev anvendt ved den 1. testrunde i 2007.

Bod og kompensation I juni 2008 blev leve- randøren idømt bod på i alt 955.000 kr. for manglende overholdel- se af milepæle i en pe- riode frem til opstart af forligsforhandlinger i januar 2009.

Derudover accepterede leverandøren at betale en kompensation på

300.000 kr. for ændrin- ger i tidsplanen.

106. Først i begyndelsen af juli 2008 blev Undervisningsministeriet og leverandøren enige om et forlig. Ved forliget blev der opnået enighed om bod og kompensation for ændringer af tidsplanen og for den ufuldstændige opgavebank. Derudover blev parterne enige om en ny hovedtidsplan og nye betingelser for udløsning af bod i fremtiden. Endelig medførte for- liget, at parterne blev enige om, hvordan de ekstra udgifter som følge af reviewet skulle for- deles. Ministeriet accepterede således at betale 3,6 mio. kr. af de i alt 7,5 mio. kr., som le- verandøren havde opgjort som omkostninger i forbindelse med nye opgaveskabeloner, nye udviklingsprocesser mv. Dermed anerkendte ministeriet også, at kravene til opgaverne som følge af reviewet var blevet større, end hvad der oprindeligt fremgik af kravspecifikationen, og påtog sig et medansvar for de forlængede produktionsprocesser.

Pilotfasen, juli 2008 - ultimo 2009

107. I den (foreløbig) sidste fase af projektet nationale test har Undervisningsministeriet byg- get videre på de styringsredskaber, som ministeriet anvendte i de første faser, dvs. kontrakt- styring og tæt samarbejde om udvikling af opgaver og grundig kvalitetssikring. Ministeriet traf derudover 3 væsentlige beslutninger, som fik indflydelse på projektstyringen.

3. testudskydelse

I oktober 2008 beslut- tede Undervisningsmi- nisteriet at udskyde al- le obligatoriske test til foråret 2010 og kun gennemføre test i for- året 2009 på 100 pilot- skoler.

Beslutning om pilotfase

108. Kort efter indgåelsen af forliget i sommeren 2008 orienterede leverandøren endnu en gang Undervisningsministeriet om forsinkelser i opgaveudviklingen. Der var fortsat behov for at udvikle og afprøve nye opgaver til testene – især til læsetestene – og leverandøren havde stadig svært ved at leve op til ministeriets kvalitetskrav og til kravene om, at testene skal være tilgængelige for elever med funktionsnedsættelser. Ministeriet besluttede derfor i oktober 2008 at udskyde de obligatoriske test til foråret 2010 og alene afprøve testene på 100 frivillige pilotskoler i foråret 2009. Beslutningen blev truffet uden om leverandøren og uden at ændre på hovedtidsplanen eller andre af de grundlæggende vilkår for projektet, her- under de bodsbelagte milepæle.

Pilottest

I foråret 2009 gennem- førte Undervisningsmi- nisteriet pilottest af alle 10 obligatoriske test på 100 skoler, der havde meldt sig frivilligt.

109. Beslutningen om udskydelse af obligatoriske test viste sig at være velbegrundet, idet leverandøren ikke nåede at blive færdig med udviklingen af opgaver inden for de fastlagte milepæle. Undervisningsministeriet kunne altså ikke gennemføre test i foråret 2009 med en opgavebank, som levede op til kontraktens og reviewpanelets krav om volumen og kvalitet. Der var dog tilstrækkeligt med opgaver til, at Skolestyrelsen kunne gennemføre pilottest, om end et stort antal opgaver stadig havde en række mindre fejl (fx stavefejl).

Beslutning om at forlænge kontrakten med leverandøren

110. I januar 2009 besluttede Undervisningsministeriet at forlænge kontrakten med leveran- døren fra kontraktens udløb den 31. juli 2009 og 1 år frem. Ministeriet begrundede xxxxxxxxx- xxx således:

• Kontraktforlængelse ville give mulighed for, at testudviklingen fortsatte uden leverandør- skifte frem til den kommende obligatoriske testrunde i februar-april 2010.

• Uden kontraktforlængelse skulle der indgås ny kontrakt med en anden eller samme le-

verandør, eller også skulle projektet videreføres uden ekstern leverandør. Dette ville til- føre yderligere usikkerhed til projektet.

• Det ville være meget vanskeligt at gennemføre et udbud.

• Kontraktforlængelsen og følgeudgifterne ville kunne holdes inden for den økonomiske ramme og prisen for kontraktforlængelsen var gunstig.

Beslutning om bod og aftale om genvinding af bod

111. I maj 2009 stod det klart, at 3 milepæle ikke var overholdt. Der manglede opgaver til en række profilområder, og på en række profilområder var opgaverne ikke fordelt ligeligt på sværhedsgrader. Undervisningsministeriet vurderede dog, at det var muligt at gennemføre pilottestene trods disse mangler. Ministeriet begyndte igen at opkræve bod i henhold til kon- trakten. Bodsbeløbet var og er fortsat på 5.000 kr. om dagen for hver af de 3 milepæle, og boden løber, indtil kravene i kontrakten er opfyldt.

Aftalen om genvin- ding af bod Skæringsdatoerne i aftalen er sat så sent som muligt for at give leverandøren de bed- ste betingelser for at færdiggøre leverancer- ne, men tids nok til at gennemføre obligatori- ske test i alle fag i lø- bet af foråret 2010 med en opgavebank, der le- ver fuldt op til kravene i kontrakten.

Aftalen indeholder der- udover en række be- tingelser, som tydelig- gør, hvilket produkt det præcist er, der skal le- veres.

112. Undervisningsministeriet vurderede dog samtidig, at der var behov for at iværksætte tiltag, som kunne fastholde leverandørens motivation for at gøre opgaven færdig og sikre ministeriet fortsat indflydelse på tidsplanen og på opgaveproduktionen. I slutningen af juni 2009 indgik ministeriet derfor aftale med leverandøren om, at den fulde bod kan genvindes, hvis leverandøren opfylder kontrakten på de 3 områder inden 3 nye milepæle.

Vurdering

113. Ministeriet lancerede i maj 2007 de nationale test efter planen i kontrakten. Opgaverne dækkede dog ikke alle områder, og den efterfølgende evaluering viste, at kvaliteten ikke var god nok. Testresultaterne kunne derfor ikke anvendes til at danne et samlet landsresultat. Siden er testene blevet udskudt 3 gange.

114. Rigsrevisionen kan konstatere, at leverandøren flere gange har overskredet projektets milepæle og har haft problemer med at levere opgaver til de nationale test som forudsat i kontrakten.

115. Forud for testafviklingen i maj 2007 styrede ministeriet projektet via dialog, støtte og tæt opfølgning på kontraktens milepæle. Ministeriet var fokuseret på kontraktforholdets arbejds- deling og projektets tidsplan og ændrede derfor ikke rammerne for projektet, selv om der var usikkerhed om kvaliteten af testopgaverne.

116. Efter testafviklingen i maj 2007 fokuserede ministeriet på at sikre, at de nationale test kom til at indfri formålet om at være et nyttigt evalueringsredskab. Ministeriet involverede sig mere direkte i projektet og udvidede sit styringsrepertoire gennem sanktioner (bod), incita- menter (mulighed for genvinding af bod) og øget kontrol. Det medførte, at udgifterne til eks- tern rådgivning steg kraftigt.

117. Ministeriet indgik i sommeren 2008 forlig med leverandøren, hvor det påtog sig en del af leverandørens ekstra omkostninger til udvikling af opgaver. Dermed anerkendte ministe- riet, at kravene til opgaverne var blevet større, end det oprindeligt fremgik af kravspecifika- tionen, og ministeriet påtog sig et medansvar for, at projektets tidsplan blev forlænget.

C. Undervisningsministeriets risikostyring indadtil ‌

118. I dette afsnit analyseres Undervisningsministeriets risikostyring indadtil i form af hand- linger til imødegåelse af risici ved ministeriets styring af projektet.

119. Undervisningsministeriet valgte indledningsvist at organisere sit samarbejde med leve- randøren i en mindre projektorganisation med de medarbejdere, som var tilknyttet projektet i forberedelsesfasen, samt en række af ministeriets eksperter og konsulenter løsere tilknyt- tet. Ministeriet indledte således projektet med udgangspunkt i de kompetencer, som ministe- riet allerede rådede over, dvs. primært kompetencer i forhold til det faglige indhold i projek- tet. Ministeriet valgte desuden at styrke projektet ved at tilkøbe ekstern konsulentbistand (ca. én arbejdsdag om ugen) til opgaven med projekt- og kontraktstyring, da ministeriet ikke selv rådede over den type af kompetencer.

120. Allerede inden kontraktindgåelsen stod det klart, at projektet skulle overgå til Skolesty- relsen i december 2006 – kort efter dennes etablering. Ved overdragelsen fulgte projekt- ledelsen fra Undervisningsministeriet med, og projektet fortsatte i den form, det havde haft i ministeriet. Den ansvarlige chef fulgte dog ikke med, og ansvaret for projektet overgik til styrelsens ledelse.

121. I marts 2007 ændrede Skolestyrelsen denne organisering, da styrelsen som følge af de stigende problemer i projektet havde behov for at styrke sin egen organisering i forhold til testfaglighed og projektledelse. Derfor indsatte Skolestyrelsen en mere erfaren projekt- leder og knyttede konsulenten fra rådgivningsfirmet tættere til projektet som assisterende projektleder. Skolestyrelsens organisering af projektet styrkedes også af oprettelsen af en

It-følgegruppen

Det fremgår af Akt 191 1/6 2006, at ministeriet vil etablere en følge- gruppe med ekspertise i komplekse it-projek- ter til at bistå med lø- bende rådgivning.

Gruppen trådte første gang sammen i april 2007.

Deltagerne i it-gruppen repræsenterer offent- lige myndigheder, der har erfaring med store it-projekter (fx Beskæf- tigelsesministeriet, Odense Kommune og Dansk Blindebibliotek).

it-følgegruppe med deltagere fra andre offentlige myndigheder, som havde erfaring med at drive store it-projekter. Det var fx følgegruppen, der i 2007 foreslog Undervisningsministe- riet at forsøge med en partnerskabstilgang.

122. I sommeren 2008 ændrede Skolestyrelsen endnu en gang sin organisering af projek- tet. Den nye organisering af projektet indebar, at projektledelsen blev en stabsfunktion un- der Skolestyrelsens direktør, der påtog sig opgaven som projektansvarlig og dermed gav projektet større ledelsesmæssigt fokus. Siden er der ikke sket ændringer af Skolestyrelsens projektorganisering. Rådgivningsfirmaet er således stadig tilknyttet projektet for at bidrage til projektledelsen og yde it-rådgivning.

Vurdering

123. Ministeriet havde ikke fra start tilknyttet de interne resurser, der var nødvendige for at styre så stort og komplekst et projekt. Det blev der dog rådet bod på i foråret 2007, hvor mi- nisteriet styrkede sin projektstyring.

V. Status for udviklingen af de nationale test ‌

UNDERSØGELSENS RESULTATER

De nationale test lanceres som landsdækkende obligatoriske test fra februar 2010 i henhold til den seneste tidsplan. Undervisningsministeriet forventer, at testene ved lanceringen lever op til kontraktens krav til testenes indhold. Ministeriet forventer at holde bevillingen på trods af projektets forsinkelse.

124. Rigsrevisionen vurderer i dette kapitel status for udviklingen af de nationale test, dvs. om de lever op til kravene til projektets indhold, tidsplan og økonomi. Desuden vurderer Rigs- revisionen de samlede omkostninger forbundet med udvikling og fremtidig drift af de natio- nale test.

A. Status for tid og indhold ‌

125. Ifølge den seneste tidsplan for projektet, som er oplyst i Akt 35 18/12 2008, sigter Un- dervisningsministeriet mod at gennemføre obligatoriske test i 1. halvdel af 2010. Ministeriet lukker op for brug af de første 6 test den 15. februar 2010 og for de 3 test i dansk/læsning den 1. marts 2010. Testene skal være afviklet inden udgangen af april 2010.

126. Beslutningen om at gennemføre obligatoriske test har ministeriet truffet på baggrund af de pilottest, der er gennemført i foråret 2009. Pilottestene blev gennemført uden det ful- de antal opgaver i opgavebanken, som kontrakten kræver. Der manglede fx svære opgaver i dansk/læsning. Denne mangel blev afhjulpet ved at låne opgaver fra højere klassetrin. Xxx- xxxxxxxxx af pilottestene viser, at skolerne har oplevet systemet som velfungerende og nemt at anvende, om end brugervenligheden stadig kan forbedres. Lærerne har generelt oplevet, at testene giver viden om elevernes færdigheder, som kan bruges i planlægningen af under- visningen.

127. Status for testenes indhold pr. 1. januar 2010 er, at de 10 test, der skal være obligato- riske fra foråret 2010, blev taget i brug på frivillig basis i efteråret 2009. Efter Undervisnings- ministeriets opfattelse har testene fungeret med det antal opgaver, der på daværende tids- punkt var i opgavebanken. Opgavebanken lever dog stadig ikke op til kravene i kontrakten. Der mangler svære opgaver til dansk/læsning, og et mindre antal opgaver mangler at blive Rasch-analyseret og godkendt. For at leverandøren lever op til kontrakten, skal alle opgaver være Rasch-analyserede og godkendte den 1. februar 2010. Opgavebanken med de frivilli- ge test i dansk som andetsprog er heller ikke komplet. Ministeriet forventer ikke, at opgave- banken på dette område vil være komplet ved milepælens udløb den 30. april 2010.

128. Undervisningsministeriet har oplyst, at testene ved den obligatoriske testrunde vil leve op til kravene i kontrakten for tilgængelighed for elever med funktionsnedsættelser. Teste- ne vil derfor også kunne anvendes af elever, der ikke kan bruge mus, døve og kognitivt han- dicappede (fx elever med hukommelses-, koncentrations- og indlæringsproblemer). Derimod vil testene ikke kunne anvendes af blinde og stærkt svagsynede elever ved den obligatori- ske testrunde. Ministeriet har oplyst, at der er sat en proces i gang med henblik på at finde en løsning for disse elever.

Vurdering

129. Ifølge Undervisningsministeriet vil de 10 obligatoriske test være klar til brug fra februar til ultimo april 2010. Dermed afvikles testene i henhold til tidsplanen i Akt 35 18/12 2008.

Bevillingen Kontrakten og projek- tets forbrugsopgørelser giver ikke mulighed for at isolere udgifterne til de nationale test. Mini- steriet kan derfor ikke opgive et præcist tal for de samlede udgifter til nationale test, men har oplyst, at langt den største del af midlerne er brugt på udviklingen af testene.

130. Det er usikkert, om kontraktens krav til opgavebankens størrelse vil være opfyldt ved testafviklingen, og om de frivillige test i dansk som andetsprog vil være klar ved milepælens udløb den 30. april 2010. Testene har fra efteråret 2009 fungeret som frivillige test og har efter ministeriets opfattelse fungeret med det antal opgaver, der er til rådighed.

B. Status for økonomien i projektet ‌

131. Bevillingen for projekt ”Fremme af evalueringskulturen i folkeskolen” (herunder udvik- lingen af de nationale test) fremgår af Akt 191 1/6 2006 og udgør i alt 110,8 mio. kr. i perio- den 2005-2009. Der er ikke i perioden bevilget øvrige midler til projektet. Bevillingen er dog blevet pris- og lønreguleret med i alt 0,6 mio. kr. på finanslovene for 2008 og 2009.

132. Bevillingen for perioden 2005-2009 er fordelt på 4 hovedudgiftstyper, jf. Akt 191. Af ta- bel 2 fremgår bevillingen samt de faktiske og p.t. forventede udgifter til evalueringsprojektet fra 2005 til udløbet af den nuværende kontrakt medio 2010.

Tabel 2. Samlet forbrugsopgørelse over projektet i perioden 2005-2010 (løbende priser) (Mio. kr.)
	Forbrug 2005-2008	Budget 2009-2010	Prisregulering (leverandør)	Forbrug/budget i alt 2005-2010	Bevilling 2005-2009
Kontrakt	44,7	10,1	1,1	55,9	60,0
Optioner	6,1	11,4	1,7	19,2	26,2
Øvrige afledte udgifter	19,6	7,6	-	27,2	15,0
Øvrige initiativer	4,1	3,8	-	7,9	9,6
Diverse	0,4	0,3	-	0,7	-
Reserve	-	0,6	-	0,6	-
I alt	74,9	33,8	2,8	111,4	110,8
Note: Uoverensstemmelser mellem tallene i tabellen og totalen på 111,4 mio. kr. skyldes afrundinger.”Prisregulering” dækker over forventede udgifter til opregning af udgifter til leverandøren i henhold til kontrakten (2008-2010). Dens fordeling på hovedydelser er beregnet af Rigsrevisionen. ”Diverse” er udgifter til tryk og licenser samt administrative udgifter, fx til transport, møder og studentermedhjælp. ”Reserve” er en intern buffer. Xxxxx: Rigsrevisionen på baggrund af Akt 191 1/6 2006 samt forbrugs- og budgetoplysninger fra Undervisningsministeriet.

133. Tabel 2 viser, at Undervisningsministeriet forventer at bruge 111,4 mio. kr. på evalue- ringsprojektet inkl. nationale test frem til medio 2010 med de nuværende budgetteringer. Ministeriet forventer dermed at overholde bevillingen, når der ses bort fra reguleringen på 0,6 mio. kr., selv om perioden er blevet 7 måneder længere end forudsat i Akt 191. Men som det også fremgår af tabel 2, er fordelingen mellem de enkelte udgiftstyper blevet an- derledes end forventet ved Akt 191.

134. For det første vil udgiften til kontrakten være ca. 56 mio. kr. i kontraktperioden, hvilket er ca. 4 mio. kr. mindre end forventet i Akt 191. Dertil kommer, at udgiften til kontrakten er blevet lavere som følge af den bod, som leverandøren har måttet betale i form af fradrag i sit servicevederlag for overskredne milepæle. Boden medfører, at udgifterne til kontraktens ydelser samlet set bliver mellem 1,3 mio. kr. og ca. 4,3 mio. kr. lavere end forudsat og op- gjort i tabel 2, afhængigt af i hvilket omfang leverandøren vinder bod tilbage. Den første bod er tilbagebetalt til statskassen, og det skal den øvrige bod også. Bodsbeløbet kan derfor ik- ke finansiere andre udgifter i projektet.

Kontraktforlængelse Den oprindelige kon- trakt udløb den 31. juli 2009. Herefter blev kontrakten forlænget med 1 år. Kontrakten kan forlænges med yderligere 1 år. Prisen for kontraktforlængel- se indgik i det oprinde- lige tilbud og udgør 4,9 mio. kr. (option).

135. For det andet forventer Undervisningsministeriet kun at anvende 19,2 mio. kr. ud af de bevilgede 26,2 mio. kr. til optioner (ekstra ydelser købt hos leverandøren). Ministeriet har brugt 5 mio. kr. til videreudvikling af opgavebanken efter evalueringen i 2007 og ca. 5 mio. kr. til at forlænge kontrakten med 1 år. Resten af beløbet til optioner (ca. 9 mio. kr.) er brugt og forventes brugt til ekstra faciliteter, nye rapporteringsmuligheder og omkostninger i for- bindelse med afholdelse af forskellige seminarer mv. Det er ca. det halve af, hvad der op- rindeligt var budgetteret til ekstra faciliteter mv., og omfatter fx ikke de supplerende opgave- pakker, som er omtalt i kontrakten.

Dyrere opgaver som følge af reviewet Reviewet har medført, at såvel Undervisnings- ministeriets som leve- randørens udgifter til udvikling af opgaver er blevet større end for- ventet ved tilbudsgiv- ningen. Opgaveudvik- lingen er blevet 7,5 mio. kr. dyrere, end le- verandøren forventede ved tilbudsgivningen. Det svarer til en stig- ning i omkostningerne på 46 % i forhold til forventningen ved til- budsgivningen.

136. For det tredje forventer Undervisningsministeriet at anvende 27,2 mio. kr. på øvrige afledte udgifter mod de budgetterede 15 mio. kr. i Akt 191. De afledte udgifter omfatter pri- mært udgifter til ekstern rådgivning, udgifter til UNI•C og udgifter til Kammeradvokaten. År- sagen til, at de afledte udgifter er blevet større end forventet, er bl.a. den parallelle organi- sering af kvalitetssikringen af opgaverne, som ministeriet indførte efter reviewet i 2007. Mi- nisteriet forventer således at bruge ca. 7 mio. kr. mere på ekstern rådgivning end budgette- ret. Desuden undervurderede ministeriet ved budgetlægningen behovet for it-support fra UNI•C og forventer at bruge ca. 7,5 mio. kr. mere end budgetteret.

Vurdering

137. Ministeriet forventer, at det samlede projekt om de nationale test kan holdes inden for bevillingsrammen fra Akt 191 på 110,8 mio. kr. frem til medio 2010, på trods af at bevillings- perioden er udvidet med 7 måneder.

138. Der er sket væsentlige forskydninger af projektets udgifter i forhold til ministeriets bud- get fra 2006. Testopgaverne er blevet dyrere at udvikle og kvalitetssikre end forudsat, og ministeriet har haft større behov for it-support end forventet. Til gengæld har ministeriet købt færre ekstra ydelser hos leverandøren end forventet, fx ingen supplerende opgavepakker.

C. De samlede omkostninger ved projektet ‌

139. I det foregående afsnit er projektets økonomi blevet analyseret ud fra bevillingen til pro- jektet i Akt 191. I dette afsnit bredes analysen ud til at omfatte øvrige omkostninger forbun- det med udviklingen og den fremtidige drift af testsystemet.

Interne udgifter

140. Undervisningsministeriet har oplyst, at der ikke i bevillingen i Akt 191 indgik et skøn over det interne resurseforbrug, og at der derfor heller ikke er foretaget forbrugsopgørelser af in- terne udgifter til projekt ”Fremme af evalueringskulturen i folkeskolen”. Det skyldes, at opga- ven er omfattet af ministeriets almindelige opgaveportefølje. Selv om de interne udgifter så- ledes ikke er omfattet af bevillingen til projektet, er det efter Rigsrevisionens opfattelse rele- vant at inddrage disse udgifter, hvis man vil have et samlet billede af, hvad projektet har ko- stet alt i alt. Ministeriet har da også i årsrapporterne for Skolestyrelsen opgjort interne ud- gifter til projektet i 2007 og 2008.

141. Undervisningsministeriet har ifølge egne opgørelser haft interne udgifter i perioden 2007-2008 på i alt 8,1 mio. kr. inkl. ledelse, kommunikation og driftsoverhead. Ministeriet har ingen opgørelser over interne udgifter for 2006 eller budget for de interne udgifter i pe- rioden 2009-2010, men forventer, at lønomkostningerne vil blive på samme niveau i 2009

og i 1. halvdel af 2010 som i 2008. Rigsrevisionen har derfor skønsmæssigt vurderet disse udgifter til i alt knap 8 mio. kr. Dette skøn bygger på den kendte forbrugsprofil og ministeriets oplysninger om organiseringen af projektet i de forskellige perioder. Dermed vil de samlede interne udgifter til projektet i kontraktperioden blive i alt ca. 16 mio. kr.

Værditab ved overskridelse af tidsplanen

142. Overskridelsen af tidsplanen har indtil videre ikke medført overskridelser af bevillingen. Men overskridelsen har medført, at Undervisningsministeriet ikke har fået den betydelige drifts- og vedligeholdelsesperiode, som var forudsat i kontrakten og bevillingen. Undervis- ningsministeriet budgetterede således ved forelæggelsen af Akt 191 med at få 2½ års drift og videreudvikling af de første 3 test og 1½ års drift og videreudvikling af de øvrige 9 test. Bevillingen på 110,8 mio. kr. skulle således dække både udvikling af testene samt drift og videreudvikling i de første 1½-2½ år.

Opgaveafprøvning Det fremgår af be- mærkningerne til

L 101, at afprøvning af opgaver ikke medfører udgifter til aflønning af lærere og skoleledere mv., da afprøvning af opgaver foregår i un- dervisningstiden med brug af eksisterende udstyr.

143. Undervisningsministeriet er på grund af overskridelserne af tidsplanen gået glip af gen- nemsnitligt 2 års drift og videreudvikling af de nationale test efter gennemførte nationale test- runder og 2 nationale testrunder med brug af alle 12 test. Til gengæld har ministeriet fået en pilottest og test, der – efter egen opfattelse – på en række områder er af en højere kvalitet end oprindeligt forudsat.

144. Der har også været omkostninger forbundet med ekstra afprøvning af opgaver til læs- ning. Som følge af reviewet i 2007 er afprøvningen af opgaver blevet mere omfattende end forudsat ved kontraktindgåelse, da mange opgaver har måttet kasseres, og nye udvikles. Den ekstra afprøvning af læseopgaver har lagt beslag på et betydeligt antal undervisnings- timer i folkeskolen. Rigsrevisionen kan dog ikke vurdere, i hvilket omfang folkeskolerne har kunnet bruge opgaveafprøvningen som erstatning for testlignende aktiviteter, der alligevel skulle være afviklet.

Varige udgifter til drift og vedligeholdelse af de nationale test

145. Af Akt 191 fremgår, at såvel størrelsen af varige udgifter til drift og vedligeholdelse af de nationale test efter 2009 som finansieringen vil skulle afklares efterfølgende. I perioden fra Akt 191 til foråret 2009 har spørgsmålet om udgifter til drift og vedligeholdelse af de na- tionale test ikke været berørt i aktstykker mv.

146. Med forslaget til finansloven for 2010 er afklaringen af de varige udgifter delvist sket. Da bevillingen fra Akt 191 ikke forventes at holde til længere end medio 2010, er der på fi- nanslovsforslaget foreslået afsat ca. 13 mio. kr. årligt fra sidste halvår af 2010 til og med 2013 til drift og videreudvikling af de nationale test. Den foreslåede bevilling for perioden 2010-2013 skal bl.a. dække vedligeholdelse og drift af testene i henhold til kontrakt med en ekstern leverandør, udgifter til optioner, UNI•C-support samt rådgivning og kvalitetssikring.

147. Undervisningsministeriet har mulighed for at forlænge kontrakten med leverandøren for endnu 1 år (medio 2010 - medio 2011) til den nuværende pris på 4,9 mio. kr. Derefter skal opgaven med drift og videreudvikling af testsystemet i udbud, og en ny kontrakt skal ind- gås. Ministeriets overslag over udgifterne til en sådan kontrakt efter medio 2011 baserer sig på prisen på kontraktforlængelse med den nuværende leverandør. Ministeriet konstaterer dog i et internt notat, at en retvisende udgiftsprofil fra medio 2011 først vil kunne estimeres, når der foreligger en model for projektets fremtidige form, og at den nuværende pris på 4,9 mio. kr. for drift af de nationale test er relativ lav. Der er derfor risiko for, at omkostningerne til driften vil blive større end ministeriets budgetoverslag efter medio 2011. Der er ikke i de 13 mio. kr. årligt indregnet interne udgifter i ministeriet.

Vurdering

148. De samlede omkostninger til projektet bliver højere end 110,8 mio. kr., hvis der tages højde for ministeriets interne udgifter på 16 mio. kr. i kontraktperioden, de indirekte omkost- ninger som følge af projektets forsinkelse i form af 2 års drift af testsystemet og tabt under- visningstid som følge af ekstra opgaveafprøvning. Til gengæld har testene ifølge ministeriet fået højere kvalitet på en række områder.

VI. Information til Folketinget ‌

UNDERSØGELSENS RESULTATER

Undervisningsministeriets oplysninger til Folketinget har været korrekte fra februar 2005 til udgangen af 2009 og har dermed givet et korrekt billede af projektets status.

149. Rigsrevisionen har vurderet, om Undervisningsministeriets løbende oplysninger til Fol- ketinget fra februar 2005 til udgangen af 2009 har givet et korrekt billede af projektets sta- tus.

150. For at vurdere dette har Rigsrevisionen undersøgt, om ministeriets informationer til Fol- ketinget om tid, økonomi, testenes indhold og leverandøren har været korrekte og omfattet alle væsentlige forhold i de 2 perioder:

• fra regeringsgrundlaget fremlægges i februar 2005, til L 101 fremsættes i december 2005

• efter fremsættelsen af L 101 i december 2005 til udgangen af 2009.

151. De 2 perioder adskiller sig på den måde, at Folketinget først blev inddraget formelt i projektet ved fremsættelsen af lovforslaget om de nationale test. Desuden var det først ved

2. udbud, der blev igangsat efter lovforslaget, at projektets it-udgifter steg til over 50 mio. kr., hvorved projektet blev omfattet af budgetvejledningens krav om Finansudvalget tiltrædelse. Undervisningsministeriet har således først haft en egentlig pligt til at orientere Folketinget om projektets status i den 2. periode.

152. Rigsrevisionen har undersøgt, om informationen til Folketinget om projektets status i begge perioder har været korrekt i den forstand, at oplysningerne ikke er i modstrid med de oplysninger, som Rigsrevisionen har lagt til grund for den øvrige undersøgelse. Herunder har Rigsrevisionen vurderet, om informationen omfatter alle væsentlige forhold, som Rigs- revisionen har fået kendskab til gennem sin undersøgelse, og som Undervisningsministe- riet i de 2 perioder burde oplyse Folketinget om.

153. Rigsrevisionen har gennemgået det materiale, som Undervisningsministeriet har ud- leveret til Folketinget i forbindelse med projektet, herunder Finansudvalget, Uddannelses- udvalget og Folkeskolens Forligskreds. Af tabel 3 fremgår en oversigt over materialet.

Tabel 3. Oversigt over de dokumenter, som er tilgået Folketinget vedrørende de nationale test fra februar 2005 til udgangen af 2009 (Xxxxx)
Orientering af Uddannelsesudvalget	46
- heraf svar på spørgsmål fra Uddannelsesudvalget	23
- heraf statusnotater om projektet	4
Notater til Folkeskolens Forligskreds	72
- heraf svar på spørgsmål fra Folkeskolens Forligskreds	12
- heraf statusnotater om projektet	9
Aktstykker til Finansudvalget	7
Spørgsmål til aktstykkerne	26
§ 20-spørgsmål til folketingsmedlemmer	12
Dokumenter om nationale test i alt	163
Note: I spørgsmål fra Uddannelsesudvalget er ikke medtaget åbent samråd mv. Xxxxx: Rigsrevisionens optælling af materiale fra Undervisningsministeriet.

154. Tabel 3 viser, at Undervisningsministeriet har fremsendt i alt 163 dokumenter til Folke- tinget. 72 af dokumenterne er gået til Folkeskolens Forligskreds i form af statusnotater, be- svarelser af spørgsmål og andet. Derudover har Finansudvalget i perioden behandlet 7 akt- stykker. Ministeriet har besvaret 26 spørgsmål til aktstykkerne og 12 § 20 spørgsmål til pro- jektet.

155. Rigsrevisionens undersøgelse viser, at Undervisningsministeriets oplysninger til Folke- tinget, herunder Uddannelsesudvalget og Folkeskolens Forligskreds, i de 2 perioder er kor- rekte og omfatter de informationer, som ministeriet burde videregive.

Vurdering

156. Undervisningsministeriets oplysninger til Folketinget fra februar 2005 til udgangen af 2009 om udviklingen i projektet har været korrekte og omfatter de væsentlige forhold, som ministeriet burde videregive i perioden.

Rigsrevisionen, den 13. januar 2010

Xxxxxx Xxxx

/Xxxx Xxxxxxxx

Bilag 1. Oversigt over begivenheder ‌

	År/måned	Begivenhed
	2005:
	Februar	Regeringsgrundlag.
	Marts	Undervisningsministeriets interne foreløbige skøn på udgifter for projektet på 68,7 mio. kr.
		Beslutning om EU-udbud.
	April	Undervisningsministeriet indleder samarbejde med rådgivningsfirmaet.
	Maj	Udbudsbekendtgørelse offentliggøres.
	Juni	3 konsortier prækvalificeres.
		Udbudsmateriale sendes.
	August	Ét af de 3 prækvalificerede konsortier trækker sig.
	September	Den økonomiske ramme for udbud hæves fra 30-35 mio. kr. til 39 mio. kr.
		2 konsortier afgiver endelige tilbud. Kun ét tilbud er konditionsmæssigt.
		Politisk forlig om nationale test.
	Oktober	Beslutning om afslutning af udbuddet uden ordretildeling.
		Beslutning om nyt udbud i forbindelse med afslutning af 1. udbud.
	December	L 101 fremsættes.
		Udbudsbekendtgørelsen offentliggøres.
	2006:
	Februar	2 konsortier prækvalificeres.
		Udbudsmateriale fremsendes.
	Juni	Akt 191 – igangsættelse af projektet inkl. bevilling. Afgjort den 1. juni og fremsat den 27. juni (fortroligt indtil kontraktindgåelsen).
		2 endelige tilbud, heraf er ét konditionsmæssigt.
		Valg af leverandør.
		Kontrakten indgås (30. juni 2006).
	November	Første afvigelser i produktionsplanen.
		Beslutning om ekstra opgaveafprøvning i februar.
	December	Skolestyrelsen overtager projektet.
		Ordinær opgaveafprøvning og efterfølgende Rasch-analyse.
	2007:
	Januar	Den ekstraordinære opgaveafprøvning flyttes fra februar til marts.
	Marts	Beslutning om evaluering af opgaver og den adaptive testmetode (review) efter den 1. obligatoriske testrunde. Den bodsgivende milepæl ”Godkendelse af opgavebanken” flyttes til efter reviewet.
	April	2 profilområder må udgå af 1. testrunde på grund af for få opgaver.
		Der gennemføres generalprøve på systemet – tekniske problemer.
	Maj	Afvikling af 1. testrunde. Enkelte tekniske problemer og forsinkede tilbagemeldinger til lærerne.
	Xxxxxx	Xxxxxxxxxxxxxxxxxx om afviklingen af 1. testrunde foreligger.
	Oktober	Akt 15 – ny hovedtidsplan. Fremsat den 2. oktober og afgjort den 11. oktober.
		Reviewseminar og -rapport.
	December	Undervisningsministeriet varsler opkrævning af bod for forsinkelser, da ministeriet ikke har kunnet godkende opgavebanken efter review.

	År/måned	Begivenhed
	2008:
	Januar	Undervisningsministeriet beslutter at udskyde alle obligatoriske test, så 2008 kommer til at fungere som øve-/prøveår.
		Det opgives at udarbejde national præstationsprofil på baggrund af testafviklingen i maj 2007.
	Marts	Akt 109 – ny tidsplan. Fremsat den 4. marts og afgjort den 30. april.
	Juni	Der indgås forlig med leverandøren.
	November	Akt 35 (orienterende) om ændret tidsplan. Fremsat den 18. november og afgjort den 18. december.
	2009:
	Marts	Pilotfase påbegyndes.
		Akt 110 (orienterende) om kontraktforlængelse. Fremsat den 3. marts og afgjort den 12. marts.
	Maj	Ministeriet opkræver bod for mangler i opgavebanken og tilgængelighed af test.
		Pilot på læsetesten – der lånes opgaver mellem klassetrinene.
	Juni	Akt 157 (orienterende) om bod og risikoprofil. Fremsat den 9. juni og afgjort den 2. september.
	Juli	Tillægsaftale med leverandøren om, at boden kan genindvindes, hvis leverandøren lever op til bestemte betingelser.
	Oktober	Der åbnes for frivillig afvikling af test.
	November	Akt 18 (orienterende) om, at de nationale test tages i brug som obligatoriske test i foråret 2010. Fremsat den 27. oktober og afgjort den 5. november.
	December	Milepæl for færdiggørelse af testopgaver til test undtagen dansk/læsning.
	2010:
	Februar	Milepæl: Færdiggørelse af testopgaver til dansk/læsning.
		Obligatoriske test indledes.
	April	Obligatoriske test afsluttes.
		Milepæl: Godkendelse af testsystem inkl. tilgængelighed.

Document Metadata

Table of Contents

Beretning til Statsrevisorerne om udviklingen af de nationale test

Document Metadata