K E N D E L S E
Klagenævnet for Udbud | X.xx.: 21/10719 |
(Xxxx X. Xxxxxxx, Xxxxxxxx Xxxxxxxxx) | 12. august 2022 |
K E N D E L S E
Commentor A/S
(advokat Xxxxxx Xxxxxxx, København) mod
Aalborg Universitet
(advokat Xxxxxx Xxxxxx, København)
Ved udbudsbekendtgørelse nr. 2017/S 171-350550 af 4. september 2017, of- fentliggjort den 7. september 2017, udbød Aalborg Universitet (herefter AAU) som begrænset udbud et dynamisk indkøbssystem til brug for indkøb af IT-konsulentydelser. Kontrakten var opdelt i delkontrakter.
Den 9. juli 2021 iværksatte Aalborg Universitet et miniudbud inden for det dynamiske indkøbssystem med henblik på at anskaffe udviklingskonsulenter til opgaver i forbindelse med AAU’s generelle udviklingsarbejde. I miniud- budsbetingelserne var aftalens varighed fastsat til 2 år med mulighed for en forlængelse på 12 måneder, den estimerede værdi var fastsat til 6 mio. kr. og den maksimale værdi til 25 mio. kr. Af miniudbudsbetingelserne fremgår, at AAU åbnede konkurrencen mellem tilbudsgiverne på kategorien ”Program- mering af applikationer og services/Store opgaver over 300.000 DKK” i det dynamiske indkøbssystem.
Ved udløbet af fristen for at afgive tilbud den 13. august 2021 havde følgende fem virksomheder afgivet tilbud:
− Systemate A/S (herefter Systemate)
− ProActive A/S (herefter ProActive)
− Deloitte Statsautoriseret Revisionsselskab (herefter Deloitte)
− Commentor A/S (herefter Commentor)
− Trifork A/S (herefter Trifork)
Den 23. august 2021 besluttede AAU at indgå kontrakt med Trifork.
Den 22. september 2021 indgav Commentor klage til Klagenævnet for Ud- bud over AAU. Commentor fremsatte ved klagens indgivelse anmodning om, at klagenævnet i medfør af lov om Klagenævnet for Udbud § 12, stk. 1, skulle beslutte, at klagen skulle have opsættende virkning. Den 5. november 2021 besluttede klagenævnet ikke at tillægge klagen opsættende virkning. Klagen har været behandlet skriftligt.
Commentor har nedlagt følgende påstande:
Påstand 1
Klagenævnet skal konstatere, at AAU har handlet i strid med principperne om ligebehandling, gennemsigtighed og proportionalitet i udbudslovens § 2 ved at have foretaget en åbenbar urigtig evaluering af tilbuddene fra Trifork og Commentor i forhold til underkriteriet ”Kvalitet”.
Påstand 2
Klagenævnet skal konstatere, at AAU har handlet i strid med principperne om ligebehandling og gennemsigtighed i udbudslovens § 2 ved at tildele kon- trakten om udviklingskonsulenter til Trifork, selv om Trifork ikke har afgivet ”det økonomisk mest fordelagtige tilbud”.
Påstand 3
Klagenævnet skal annullere AAU’s beslutning af 23. august 2021 om at til- dele kontrakten om udviklingskonsulenter til Trifork, idet kontrakten ville være blevet tildelt Commentor, hvis AAU ikke havde foretaget en åbenbar urigtig bedømmelse.
AAU har nedlagt påstand om, at klagen ikke tages til følge.
Klagenævnet har den 22. september 2021 meddelt AAU’s kontraktpart, Tri- fork, at det er muligt at intervenere i sagen, jf. lov om Klagenævnet for Udbud
§ 6, stk. 3.
Trifork har ikke besvaret klagenævnets henvendelse. Sagens nærmere omstændigheder
Udbudsbekendtgørelsen af 4. september 2017 indeholder følgende:
”…
Del II: Genstand
II.1) Udbuddets omfang
II.1.1) Betegnelse:
Udbud af dynamisk indkøbssystem vedr. IT-konsulenter.
…
II.1.4) Kort beskrivelse:
Udbud af dynamisk indkøbssystem indenfor IT-konsulenter, opdelt i 16 kategorier:
…
6B. Programmering af applikationer og services, store opgaver
…
II.2) Beskrivelse
II.2.1) Betegnelse:
6B. Programmering af applikationer og services, store opgaver over
300.000 DKK Delkontraktnr.: 11
…
II.2.6) Anslået værdi
Værdi eksklusive moms: 12 500 000.00 DKK
…
Del VI: Supplerende oplysninger
…
VI.3) Yderligere oplysninger:
Beskrivelse af det dynamiske indkøbssystem DIS.
…
2. Tilmelding til DIS
Et dynamisk indkøbssystem er en indkøbsmetode iht. udbudslovens § 101, og oprettelsen af systemet skal derfor udbydes i et almindeligt EU- udbud.
Et dynamisk indkøbssystem kan opdeles i kategorier, og til hver kategori kan der opstilles specifikke egnethedskrav. Egnethedskrav er de krav, der stilles til leverandørerne for, at de kan blive optaget på systemet.
2.1. EU-udbud af DIS
Når DIS oprettes via EU-udbud, foregår det som begrænset udbud, hvor alle de leverandører, der lever op til de stillede egnethedskrav, gives ad- gang til systemet efter udløbet af fristen for ansøgning, og efter at ordre- giver har færdigbehandlet de modtagne ansøgninger.
Der skal ikke afgives tilbud i forbindelse med etableringen af et DIS, idet tilbud først afgives i forbindelse med afholdelse af miniudbud efter DIS- platformens etablering. I forbindelse med det EU-udbud, der gennemfø- res for at oprette systemet, skal tilbudsgiverne således alene udfylde et ESPD-dokument samt aflevere dokumentation for de oplysninger, der er afgivet i ESPD-dokumentet.
2.2. Efterfølgende optag af leverandører
DIS er åben for optag af egnede leverandører i hele systemets levetid, også efter EU-udbuddets afslutning. Hvis en leverandør lever op til de stillede egnethedskrav har leverandøren, i hele systemets levetid, fri ad- gang til at blive optaget i systemet….
…
4. Hvordan får man en ordre gennem DIS?
Ordregiver vil, når et indkøb skal foretages via DIS, afholde et miniudbud for alle de leverandører, der er optaget i den kategori, som ordregiver ønsker at handle inden for. Når man som leverandør er optaget i DIS vil man få besked hver gang, der oprettes et miniudbud inden for en af de kategorier, man er optaget i. Disse miniudbud har man som leverandør mulighed for at byde på gennem systemet, og hvis man er den leverandør, der har afgivet det bedste tilbud i henhold til det eller de tildelingskrite- rier, der er beskrevet i forbindelse med miniudbuddet, vil man få tildelt ordren.
…”
Miniudbuddet blev efter det oplyste iværksat den 9. juli 2021. I miniudbuds- betingelserne er anført følgende:
”…
3. Tildeling
Ordregiver vil tildele periodekøbsaftalen til én leverandør….
…
3.1 Tildelingskriterier
Tildelingen vil ske til den tilbudsgiver, som har afleveret det økonomisk mest fordelagtige tilbud vurderet på baggrund af bedste forhold mellem pris og kvalitet med følgende underkriterier, delkriterier og vægtning:
Kvalitet 60 %
Pris 40 %
Delkriterier til ”Kvalitet”
Tilbudsgiver bedes udarbejde en 3 sides beskrivelse af hvordan Tilbuds- giver kan matche Ordregivers opgavebeskrivelse i bilag 1
Delkriterie 1: Erfaring med samarbejde med offentlige organisationer og konsistent bemanding over tid 30 %
Delkriterie 2: Bredde i udviklingsteam (vurderes på baggrund af CV på de tilbudte medarbejdere) 30 %
Delkriterie 3: Generel kvalitet/ønsker 40 %
Delkriterier ”Pris”
Delkriterie 1: udvikler 40 %
Delkriterie 2: Senior udvikler 40 %
Delkriterie 3: projektleder/arkitekt 20 %
…
3.2 Pris
…
3.3 Mindstekrav
…
3.4 Kvalitet
…
Delkriterie 1: Erfaring med samarbejde med offentlige organisationer og konsistent bemanding over tid
…
Under delkriterie 1 vil det vægte positivt at:
• De tilbudte konsulenter har erfaring med at rådgive offentlige kun- der inden for opgaver der er sammenlignelige med den udbudte opgave. Med sammenlignelige ydelser menes ift. opgavens art, udførelsesmåde, og hvor ordregiverne ligner Aalborg Universitet mht. organisation, størrelse og behov. Det vægter særligt positivt hvis man har erfaring med at rådgive universiteter med sammen- lignelige opgaver.
• Der stilles et primært konsulentteam til rådighed for AAU som vil stå for udførelse af opgaverne gennem hele periodekøbsaftalens løbetid.
• At leverandøren kan dokumentere at man har kunder som man har arbejdet sammen med konntinuerligt gennem en længere årrække. Her vil det vægte særligt positivt hvis der er tale om offentlige kunder der er sammenlignelig i størrelse og kompleksitet som Aal- borg Universitet.
Delkriterie 2: Bredde i udviklingsteamet
Delkriterie 2 skal vurdere tilbudsgivers tilbudte konsulenters samlede kompetencer inden for udviklingssprog.
Under delkriterie 2 vil det vægte positivt at:
• Konsulenterne kan dokumentere erfaringer med lignende opgaver, inden for klassiske udviklingsydelser jf. bilag 1, afsnit 2.2.
• Konsulenterne har erfaring med alle trin inden for udviklingspro- cessen.
• Konsulenterne har erfaring med at arbejde efter best practice og kan arbejde selvstændigt.
• Konsulenterne har bred erfaring med udviklingssprog.
Delkriterie 3: Generel kvalitet/ønsker
Under delkriterie 3 vil det vægte positivt at:
• Konsulenterne har kendskab med analyse, design, udvikling og test inden for inden for uddannelsessektoren, Staten eller Regio- ner; f.eks. styrelse, ministerier eller andre statslige eller institutio- ner under Regioner. Det vægtes særligt positivt hvis konsulenterne har kendskab med analyse, design, udvikling og test inden for in- den for universiteterne (forskning og formidling, uddannelse og læring eller administration) eller
• Konsulenterne kan dokumentere evnen til selvstændigt at kunne drive design, udviklingsafklaringer, interessentvaretagelse, kravs- afdækning, design og dokumentation.
• At leverandøren er i stand til at udarbejde produktneutrale rappor- ter og produktneutrale anbefalinger
• At leverandøren er i stand til at tilbyde så uvildig rådgivning og sparring, at leverandøren ikke afskærer sig selv fra evt. at byde på en opgave, der, jf. udbudsforpligtelser for AAU, sendes i udbud på baggrund af rådgivningen
I forhold til at dokumentere ovenstående vil der blive lagt vægt på, at de tilbudte medarbejdere kan fremlægge referencer og CV’er. Disse skal do- kumentere at medarbejderne kan levere den pågældende opgave, og at de pågældende medarbejdere tidligere har løst opgaver, som er sammenlig- nelige med den udbudte opgave.
3.5 Evalueringsmetode
…
3.5.2 Evaluering af kvalitet
På underkriteriet ”Kvalitet”, vil tilbuddene blive vurderet absolut. Til- buddene vurderes dermed uafhængigt af de øvrige indkomne tilbud.
…
Leverandøren bedes udfylde deres tilbud med følgende:
1. En beskrivelse på maks. 5 sider der beskriver hvordan leverandø- rer vil matche de behov beskrevet i bilag 1, beskrivelsen skal tage højde for alle delkriterier
…
I forbindelse med evaluering af kriteriet ”Kvalitet” vil der blive anvendt en pointmodel med en pointskala fra 0 til 10. Tildeling af point vil ske af kriteriet ”Kvalitet” efter en helhedsvurdering af de oplistede delkriterier. Det tildelte point vil herefter udgøre pointscoren for kriteriet ”Kvalitet” der herefter vil blive ganget med den vægt som kriteriet ”Kvalitet” har jf. ovenstående tabel.
Tildeling af point sker på baggrund af hvor godt tilbuddene opfylder kra- vene knyttet til de enkelte delkriterier. Flere tilbud kan således opnå samme point.
I forbindelse med kvalitetsevalueringen vil nedenstående tilfredsheds- skala blive anvendt ved tildelingen af point:
3.6 Præsentationsrunde
Efter den samlede evaluering af de indkomne tilbud, vil de tilbudsgivere der har afgivet de 3 bedste tilbud blive indkaldt til en mundtlig præsenta- tionsrunde, hvor det afgivne tilbuds beskrivelse af de kvalitative para- metre skal præsenteres. Præsentationsrunden er et supplement til det skriftlige tilbud og formålet med præsentationsrunden er at understøtte det, der fremgår af tilbudsgivers skriftlige tilbud, herunder at sikre, at til- budsgivers skriftlige tilbud fremstår troværdigt også i en mundtlig præ- sentation….
…”
Som anført besluttede AAU den 23. august 2021 at tildele kontrakten til Tri- fork. Af underretningen til Commentor fremgår:
”…
AAU må desværre meddele Dem, at Deres virksomhed ikke tildeles kon- trakten.
…
Resultatet af evalueringen er, at Trifork A/S har afgivet det økonomiske mest fordelagtige tilbud, hvorfor AAU agter at indgå aftale med denne tilbudsgiver.
Evaluering af pris
De har opnået 10 point for kriteriet pris
Prisen vægtes med 40 % af de samlede vægtede kriterier, jf. miniudbuds- betingelsernes
Dette giver en vægtet score på 4 point
Til sammenligning har det vindende tilbud opnået en vægtet score på 1,90 point
Evaluering af kvalitet
Tilbuddene er vedrørende underkriteriet ”kvalitet” blevet vurderet ud fra kvaliteten af de tilbudte konsulenter jf. miniudbudsbetingelsernes punkt 3.5.2.
Deres tilbud er karakteriseret ved
At de tilbudte konsulenter har en del erfaring med at arbejde med den offentlige sektor men har ikke ret stor erfaring med at arbejde med uni- versitetssektoren. Commentor har mange offentlige kunder men det er ikke nogen som man har arbejdet sammen med i så mange år. De tilbudte konsulenter har udmærket erfaring med klassiske udviklingsydelser, med udviklingsprocessen og med det efterspurgte udviklingssprog. Commen- ter er desuden udmærket til at udarbejde produktneutrale rapporter og le- vere uvildig rådgivning.
…
Det vindende tilbud er karakteriseret ved:
At de tilbudte konsulenter har meget stor erfaring med udviklingsopgaver og særligt inden for universitetssektoren. De tilbudte konsulenter har er- faring med alle de efterspurgte udviklingssprog. Der er tale om konsu- lenter som kommer fra et meget bredt funderet konsulenthus som er gode til at rådgive kunderne om deres muligheder.
…
Samlet evaluering af Deres tilbud
På baggrund af den ovenstående evaluering af underkriterierne, herunder de vægtede point, har Deres tilbud opnået en samlet score på 7,29 point.
Nedenstående skema viser det samlede evalueringsresultat for de 5 virk- somheder, der havde indgivet tilbud
…”
Efter at have modtaget underretningen anmodede Commentor om aktindsigt i de øvrige tilbud. Commentor opnåede aktindsigt i et evalueringsnotat, hvor begrundelsen for de enkelte tilbudsgiveres tildelte point var udeladt med und- tagelse af begrundelserne i forhold til Commentors tilbud. Af det evalue- ringsnotat, som Commentor fik delvis aktindsigt i, fremgår:
”…
…
…
…”
AAU meddelte den 14. september 2021, at der ikke tidligere var udarbejdet en evalueringsrapport, men at den nu var udarbejdet. I evalueringsrapporten er ”underkriterierne” til de enkelte delkriterier (1-3) litreret A-C/D. I forhold til Commentors tilbud er anført:
”…
…”
Af evalueringsrapporten fremgår også pointtildelingen til de øvrige tilbud og begrundelsen for pointene i forhold til ”underkriterierne” til delkriterium 1-
3. Commentor har desuden fremlagt uddrag af de øvrige tilbudsgiveres tilbud og har på den baggrund fremhævet følgende delkriterier:
I forhold til delkriterium 1A, hvor Commentors tilbud opnåede 4 point, har Commentor sammenlignet med tilbuddet fra ProActive, der opnåede 9 point. Commentor har bl.a. påpeget, at de opgaver, som ProActive beskriver at have erfaring med, ikke svarer til den udbudte opgave, og at nogle af de konsulen- ter, som ProActive har tilbudt, heller ikke er relevante.
I forhold til delkriterium 1B, hvor Commentors tilbud opnåede 5 point, har Commentor sammenlignet med tilbuddet fra Trifork, der opnåede 10 point. Commentor har bl.a. påpeget, at ud fra de fremlagte CV’er for de tilbudte konsulenter, har Triforks konsulenter 70 års erfaring, mens Commentors kon- sulenter har 116 års erfaring.
I forhold til delkriterium 1C, hvor Commentors tilbud opnåede 4 point, har Commentor sammenlignet med tilbuddet fra Trifork, der opnåede 9 point.
Commentor har bl.a. påpeget, at Trifork har arbejdet for AAU siden 2017, og at virksomheden yderligere har arbejdet sammen med to kunder i 2018 og 2017. Det fremgår således ikke af Triforks tilbud, at virksomheden har mere end 1-2 års kontinuitet i samarbejde. Commentor har derimod i sit tilbud an- ført fire kunder, som virksomheden har samarbejdet med side 2017, 2018 og 2014.
I forhold til delkriterium 2A, hvor Commentors tilbud opnåede 6 point, har Commentor sammenlignet med tilbuddet fra Deloitte, der opnåede 7 point. Commentor har bl.a. påpeget, at det af fremlagte CV’er for Deloittes konsu- lenter fremgår, at de ikke har meget erfaring med dedikerede udviklingsop- gaver, da teamet hovedsageligt tilbydes på projektledelse, og at teamets erfa- ring totalt udgør 33 år, mens Commentors konsulenter har 116 års erfaring.
I forhold til delkriterium 2D, hvor Commentors tilbud opnåede 6 point, har Commentor sammenlignet med tilbuddet fra Trifork, der opnåede 9 point. Commentor har bl.a. påpeget, at det af Triforks tilbud fremgår, at de tilbudte konsulenter har erfaring med de primære udviklingssprog, men de har ingen
– eller meget begrænset – erfaring med en række sekundære sprog. Derud- over har Trifork kun 3-8 års erfaring med softwareudvikling. Commentor har derimod tilbudt konsulenter, der har betydelig erfaring med de primære ud- viklingssprog og med størstedelen af de sekundære udviklingssprog. Konsu- lenterne har desuden 5-25 års erfaring med softwareudvikling.
I forhold til delkriterium 3A, hvor Commentors tilbud opnåede 6 point, har Commentor sammenlignet med tilbuddet fra Trifork, der opnåede 10 point. Commentor har bl.a. påpeget, at virksomheden tilbød seks konsulenter med betydelig erfaring med de efterspurgte ydelser til statslige kunder, herunder Udviklings- og Forenklingsstyrelsen, Miljøstyrelsen, Søfartsstyrelsen, Geodatastyrelsen, DPH og ATP. Derudover har fem ud af de i alt syv tilbudte konsulenter særlig erfaring med at levere de efterspurgte ydelser til uddan- nelsessektoren. Det fremgår modsat af Triforks tilbud, at virksomheden har tilbudt fem konsulenter med tidligere erfaring hos AAU. Disse erfaringer har imidlertid været meget kortvarige, eftersom ingen af konsulenterne har mere end maksimalt 2 års sammenhængende erfaring.
I forhold til delkriterium 3C, hvor Commentors tilbud opnåede 5 point, har Commentor sammenlignet med tilbuddet fra Systemate, der opnåede 7 point. Commentor har bl.a. påpeget, at Systemate alene ét sted i sit tilbud har anført:
”Foruden varetagelsen af hele udviklingsprocessen er Systemate ligeledes i stand til at udføre uvildig rådgivning og sparring, herunder også udarbejdelse af produktneutrale rapporter og – anbefalinger”. Commentors tilbud indehol- der derimod en meget detaljeret og omfangsrig beskrivelse i forhold til del- kriteriet.
I forhold til delkriterium 3D, hvor Commentors tilbud opnåede 5 point, har Commentor sammenlignet med tilbuddet fra Systemate, der også opnåede 5 point. Commentor har bl.a. påpeget, at der i AAU’s begrundelse for de til- delte point til Commentors tilbud ikke er anført noget, der vægter negativt, modsat i forhold til tilbuddet fra Systemate.
Særligt om Commentors tilbud
Commentor har i bilag 8 til sit tilbud anført følgende: ”…
Beskrivelse af hvordan tilbudsgiver vil matche Ordregivers opgavebe- skrivelse
…
1. Leverandørens erfaring med at samarbejde med offentlige organisati- oner
1.1. Leverandørens erfaring med rådgiving om sammenlignelige opgaver
Commentor er et dansk softwareudviklingshus med hovedsæde i Aal- borg. Vi er eksperter i at yde uvildig og produktneutral rådgivning, kon- sulentbistand af høj kvalitet og specialudvikle it-løsninger designet til at tackle præcis den problemstilling, vores kunder står overfor.
Commentor har i dag positioneret sig som et af Danmarks dygtigste ud- viklingshuse indenfor cloud arkitektur (vi er Microsoft Gold Cloud Plat- form Partner), applikationsudvikling, applikationsvedligehold og sy- stemintegration, og har leveret flere kritiske løsninger i Danmark på netop disse områder.
Vi hjælper med digitaliseringen af det offentlige Danmark og tilbyder rådgivende og udførende ydelser indenfor projektledelse, forretnings- analyser/kortlægninger, design, arkitektur, nyudvikling, test og idriftsæt- telse og uddannelse af nye applikationer og integrationer samt drift, sup- port, vedligehold, opgradering og videreudvikling af eksisterende soft- wareløsninger.
1.2. Leverandørens model til sikring af konsistent bemanding over tid
Commentor er en mellemstor IT-leverandør med 130+ medarbejdere. Vores konsulenter spænder over forretningskonsulenter, tekniske konsu- lenter/rådgivere, projektledere, it-arkitekter, softwareudviklere og te- stere. Vores konsulenter organiseres i tværfaglige teams bestående af op til 12 konsulenter samlet under en Teamlead med ansvar for udvalgte kunder og kundeprojekter.
Denne organisering medvirker til at udvikle og fastholde forretningsmæs- sig viden, skabe et tæt team-samarbejde om kundetilhørsforholdet og fremelske ansvar for opgaveløsningen i teamet. Det er vores erfaring, at det er den mest effektive måde at sikre konsistent bemanding over tid, der også samtidigt tilbyder kunderne et bredere udvalg af kompetencer og konsulenter
Desuden sikrer denne organisering, at viden om forretningen, domænet og omfattede systemer forankres i et større team - og risiko for videnstab mindskes. Konkret foregår dette ved, at der i AAU-teamet etableres en vidensdatabase, der løbende udbygges med relevant information om AAUs organisation og digitaliseringsstrategi samt de konkrete forret- ningsgange, systemer, integrationer, opgaver og processer, som AAU- teamet håndterer. Denne vidensdatabase bevirker dels, at viden gøres per- sonuafhængig, hvilket beskytter mod videnstab i tilfælde af mandefald, dels at nye ressourcer effektivt kan onboardes og medvirke til problem- løsning, uden ekstra omkostninger for AAU.
…
2.1. Brede ydelsesspecifikke og tekniske kompetencer
Commentor har, som det fremgår af bilag 7, budt ind med syv konsulen- ter, der tilsammen og hver for sig, dækker de efterspurgte tekniske og ydelsesspecifikke kompetencer og erfaringer i bredden såvel som i dyb- den. Dvs. vi byder med et team, der dækker de efterspurgte konsulentrol- ler, og som har erfaring med selvstændigt såvel som i selvstyrende agile teams at levere alle de efterspurgte ydelser, og som tilsammen dækker alle efterspurgte teknologiområder.
…”
Parternes anbringender:
Ad påstand 1
Commentor har gjort gældende, at AAU har tildelt point på en uensartet måde, som indebærer, at der for så vidt angår underkriteriet ”Kvalitet” er sket
en forkert pointtildeling. Selvom en ordregiver som udgangspunkt har en vid skønsmargin ved den kvalitative evaluering af de enkelte tilbud, er skønnet ikke frit. AAU har foretaget en åbenbar urigtig bedømmelse af Commentors tilbud i forhold til delkriterium 1-3.
ProActives tilbud har i forhold til delkriterium 1A scoret 5 point højere end Commentors tilbud på trods af, at Commentor har indleveret et tilbud, der i højere grad svarer til den opgave, som AAU har udbudt. Da AAU ville vur- dere på, ”hvorvidt de tilbudte konsulenter havde erfaring med at rådgive of- fentlige kunder indenfor opgaver der var sammenlignelige med den udbudte opgave”, og da der med sammenlignelige ydelser mentes ”ift. opgavens art, udførelsesmåde, og hvor ordregiver lignede Aalborg Universitet mht. orga- nisation, større og behov”, er Commentor blevet åbenbart fejlbedømt ved alene at have fået 4 point, mens ProActive har fået tildelt 9 point.
Trifork har i sit tilbud anført samarbejde med tre offentlige myndigheder, herunder det eksisterende samarbejde med AAU, mens Commentor har an- ført samarbejde med flere offentlige myndigheder med opgaver, som er helt sammenlignelige med de opgaver, som AAU har udbudt.
De konsulenter, som Trifork har tilbudt, har ikke i samme omfang som Com- mentors konsulenter erfaring med at rådgive den offentlige sektor, idet det fremgår af Triforks tilbud, at denne erfaring – ud over erfaringer fra det ek- sisterende samarbejde med AAU fra 2017 – primært er fra projekter i den private sektor, herunder LEGO, Vestas og Logstor A/S, som ikke er relevante referencer.
I forhold til erfaring med at rådgive universiteter med sammenlignelige op- gaver har Commentor anført erfaring fra en opgave for AAU, mens Trifork har anført en reference fra det nuværende samarbejde med AAU. Det har dog trukket ned ved evalueringen, at Commentors erfaringer med AAU vedrører et ”gammelt system”, selvom de opgaver, som Commentor har udført vedrø- rende det pågældende system, også er relevante for den udbudte opgave.
Opsummerende forekommer det således ikke korrekt, at Commentor alene har fået 4 point, mens Trifork har fået 9 point, da Commentor på flere af de parametre, som AAU ville vurdere på, kan dokumentere bedre og flere refe- rencer end Trifork.
I forhold til delkriterium 1B har Commentor tilbudt et konsulentteam, som har betydelig mere erfaring end det team, som Trifork har tilbudt. Commen- tor har dokumenteret i alt 116 års erfaring, mens Trifork alene har dokumen- teret 70 års erfaring. Da AAU ville evaluere på, om tilbudsgiveren kunne stille et konsulentteam til rådighed, som kunne forestå udførelsen af opga- verne gennem hele aftalens løbetid, og da AAU i evalueringen har tillagt et teams samlede erfaring betydning, forekommer det ikke korrekt, at AAU ved evalueringen af Commentors tilbud har anført, at Commentor har ”nogen er- faring”, mens Trifork er vurderet til at have ”et overordentligt tilfredsstil- lende og erfarent konsulentteam”, da Trifork har tilbudt konsulenter med 46 års erfaring mindre end Commentors tilbudte konsulenter. Commentor er så- ledes blevet åbenbart fejlbedømt. Indholdet af tilbuddene fra Commentor og Trifork og beskrivelserne af de tilbudte konsulentteams og deres rådighed for AAU giver ikke grundlag for, at der skulle være en forskel på 5 point mellem de 2 tilbud under dette delkriterium.
I forhold til delkriterium 1C har Commentor arbejdet med offentlige kunder i minimum samme antal år som Trifork. Af Triforks tilbud fremgår det, at virksomheden har arbejdet for AAU siden 2017 og for to kunder i 2018 og 2017. Commentor har rådgivet Søfartsstyrelsen siden 2017, Statens Admini- stration siden 2017, Danske Professions Højskoler siden 2018 og en mindre løsning hos AAU i 2014. Det forekommer derfor ikke korrekt, at Triforks tilbud har opnået 9 point, mens Commentors tilbud kun har opnået 4 point. AAU har tillagt det afgørende betydning i forbindelse med evalueringen af Triforks tilbud, at Trifork og AAU tidligere har samarbejdet, herunder at Tri- fork er AAU’s eksisterende leverandør.
I forhold til delkriterium 2A har AAU foretaget en åbenbar urigtig bedøm- melse af Commentors tilbud. Det fremgår, at Deloittes tilbud har opnået 1 point mere end Commentors tilbud, selv om de konsulenter, som Deloitte har tilbudt, har meget begrænset erfaring med dedikerede udviklingsopgaver. Hertil kommer bl.a., at erfaringen hos det team, som Deloitte har tilbudt, er markant lavere end hos Commentors team. Da Commentor har stor erfaring med lignende opgaver inden for klassiske udviklingsydelser – modsat Delo- itte – forekommer det ikke korrekt, at Deloittes tilbud har fået 1 point mere end Commentors tilbud.
AAU har tildelt Triforks tilbud 10 point og har således vurderet en pointfor- skel mellem tilbuddene fra Commentor og Trifork til 4 point. Indholdet af
tilbuddene og beskrivelserne af de tilbudte klassiske udviklingsydelser giver dog ikke grundlag for, at der skal være en forskel på 4 point mellem de to tilbud.
I forhold til delkriterium 2C har AAU tildelt Commentors tilbud 7 point og har bl.a. anført, at ”de tilbudte konsulenter har god erfaring med at arbejde med best practice”. Over for Trifork har AAU vurderet, at ”de tilbudte kon- sulenter har meget tilfredsstillende erfaring med at arbejde efter best practice og kan arbejde selvstændigt”, og AAU har tildelt tilbuddet 9 point. Efter ind- holdet af tilbuddene og beskrivelserne af best practice og de enkelte konsu- lenters dokumenterede erfaringer med at arbejde selvstændigt er der ikke grundlag for, at der skal være en pointforskel mellem de to tilbud, da begge tilbud har beskrevet deres egen best practice, ligesom de tilbudte konsulenter ikke skiller sig ud fra hinanden i forhold til spørgsmålet om, at de skal kunne arbejde selvstændigt.
I forhold til delkriterium 2D har de konsulenter, som Commentor har tilbudt, betydelig erfaring med de primære udviklingssprog. Det fremgår derudover af Commentors tilbud, at de tilbudte konsulenter har erfaring med størstede- len af de sekundære udviklingssprog, og konsulenterne har 5-25 års erfaring med softwareudvikling. Commentor har for hvert CV redegjort for erfarin- gerne med de pågældende udviklingssprog, og Commentor har således i me- get høj grad dokumenteret de tilbudte konsulenters erfaringer. Sammenlignes Commentors tilbud med Triforks tilbud, fremgår det, at Triforks konsulenter har erfaring med de primære udviklingssprog, men de har ingen – eller be- grænset – erfaring med en række sekundære sprog. Derudover har Triforks konsulenter kun 3-8 års erfaring med softwareudvikling, og Trifork har kun på teamniveau beskrevet disse erfaringer med udviklingssprog. Da AAU ville vurdere på, om de tilbudte konsulenter havde dokumenteret erfaring med udviklingssprog, forekommer det ikke korrekt, at Commentors tilbud alene har opnået 6 point, mens Triforks tilbud har opnået 9 point. Commentor er således blevet åbenbart fejlbedømt.
I forhold til delkriterium 3A har AAU foretaget en åbenbar urigtig bedøm- melse af Commentors tilbud. Ifølge udbudsbetingelserne ville det vægte po- sitivt, hvis konsulenterne havde kendskab til analyse, design, udvikling og test inden for universiteterne (forskning og formidling, uddannelse og læring eller administration). Det følger af Commentors tilbud, at virksomheden til- bød 6 konsulenter med betydelig erfaring med de efterspurgte ydelser til
statslige kunder som bl.a. Udviklings- og Forenklingsstyrelsen, Miljøstyrel- sen, Søfartsstyrelsen, Geodatastyrelsen, DPH og ATP. Derudover havde 5 ud af de i alt 7 tilbudte konsulenter særlig erfaring med at levere de efterspurgte ydelser til uddannelsessektoren. Trifork tilbød 5 konsulenter med tidligere erfaring hos AAU. Ingen af konsulenterne har dog mere end maksimalt 2 års sammenhængende erfaring. Trifork har således tilbudt konsulenter med i alt 6 år og 8 måneders erfaring fra uddannelses-/universitetssektoren, mens Commentor har tilbudt konsulenter med i alt 16 år og 3 måneders erfaring fra uddannelses-/universitetssektoren. Commentor er således blevet åbenbart fejlbedømt ved, at virksomhedens tilbud kun har fået 6 point, mens Triforks tilbud har fået 10 point.
I forhold til delkriterium 3B har AAU tildelt Commentors tilbud 6 point og har bl.a. anført, at ”de tilbudte konsulenter har god erfaring med at arbejde selvstændigt”. Over for Trifork har AAU vurderet, at ”de tilbudte konsulenter har meget yderst tilfredsstillende erfaring med at arbejde selvstændigt ”, og AAU har tildelt tilbuddet 9 point. Efter indholdet af tilbuddene og beskrivel- serne af de enkelte konsulenters dokumenterede erfaringer med at arbejde selvstændigt er der ikke grundlag for, at der skal være en forskel på 3 point mellem de to tilbud. Det er vanskeligt at se, hvordan AAU ud fra tilbuddene kan vurdere, at Trifork i højere grad har dokumenteret, at virksomhedens konsulenter har bedre evner til at arbejde selvstændigt med at drive design, udvikling mv. end Commentors konsulenter, medmindre AAU har inddraget egne erfaringer med at arbejde med konsulenter fra Trifork. Dette vil dog ikke være i overensstemmelse med udbudsbetingelserne og udbudsreglerne.
I forhold til delkriterium 3C har Commentor i sit tilbud detaljeret og om- fangsrigt beskrevet erfaringer med at udarbejde produktneutrale rapporter og produktneutrale anbefalinger, mens Systemate alene har berørt dette på 2 lin- jer. Hertil kommer, at AAU slet ikke synes at have vurderet på dette i evalu- eringsrapporten. Det forekommer derfor ikke korrekt, at Systemates tilbud har opnået 7 point, mens Commentors tilbud alene har opnået 5 point.
AAU har tildelt Triforks tilbud 8 point i forhold til dette delkriterium. Af Commentors tilbud fremgår dog en meget detaljeret og omfangsrig beskri- velse, mens det i tilbuddet fra Trifork A/S er noget mere sporadisk beskrevet under de enkelte konsulenter og alene er berørt på to linjer. Da det må forud- sættes, at AAU alene har lagt det, som fremgår af tilbuddene, til grund, og da
Commentor således har dokumenteret stor erfaring med at udarbejde pro- duktneutrale rapporter og anbefalinger, forekommer det ikke korrekt, at Tri- forks tilbud opnåede 3 point mere end Commentors tilbud, medmindre AAU har inddraget egne erfaringer med at arbejde med konsulenter fra Trifork. Dette vil dog ikke være i overensstemmelse med udbudsbetingelserne og ud- budsreglerne.
I forhold til delkriterium 3D har tilbuddene fra Commentor og Systemate begge fået 5 point, men begrundelserne for pointtildelingen er meget forskel- lige. Der er i evalueringen af Commentors tilbud ikke anført noget, som væg- ter negativt, i modsætning til tilbuddet fra Systemate, hvor AAU har anført, at det ikke er ”tydeligt, om de (Systemate A/S) kan rådgive på en måde, så de ikke afskærer sig selv fra at byde på opgaver i udbud”. Hertil kommer, at Systemate i sit tilbud alene har berørt ovenstående forhold på 1,5 linje, mens Commentor har en meget detaljeret og omfangsrig beskrivelse i sit tilbud. Det forekommer derfor ikke korrekt, at tilbuddene fra de to tilbudsgivere har fået samme antal point.
AAU har tildelt Triforks tilbud 9 point i forhold til dette delkriterium. Ind- holdet af tilbuddene fra Trifork og Commentor og beskrivelserne i forhold til at kunne yde uvildig rådgivning og sparring giver ikke grundlag for, at der skal være en forskel på hele 4 point mellem de to tilbud. Da det må forudsæt- tes, at AAU alene har lagt det, som er oplyst i tilbuddene, til grund, og da Commentor har beskrevet væsentlig mere erfaring med uvildig rådgivning på niveau eller bedre end Trifork, forekommer det ikke korrekt, at Commen- tors tilbud alene er tildelt 5 point for dette delkriterium.
Commentor har ikke gjort gældende, at tilbuddene under miniudbuddet blev vurderet op imod hinanden i stedet for en selvstændig vurdering af hvert til- bud op imod de kriterier, som var stillet i udbudsbetingelserne. Når AAU har foretaget en vurdering af hvert enkelt tilbud op imod kriterierne i udbuddet, er AAU dog forpligtet til at se på evalueringerne af de enkelte tilbud, herun- der pointgivningen mellem de enkelte tilbud, for endeligt at vurdere, om der er foretaget en retvisende evaluering af hvert enkelte tilbud i forhold til de øvrige tilbud. Dette er helt sædvanlig praksis, og hvis AAU havde foretaget den endelige sammenligning af tilbuddene på tværs af hinanden, ville det være åbenbart, at Commentor ikke havde den laveste kvalitet af tilbuddene. Commentors henvisning til vurderinger af andre tilbud end tilbuddet fra Tri- fork illustrerer, at AAU ikke foretog en vurdering af, om evalueringen af de
enkelte tilbud var retvisende.
Vurderingen af tilbuddene i forhold til underkriteriet ”Kvalitet”, som har vægtet 60 %, skulle ske på baggrund af tilbudsgivernes relevante referencer og CV’er. AAU skulle derfor primært foretage sin vurdering af de fremlagte beskrivelser af de konsulenter (CV’ere), som blev tilbudt til opgaven, og ikke hvad tilbudsgiverne i øvrigt havde anført i deres tilbud. Dette er en pointe, som AAU har overset, når universitetet henviser til de beskrivelser, som Commentor har i sit tilbud som supplement til de fremlagte CV’ere, herunder at disse skulle være mere overordnede beskrivelser i tilbuddet.
AAU har gjort gældende, at evalueringen af tilbuddene i forhold til underkri- teriet ”Kvalitet” er sket isoleret op imod de oplyste kriterier for pointgivning og ikke ved at sammenholde de indkomne tilbud med hinanden. Der er ingen forpligtelse i udbudsloven til, at AAU først skulle have vurderet tilbuddene i forhold til underkriteriet og dernæst have foretaget en sammenligning af de tildelte point til hvert tilbud, dvs. både en objektiv og relativ evaluering. Tværtimod var AAU både berettiget og forpligtet til at evaluere i overens- stemmelse med det anførte i miniudbudsbetingelserne, hvorefter hvert tilbud skulle evalueres op imod delkriteriet.
Generelt gælder det for Commentors tilbud, at det er formuleret meget ukon- kret. Det fremstår som en standardtekst, der kun i mindre grad er tilpasset det konkrete miniudbud. Der kan ikke tildeles point for uforpligtende og gene- relle lovprisninger af egne evner. Der evalueres i stedet på tilbuddets oplys- ninger om de konkrete kompetencer og den konkrete konsulentydelse, som tilbydes. Derudover lever beskrivelsen ikke op til kravet i miniudbudsbetin- gelserne om, at den skal tage højde for alle delkriterier.
Det var Commentors eget ansvar, at tilbuddet blev formuleret således, at det klart og tydeligt fremgår, hvad der tilbydes, herunder hvilke kompetencer de tilbudte konsulenter besidder. Hvis Commentor valgte at nævne disse forhold i de enkelte CV’er i stedet for i den samlede beskrivelse, kan det ikke bebrej- des AAU, at det ikke har fremgået tydeligt og samlet, hvad der blev tilbudt. Der var således en væsentlig forskel på tilbuddene fra Commentor og Trifork derved, at Commentors beskrivelse ikke omfattede alle delkriterierne, og Commentors tilbud var derfor svært tilgængeligt.
Commentor tilbød den laveste pris, men den lave pris hænger sammen med
den tilbudte kvalitet, og samlet er Commentors tilbud ikke det økonomisk mest fordelagtige.
Da der er tale om et udbud af konsulentydelser, må evalueringen af tilbud- dene i forhold til underkriteriet ”Kvalitet” nødvendigvis i høj grad være skønspræget. AAU er overladt et vidt skøn i forhold til evalueringen, så længe den foretagne evaluering er baseret på det, som er anført i miniudbuds- betingelserne, og det, som er oplyst i tilbuddene. Det forhold, at AAU’s vur- dering af tilbuddene på de enkelte kriterier afviger fra Commentors opfat- telse, gør ikke evalueringen forkert, endsige åbenlys forkert. Commentor har ikke kunnet påvise fejl ved evalueringen, og der er ingen holdepunkter for, at de tildelte point til de enkelte tilbud for underkriterierne er åbenlys forker- te.
AAU ville efter delkriterium 1A tillægge det positiv vægt, at de tilbudte kon- sulenter har erfaring med at rådgive offentlige kunder inden for opgaver, der er sammenlignelige med den udbudte opgave. Med sammenlignelige ydelser menes i forhold til opgavens art, udførelsesmåde, og hvor ordregiverne ligner AAU med hensyn til organisation, størrelse og behov.
Det er uden betydning, at ProActives tilbud i forhold til dette delkriterium fik tildelt 9 point, mens Commentors tilbud fik tildelt 4 point, idet pointgivnin- gen ikke er sket ved at sammenligne de to tilbud, men derimod ved objektivt at holde tilbuddene op imod delkriteriet og det oplyste pointskema. Hvis Commentor mener, at ProActive har fået for mange point, må Commentor formulere et klagepunkt om det, men det vil ikke have nogen betydning for tildelingsbeslutningen, idet ProActive ikke blev anset for samlet at have af- givet det økonomisk mest fordelagtige tilbud.
I forhold til de tildelte 4 point til Commentors tilbud svarer det efter point- skemaet til ”under middel med en under tilfredsstillende besvarelse, der op- fylder underkriteriet på jævn vis, med en del mangler”. Commentors tilbud indeholder generelle beskrivelser af, at der tilbydes konsulenter, som yder uvildig og produktneutral rådgivning, og at Commentor er en af Danmarks dygtigste og hjælper det offentlige Danmark. Det er i det hele intetsigende, og der er ingen oplysninger, der kan danne grundlag for en positiv evaluering af tilbuddet i forhold til delkriteriet.
Commentor har tilbudt et team på syv konsulenter, hvoraf to af dem har er- faring fra ansættelse på universiteter, og de øvrige har udført enkelte opgaver, som til en vis grad kan anses for sammenlignelige, herunder enkelte opgaver for uddannelsesinstitutioner. De medsendte CV’er og deri indeholdte beskri- velser af de tilbudte konsulenters erfaring kan efter AAU’s samlede vurde- ring danne grundlag for tildeling af 4 point.
Beskrivelsen i tilbuddet fra Trifork indeholder en række specifikke referen- cer, herunder AAU, Region Nordjylland og Sundhedsdatastyrelsen. Den le- veranceansvarlige konsulent har en omfattende erfaring med især AAU, og alle de tilbudte konsulenter har erfaring med præcis den udbudte opgave. Det er klart, at Trifork havde en fordel ved at kunne fremhæve AAU som refe- rence, og det vil være usagligt ikke at tillægge det betydning, da det ubestri- deligt er en god reference, og de tilbudte konsulenter hver især og tilsammen ubestrideligt har en betydelig erfaring med de udbudte opgaver. Derfor er det på ingen måde åbenbart urigtigt, at dette tilbud har fået 9 point for dette un- derkriterium.
Commentor har vedrørende delkriterium 1B foretaget en sammenligning med evaluering af tilbuddet fra Trifork, der blev tildelt 10 point. Commentor har gjort gældende, at det er de tilbudte konsulenters erfaring, der er afgørende i forhold til dette delkriterium, men det er ikke korrekt forstået. Forholdet ved- rører, om det tilbudte team stilles til rådighed for AAU, således at der sikres en kontinuitet i opgavevaretagelsen. De tilbudte konsulenters erfaring spiller en rolle, idet det har betydning for kvaliteten af det tilbudte team, men erfa- ring er ikke eneafgørende. Commentors sammenligning af den samlede erfa- ring er for simpel. Det er ret oplagt ikke således, at en tilbudsgiver, der kan tilbyde meget erfarne konsulenter, nødvendigvis er bedre til at sikre konsu- lenternes rådighed for kunden end en tilbudsgiver med mindre erfarne kon- sulenter.
Commentors tilbud indeholder også i forhold til dette delkriterium en meget overordnet beskrivelse, der ikke kan tillægges nævneværdig værdi til evalu- ering af, hvad der konkret tilbydes i relation til konsulenternes rådighed for AAU. Evalueringen er derfor sket ved en gennemgang af de tilbudte konsu- lenters CV’er, hvor det som anført i evalueringsrapporten kan konstateres, at ”Der stilles et tilfredsstillende team til rådighed for universitetet, som har nogen erfaring”.
Commentor kritiserer forskellen på 5 point mellem sit tilbud og tilbuddet fra Trifork, men Commentor har ikke anført en konkret begrundelse for kritik- ken. Vurderingen af Triforks tilbud er ikke baseret på AAU’s tidligere erfa- ringer med Trifork, men på det, som er anført i tilbuddet.
I forhold til delkriterium 1C foretager Commentor også på dette punkt en sammenligning med tilbuddet fra Trifork. Commentor har anført, at Trifork kun har dokumenteret kundeforhold på maksimum 3 års varighed. Det er ikke korrekt, og AAU kan oplyse, at Trifork har anført kunderelationer, der går tilbage til 2007.
Det er ikke kun længden af kundeforholdet, der har betydning, men også kon- tinuiteten. En konsulent kan f.eks. have udført opgaver for en kunde spora- disk gennem 5 år, mens en anden konsulent kan have udført en opgave, som har indeholdt intensiv rådgivning igennem 1 år. Det vil være usagligt at xxx- xxxxx dette hypotetiske eksempel således, at den første konsulent evalueres 5 gange bedre end den anden konsulent.
Commentor har i sit tilbud henvist til AAU som en brugbar reference, der er oplyst at være startet i 2014. Det er AAU’s opfattelse, at Commentors tidli- gere ydelser til AAU ikke har karakter af at være et tæt og kontinuerligt sam- arbejde om opgaver, som er sammenlignelige med den udbudte kontrakt. De øvrige referencer vedrører kundeforhold fra 2017, 2018 og 2020. Ud fra be- skrivelserne har der ikke været tale om tætte samarbejder, men derimod løs- ning af mindre opgaver eller bistand af mindre omfattende karakter.
Tilbuddet fra Commentor bærer på dette punkt præg af at være en standard- tekst, som er kopieret ind, og det er helt uomtalt, hvordan referencerne er relevante i forhold til de udbudte opgaver. Derimod fremgår der tre referen- cer af tilbuddet fra Trifork, og det er beskrevet konkret og detaljeret, hvordan de tre referencer er relevante i forhold til AAU og de udbudte opgaver. Det giver derfor grundlag for en langt bedre evaluering, og det forklarer forskel- len på point imellem de to tilbud.
Trifork nævner AAU som en reference. Evalueringen er sket på grundlag af det, som er anført i tilbuddet. Trifork har således meget detaljeret beskrevet, hvad der tidligere er udført for AAU, og sat dette i relation til de udbudte opgaver. Der er derfor ikke tale om, at Trifork blot har henvist til et tidligere kundeforhold til AAU, og at AAU har inddraget viden om dette forudgående
samarbejde i evalueringen. Det ville have været i strid med udbudsloven ikke at tillægge oplysningerne i Triforks tilbud nogen betydning, således som Commentor synes at gøre gældende, at AAU skulle have gjort. En tidligere leverandør kan således ikke afskæres fra at bruge ordregiveren som refe- rence.
Commentor har i forhold til delkriterium 2A foretaget en sammenligning med tilbuddet fra Deloitte, som fik tildelt 7 point, mens Commentors tilbud fik tildelt 6 point. Hvis Commentor mener, at Deloitte har fået tildelt for mange point, må Commentor nedlægge en påstand om dette. Det vil imidlertid ikke påvirke tildelingsbeslutningen, da tilbuddet fra Deloitte ikke blev anset for at være det økonomisk mest fordelagtige, og en nedsættelse af tildelte point for dette delkriterium har derfor ikke nogen betydning.
I forhold til Commentors tilbud, som ikke blev evalueret ved at sammenligne med Deloittes tilbud eller de øvrige tilbud, men vurderet isoleret, gælder det, at de tilbudte konsulenter ud fra beskrivelsen i CV’er samlet har solide erfa- ringer med udviklingsopgaver. Dette danner i henhold til den anvendte po- inttabel grundlag for 6 point.
I forhold til sammenligningen med tilbud fra Trifork er der budt ind med konsulenter, som alle igennem en længere periode har arbejdet med netop de udbudte opgaver for AAU. Det er derfor naturligt, at netop disse konsulenters erfaring anses for at være overordentlig tilfredsstillende. Dette er ikke en usaglig, positiv særbehandling af Trifork. Man kan ikke ændre på, at den hidtidige leverandør har relevant erfaring for den udbudte opgave. Den fore- tagne evaluering er sket på grundlag af beskrivelserne i tilbuddene, hvorefter der er foretaget en skønspræget vurdering af konsulenternes erfaring. Der er ikke grundlag for at tilsidesætte den evaluering.
Commentor har i forhold til delkriterium 2B anført, at der ved sammenlig- ningen mellem tilbuddene fra Commentor og Trifork ikke er grundlag for en forskel på 3 point. Det beror på Commentors subjektive opfattelse, og der er intet anført om fejl i evalueringen, endsige nogen begrundelse for, hvorfor Commentor mener, at evalueringen ikke er retvisende. Der er derfor ikke grundlag for at tilsidesætte den evaluering, som AAU har foretaget.
Commentor har i forhold til delkriterium 2C anført, at der ved sammenlig- ningen mellem tilbuddene fra Commentor og Trifork ikke er grundlag for en
forskel på 2 point. Commentor har imidlertid ikke anført noget, som kan un- derstøtte dette, andet end at det er Commentors subjektive opfattelse. Der er derfor ikke grundlag for at tilsidesætte den evaluering, som AAU har foreta- get.
Commentor har i forhold til delkriterium 2D foretaget en sammenligning med tilbuddet fra Trifork. Hvis Commentor mener, at det var åbenbart usag- ligt, at Commentors tilbud fik tildelt 6 point, må Commentor forholde sig til det, som er anført i tilbuddet, og herudfra forklare, hvorfor AAU skulle have givet flere point.
Det, som Commentor har beskrevet i sit tilbud i forhold til dette delkriterium, er ukonkret og kan derfor ikke umiddelbart danne grundlag for en god eva- luering. Commentor har end ikke adresseret forholdet om udviklingssprog. Trifork har derimod en helt anden konkret og beskrivende tekst, som kan danne grundlag for en god evaluering.
Evalueringen af Commentors tilbud er også sket ud fra det anførte i de med- følgende CV’er, og på den baggrund er det vurderet, at de tilbudte konsulen- ter har en solid erfaring med udviklingssprog, og det har resulteret i 6 point ud af 10 mulige. Hvis der skulle være grundlag for en bedre evaluering af Commentors tilbud, ville det kræve, at virksomheden havde formuleret sit tilbud mere skarpt, så det fremstod klart, hvilke kompetencer de tilbudte kon- sulenter har.
Commentor har i forhold til delkriterium 3A foretaget en sammenligning med tilbuddet fra Trifork. Det er dog ikke er den korrekte måde at vurdere sagen på, idet Commentor i stedet må forholde sig til sit eget tilbud og på baggrund heraf forsøge at forklare, hvorfor den foretagne evaluering ikke er retvisende.
De konsulenter, som Commentor tilbød, blev anset for at have et solidt kend- skab til de anførte forhold inden for den offentlige sektor, men ikke ret meget kendskab inden for universitetssektoren. Dette resulterede i 6 point ud af 10 mulige. Commentor argumenterer udelukkende ud fra en optælling af erfa- ringsår, hvorefter det ifølge Commentor gælder, at de konsulenter, som Tri- fork tilbød, har 6 år og 8 måneders erfaring, mens Commentors konsulenter har 16 år og 3 måneders erfaring.
Delkriteriet vedrører ”kendskab til analyse, design, udvikling og test”. Her
spiller erfaring selvsagt en rolle, men det er ikke eneafgørende. Commentors metode er en alt for simpel måde at anskue forholdet på, fordi man ikke blot kan foretage en optælling af erfaringsår og derudfra tildele point. Evaluerin- gen er ikke en matematisk øvelse, hvor antallet af erfaringsår resulterer i et bestemt antal point.
Commentor har intet anført, der kan medføre, at Commentors konsulenter skulle anses for at have et kendskab, der kan berettige til mere end de tildelte 6 point.
Commentors kritik synes ikke rettet mod XXX’x evaluering af virksomhe- dens tilbud, men mod at tilbuddet fra Trifork har fået en bedre evaluering. Evalueringen af Triforks tilbud er baseret på, at de tilbudte konsulenter har en overordentlig tilfredsstillende erfaring fra arbejde med uddannelsessekto- ren, herunder universiteterne. I den forbindelse har Trifork i sit tilbud omtalt de tilbudte konsulenters erfaring fra arbejdet for AAU. Dette er naturligvis indgået i evalueringen, men det betyder ikke, at AAU på usaglig vis har ladet et kendskab til Trifork fra sit tidligere samarbejde indgå i evalueringen, men derimod blot at det anførte i tilbuddet er taget i betragtning. Det er ubestride- ligt, at den erfaring, som Triforks konsulenter har opnået gennem flere års arbejde for AAU, må anses for relevant i forhold til den udbudte kontrakt, og derfor er det sagligt, at det har indgået i evalueringen.
I forhold til delkriterium 3B gælder det i udpræget grad, at Commentor slet ikke eller kun indirekte har omtalt det i beskrivelsen i sit tilbud. Vurderingen af de konsulenter, som Commentor har tilbudt, forudsætter således, at det ved en gennemgang af CV’erne kan udledes, i hvilken grad de er i stand til at arbejde selvstændigt med de anførte forhold. Der er intet grundlag for at æn- dre på de tildelte 6 point til Commentors tilbud.
Commentors kritik er primært rettet mod evalueringen af tilbuddet fra Tri- fork, som baserer sig på Commentors antagelse om, at AAU har ladet et for- håndskendskab til Trifork spille en afgørende rolle ved evalueringen. Evalu- eringen af tilbuddet fra Trifork er dog ikke sket på grundlag af erfaringer fra det tidligere samarbejde med Trifork, men på grundlag af Triforks tilbud. Heri er der tilbudt en række konsulenter, hvor det ud fra beskrivelsen er vur- deret, at de har en yderst tilfredsstillende erfaring med at arbejde selvstæn- digt, hvilket danner grundlag for de tildelte 9 point.
Commentor har i forhold til delkriterium 3C baseret sin kritik på, at Syste- mates tilbud har fået tildelt 7 point. Hvis Commentor mener, at Systemate tilbud har fået tildelt for mange point, skulle Commentor have nedlagt en påstand herom. Det vil dog ikke ændre på tildelingsbeslutningen, da Syste- mates tilbud ikke blev anset for at være det økonomisk mest fordelagtige, og en nedsættelse af tildelte point har derfor ingen betydning.
Commentors kritik synes i øvrigt at relatere sig til evalueringen af tilbuddet fra Trifork, hvorefter den positive evaluering kun kan skyldes AAU’s for- håndskendskab til Trifork. AAU har via det tidligere samarbejde haft et kend- skab til Trifork og til den konkret tilbudte leveranceansvarlige hos Trifork forud for udbuddet, men det relevante er, at evalueringen er baseret på, hvad der fremgår af tilbuddet. Det følger heraf, at den ansvarlige konsulent har til opgave at sikre produktneutrale rapporter og anbefalinger, hvilket på grund- lag af hans erfaring vurderes at være meget tilfredsstillende, hvorfor der er tildelt 8 point.
Commentor har i forhold til delkriterium 3D baseret sin kritik på, at Syste- mates tilbud – ligesom Commentor tilbud – også har fået tildelt 5 point. Hvis Commentor mener, at Systemates tilbud har fået tildelt for mange point, skulle virksomheden have nedlagt en påstand herom. Det vil dog ikke ændre på tildelingsbeslutningen, da Systemates tilbud ikke blev anset for at være det økonomisk mest fordelagtige, og en nedsættelse af tildelte point har der- for ingen betydning.
I tilbuddet fra Trifork er der en grundig beskrivelse af Triforks opbygning og arbejdsmetode, herunder Triforks Inspire-Build-Run metode. På grundlag heraf er det blevet vurderet, at Trifork er et meget bredt funderet konsulent- hus, som anses for at kunne yde en yderst tilfredsstillende uvildig rådgivning og sparring, hvilket har dannet grundlag for de tildelte 9 point.
Samlet set i forhold til påstand 1 har Commentor ikke påpeget et eneste for- hold i Commentors eget tilbud, som er blevet overset eller ikke er blevet ind- draget i evalueringen. I stedet er påstanden baseret på anbringender om, at det er uretfærdigt, at Commentors tilbud er tildelt færre point eller det samme pointtal som tilbuddet fra en anden tilbudsgiver. Der ses ikke at være noget i det, som Commentor har anført, som kan begrunde, at de tildelte point til Commentors tilbud er åbenbart urigtige.
Commentor har ikke forholdt sig til det åbenbare forhold, at løsningsbeskri- velsen i virksomhedens tilbud er mangelfuld, da den ikke behandler alle del- kriterier, og den er formuleret i meget generelle vendinger, som ikke er til- passet det konkrete udbud. Commentor bærer risikoen for, at tilbuddet frem- står ufuldstændigt, og at mange af de relevante oplysninger ikke er samlet et sted, men skal udledes af de enkelte CV’er.
Klagen vedrører derudover, at AAU’s evaluering af tilbuddet fra Trifork har været for positiv, og Commentor mener, at det skyldes AAU’s erfaringer med Trifork. Kritikken er imidlertid forkert og udokumenteret. Trifork skulle be- handles på samme måde som de andre tilbudsgivere, hvilket betyder, at Tri- forks tilbud skulle evalueres efter indholdet. Det ville have været udryk for negativ særbehandling af Trifork, hvis AAU skulle have set bort fra de dele af Triforks tilbud, der vedrørte AAU. Evalueringen af tilbuddet fra Trifork er sket på grundlag af det anførte i tilbuddet. Det forhold, at Trifork har brugt AAU som en reference, er således indgået i evalueringen f.eks. i forhold til, om Trifork har erfaring med universitetssektoren. Det skyldes ikke AAU’s forhåndskendskab til Trifork, men derimod at Trifork i sit tilbud har anvendt AAU som reference.
Ad påstand 2
Commentor har gjort gældende, at virksomhedens tilbud på baggrund af det, der er anført ad påstand 1, skulle have haft i hvert fald 24 point mere end det, som AAU vurderede. Commentor ville have fået tildelt kontrakten, hvis AAU ikke havde foretaget en åbenbar urigtig bedømmelse af tilbuddet i for- hold til underkriteriet ”Kvalitet”.
Commentors tilbud blev vurderet til en kvalitetsscore på i alt 3,29 point. Sam- let set opnåede tilbuddet 7,29 point, mens Triforks tilbud opnåede 7,42 point. Der var således alene tale om en difference på 0,13 point. Tilføjelsen af point kan ske ved mange mulige løsninger, idet ovenstående alene er et udpluk af de fejl, som AAU har begået i forbindelse med evalueringen.
AAU har gjort gældende, at Commentor ikke har anført noget, som kan danne grundlag for en ændret evaluering af virksomhedens tilbud, og Commentor har heller ikke anført forhold, der kan berettige, at evalueringen af tilbuddet fra Trifork ændres. Der er derfor ikke grundlag for at ændre tildelingsbeslut- ningen.
Ad påstand 3
Commentor har gjort gældende, at AAU på baggrund af det fremførte under påstand 1 og 2 groft har overtrådt de udbudsretlige regler, og klagenævnet skal derfor annullere tildelingsbeslutningen af 23. august 2021.
AAU har gjort gældende, at der ikke er grundlag for at ændre evalueringen af Commentors tilbud eller tilsidesætte tildelingsbeslutningen, og tilbuddet fra Trifork er med rette blev anset for at være det økonomisk mest fordelag- tige.
AAU foretog en grundig, saglig og detaljeret evaluering af de indkomne til- bud, hvilket også fremgår af evalueringsrapporten. Der var tale om en van- skelig evaluering af den tilbudte kvalitet, fordi konsulentydelser ikke er mål- bare, men der er foretaget en evaluering ud fra det beskrevne i tilbuddene baseret på det efterspurgte i miniudbudsbetingelserne. Evalueringen blev ba- seret på en høj grad af skønsmæssig vurdering, og der er ikke grundlag for at tilsidesætte det skøn, som AAU har foretaget.
Klagenævnet udtaler:
Ad påstand 1 og 2
AAU gennemførte i 2017 et begrænset udbud af et dynamisk indkøbssystem til brug for indkøb af IT-konsulentydelser. Det fremgår af udbudsbekendtgø- relsen, at AAU vil afholde et miniudbud for alle de leverandører, der er op- taget i det dynamiske indkøbssystem i den kategori, som AAU ønsker at handle inden for. AAU iværksatte den 9. juli 2021 et miniudbud inden for kategorien ”Programmering af applikationer og services/Store opgaver over
300.000 DKK”.
Efter miniudbudsbetingelserne var tildelingskriteriet det økonomisk mest fordelagtige tilbud identificeret som bedste forhold mellem pris og kvalitet med underkriterierne ”Kvalitet” med en vægt på 60 % og ”Pris” med en vægt på 40 %. AAU fastsatte tre delkriterier til underkriteriet ”Kvalitet”, og for hver af delkriterierne blev det anført, hvad der ville vægte positivt (1A-C, 2A-D og 3A-D).
Det fremgår af udbudsbetingelserne, at tilbuddene ville blive vurderet efter en absolut skala fra 0 til 10 i forhold til underkriteriet ”Kvalitet”, og at til- buddene dermed vurderes uafhængigt af de øvrige indkomne tilbud. Når det er fastsat, at evalueringen er absolut, dvs. at evalueringen alene sker under hensyn til det pågældende tilbuds grad af opfyldelse af de kvalitative tilde- lingskriterier, er der ikke i udbudsreglerne et krav om, at ordregiveren også skal foretage en relativ evaluering, hvor tilbuddene sammenlignes med hin- anden.
Klagenævnet kan efter fast praksis kun tilsidesætte det skøn, som en ordregi- ver har udøvet ved bedømmelsen af tilbudsgivernes opfyldelse af kvalitative kriterier, hvis ordregiveren åbenbart har overskredet den vide grænse, der gælder for ordregiverens evalueringsskøn, eller har handlet usagligt.
Commentor har gjort gældende, at AAU åbenbart har overskredet de vide grænser for evalueringsskønnet og har desuden antydet, at AAU har handlet usagligt ved tildelingen af point til Triforks tilbud, fordi AAU kender Trifork fra deres samarbejde forud for miniudbuddet.
Klagenævnet har efter det foreliggende ikke grundlag for at konstatere, at AAU åbenbart har overskredet grænsen for evalueringsskønnet eller har handlet usagligt. Det er i den forbindelse tillagt vægt, at Commentor ikke har anført noget, som viser, at AAU ved evalueringen af Commentors tilbud har udeladt forhold, som kunne have medført en ændret evaluering. Den omstæn- dighed, at Trifork som eksisterende leverandør til AAU helt naturligt har haft en fordel ved at henvise til AAU som reference, kan ikke medføre, at AAU ikke måtte tillægge referencen betydning ved evalueringen af tilbuddet. AAU har derfor ikke handlet i strid med udbudslovens § 2 ved evalueringen af til- buddene fra Commentor og Trifork eller ved at tildele kontrakten til Trifork.
Klagenævnet tager herefter ikke påstandene til følge. Ad påstand 3
Efter det, som er anført ad påstand 1 og 2, er der ikke grundlag for at annullere AAU’s beslutning af 23. august 2021 om at tildele kontrakten om udviklings- konsulenter til Trifork.
Herefter bestemmes:
Klagen tages ikke til følge.
Commentor A/S skal inden 14 dage efter modtagelsen af denne kendelse be- tale 30.000 kr. i sagsomkostninger til Aalborg Universitet.
Klagegebyret tilbagebetales ikke.
Xxxx X. Xxxxxxx
Genpartens rigtighed bekræftes.
Xxxxx Xxxxxxx kontorfuldmægtig