ALLEGATO 2 ALLA CIRCOLARE N. 4 DEL 15 DICEMBRE 2016
ALLEGATO 2 ALLA CIRCOLARE N. 4 DEL 15 DICEMBRE 2016
MONITORAGGIO SULL’ESECUZIONE DEI CONTRATTI
(ai sensi dell’art.14 bis, comma 2, lettera h) del Codice Amministrazione Digitale - Decreto Legislativo 7 marzo 2005, n. 82, come modificato dal Decreto Legislativo 26 agosto 2016, n. 179)
MONITORAGGIO NEL CICLO DI VITA DI UN PROGETTO
A.2. IL MONITORAGGIO NEL CICLO DI VITA DI UN PROGETTO
Come prima richiamato nella definizione degli ambiti di applicazione del monitoraggio, questo servizio può essere di supporto a tutte le fasi di un progetto di informatizzazione, anche qualora il progetto non si realizzi attraverso un contratto di fornitura di beni e/o servizi ICT.
Il ruolo che può svolgere il monitoraggio nelle diverse fasi di un progetto informatico, e le attività che gli possono essere affidate, sono sinteticamente riportate nella tabella che segue.
Tabella 1: Ruoli e attività del monitoraggio nelle fasi del ciclo di vita di un progetto informatico
Fase | Ruolo del monitoraggio | Attività affidabili al monitoraggio |
1 - Definizione | Supporto / Realizzazione | A. Assessment del sistema informativo dell’Amministrazione ed analisi as-is B. Analisi di fattibilità C. Analisi swot, analisi dei rischi e comparazione soluzioni D. Individuazione degli obiettivi e relativi indicatori di monitoraggio E. Individuazione di indicatori di vendor rating F. Predisposizione Piano Triennale dell’ICT dell’Amministrazione |
2 - Avvio | Supporto / Realizzazione | A. Redazione atti gara e documentazione contrattuale B. Predisposizione BIM – Base informativa di monitoraggio |
3 - Esecuzione | Supporto | A. Supporto direzione lavori B. Verifiche di qualità di beni e servizi C. Verifica del grado di conformità al piano triennale ICT dell’Amministrazione D. Supporto al collaudo in itinere e finale E. Supporto al passaggio consegne F. Chiusura economica del contratto |
4 - Ex Post | Supporto / Realizzazione | A. Analisi costi B. Verifica del raggiungimento degli obiettivi in base agli indicatori di monitoraggio (inclusa customer satisfaction) C. Individuazione ulteriori evoluzioni D. Verifica finale del grado di conformità del Piano ICT dell’Amministrazione E. Assessment finale e Valutazione complessiva del sistema informativo dell’Amministrazioni a seguito dell’iniziativa |
L’Amministrazione committente il monitoraggio dovrà di volta in volta selezionare tra queste attività quelle da porre in capo al monitore. E’ facoltà dell’Amministrazione affidare le attività relative alle fasi previste nella tabella 1 anche con contratti separati, fermo restando che l’affidamento deve essere relativo all’intera fase. In quest’ultimo caso il coordinamento delle varie attività di monitoraggio è svolto direttamente da AgID.
Qui di seguito sono maggiormente dettagliate le principali attività affidabili al monitore nelle fasi di un progetto di informatizzazione e le condizioni che devono essere assicurate al monitoraggio per massimizzarne l’efficacia. Le Amministrazioni potranno aggiungere nel contratto di monitoraggio maggiori dettagli operativi rispetto a quanto qui di seguito riportato, ovvero anche ulteriori attività che intendono affidare al monitore. In ogni caso, in un contratto di monitoraggio, le attività prevalenti affidate al monitore dovranno comunque essere selezionate tra quelle riportate nella precedente tabella.
Fase 1: Definizione
A. Assessment del sistema informativo dell’Amministrazione ed analisi as-is
Il Monitore svolge un assessment del Sistema Informativo dell’Amministrazione con lo scopo di fornire una baseline di riferimento, utilizzando indicatori standard che permettano anche il confronto tra diverse PPAA. (AgID potrà individuare una serie minima di indicatori da utilizzare ovvero rinviare a norme ISO se applicabili). Questo assessment, che potrà essere di natura organizzativa, tecnica e applicativa, sarà la baseline di riferimento per confronti in itinere ed ex-post rispetto alle iniziative che l’Amministrazione vorrà intraprendere. E’ fondamentale che tale assessment contenga l’elenco dei servizi che l’Amministrazione eroga sia agli utenti finali che al suo interno. Si raccomanda che la rilevazione delle configurazioni e delle performance delle infrastrutture, delle applicazioni e dei servizi abbia una base storica almeno biennale.
B. Predisposizione analisi di fattibilità (studio di fattibilità).
Il Monitore predispone analisi di fattibilità riguardanti iniziative di innovazione ICT, reingegnerizzazione di soluzioni software, acquisizione di beni e/o servizi ICT. Il monitore deve, tra l’altro, prevedere nello studio le seguenti analisi, in conformità con quanto previsto nel documento “Analisi di fattibilità per l’acquisizione delle forniture ICT” pubblicate da AgID:
• analisi del contesto, normativo, organizzativo e tecnologico nel quale si inserisce l’iniziativa oggetto di studio sulla base dell’assessment di cui al punto precedente;
• analisi dei requisiti ed individuazione degli obiettivi specifici con le relative metriche di misurazione;
• coerenza delle iniziative oggetto di studio con i piani ICT delle amministrazioni;
• progetto di massima della soluzione che soddisfa le esigenze dettate dai requisiti, con riguardo alla individuazione delle soluzioni tecniche più adeguate a raggiungere gli obiettivi attesi, razionalizzare la spesa ICT e garantire la qualità dei risultati, nonché a favorire l’interoperabilità tra i sistemi e i dati delle pubbliche amministrazioni;
• piano di massima per la realizzazione della soluzione;
• analisi dei rischi del progetto di realizzazione della soluzione;
• analisi costi;
• strategia di acquisizione più conveniente (confronto make or buy, possibilità di ricorso al riuso);
• Indicatori di monitoraggio (KPI) da utilizzare per la verifica del raggiungimento degli obiettivi dell’iniziativa.
C. Analisi SWOT e Analisi dei rischi e valutazioni comparative.
Il monitore predispone, in base all’analisi di fattibilità se svolta, o ai requisiti ed esigenze espressi dall’Amministrazione, un’analisi swot dell’iniziativa. L’analisi swot ha lo scopo di valutare i punti di forza (Strengths), debolezza (Weaknesses), le opportunità (Opportunities) e le minacce (Threats) che l’iniziativa
dell’Amministrazione potrà avere e di svolgere con più efficacia l’analisi dei rischi e la valutazione comparativa tra più soluzioni. La metodologia di analisi del rischio dovrà essere espressamente specificata e risultare conforme a quanto previsto dalla norma ISO 31000:2009 (UNI ISO 31000:2010). La valutazione comparative di più soluzioni è condotta a salvaguardia dei principi di economicità ed efficienza, tutela degli investimenti, riuso e neutralità tecnologica.
D. Individuazione degli obiettivi e relativi indicatori di monitoraggio
Il Monitore, individua un set specifico di metriche e di soglie associate per obiettivo ed eventualmente per sub- obiettivi, e li propone ad AgID per una valutazione preventiva. Gli indicatori devono:
1. Avere la massima copertura sugli obiettivi previsti dal progetto, in modo da poter effettivamente verificare il loro raggiungimento con metriche oggettive;
2. Essere misurabili con procedure e strumenti oggettivi, che rendano le misurazioni certificabili;
3. Essere di tipo tecnico, economico, sociale o di misura dell’innovazione.
E. Individuazione di indicatori di vendor rating
Il fine dell’implementazione di un IT vendor rating (o vendor rating index) è quello di misurare la soddisfazione generale dell’Amministrazione rispetto ad un contratto di fornitura. Un appropriato indice di IT vendor rating, potrebbe avere il seguente schema a tre categorie, a cui sono collegati alcuni indicatori come esempio:
• Performance (gestione generale della fornitura rispetto ad indicatori di qualità, puntualità e costo)
o Efficacia della pianificazione
o Conformità beni e servizi
o Rispetto SLA ed indicatori di qualità
o Disponibilità dei servizi oltre le soglie previste
• Administration (qualità della gestione amministrativa del contratto)
o Rispetto adempimenti contrattuali
o Qualità servizi di gestione contratto (project e program management)
• Relationship (qualità dei rapporti, qualità post vendita,…)
o Cura del cliente (indicatore soggettivo)
o Creazione di valore per l’Amministrazione (indicatore soggettivo)
o Creazione di innovazione (indicatore soggettivo)
Le Amministrazioni dovranno individuare all’interno delle categorie sopra indicate, gli opportuni pesi in base alle proprie esigenze e priorità.
L’Agenzia è disponibile a fornire supporto alle Amministrazioni nel progettare e implementare un opportuno IT vendor rating.
F. Predisposizione Piano Triennale dell’ICT dell’Amministrazione
Il monitore supporta le Amministrazioni nella predisposizione del Piano triennale per l’informatica della dell’Amministrazione1 assicurando la coerenza tra questo Piano e le indicazioni del Governo e AgID. In questo ambito il monitore deve individuare e proporre appositi indicatori di monitoraggio (KPI) che consentano la valutazione del grado di raggiungimento degli obiettivi di servizio più generali delle Amministrazioni. Il Piano
1 Cfr. Legge 28 dicembre 2015, n. 208 (Legge di Stabilità 2016), art. 1, comma 513.
triennale per l’informatica della Pubblica Amministrazione dovrà contenere anche le modalità di misurazione dei risultati rispetto agli indici DESI applicabili.
Fase 2: Avvio
A. Redazione atti gara e documentazione contrattuale
Il monitore supporta l’Amministrazione nella predisposizione di capitolati riguardanti la fornitura di beni e/o servizi ICT, in particolare per quanto riguarda l’introduzione negli atti di adeguati elementi di pianificazione e controllo e di elementi atti al governo delle forniture, quali l’individuazione e la corretta definizione di livelli di servizio e indicatori di qualità e di monitoraggio dei prodotti e/o servizi, nonché di tecniche, metodi e strumenti atti a misurare tali livelli e indicatori in corso d’opera.
Il monitore fornisce altresì supporto nella individuazione dei criteri di selezione dei fornitori e per la valutazione delle offerte.
Indicazioni per la documentazione di riscontro
Gli schemi di atti contrattuali devono prevedere che l’aggiudicatario si obblighi a documentare tutte le fasi del ciclo di vita dei servizi o delle forniture dei quali è affidatario, rifacendosi, laddove possibile, a standard internazionali che regolano la produzione di documenti di un sistema qualità; a tal fine gli atti contrattuali devono prevedere esplicitamente la predisposizione e la consegna all’Amministrazione, anche in modalità telematica, almeno della documentazione di seguito indicata:
• documenti di pianificazione, tra i quali, a titolo di esempio: piano di progetto; piano di qualità; piano dei test; piano di gestione dei rischi; piano di gestione delle comunicazioni; piano di gestione delle modifiche e delle configurazioni, piano di gestione della continuità operativa
• documenti di progettazione, che in funzione delle caratteristiche delle fornitura, possono specializzarsi in: documenti descrittivi dell’architettura hardware e software del sistema; specifiche funzionali; specifiche di progettazione, contenenti la descrizione dei servizi (specifiche dei servizi), la descrizione dei mezzi e modalità per erogarli (specifiche di realizzazione), la descrizione delle modalità per assicurare in tutte le fasi di esecuzione del contratto il rispetto dei livelli di servizio, degli indicatori di qualità e di monitoraggio previsti, la descrizione delle modalità di verifica (specifiche di test e di collaudo); manualistica utente (manuali d’installazione; guide per l’utente);
• documenti di riepilogo delle attività svolte in esecuzione del contratto: tra i quali, a titolo di esempio, documenti di riepilogo di stati avanzamento lavori; documenti di riepilogo dei test eseguiti; documenti di riepilogo dei livelli di servizio erogati; documenti di riepilogo delle modifiche nel corso dell’esercizio e di gestione degli incidenti e delle emergenze; documenti di riepilogo sulla gestione del rischio; documenti di riepilogo sulla gestione delle non conformità.
Disposizioni specifiche per facilitare il monitoraggio
Gli atti contrattuali, qualora il contratto ricada nella fattispecie dei contratti da monitorare, ovvero quando l’Amministrazione ne ravvisi l’utilità, devono esplicitamente prevedere l’azione di monitoraggio del contratto. Per facilitarne l’azione, devono essere previsti specifici obblighi a carico del fornitore almeno con riferimento ai seguenti aspetti:
a) designazione di un responsabile del contratto per la gestione dei rapporti con il Monitore;
c) Obbligo per il fornitore di mettere a disposizione un “portale per la gestione documentale della fornitura” a garanzia del reperimento e consultazione da parte del direttore dei lavori e del monitore
n. 59 del 12-3-2014 – Suppl. Ordinario n. 20). Per quanto riguarda i formati editabili, sono altresì ammessi i formati standard Office ed OpenOffice.
della documentazione contrattualmente prevista; in tale portale dovrà essere disponibile (a titolo di esempio non esaustivo):
• Piano della qualità, Piano di progetto e SAL – Stato avanzamento lavori
• Documentazione tecnica
• L’utilizzo delle risorse e del budget contrattuali, da misurare con le metriche più opportune (ad esempio i punti funzione per lo sviluppo del software, i giorni persona per le risorse professionali);
• Dati elementari della fornitura relativi ai livelli di servizio ed i livelli di servizio conseguiti;
• Le misure di qualità del software;
• La customer satisfaction degli utenti delle forniture e/o dei servizi oggetto del contratto;
• Il raggiungimento degli indicatori di monitoraggio, opportunamente identificati anche a partire da quelli previsti nel piano triennale.
Tale portale e la banca dati dovranno rimanere di proprietà dell’Amministrazione e consegnata al termine della fornitura.
d) disponibilità a sottoporre l’esecuzione della fornitura a verifiche mirate, o verifiche di seconda parte eseguite dall’Amministrazione, dal Monitore o dall’Agenzia, volte a controllare l’applicazione e il rispetto dei requisiti contrattuali, nonché l’effettiva applicazione e l’utilizzo delle modalità di lavoro contrattualmente richieste o proposte dal fornitore in sede di gara;
e) partecipazione con proprio personale a riunioni periodiche con il monitore e l’Amministrazione per l'esame congiunto dell'andamento delle attività;
f) accesso del direttore dei lavori e del monitore agli uffici e impianti in cui vengono svolte le attività regolate dal contratto, per lo svolgimento delle verifiche necessarie.
Definizione indicatori di monitoraggio
Il monitore supporta l’Amministrazione nella definizione degli indicatori di monitoraggio che misurino il contributo dei beni e servizi acquisiti con la fornitura al raggiungimento degli obiettivi di servizio dell’Amministrazione, in coerenza con quanto previsto nel Piano Triennale. Gli indicatori sopra riportati dovranno essere suddivisi almeno per le seguenti tipologie:
• fornitura di hardware, storage, apparati di rete e relativi software di funzionamento
• sviluppi applicativi
• forniture di servizi di conduzione
Tali indicatori contribuiscono a popolare un repository degli indicatori di qualità delle forniture, tenuto dall’Agenzia. A tal fine, devono essere trasmessi dall’Amministrazione all’Agenzia al momento della loro definizione. Tali indicatori dovranno essere misurati in corso d’opera ed a conclusione del contratto e rendicontati all’Agenzia all’interno delle Rendicontazioni periodiche previste. L’assenza di tali indicatori renderà irricevibile la Rendicontazione da parte dell’AgID.
B. Predisposizione BIM – Base informativa di monitoraggio
Il monitore predispone un repository denominato “BIM – base informativa di monitoraggio” che dovrà contenere la documentazione contrattuale delle fornitura e del monitoraggio. La descrizione della BIM è presente al par. 5.5 del presente documento.
Fase 3: Esecuzione
A. Supporto alla direzione lavori.
Il monitore supporta l’Amministrazione nel governo in corso d’opera e nella direzione lavori dei contratti, attraverso la continua raccolta ed elaborazione di dati utili alla verifica dello stato di avanzamento delle attività,
del rispetto dei livelli di servizio, della qualità del software, dell’utilizzo del budget contrattuale, al fine di consentire una valutazione di eventuali scostamenti tra pianificato e consuntivato e porre in atto tempestive azioni correttive.
Tra le verifiche affidabili al monitoraggio in corso d’opera rientrano anche;
a) metodologie e processi adottate dal fornitore, sia per quanto riguarda la conduzione delle attività, sia per quanto riguarda la progettazione, realizzazione, test ed erogazione dei servizi oggetto di fornitura, rispetto alle prescrizioni contrattuali e alle esigenze del progetto;
b) adeguatezza della documentazione di riscontro prodotta dal fornitore, rispetto alle previsioni contrattuali e alle pratiche di buona norma nel settore informatico;
c) corretta esecuzione dei piani, del rilascio dei deliverables previsti (documenti, prodotti o servizi) secondo tempi e modi coerenti con la pianificazione adottata;
d) stato di avanzamento dei lavori e analisi degli scostamenti tra pianificato e consuntivato relativamente a obiettivi, tempi, costi e risorse;
e) rispetto dei livelli di servizio e di qualità contrattualmente previsti;
f) customer satisfaction relativa alla fornitura oggetto del contratto;
g) opportunità di varianti in corso d’opera.
Il monitore supporta l’Amministrazione nella risoluzione delle non conformità rilevate nell’esecuzione dei contratti, verificando l’efficacia e la tempestività delle azioni correttive messe in opera dai fornitori.
Per quanto riguarda le verifiche sulla qualità dei servizi e dei prodotti, il monitoraggio deve:
a) verificare i livelli di servizio e di qualità conseguiti dal fornitore, anche accedendo al sistema di misura predisposto dal fornitore;
b) verificare l’adeguatezza dei sistemi di misura adottati dal fornitore (indicatori, processi, strumenti, risorse, documenti di riepilogo delle misurazioni, storicizzazione dei dati di riepilogo delle misure);
c) verificare l'accuratezza e la validità delle misure prodotte dal fornitore, anche attraverso l’esecuzione, a campione, di parte delle misurazioni già effettuate dal fornitore stesso;
d) analizzare le azioni correttive messe in atto a fronte di eventuali situazioni di non conformità rilevate;
e) misurare la customer satisfaction dell’Amministrazione rispetto alle prestazioni erogate dal Fornitore
f) rappresentare le misurazioni effettuate con opportuni cruscotti e relazioni, al fine di fornire alla Amministrazione strumenti a supporto delle decisioni.
g) Misurare gli indicatori di vendor rating, secondo quanto previsto in fase di definizione
h) Misurare secondo gli indici DESI applicabili alla fornitura, secondo quanto previsto nel Piano Triennale.
B. Supporto al collaudo in itinere e finale.
Il monitore fornisce assistenza al collaudo di beni e servizi ICT, supportando la commissione di collaudo nella scelta dei campioni da sottoporre a verifica, nella misurazione e nella verifica della conformità di quanto misurato rispetto ai requisiti contrattuali.
C. Verifiche (in itinere) sul grado di raggiungimento degli obiettivi in termini di indicatori di monitoraggio.
Il monitore effettua una valutazione sul grado di raggiungimento degli obiettivi in termini di indicatori di monitoraggio:
• verificare che i costi sostenuti siano coerenti con quelli previsti nella analisi costi/benefici effettuata ex ante;
• mettere in relazione i beni e servizi forniti, altre risorse impiegate e risultati ottenuti in termini di effetti (benefici) su cittadini, imprese, dipendenti, altre Amministrazioni;
• analizzare le cause che abbiano eventualmente limitato o impedito il raggiungimento degli obiettivi dell'Amministrazione e/o modificato il rapporto costi / benefici rispetto a quanto ipotizzato ex ante.
D. Verifica del grado di conformità al piano triennale ICT dell’Amministrazione.
Il monitore supporta l’Amministrazione nella valutazione del livello di raggiungimento degli obiettivi fissati nel e più in generale dai Piani nazionali per la crescita digitale e l’innovazione tecnologica, sia in generale, sia rispetto al contributo fornito da specifici contratti al raggiungimento dei suddetti obiettivi.
Fase 4: ex-post
A. Assessment ex-post dell’iniziativa svolta
B. Analisi costi
C. Analisi customer satisfaction
D. Analisi degli indicatori di monitoraggio e sul raggiungimento degli obiettivi
E. Valutazione di sistemi informativi di pubbliche amministrazioni.
Il monitore valuta l’efficacia ed efficienza dei servizi erogati dalle pubbliche amministrazioni ai propri utenti, utilizzando indicatori standard che permettano il confronto tra le diverse realizzazioni della P.A. La valutazione può essere anche rapportata agli investimenti effettuati e può prevedere la individuazione di eventuali aree di miglioramento e delle soluzioni di massima più adeguate per intervenire.
La verifica può riguardare la capacità di mantenimento nel tempo dei livelli di servizio e di qualità dei prodotti, rispetto alle esigenze degli utenti.
F. Verifica del grado di attuazione dei Piani ICT delle pubbliche amministrazioni.
Il monitore valuta lo stato di attuazione dei Piani ICT delle pubbliche amministrazioni, anche in riferimento ai piani complessivi di crescita digitale della nazione e agli obiettivi di innovazione strategica del governo.