CLASSIFICAZIONE DEL DOCUMENTO: CONSIP PUBLIC ID 2365
CLASSIFICAZIONE DEL DOCUMENTO: XXXXXX XXXXXX XX 0000
GARA A PROCEDURA APERTA PER LA CONCLUSIONE DI UN ACCORDO QUADRO, AI SENSI DEL D.LGS. 50/2016 E S.M.I., AVENTE AD OGGETTO L’AFFIDAMENTO DI SERVIZI APPLICATIVI E L’AFFIDAMENTO DI SERVIZI DI SUPPORTO IN AMBITO
«SANITA’ DIGITALE - Sistemi Informativi Sanitari e servizi al Cittadino» PER LE PUBBLICHE AMMINISTRAZIONI DEL SSN APPENDICE 3 LIVELLI DI SERVIZIO
ID 2365 – Lotti Applicativi – Sanità Digitale Appendice 3 Livelli di Servizio
Classificazione: Consip Public 1 di 39
Indice
1. PREMESSA 4
2. STRUMENTI 4
2.1 Strumenti alimentanti le rilevazioni. 4
3. MATRICE DI CORRISPONDENZA INDICATORI DI QUALITÀ E AZIONI CONTRATTUALI 5Totale Rilievi Obiettivo Realizzativo 5
Disponibilità dei sistemi e apparati 6
Esecuzione delle attività su sistemi e apparati 6
4.1 Governo della fornitura 7
4.1.1 RSER – Impegni rispettati in offerta tecnica 7
4.1.2 PFI – Personale inadeguato 7
4.1.3 TIP – Tempestività nell’inserimento di personale 8
4.1.4 RSCT – Rispetto di una scadenza contrattuale 8
4.1.5 MAPP– Mancata Approvazione di un Artefatto della Fornitura 9
4.1.6 VQF – Valutazione Qualità della Fornitura 9
4.1.7 RLFN – Rilievi sulla fornitura 10
4.1.8 MIDG – Monitoraggio indicatori di digitalizzazione 11
4.1.9 TAI – Tempo di Attivazione degli Interventi 11
4.1.10 INPF – Indisponibilità Portale di Fornitura 12
4.1.11 ATPF – Mancata Attivazione Portale di Fornitura 12
4.2 Servizi di Sviluppo 13
4.2.1 RSPL – Rispetto del Piano di lavoro di obiettivo 13
4.2.2 GSCO – Giorni di sospensione del collaudo 14
4.2.3 DAES – Difettosità in avvio in esercizio 15
4.2.4 CTFU – Copertura test funzionali 15
4.2.5 RIUSO – Riuso di componenti 16
4.2.6 TRCG – Tempestività di Ripristino dell’Operatività in collaudo ed in garanzia 17
4.2.7 VISS – Violazioni degli standard di sviluppo 18
4.2.8 TROR – Totale Rilievi Obiettivo Realizzativo 18
4.2.9 Collaudo 19
4.2.9.1 DFCC – Difettosità in collaudo 20
4.2.9.2 MDTE – Miglioramento Debito Tecnico (moduli preesistenti) 20
4.2.9.3 QNFU – Qualità Non Funzionale 21
4.3 Manutenzione Correttiva (MAC) e Adeguativa (MAD) 23
4.3.1 TROI – Tempestività di Ripristino dell’Operatività in esercizio 23
4.3.2 CSR – Interventi di manutenzione correttiva recidivi 25
4.3.3 RMCO – Rilievi di Manutenzione Correttiva 26
4.4 Conduzione Applicativa 27
4.4.1 DSGP – Disponibilità dei servizi di gestione del portafoglio applicativo 27
4.4.2 RSCA – Rispetto di una scadenza dei servizi di gestione del Portafoglio 27
4.4.3 TRRA – Tempestività di risoluzione delle richieste di assistenza 28
4.4.4 RSGT – Rilievi sui servizi di gestione del Portafoglio Applicativo 28
4.5 Servizio di Supporto Specialistico 29
4.5.1 SPSS – Slittamento nella consegna di un’attività del servizio di Supporto Specialistico 29
4.5.2 CSIS - Customer effort Score dell’intervento specialistico 30
4.5.3 RSSP – Rilievi sui servizi di supporto specialistico 30
4.6 Servizio di sviluppo e evoluzione sw in co-working con l’Amministrazione 31
4.6.1 RSCC – Rispetto di una scadenza dei servizi di sviluppo e evoluzione sw in co-working 31
4.7 Servizio Conduzione Tecnica 32
4.7.1 DSA – Disponibilità dei sistemi e apparati 32
4.7.2 EASA - Esecuzione delle attività su sistemi e apparati 34
4.7.3 TROSA – Tempestività nel ripristino dell’operatività dei sistemi e apparati 35
5. INDICI DI PRESTAZIONE E QUOTE SOSPESE 37
5.1 Servizi Realizzativi 37
5.2 Gestione della Conduzione Applicativa 37
5.3 Supporto Specialistico 38
5.4 Manutenzione Correttiva e Adeguativa 38
6. INDICATORI DI DIGITALIZZAZIONE 39
1. PREMESSA
Il presente documento descrive il livello di qualità minimo atteso nell’erogazione dei servizi oggetto di fornitura.
Gli indicatori di qualità nell’ambito della presente iniziativa vengono descritti con il seguente dettaglio:
• la metrica e l’unità di misura con cui effettuare le misure;
• il periodo di riferimento su cui calcolare l’indicatore;
• la frequenza di esecuzione della misura dell’indicatore;
• i dati elementari o i sub-indicatori da rilevare per la misura;
• le eventuali regole di campionamento;
• le formule di calcolo e gli arrotondamenti da adottare;
• gli obiettivi che l’indicatore deve soddisfare espressi tramite valori soglia;
• le azioni contrattuali “a condizioni tutte fissate”.
• le eventuali eccezioni da considerare nell’uso dell’indicatore.
Nel caso dei Lotti Applicativi, l’Amministrazione potrà in AS personalizzare i livelli di servizio ed i relativi indicatori di qualità associati ed adeguare la sanzione conseguente al non raggiungimento degli obiettivi in funzione della criticità della violazione nel contesto specifico della propria organizzazione.
Unitamente al Piano della Qualità Generale, il fornitore deve consegnare alla Amministrazione la presente appendice integrata con gli indicatori aggiuntivi e migliorativi proposti in offerta tecnica di AQ e\o in offerta tecnica in fase di rilancio nonché con gli strumenti di misurazione migliorativi proposti o versioni di prodotto aggiornate alla data di stipula.
In erogazione, il fornitore deve mantenere costantemente adeguato il livello di qualità alla disponibilità di nuove versioni degli standard, best practice e linee guida applicabili.
2. STRUMENTI
2.1 Strumenti alimentanti le rilevazioni
Il Fornitore dovrà disporre degli strumenti specifici necessari a garantire la rilevazione dei livelli di qualità descritti nella presente appendice.
Il Fornitore dovrà mettere a disposizione tali strumenti senza alcun onere aggiuntivo per le Amministrazione e/o per i Comitati di monitoraggio e controllo e/o Consip.
Per l’erogazione dei servizi relativi ai Lotti Applicativi, il Fornitore dovrà conoscere e disporre di:
• strumenti di sviluppo: per le attività di programmazione, quali ambienti di sviluppo integrato (IDE Integrated Development Environment) specifici del linguaggio di riferimento, di accesso e manipolazione dei dati e stored procedure;
• strumenti per l’integrazione e rilascio continuo: per il versionamento dei sorgenti, le attività di build, test e deploy;
• strumenti per la verifica della qualità del software: per misurare e assicurare la qualità del software realizzato o modificato attraverso l’analisi statica e dinamica, la misura dell’usabilità, della sicurezza dei dati e delle applicazioni, delle prestazioni.
• strumenti di tracciatura: per la gestione dei requisiti funzionali e non, dei malfunzionamenti e delle richieste di assistenza.
Inoltre, con riferimento alla propria offerta tecnica il Fornitore può aggiungere e migliorare gli strumenti e proporre ulteriori indicatori, Key Performance Indicator, misure aggiuntive.
Pertanto, nei Contratti Esecutivi, sia gli strumenti a supporto della fornitura sia il profilo di qualità finale
comprenderanno tutto quanto offerto dal Fornitore.
Il Piano della qualità Generale e il Piano della Qualità Specifico del Contratto Esecutivo riporteranno sempre l’interezza degli strumenti, dei processi e del profilo di qualità.
3. MATRICE DI CORRISPONDENZA INDICATORI DI QUALITÀ E AZIONI CONTRATTUALI
Di seguito si trova la matrice di corrispondenza tra gli Indicatori di Qualità validi per l’intera fornitura e le azioni contrattuali previste nel caso di non rispetto dei valori di soglia. Si precisa che qualora il Fornitore abbia dichiarato nella propria Offerta Tecnica il miglioramento dei valori di soglia rispetto a quanto indicato nel presente documento, gli scostamenti al fine dell’applicazione delle penali saranno calcolati rispetto ai valori soglia dichiarati nell’Offerta Tecnica.
Tabella 1 Matrice di corrispondenza indicatori - azioni contrattuali per tutti i Lotti
Indicatore | Azione Contrattuale | |||
Rilievo | Quota Sospesa | Penale | ||
Governo della fornitura | ||||
RSER | Impegni assunti in offerta tecnica per l’Amministrazione | X | ||
PFI | Personale inadeguato | X | ||
TIP | Tempestività nell’inserimento di personale | X | ||
RSCT | Rispetto di una scadenza contrattuale | X | ||
MAPP | Mancata Approvazione di un Artefatto della Fornitura | X | ||
VQF | Valutazione Qualità della Fornitura | X | ||
RLFN | Rilievi sulla fornitura | X | ||
MIDG | Monitoraggio indicatori di digitalizzazione | X | ||
TAI | Tempo di Attivazione degli Interventi | X | ||
INPF | Indisponibilità Portale di Fornitura | X | ||
ATPF | Mancata Attivazione Portale di Fornitura | X |
Tabella 2 Matrice di corrispondenza indicatori - azioni contrattuali per i Lotti Applicativi
Indicatore | Azione Contrattuale | |||
Rilievo | Quota Sospesa | Penale | ||
Servizi Realizzativi | ||||
RSPL | Rispetto del Piano di lavoro di obiettivo | X | X | |
GSCO | Giorni di sospensione del collaudo | X | ||
DAES | Difettosità in avvio in esercizio | X | X | X |
CTFU | Copertura test funzionali | X | ||
RIUSO | Riuso di componenti | X | ||
TRCG | Tempestività di Ripristino dell’Operatività in collaudo ed in garanzia | X | X | |
VISS | Violazioni degli standard di sviluppo | X | X | |
TROR | Totale Rilievi Obiettivo Realizzativo | X | ||
DFCC | Difettosità collaudo | Sospensione del collaudo (disciplinata secondo l’indicatore GSCO) | ||
MDTE | Miglioramento Debito Tecnico (moduli preesistenti) | |||
QNFU | Qualità Non Funzionale | |||
Manutenzione Correttiva (MAC) e Adeguativa (MAD) | ||||
TROI | Tempestività di Ripristino dell’Operatività in esercizio | X | X | |
CSR | Interventi di manutenzione correttiva recidivi | X | ||
RMCO | Rilievi di Manutenzione Correttiva | X | X | |
Conduzione Applicativa | ||||
DSGP | Disponibilità dei servizi di gestione del portafoglio applicativo | X | ||
RSCA | Rispetto di una scadenza dei servizi di gestione del portafoglio | X | ||
TRRA | Tempestività di risoluzione delle richieste di assistenza | X |
RSGT | Rilievi sui servizi di gestione del Portafoglio applicativo | X | X | |
Supporto Specialistico | ||||
SPSS | Slittamento nella consegna di un’attività del servizio di Supporto Specialistico | X | ||
CSIS | Customer effort score dell’intervento specialistico | X | X | X |
RSSP | Rilievi sui servizi di supporto specialistico | X | X | |
Servizio di sviluppo e evoluzione sw in co-working con l’Amministrazione | ||||
RSCC | Rispetto di una scadenza dei servizi di sviluppo e evoluzione in co-working | X | ||
Servizio Conduzione Tecnica | ||||
DSA | Disponibilità dei sistemi e apparati | X | ||
EASA | Esecuzione delle attività su sistemi e apparati | X | ||
TROSA | Tempestività nel ripristino dell’operatività dei sistemi e apparati | X |
Tabella 3 Matrice di corrispondenza indicatori - azioni contrattuali per i Lotti di Supporto
Indicatore | Azione Contrattuale | |||
Rilievo | Quota Sospesa | Penale | ||
SPSS | Slittamento nella consegna di un prodotto e/o di un’attività | X | ||
CSIS-SUPP | Customer effort score dell’intervento | X | X | X |
RSSP | Rilievi sui servizi | X | X | |
RSCC | Rispetto di una scadenza dei servizi | X |
4. INDICATORI DI QUALITÀ
4.1 Governo della fornitura
Di seguito sono descritti gli indicatori per misurare aspetti validi per tutti i servizi che compongono il Contratto Esecutivo.
4.1.1 RSER – Impegni rispettati in offerta tecnica
L’indicatore di qualità verifica il numero di impegni rispettati dal Fornitore in offerta tecnica, afferenti obbligazioni contrattuali non adempiute nei tempi e/o nei modi rappresentati nel Contratto Quadro e/o nei Contratti esecutivi con relativi allegati e/o tracciati sui Piani di lavoro, siano esse presidiate da specifici indicatori o non presidiate.
Aspetto da valutare | Numero di impegni assunti dal Fornitore in offerta tecnica non adempiuti | ||
Unità di misura | Impegno | Fonte dati | Comunicazioni Note Amministrazione |
Periodo di riferimento | Trimestre precedente la rilevazione | Frequenza di misurazione | Trimestrale |
Dati da rilevare | N_RSE = Numero impegni rispettati | ||
Formula | RSER = N_RSE | ||
Nessuna | |||
Valore di soglia | RSER = 0 | ||
Azioni contrattuali | Il mancato rispetto del valore di soglia comporterà per ogni scostamento rispetto al valore soglia l’applicazione della penale “Impegni assunti in offerta tecnica”, pari all’1‰ dell’importo contrattuale per ogni impegno non rispettato. |
4.1.2 PFI – Personale inadeguato
L’indicatore misura la quantità di risorse non rispondenti ai profili professionali richiesti.
Aspetto da valutare | Numero di risorse ritenute inadeguate dall’Amministrazione | ||
Unità di misura | Risorse inadeguate | Fonte dati | Strumenti di comunicazione E-mail, lettere, verbali |
Periodo di riferimento | Durata del Contratto Esecutivo Periodi di verifica di conformità | Frequenza di misurazione | Mensile |
Dati da rilevare | Numero risorse rimosse per inadeguatezza su richiesta della Amministrazione (Nrisorse_inadeg) | ||
Regole di campionamento | Nessuna | ||
Formula | PFI = Nrisorse_inadeg |
Nessuna | |
Valore di soglia | PFI = 1 |
Azioni contrattuali | Il mancato rispetto del valore di soglia comporterà l’applicazione della penale “Personale inadeguato”, pari all’1‰ dell’importo contrattuale per ogni risorsa inadeguata. |
4.1.3 TIP – Tempestività nell’inserimento di personale
Con questo indicatore si misura la tempestività nell’inserimento/sostituzione delle risorse impiegate nella fornitura, compresi i Referenti.
Aspetto da valutare | Tempo trascorso tra la richiesta della Amministrazione e l’effettivo inserimento/sostituzione della risorsa richiesta. | ||
Fonte dati | Contratto; E-mail; verbali Consuntivo Attività (Rendiconto risorse) presenze presso i team (eventuale foglio firma) | ||
Periodo di riferimento | Durata della fornitura Periodi di verifica di conformità | Frequenza di misurazione | Ad evento (dopo ogni inserimento/sostituzione) |
Dati da rilevare | • Data richiesta per l’inserimento/sostituzione di una risorsa (Data_richiesta_risorsa) • Data effettiva per l’inserimento/sostituzione della risorsa (Data_effettiva_risorsa) | ||
Nessuna | |||
Formula | TIP = Data_effettiva_risorsa - Data_richiesta_risorsa | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | TIP < =4 | ||
Azioni contrattuali | Il mancato rispetto del valore di soglia comporterà un rilievo RLFN sulla fornitura per ogni giorno lavorativo di ritardo rispetto al valore di soglia. |
4.1.4 RSCT – Rispetto di una scadenza contrattuale
L’indicatore misura il rispetto di scadenze temporali derivanti dalla documentazione contrattuale inclusa l’offerta tecnica del fornitore e/o pianificate in un piano di lavoro approvato.
Aspetto da valutare | Rispetto di una scadenza contrattuale | ||
Unità di misura | Xxxxxx lavorativi | Fonte dati | Contratto |
Periodo di riferimento | Durata della fornitura Periodi di verifica di conformità | Frequenza di misurazione | Mensile |
Dati da rilevare | Per ciascuna scadenza vanno rilevati - Data prevista (data_prev) - Data effettiva (data_eff) |
Nessuna | |
Formula | RSCT = data_eff – data_prev |
Regole di arrotondamento | Nessuna |
Valore di soglia | RSCT = 0 |
Azioni contrattuali | Per ogni 5 giorni lavorativi o frazione eccedenti il valore di soglia l’Amministrazione applicherà la penale “Slittamento di una scadenza contrattuale” pari all’1‰ dell’importo contrattuale. A titolo di esempio: RSCT = 6, comporterà l’applicazione di una penale pari alla somma di 1‰ per il primo giorno e di un altro 1‰ gli altri 5 giorni di ritardo. I ritardi sull’Offerta Tecnica devono essere segnalati al Comitato di monitoraggio e controllo. |
4.1.5 MAPP– Mancata Approvazione di un Artefatto della Fornitura
L’indicatore misura l’inadeguatezza o incompletezza di Artefatti soggetti ad approvazione quali i prodotti del processo di sviluppo software: documento di Stima, Piano di Lavoro, Documento dei Requisiti, Analisi, Disegno, Documento di Architettura, Rapporti di Esecuzione Test, ecc...
La mancata approvazione è equiparata a mancata consegna. Il ritardo sulla riconsegna del documento viene misurata dagli specifici indicatori di ogni servizio.
Aspetto da valutare | Inadeguatezza o incompletezza dell’Artefatto da Approvare | ||
Unità di misura | Numero | Fonte dati | Portale della fornitura Piano della Qualità Contratto |
Periodo di riferimento | Durata del Contratto Esecutivo | Frequenza di misurazione | Ad evento |
Dati da rilevare | Artefatto non approvato | ||
Formula | MAPP = Numero Artefatti non approvati | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | MAPP= 0 | ||
Azioni contrattuali | Il superamento del valore di soglia comporta il non superamento della milestone associata, pertanto l’Amministrazione applicherà la penale “Rigetto di Artefatti/Deliverable” pari all’1‰ dell’importo contrattuale. |
4.1.6 VQF – Valutazione Qualità della Fornitura
L’indicatore costituisce un indice sintetico della qualità misurata e percepita del contratto esecutivo, rilevato secondo quanto specificato al par. “Rilevazione della Qualità della Fornitura” del CTS.
Aggiunge alla componente oggettiva, derivante dalla rilevazione di tutti gli indicatori applicabili alla fornitura, una componente soggettiva derivante dalla misura dell’esperienza d’uso dei servizi da parte degli utenti e dell’Amministrazione.
Aspetto da valutare | La percezione della qualità della fornitura e il grado di soddisfazione degli utenti come espressione della facilità d’uso complessiva dei servizi, misurata rilevando dagli strumenti di feedback le risposte fornite. Secondo le modalità indicate al par. 8.7. del CTS, a seconda dei servizi oggetto del contratto esecutivo, l’Amministrazione deve rilevare i feedback per quanto riguarda la facilità di interazione e gestione dei servizi, efficacia e qualità delle soluzioni proposte e realizzate, soddisfazione per i risultati raggiunti, anche in termini di ottimizzazione dei tempi e dei costi. Per i servizi di gestione della Conduzione Applicativa e manutenzione correttiva è altresì obbligatorio rilevare l’esperienza d’uso relativa al “primo contatto” dell’utente con gli operatori dei servizi. Per le risposte vanno utilizzati come valori di riferimento numeri positivi su scala crescente (da 1 a 10) dove: • Risposte con punteggio maggiore o uguale a 7 corrisponde a “soddisfatto”; • Risposte con punteggio minore di 7 corrisponde a “non soddisfatto”. Ai fini del calcolo dell’indicatore non possono essere riutilizzati i feedback già valutati per gli indicatori CSQA e CSIS. | ||
Unità di misura | Percentuale | Fonte dati | Questionari |
Periodo di riferimento | Semestre precedente la rilevazione | Frequenza di misurazione | Semestrale |
Dati da rilevare | • Numero risposte positive (risposte con valore ≥ 7) (Nrisposte_pos) • Numero di domande del questionario (Ndomande) • Numero totale di questionari completamente compilati (Nquestionari) | ||
Regole di campionamento | L’Amministrazione dovrà sceglierà un campione significativo di utenti da intervistare | ||
Formula | 𝑁𝑞𝑢𝑒𝑠𝑡𝑖o𝑛𝑎𝑟𝑖 1 𝑁𝑟𝑖𝑠𝑝o𝑠𝑡𝑒𝑝o𝑠𝑖 𝑉𝐹𝑄 = × ( ∑ ) 𝑁𝑞𝑢𝑒𝑠𝑡𝑖o𝑘𝑎𝑟𝑖 𝑁𝑑o𝑚𝑎𝑘𝑑𝑒𝑖 𝑖=1 | ||
Regole di arrotondamento | Il risultato della misura va arrotondato al decimo di punto: - per difetto se la prima cifra decimale è ≤ 5 - per eccesso se la prima cifra decimale è > 5 | ||
Valore di soglia | VFQ >= 75% | ||
Azioni contrattuali | Il mancato rispetto del valore di soglia comporterà un rilievo RLFN per ogni 5 punti percentuali inferiori alla soglia. |
4.1.7 RLFN – Rilievi sulla fornitura
Aspetto da valutare | Numero di rilievi emessi per non conformità della fornitura afferenti obbligazioni contrattuali non adempiute nei tempi e/o nei modi | ||
Unità di misura | Rilievo sulla fornitura | Fonte dati | Comunicazioni |
Periodo di riferimento | Durata della fornitura | Frequenza di misurazione | Mensile |
Dati da rilevare | Numero Rilievi emessi sulla fornitura (Nrilievi_forn) |
L’indicatore conteggia le non conformità rilevate dall’Amministrazione per obbligazioni contrattuali non adempiute nei tempi e nei modi previsti, siano esse rilevate da specifici indicatori o non conformità, non presidiati da specifici indicatori.
Si considerano tutti i rilievi comunicati tramite nota/e di rilievo nel periodo di riferimento | |
Formula | RLFN = Nrilievi_forn |
Regole di arrotondamento | Nessuna |
Valore di soglia | RLFN = 1 |
Azioni contrattuali | Il superamento del valore di soglia comporta l’applicazione della penale “Eccesso di rilievi sulla fornitura” pari all’1‰ dell’importo contrattuale. |
4.1.8 MIDG – Monitoraggio indicatori di digitalizzazione
Aspetto da valutare | Rispetto della scadenza di rilevazione degli indicatori di digitalizzazione | ||
Unità di misura | Giorni lavorativi | Fonte dati | Documenti di pianificazione |
Periodo di riferimento | Durata della fornitura | Frequenza di misurazione | Trimestrale |
Dati da rilevare | Per ciascuna scadenza vanno rilevati - Data prevista (data_prev) - Data effettiva (data_eff) | ||
Formula | MIDG = data_eff – data_prev | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | MIDG = 0 | ||
Azioni contrattuali | Il mancato rispetto del valore di soglia comporterà un rilievo RLFN. L’applicazione del rilievo non solleva il Fornitore dall’obbligo dell’adempimento. |
L’indicatore misura il rispetto delle tempistiche nella raccolta delle informazioni ai fini della determinazione degli indici di digitalizzazione di cui al paragrafo 0
4.1.9 TAI – Tempo di Attivazione degli Interventi
L’indicatore TAI misura la tempestività di attivazione degli interventi relativi ai servizi previsti nel Contratto Esecutivo, a partire dalla richiesta dell’Amministrazione.
Aspetto da valutare | Il tempo di attivazione degli interventi a partire dalla richiesta dell’Amministrazione | ||
Unità di misura | Giorni lavorativi | Fonte dati | Strumenti di comunicazione E-mail, lettere, verbali |
Periodo di riferimento | Durata della fornitura Periodi per verifiche di conformità | Frequenza di misurazione | mensile |
Dati da rilevare | Per ciascun intervento vanno rilevati - Data della richiesta di attivazione di un intervento (Data_rich_int) - Data di attivazione dell’intervento (Data_attiv_int) |
Nessuna | |
Formula | TAI = Data_attiv_int - Data_rich_int |
Regole di arrotondamento | Nessuna |
Valore di soglia | Per interventi pianificati nel Piano di Lavoro Generale TAI = 0 Negli altri casi TAI <= 10 giorni lavorativi per servizi realizzativi TAI <= 5 giorni lavorativi per altri servizi |
Azioni contrattuali | Per ogni 5 giorni lavorativi o frazione eccedenti il valore di soglia l’Amministrazione applicherà la penale “Ritardo nell’attivazione intervento” pari all’1‰ dell’importo contrattuale, con un minimo di € 5.000. A titolo di esempio: TAI = 11, comporterà l’applicazione di una penale pari alla somma di 1‰ per il primo giorno e di un altro 1‰ per ogni 10 giorni di ritardo. |
4.1.10 INPF – Indisponibilità Portale di Fornitura
L’indicatore verifica gli eventi imputabili al Fornitore, che non assicurino la disponibilità, la raggiungibilità tramite Internet in una logica multicanale, e la piena operatività del “Portale della Fornitura”, tali da non consentire alle singole Amministrazioni ed agli Organismi di coordinamento e controllo di attivare e governare agevolmente i servizi.
Aspetto da valutare | Giorni di indisponibilità dei servizi e/o strumenti e/o funzionalità del Portale di Fornitura | ||
Unità di misura | Giorni Solari | Fonte dati | Comunicazioni Fornitore Note Amministrazione |
Periodo di riferimento | Mese precedente la rilevazione | Frequenza di misurazione | Mensile |
Dati da rilevare | N_GG_IND = Numero giorni di indisponibilità o mancata piena operatività | ||
Nessuna | |||
Formula | INPF = N_GG_IND | ||
Nessuna | |||
Valore di soglia | 1 | ||
Azioni contrattuali | Il mancato rispetto del valore di soglia comporterà per ogni rilievo di scostamento rispetto al valore soglia l’applicazione della penale “Indisponibilità Portale di Fornitura”, pari a euro 1.000 (mille) per ogni giorno solare di indisponibilità, fino ad un massimo dell’1‰ dell’importo contrattuale |
4.1.11 ATPF – Mancata Attivazione Portale di Fornitura
L’indicatore verifica l’attivazione del “Portale della Fornitura”.
Mancata attivazione del Portale di Fornitura
Aspetto da valutare
Unità di misura | Giorni solari | Fonte dati | Comunicazioni Fornitore Note Amministrazione Verbali di riunioni |
Periodo di riferimento | Mese precedente la consegna | Frequenza di misurazione | Alla Consegna |
Dati da rilevare | N_GCons = Numero giorni di ritardo nell’attivazione (Data effettiva – data prevista) | ||
Formula | ATPF = N_GCons | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | ATPF <= 1 | ||
Azioni contrattuali | Il mancato rispetto del valore di soglia comporterà per ogni giorno solare di ritardo rispetto al valore soglia l’applicazione della penale “Mancata Attivazione del Portale di Fornitura”, pari a euro 1.000 (mille), fino ad un massimo dell’1‰ dell’importo contrattuale. |
4.2 Servizi di Sviluppo
Di seguito sono descritti gli indicatori di qualità da applicarsi ai Servizi di Sviluppo di prodotti software.
4.2.1 RSPL – Rispetto del Piano di lavoro di obiettivo
L’indicatore RSPL verifica il rispetto della pianificazione di ogni obiettivo, misurando il rispetto della scadenza temporale di ciascuna milestone quali ad esempio:
• la date di consegna degli artefatti (la data pianificata di consegna del documento dei requisiti, del documento di analisi e piano di test, del documento di re-design, e così via per ogni artefatto obbligatorio del servizio);
• la data di consegna di ogni artefatto aggiuntivo offerto in offerta tecnica e concordato con l’Amministrazione nel Piano di lavoro;
• per i cicli agili, ogni data pianificata nello Sprint Planning;
• la data pianificata di “pronti al collaudo”, la data pianificata di termine collaudo con esito positivo, la data pianificata di rilascio, la data pianificata di termine avvio in esercizio formalmente.
Si precisa che per data effettiva di consegna di un artefatto va considerata la data di consegna del deliverable che soddisfa i requisiti minimi definiti nella documentazione contrattuale.
Pertanto, a titolo esemplificativo:
• una consegna incompleta o parziale non potrà essere considerata efficace e la data di consegna effettiva sarà quella dell’intero prodotto;
• il termine effettivo della fase di collaudo richiede la risoluzione di tutte le anomalie riscontrate nel corso del collaudo medesimo e la riconsegna della documentazione associata.
Aspetto da valutare | Rispetto di una scadenza temporale dell’obiettivo definita nel piano di lavoro approvato (o analogo documento) | ||
Unità di misura | Giorni lavorativi | Fonte dati | Piano di lavoro Portale della fornitura, strumenti di gestione documentale e di configuration&versioning Documenti di pianificazione |
Periodo di riferimento | Durata dell’obiettivo | Frequenza di misurazione | Ogni scadenza del Piano di lavoro Al termine dell’obiettivo |
Dati da rilevare | Per ciascuna scadenza dell’obiettivo vanno rilevati: Data prevista (data_prev) Data effettiva (data_eff) Numero di scadenze dell’obiettivo(Nscad_ob) |
Formula | RSPL=data_eff-data_prov |
Regole di arrotondamento | Nessuna Numeri negativi per registrare le consegne in anticipo |
Valore di soglia | Il Valore del ritardo della scadenza dell’obiettivo deve essere inferiore: RSPL <= 10 giorni lavorativi |
Azioni contrattuali | 1 Rilievo TROR per ogni giorno lavorativo di ritardo eccedente la soglia |
4.2.2 GSCO – Giorni di sospensione del collaudo
Il presente indicatore è il più rilevante per i servizi realizzativi in quanto la sospensione del collaudo è indice di una grave carenza qualitativa e incompletezza delle attività realizzative. È un fattore molto grave e il fornitore deve mettere in campo tutte le azioni di mitigazione, prevenzione e correzione per ridurre al minimo il rischio di sospensione previste nei vari Piani di Qualità (Generale di Lotto, Specifico di Contratto Esecutivo, di Obiettivo).
La sospensione può attivarsi automaticamente alla presenza di malfunzionamenti bloccanti in collaudo come disciplinato nell’indicatore DFCC – Difettosità in collaudo, o su decisione dell’Amministrazione qualora si verifichino situazioni “anomale” che, a giudizio della stessa, sia per numerosità sia per gravità, sia per non rispetto dei tempi massimi previsti per la risoluzione delle difformità, non consentano lo svolgimento o la prosecuzione delle attività.
Costituisce altresì causa di sospensione un Piano di Test del fornitore con carenze tali da compromettere l’esecuzione del collaudo e/o il riscontro di almeno un test con esito negativo (rispetto a quanto dichiarato positivo dal fornitore nel Rapporto di esecuzione test).
La sospensione del collaudo comporta lo slittamento del termine pianificato e tale ritardo sarà a totale carico del Fornitore comportando le azioni contrattuali previste dal presente indicatore. La consegna della versione corretta dei prodotti dovrà avvenire entro il nuovo termine fissato dall’Amministrazione.
In caso di più di 2 sospensioni sul medesimo obiettivo l’Amministrazione si riserva la facoltà di dichiarare “non approvabile/accettabile” il prodotto oggetto di collaudo per inadempimento del Fornitore come previsto dal Contesto Applicativo “Modalità di Approvazione dei prodotti”.
Aspetto da valutare | Numero complessivo di giorni in cui è stato sospeso il collaudo di un obiettivo per cause imputabili al Fornitore | ||
Unità di misura | Xxxxxx lavorativo | Fonte dati | Piano di lavoro approvato dell’obiettivo Comunicazioni di sospensione del collaudo e di ripresa |
Periodo di riferimento | Durata collaudo | Frequenza di misurazione | Al termine del collaudo |
Dati da rilevare | • Data della singola sospensione collaudo (Data_sospensionej) • Data della singola di ripresa del collaudo (Data_ripresaj) • Numero di sospensioni del collaudo (Nsosp) |
Regole di campionamento | Si applica a tutte le sospensioni del collaudo (sia per la prima che, qualora capiti, per le successive) |
Formula | 𝐺𝑆𝐶𝑂 = ∑𝑁𝑠o𝑠𝑝(𝐷𝑎𝑡𝑎_𝑟𝑖𝑝𝑟𝑒𝑠𝑎 – 𝐷𝑎𝑡𝑎_𝑠o𝑠𝑝𝑒𝑘𝑠𝑖o𝑘𝑒 )Sommatoria dei giorni di tutte le 1 𝑖 𝑖 sospensioni del collaudo del medesimo obiettivo |
Regole di arrotondamento | Nessuna |
Valore di soglia | Deve essere inferiore alla % indicata della durata pianificata del collaudo GSCO <= 10% * durata collaudo in giorni lavorativi |
Azioni contrattuali | 1 Rilievo TROR per ogni giorno lavorativo eccedente la soglia |
4.2.3 DAES – Difettosità in avvio in esercizio
Il presente indicatore rileva la difettosità residua funzionale e non funzionale.
Relativamente ai servizi esposti all’esterno, devono essere raccolti in particolare l’aderenza ai requisiti di accessibilità, usabilità, sicurezza, prestazioni che devono permettere la piena fruizione delle funzionalità e dei servizi a cittadino/impresa/operatore amministrativo/decisore/ fruitore.
Il periodo di avvio in esercizio è di 3 mesi.
Nel caso di obiettivi suddivisi in lotti il periodo di riferimento è relativo alla messa in esercizio del singolo lotto.
Aspetto da valutare | Difettosità del sistema rilasciato in esercizio | |||
Unità di misura | Numero e tipologia di malfunzionamenti (errori e non conformità) | Fonte dati | Sistema di tracciatura Strumenti di raccolta feedback dagli utilizzatori del sistema | |
Periodo di riferimento | Fase di avvio in esercizio | Frequenza di misurazione | evento | |
Dati da rilevare | Numero totale di malfunzionamenti relativi a funzionalità utente nuove o modificate dall’obiettivo o regressioni sul software pregresso ivi incluso il mancato rispetto dei requisiti non funzionali. Malfunzionamenti Bloccanti: N_malfunz_bl Malfunzionamenti Non Bloccanti: N_malfunz_no_bl | |||
Regole di campionamento | Nessuna | |||
Valore di soglia | Classe di rischio A | Classe di rischio B | Classe di rischio C | |
DAES_bloccanti = 0 | DAES_bloccanti = 0 | DAES_bloccanti =0 | ||
DAES_non bloccanti=5 | DAES_non bloccanti = 10 | DAES_non bloccanti = 12 | ||
Azioni contrattuali | Dal 3° errore bloccante l’Amministrazione applicherà altresì la penale “Anomalie Bloccanti Reiterate” per ogni errore bloccante pari a: • € 7.500 per obiettivi di classe di rischio A • € 5.000 nei restanti casi Ogni malfunzionamento oltre la soglia del DAES_non bloccanti comporterà 1 Rilievo TROR |
4.2.4 CTFU – Copertura test funzionali
Tale indicatore ha lo scopo di verificare la completezza funzionale del Piano di Test a partire dal primo rilascio del documento in fase di analisi. Il requisito minimo è la presenza di almeno un caso di test per ciascuno scenario di utilizzo del caso d’uso o funzionalità da realizzare o modificare.
In caso di mancato soddisfacimento i documenti di Analisi e Disegno e Piano di Test sono rigettati sino alla corretta compilazione.
Aspetto da valutare | Copertura Funzionale del piano di test | ||
Unità di misura | Numero Casi d’uso | Fonte dati | Strumento automatico di gestione Requisiti e Test Documenti di Analisi e Piano di Test Rapporto di esecuzione |
Periodo di riferimento | Durata dell’obiettivo | Frequenza di misurazione | Ciascuna Milestone di consegna del documento di analisi/disegno e piano di test Fase di collaudo |
Dati da rilevare | NREko= Numero di Requisiti Utente non coperti da almeno un Caso d’uso NScenari ko = Numero scenari non coperti da almeno un caso di test | ||
Formula | NREko= Numero di Requisiti non coperti da almeno un Caso d’uso e NScenari ko = Numero scenari per caso d’uso non coperti da almeno un caso di test | ||
Soglia | CTFU = NREko + NScenari ko = 0 | ||
Azioni contrattuali | Se CTFU > 0 comporterà 1 Rilievo TROR aggiuntivo Il documento completo dovrà essere riconsegnato entro 3 giorni lavorativi o diverso termine indicato dall’Amministrazione |
4.2.5 RIUSO – Riuso di componenti
L’indicatore si applica ai progetti di sviluppo ex-novo e misura il grado di riuso per incorporamento e integrazione di servizi, componenti sw, strutture logiche di dati e funzionalità provenienti da fonti diversi (quali ad esempio parco software e servizi infrastrutturali dell’Amministrazione, catalogo del riuso di AgID, Developers Italia, open source, soluzioni di terze parti con licenza libera).
Aspetto da valutare | Riuso di componenti nello sviluppo ex-novo | ||
Unità di misura | Percentuale | Fonte dati | Specifiche Funzionali Disegno Tecnico |
Periodo di riferimento | Durata dell’obiettivo Periodi di verifica di conformità | Frequenza di misurazione | Semestrale |
Dati da rilevare | N_componenti_riuso = numero di componenti riutilizzati N_componenti_totali = numero di componenti da realizzare | ||
Formula | RIUSO = N_componenti_riuso / N_componenti_totali | ||
Soglia | RIUSO >= 10% il primo semestre di erogazione dei servizi. La soglia si alza del 5% ogni semestre |
Azioni contrattuali | Nel caso di mancato raggiungimento del valore di soglia, l’Amministrazione applicherà la perdita della quota sospesa “Riuso sviluppo ex-novo” |
4.2.6 TRCG – Tempestività di Ripristino dell’Operatività in collaudo ed in garanzia
Il presente livello di servizio si applica a:
• Non conformità funzionali e non funzionali rilevate durante il collaudo.
• Non conformità funzionali e non funzionali rilevate nel periodo di esercizio di funzionalità/servizi rilasciati dal fornitore e dunque in garanzia (le anomalie rilevate nella fase di Avvio in Esercizio dell’obiettivo realizzativo sono considerate unicamente nell’indicatore DAES e pertanto sono escluse dal presente indicatore);
• Non conformità funzionali e non funzionali rilevate nel periodo di post-erogazione ed entro il periodo di garanzia: il software e l’ambiente di test dovranno essere mantenuti dal fornitore presso la propria struttura sino alla scadenza della garanzia.
Aspetto da valutare | Tempestività di ripristino dell'operatività in collaudo ed in garanzia | ||
Unità di misura | Ora solare o lavorativa in funzione della soglia | Fonte dati | Strumenti di tracciatura E-mail |
Periodo di riferimento | Durata del Collaudo Garanzia: Durata contrattuale | Frequenza di misurazione | evento |
Dati da rilevare | Per ciascun malfunzionamento del software applicativo dovranno essere rilevate le seguenti informazioni: • Avvio del processo di risoluzione del malfunzionamento: Data, ora e minuti comunicazione al Fornitore [fase attivazione] (inizio) • Termine della risoluzione del malfunzionamento: Data, ora e minuti fine esecuzione [fase esecuzione] (termine) • Tempo di sospensione della risoluzione del malfunzionamento (sospensione) a causa dell'indisponibilità dell'ambiente di correzione, o per ragioni non imputabili al Fornitore (TS) | ||
Regole di campionamento | Nessuna | ||
Formula | TRGC_ cat j = t_risolj Dove: per ciascun malfunzionamento: t_risolj = terminej – inizioj – TS j=1,2,3,4 in base alla categoria di malfunzionamento | ||
Regole di arrotondamento | Il risultato della misura va arrotondato: - per difetto se la parte decimale è ≤ 0,5 - per eccesso se la parte decimale è > 0,5 |
Valore di soglia | Categoria | Tempo massimo di risoluzione | |
Categoria 1 (j=1) | In collaudo: Sospensione Collaudo t_risolj <= 1 giorno lavorativo | ||
Categoria 2 (j=2) | In collaudo: Sospensione Collaudo t_risolj <= 2 giorni lavorativi | ||
Categoria 3 (j=3) | t_risolj <= 3 giorni lavorativi | ||
Categoria 4 (j=4) | t_risolj <= 4 giorni lavorativi | ||
Azioni contrattuali | Difettosità in collaudo: le categorie 1 e 2 comportano la sospensione del collaudo secondo l’indicatore DFCC. Relativamente alle categorie 3 e 4: per ogni giorno lavorativo eccedente il valore soglia (o il diverso termine indicato dall’amministrazione) verrà emesso un Rilievo TROR Garanzia in esercizio Se la rilevazione è avvenuta nel periodo di erogazione dei servizi (dopo la fase di Avvio in Esercizio), il non rispetto del valore di soglia comporterà l’emissione di 1 Rilievo RLFN per ogni giorno o frazione di superamento della soglia. | ||
Garanzia Post-Erogazione: il mancato rispetto del valore soglia comporta la penale “Mancato Ripristino Operatività in garanzia” pari a € 5.000 per ogni 8 ore (solari per cat.1 e 2 – lavorative per cat. 3 o 4) o frazione di superamento della soglia. |
4.2.7 VISS – Violazioni degli standard di sviluppo
Gli standard di sviluppo e le linee guida saranno definiti a valle del periodo di avviamento e pertanto l’indicatore si applicherà esclusivamente dopo la condivisione dei suddetti standard tra il Fornitore e l’Amministrazione.
Aspetto da valutare | Rispetto degli standard di sviluppo e delle linee guida | ||
Unità di misura | Numero di violazioni | Fonte dati | Standard e linee guida |
Periodo di riferimento | Fase di collaudo | Frequenza di misurazione | Al collaudo |
Dati da rilevare | Num_viol = Numero di violazioni | ||
Formula | VISS = Num_viol | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | VISS = 0 | ||
Azioni contrattuali | Il superamento del valore soglia comporta la sospensione del collaudo come previsto dall’indicatore GSCO – Giorni di sospensione del collaudo. |
4.2.8 TROR – Totale Rilievi Obiettivo Realizzativo
L’indicatore conteggia il numero di Rilievi degli obiettivi realizzativi derivanti da:
• violazioni di soglia di specifici indicatori
• ulteriori Rilievi per obbligazioni contrattuali non adempiute nei tempi e nei modi rappresentati nella documentazione contrattuale e non presidiati da specifici indicatori.
Aspetto da valutare | Numero di rilievi emessi per non conformità dei servizi realizzativi afferenti obbligazioni contrattuali non adempiute nei tempi e/o nei modi rappresentati nel Contratto Esecutivo e relativi allegati e/o tracciati sui Piani di lavoro | ||
Unità di misura | Rilievo sull’obiettivo | Fonte dati | Sistema di Tracciatura Rilievi |
Periodo di riferimento | Durata dell’obiettivo | Frequenza di misurazione | Al termine dell’obiettivo |
Dati da rilevare | Numero Rilievi emessi sull’obiettivo (Nrilievi_obiettivo) | ||
Ambito | Servizi realizzativi | ||
Regole di campionamento | Nessuna | ||
Formula | TROR = Nrilievi_obiettivo | ||
Valore di soglia | TROR ≤ 3 (obiettivi con durata complessiva<= 6 mesi) o TROR ≤ 5 (obiettivi con durata complessiva> 6 mesi) | ||
Azioni contrattuali | Per ogni rilievo eccedente le seguenti soglie: • TROR > 6 (progetti con durata complessiva<= 6 mesi) • TROR > 10 (progetti con durata complessiva > 6 mesi) l’Amministrazione applicherà altresì la penale “Reiterati Rilievi di Obiettivo” pari all’1‰ dell’importo contrattualmente fissato per il servizio realizzativo nel contratto esecutivo, con i seguenti minimi: • minimo € 5.000 per obiettivi di classe di rischio A • minimo € 3.000 nei restanti casi |
4.2.9 Collaudo
Essendo il periodo di collaudo finalizzato alla verifica e validazione del sistema rilasciato è considerata fisiologica una difettosità residua rispetto alle attività di test effettuate dal fornitore. Tale fisiologica difettosità residua comprende malfunzionamenti di categoria NON bloccante nonché test negativi eseguiti con modalità differenti rispetto a quanto dichiarato positivamente eseguito dal fornitore. Diversamente trattasi di malfunzionamenti bloccanti come disciplinato dal successivo indicatore DFCC – Difettosità in collaudo.
Tutti i malfunzionamenti e le non conformità devono essere risolte per l’accettazione del software.
Il fornitore deve assicurare il supporto e garantire la tempestiva correzione degli errori sul software e sulla documentazione entro e non oltre i tempi previsti dal
TRCG – Tempestività di Ripristino dell’Operatività in collaudo ed in garanzia.
Si specifica che sono bloccanti (cat 1 o 2 come indicato nel corrispondente Piano di Test) le non conformità relative a:
▪ Sicurezza e Protezione dei dati: per tutti gli interventi realizzativi, ivi compresi gli interventi di correttiva
▪ Manutenibilità, Interoperabilità, Efficienza prestazionale, Affidabilità: per tutti gli interventi che realizzano servizi IT in Cloud e Migrazione Applicativi in Cloud;
▪ Manutenibilità e Affidabilità: per tutti gli interventi realizzativi su applicazioni di classe A;
▪ Usabilità e Portabilità per tutti gli interventi che realizzano/modificano servizi esposti all’esterno (siti, portali, app mobili)
Negli altri casi – fermo restando che tutte le non conformità devono essere risolte per l’accettazione del software – saranno considerate non bloccanti.
4.2.9.1 DFCC – Difettosità in collaudo
L’indicatore misura il numero di non conformità bloccanti rilevate in collaudo.
Aspetto da valutare | Numero di non conformità di categoria bloccante in collaudo | ||
Unità di misura | Non conformità bloccanti (categorie 1 e 2) | Fonte dati | Verbale di collaudo |
Periodo di riferimento | La fase di collaudo dell'obiettivo | Frequenza di misurazione | Alla rilevazione dell’evento |
Dati da rilevare | Numero totale di non conformità Bloccanti emerse durante il collaudo (N_non_conformità_bloccanti) | ||
Regole di campionamento | Vanno considerate le non conformità di categoria 1 o 2. | ||
Valore di soglia | - DFCC (categoria 1) = 0 - DFCC (categoria 2) <=3 | ||
Azioni contrattuali | Il superamento del valore soglia comporta la sospensione del collaudo come previsto dall’indicatore GSCO – Giorni di sospensione del collaudo. |
4.2.9.2 MDTE – Miglioramento Debito Tecnico (moduli preesistenti)
La misura standard CISQ Debito tecnico stima il lavoro aggiuntivo finalizzato alle eliminazioni delle non conformità del software (rilevate tramite analisi statica). L’indicatore si applica a tutti gli obiettivi che modificano il codice esistente e deve essere calcolato anche per la manutenzione correttiva.
Pertanto, con riferimento alla rilevazione di inizio fornitura (subentro) o alla presa in carico del software oggetto di modifica il fornitore rileva il debito tecnico pre-esistente all’intervento di modifica e si impegna a non peggiorarlo.
Aspetto da valutare | Il debito tecnico | ||
Unità di misura | Giorni persona | Fonte dati | Rilevazione iniziale Strumento di misurazione del Debito Tecnico |
Periodo di riferimento | La fase di realizzazione dell'obiettivo | Frequenza di misurazione | Fase di realizzazione Fase di collaudo |
Dati da rilevare | - Debito Tecnico software iniziale (DT_iniz) - Debito Tecnico software finale (DT_finale) | ||
Formula | MDTE = (DT_finale-DT_iniziale) / DT_iniziale | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | MDTE <= 0 | ||
Azioni contrattuali | Apertura malfunzionamento bloccante se MDTE <= 50%, bloccante se superiore. Per l’accettazione del software il codice deve essere corretto sino al raggiungimento di una soglia fissata dall’Amministrazione. |
4.2.9.3 QNFU – QUALITÀ NON FUNZIONALE
Per ciascuna delle caratteristiche sotto richiamate i documenti di sviluppo applicabili (Specifiche funzionali, Disegno dell’architettura, Re-design Architetturale, Piano di test, ecc.) devono prevedere una trattazione specifica. L’assenza e/o l’incompletezza di quest’ultima comporta la non approvazione del relativo documento e la contestuale applicazione dell’indicatore MAPP-Mancata Approvazione di Artefatti/Deliverable.
Per ciascuna delle seguenti caratteristiche il fornitore predispone una sezione specifica del Piano di Test e un corrispondente rapporto di esecuzione contenente la sintesi degli esiti degli strumenti/metodologie e tecniche di misurazione della specifica caratteristica. I report analitici di test devono essere disponibili sul Portale della Fornitura e presentati alla richiesta di “Pronti al collaudo”.
Nel Piano della Qualità Generale del Lotto devono essere illustrati i dettagli dei report (es. usabilità, interoperabilità, ecc…) e degli strumenti (sia di analisi statica e dinamica del software sia di gestione dei requisiti e test) nonché dei livelli migliorativi offerti e che saranno di riferimento nel corso della Fornitura per la rilevazione delle caratteristiche di qualità descritte nel seguito.
Nel Piano della Qualità Specifico del Contratto Esecutivo dovranno essere indicati gli strumenti specifici per i servizi previsti e, ove applicabile in base alla caratteristica di riferimento, il valore esatto di soglia fermo restando che rispetto alle indicazioni fornite nel seguito tale valore non può essere mai peggiorativo.
Aspetto da valutare | Qualità del software misurata attraverso le caratteristiche descritte in Tabella 2 | ||
Unità di misura | Numero | Fonte dati: Artefatti di riferimento e strumenti | Documenti di analisi, progettazione e test Strumenti di misura della qualità del sw Strumenti di testing |
Periodo di riferimento | La fase di collaudo dell'obiettivo | Frequenza di misurazione | Alla rilevazione dell’evento bloccante |
Dati da rilevare | NFko = numero di caratteristiche funzionali che non rispettano le soglie | ||
Nessuna | |||
Formula | QNFU = NFko | ||
Nessuna | |||
Valore di soglia | QNFU = 0 | ||
Azioni contrattuali | Apertura non conformità: • non bloccante se QNFU <= 4 • bloccante se QNFU > 4 • bloccante in caso di non risoluzione del malfunzionamento aperto o di peggioramento dell’indicatore. Per l’accettazione del software deve essere raggiunto un valore di soglia fissato dall’Amministrazione. |
La tabella riepiloga i livelli minimi da raggiungere per le caratteristiche e fornisce alcune indicazioni specifiche che dovranno essere riferite in misura equivalente dal Fornitore nell’utilizzo degli strumenti di rilevazione.
Tabella 2 Caratteristiche non funzionali
Caratteristica | Modalità di valutazione | Formula |
NF1 Comportamento Temporale | Tramite simulazione e confronto tra il tempo di risposta effettivo (T) in condizioni ordinarie e il tempo di risposta atteso (Ts fissato nei requisiti) | NF1 = T - Ts SOGLIA = 0 |
NF2 Comportamento Temporale sotto carico | Tramite simulazione e confronto tra il tempo di risposta effettivo (T) in condizioni di carico o picco e il tempo di risposta atteso (Ts fissato nei requisiti) | NF2 = T - Ts SOGLIA = 0 |
NF3 Efficienza Prestazionale | Tramite analisi statica. Nel caso di nuovi sviluppi, si dovrà verificare che il codice rilasciato non contenga nessuna delle violazioni elencate nella specifica sezione dello standard CISQ. Nel caso di MEV, l’amministrazione potrà richiedere, come requisito, un numero massimo di violazioni ammesse (Nr). Ove non venga definito tale requisito, il numero massimo di violazioni ammesso sarà pari al numero di violazioni misurate sul software oggetto di MEV prima dell’intervento (Np). | Per i nuovi sviluppi: NF3 = numero violazioni rilevato dallo strumento automatico di analisi statica Per la MEV: NF3 = numero violazioni rilevato – Nr (se definito nei requisiti) NF3 = numero violazioni rilevato - Np SOGLIA = 0 |
NF4 Interoperabilità | Percentuale di interfacce conformi al modello di interoperabilità previsto dal Piano Triennale e dalle linee guida, sul totale di interfacce offerte dal software rilasciato | NI = Numero di interfacce sviluppate conformi al modello di interoperabilità NC = Numero complessivo di interfacce sviluppate NF4 = (NI/NC) SOGLIA = 100% |
NF5 Usabilità-1 | Percentuale di risposte affermative sul totale di risposte relative ai temi affrontati dai seguenti indicatori ISO/IEC 25023 ▪ ULe-1-G (Completezza della guida utente): il Numero di funzionalità utente realizzate è pari al Numero di Help On Line? ▪ UAp-2-S (Capacità di dimostrazione) il Numero di funzionalità utente specificate è pari al Numero di demo esplicative realizzate che possano aiutare l’utente nell’operatività? ▪ ULe-2-S (Valori di default nei campi input) il Numero di campi di input da immettere con aiuto rappresenta la maggioranza dei campi di input? – dove i campi senza aiuto sono stati precedentemente condivisi ▪ ULe-3-S (Comprensibilità dei messaggi d’errore): il numero di messaggi di errore parametrici e cioè con l’indicazione del campo e/o dell’operazione errata risulta essere pari al numero di messaggi di errore in totale? ▪ UEp-2-S (Correzione da errori di input dell’utente) i dati di input sono controllati dal sistema applicativo prima di essere elaborati? | NF5 = numero di risposte applicabili affermative / numero complessivo di risposte applicabili SOGLIA = 100% |
NF6 Usabilità-2 | Numero di test di usabilità conformi (Nu) alle linee guida di designer Italia, rispetto al numero totale di test di | NF6 = Nu/Nt SOGLIA = 100% |
usabilità riportati nel piano di test (Nt). | ||
NF7 Affidabilità | Tramite analisi statica. Nel caso di nuovi sviluppi, si dovrà verificare che il codice rilasciato non contenga nessuna delle violazioni elencate nella specifica sezione dello standard CISQ. Nel caso di MEV, l’amministrazione potrà richiedere, come requisito, un numero massimo di violazioni ammesse (Nr). Ove non venga definito tale requisito, il numero massimo di violazioni ammesso sarà pari al numero di violazioni misurate sul software oggetto di MEV prima dell’intervento (Np). | Per i nuovi sviluppi: NF7 = numero violazioni rilevato dallo strumento automatico di analisi statica Per la MEV: NF7 = numero violazioni rilevato – Nr (se definito nei requisiti) NF7 = numero violazioni rilevato - Np SOGLIA = 0 |
NF8 Sicurezza | Attraverso: • Analisi Statica del software rilasciato, tramite conteggio (Nv) delle violazioni elencate nella specifica sezione dello standard CISQ; • rispetto di una checklist di vincoli per la sicurezza, proposta dal fornitore e coerente con le linee guida per lo sviluppo sicuro di AgID e alle indicazioni CWE, OWASP e CERT. | NF8 = Nv + Numero violazioni della checklist SOGLIA = 0 |
NF9 Automazione dei test | Percentuale di test automatici (nTA) rispetto al numero totale di test (nT) definiti nel piano di test | NF9 = nTA/nT SOGLIA >= 15% |
NF10 Manutenibilità | Tramite analisi statica. Nel caso di nuovi sviluppi, si dovrà verificare che il codice rilasciato non contenga nessuna delle violazioni elencate nella specifica sezione dello standard CISQ. Nel caso di MEV, l’amministrazione potrà richiedere, come requisito, un numero massimo di violazioni ammesse (Nr). Ove non venga definito tale requisito, il numero massimo di violazioni ammesso sarà pari al numero di violazioni misurate sul software oggetto di MEV prima dell’intervento (Np). | Per i nuovi sviluppi: NF7 = numero violazioni rilevato dallo strumento automatico di analisi statica Per la MEV: NF7 = numero violazioni rilevato – Nr (se definito nei requisiti) NF7 = numero violazioni rilevato - Np SOGLIA = 0 |
4.3 Manutenzione Correttiva (MAC) e Adeguativa (MAD)
Di seguito sono descritti gli indicatori di qualità che si applicano al Servizio di Manutenzione correttiva e adeguativa.
4.3.1 TROI – Tempestività di Ripristino dell’Operatività in esercizio
Il ripristino dell’operatività del software applicativo in esercizio deve avvenire nel rispetto del seguente livello di servizio, suddiviso per livello di prestazione.
Aspetto da valutare | Tempestività di ripristino dell'operatività in esercizio a seguito di malfunzionamenti differenziata per categoria di malfunzionamento | ||
Unità di misura | Percentuale | Fonte dati | Piano di lavoro Strumenti di tracciatura Strumenti di comunicazione E-mail |
Periodo di riferimento | Durata del servizio Periodi per verifiche di conformità | Frequenza di misurazione | mensile | |
Dati da rilevare | Per ciascun malfunzionamento del software applicativo dovranno essere rilevate le seguenti informazioni: • Avvio del processo di risoluzione del malfunzionamento: Data, ora e minuti comunicazione al Fornitore [fase attivazione] (inizio) • Termine della risoluzione del malfunzionamento: Data, ora e minuti fine esecuzione [fase esecuzione] (termine) • Tempo di sospensione della risoluzione del malfunzionamento (sospensione) a causa dell'indisponibilità dell'ambiente di correzione, o per ragioni non imputabili al Fornitore (TS) Numero totale di malfunzionamenti di una specifica categoria j rilevati nel periodo di riferimento (T_malfunzj) | |||
Regole di campionamento | Nessuna | |||
Formula | (∑4 𝑇𝑅𝑂𝐼j) 𝑇𝑅𝑂𝐼 = j=1 4 Dove: j=1,2,3,4 in base alla categoria di malfunzionamento TROIj =(N_malfunzj/T_malfunzj) N_malfunzj = numero malfunzionamenti di categoria j con t_risolj ≤ tlimitej t_risolj = terminej – inizioj – TS | |||
Regole di arrotondamento | Il risultato della misura va arrotondato: per difetto se la parte decimale è ≤ 0,5 - per eccesso se la parte decimale è > 0,5 | |||
Valore limite Livello di Prestazione Standard | Categoria | tlimitej | ||
Categoria 1 (j=1) | 8 ore lavorative | |||
Categoria 2 (j=2) | 12 ore lavorative | |||
Categoria 3 (j=3) | 2 giorni lavorativi | |||
Categoria 4 (j=4) | 4 giorni lavorativi | |||
Valore di soglia Livello di Prestazione Standard | TROI >= 90% e TROI (tlimitej_ finale= tlimitej+1giorno lavorativo) = 100% (I restanti malfunzionamenti devono essere risolti nel limite maggiorato di 1 giorno lavorativo) | |||
Azioni contrattuali Livello di Prestazione Standard | 1 Rilievo per ogni punto percentuale inferiore rispetto ai valori di soglia sopra previsti che andrà ad incrementare l’indicatore RMCO |
Valore limite Livello di Prestazione Premium | Categoria | tlimitej | |
Categoria 1 (j=1) | 8 ore solari | ||
Categoria 2 (j=2) | 16 ore solari esclusi sabati e festivi | ||
Categoria 3 (j=3) | 1 giorno lavorativo | ||
Categoria 4 (j=4) | 2 giorni lavorativi | ||
Valore di soglia Livello di Prestazione Premium | TROI >= 90% e TROI (tlimitej_ finale= tlimitej+1giorno lavorativo) = 100% (I restanti malfunzionamenti devono essere risolti nel limite maggiorato di 1 giorno lavorativo) | ||
Azioni contrattuali Livello di Prestazione Premium | Nel caso di valori TROI inferiori alle soglie, perdita della quota sospesa “Ritardo nel ripristino operatività di esercizio” |
4.3.2 CSR – Interventi di manutenzione correttiva recidivi
Misura il grado di efficacia degli interventi di manutenzioni misurando la percentuale di malfunzionamenti che si ripresentano dopo l’intervento correttivo
Aspetto da valutare | Numero di interventi di manutenzione correttiva recidivi, cioè relativi allo stesso modulo per lo stesso malfunzionamento | ||
Unità di misura | Case recidivi | Fonte dati | Sistema di tracciatura o comunicazioni |
Periodo di riferimento | Durata del servizio Periodi per verifiche di conformità | Frequenza di misurazione | mensile |
Dati da rilevare | Numero di interventi di manutenzione correttiva segnalati sul sistema di tracciatura per lo stesso malfunzionamento (Ncase_ricorsivi) | ||
Formula | CSR = Ncase_ricorsivi | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia – Livello di Prestazione Standard | CSR <= 2 | ||
Azioni contrattuali – Livello di Prestazione Standard | 1 Rilievo per ogni Case recidivo che andrà ad incrementare l’indicatore RMCO | ||
Valore di soglia – Livello di Prestazione Premium | CSR = 0 |
Azioni contrattuali Ripristino Premium | 1 Rilievo per ogni Case recidivo che andrà ad incrementare l’indicatore RMCO |
4.3.3 RMCO – Rilievi di Manutenzione Correttiva
Aspetto da valutare | Numero di rilievi emessi per non conformità inerenti il servizio di manutenzione correttiva rispetto al contratto ed allegati | ||
Unità di misura | Rilievo | Fonte dati | Comunicazioni |
Periodo di riferimento | Durata del servizio Periodi per verifiche di conformità | Frequenza di misurazione | Mensile |
Dati da rilevare | Numero Rilievi emessi sul servizio di Manutenzione Correttiva (Nrilievi_correttiva) | ||
Nessuna | |||
Formula | RMCO = Nrilievi_Correttiva | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | RMCO = 0 nel caso di attivazione per singolo intervento RMCO <= 1 nel caso di servizio continuativo | ||
Nel caso di superamento della soglia, perdita della quota sospesa “Eccesso di rilievi di Manutenzione Correttiva” Per valori dell’indicatore superiori a 3 nel caso di attivazione per singolo intervento e 4 nel caso di servizio continuativo, l’Amministrazione applicherà altresì la penale “Reiterati rilievi manutenzione correttiva” pari all’1‰ dell’importo contrattualmente fissato per il servizio di manutenzione correttiva del contratto esecutivo. |
L’indicatore conteggia le non conformità rilevate dall’Amministrazione per obbligazioni contrattuali non adempiute nei tempi e nei modi previsti, siano esse rilevate da specifici indicatori o non conformità, non presidiati da specifici indicatori. Si precisa che qualsiasi intervento – ivi compresa la manutenzione correttiva – non deve peggiorare il debito tecnico della funzione/codice modificato né introdurre non conformità e/o violazioni. Ogni elemento negativo sulla qualità del software deve essere rimosso in garanzia ed alimenta il presente indicatore di rilievi.
4.4 Conduzione Applicativa
I seguenti indicatori si applicano a tutti i servizi di gestione. Nel caso di attivazione di servizi separati, i livelli di servizio vengono rilevati e calcolati distintamente.
Il fornitore, per i servizi erogati presso la propria sede, deve mettere a disposizione dell’Amministrazione strumenti per la verifica della capacità di gestione delle richieste e della disponibilità del servizio stesso.
4.4.1 DSGP – Disponibilità dei servizi di gestione del portafoglio applicativo
L’indicatore misura la disponibilità del servizio secondo i tempi ed i modi definiti nel Contratto Esecutivo, nel Piano di lavoro Generale e Piano di lavoro del servizio, ivi incluse le estensioni di orario di servizio, la reperibilità e l’extra-orario.
Aspetto da valutare | Disponibilità dei servizi di gestione | ||
Unità di misura | Segnalazioni | Fonte dati | Comunicazioni Contratto Esecutivo Piano di lavoro Strumento di tracciatura e\o di monitoraggio dell’Amministrazione |
Periodo di riferimento | Durata del servizio Periodi per verifiche di conformità | Frequenza di misurazione | mensile |
Dati elementari da rilevare | Numero di segnalazioni di indisponibilità del servizio di gestione di riferimento (applicativi o siti web ) (Nsegnalazioni_indisp) | ||
Formula | DSGP = Nsegnalazioni_indisp | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | DSGP = 0 | ||
Azioni contrattuali | 1 Rilievo per ogni segnalazione che andrà ad incrementare l’indicatore RSGT |
4.4.2 RSCA – Rispetto di una scadenza dei servizi di gestione del Portafoglio
L’indicatore misura il rispetto di scadenze temporali concordate o pianificate nei piani di gestione del portafoglio, ivi incluse le estensioni di orario di servizio, la reperibilità e l’extra-orario.
Aspetto da valutare | Rispetto di una scadenza temporale pianificata | ||
Unità di misura | Xxxxxx lavorativi | Fonte dati | Comunicazioni Contratto Esecutivo Piano di lavoro Strumento di tracciatura |
Periodo di riferimento | Durata del servizio Periodi per verifiche di conformità | Frequenza di misurazione | mensile |
Dati da rilevare | Per ciascuna scadenza vanno rilevati - Data prevista (data_prev) - Data effettiva (data_eff) |
Formula | RSCA = data_eff – data_prev |
Regole di arrotondamento | Nessuna |
Valore di soglia | RSCA <= 0 nel 90% dei casi RSCA <=1 nel 100% dei casi |
Azioni contrattuali | 1 Rilievo per ogni giorno lavorativo di ritardo che andrà ad incrementare l’indicatore RSGT |
4.4.3 TRRA – Tempestività di risoluzione delle richieste di assistenza
L’indicatore misura l’efficacia della prestazione mediante la percentuale di chiamate risolte o, dopo l’identificazione della causa, inoltrate al gruppo responsabile della risoluzione (es. manutenzione correttiva).
Si considera l’orario di servizio completo di estensioni di orario di servizio(reperibilità ed extra-orario).
Aspetto da valutare | Tempestività di risoluzione delle richieste di assistenza | ||
Unità di misura | Percentuale | Fonte dati | Comunicazioni Contratto Esecutivo Piano di lavoro Strumento di tracciatura |
Periodo di riferimento | Durata del servizio Periodi per verifiche di conformità | Frequenza di misurazione | mensile |
Dati da rilevare | - Data e Ora (hh/mm) di ricezione della richiesta (Data_ricezione) - Data e Ora (hh/mm) della effettiva risoluzione o inoltro ad altro gruppo responsabile della risoluzione (Data_risoluz) - Numero totale richieste di assistenza pervenute nel periodo di riferimento (Num_richieste) oppure (Num_richieste_pervenute) | ||
Regole di campionamento | Vanno considerate tutte le richieste di assistenza pervenute | ||
Formula | TRRA= Num_richieste(T_risoluz <= T_ottimale) / Num_richieste_pervenute Dove: T_risoluz = Data_risoluz – Data_ricezione | ||
Regole di arrotondamento | Il risultato della misura va arrotondato al punto percentuale: - per difetto se la parte decimale è <= 0,5 - per eccesso se la parte decimale è > 0,5 | ||
Valore di soglia | TRRA (T_ottimale= 4 ore lavorative) ≥ 90% e TRRA (T_ottimale= 8 ore lavorative)= 100% | ||
Azioni contrattuali | 1 Rilievo per ogni giorno lavorativo di ritardo che andrà ad incrementare l’indicatore RSGT |
4.4.4 RSGT – Rilievi sui servizi di gestione del Portafoglio Applicativo
L’indicatore conteggia le non conformità rilevate dall’Amministrazione per obbligazioni contrattuali non adempiute nei tempi e nei modi previsti, siano esse rilevate da specifici indicatori o non conformità, non presidiati da specifici indicatori.
Aspetto da valutare | Numero di rilievi emessi per non conformità inerenti la disponibilità del servizio secondo le modalità di erogazione definite nel Contratto Esecutivo e nel Piano di lavoro. | ||
Unità di misura | Numero | Fonte dati | Comunicazioni Contratto Esecutivo Piano di lavoro Strumento di tracciatura |
Periodo di riferimento | Durata del servizio Periodi per verifiche di conformità | Frequenza di misurazione | Mensile |
Dati da rilevare | Numero Rilievi emessi sul servizio di gestione (Nrilievi_gestione) | ||
Regole di campionamento | Nessuna | ||
Formula | RSGT = Nrilievi_gestione | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | RSGT ≤ 3 | ||
Azioni contrattuali | Nel caso di superamento della soglia, perdita della quota sospesa “Eccesso di rilievi di Gestione” Per valori dell’indicatore RSGT > 6, l’Amministrazione applicherà altresì la penale “Reiterati rilievi di Gestione” pari all’1‰ dell’importo contrattualmente fissato per il servizio di gestione nel contratto esecutivo. |
4.5 Servizio di Supporto Specialistico
4.5.1 SPSS – Slittamento nella consegna di un’attività del servizio di Supporto Specialistico
L’indicatore misura il rispetto della data di consegna di un’attività concordata/pianificata
Aspetto da valutare | Rispetto di una scadenza temporale pianificata nell’ambito del servizio di supporto specialistico | ||
Unità di misura | Xxxxxx lavorativi | Fonte dati | Comunicazioni Contratto Esecutivo Piano di lavoro Strumento di tracciatura |
Periodo di riferimento | Durata dell’intervento di supporto specialistico | Frequenza di misurazione | Al termine di ciascun intervento |
Dati da rilevare | Per ciascuna scadenza vanno rilevati - Data prevista (data_prev) - Data effettiva (data_eff) | ||
Regole di campionamento | Rilevazione separata per ciascun intervento | ||
Formula | SPSS = data_eff – data_prev |
Regole di arrotondamento | Nessuna |
Valore di soglia | SPSS <= 0 (le scadenze possono essere anticipate) |
Azioni contrattuali | 1 Rilievo per ogni giorno lavorativo di ritardo che andrà ad incrementare l’indicatore RSSP. |
4.5.2 CSIS - Customer effort Score dell’intervento specialistico
Il presente indicatore misura l’esperienza d’uso dei servizi da parte dell’Amministrazione, rilevata con l’impiego di strumenti messi a disposizione dal Fornitore per l’acquisizione dei feedback degli utenti secondo quanto specificato al par. 8 dei CTS.
Aspetto da valutare | La percezione della qualità dei servizi e il grado di soddisfazione degli utenti come espressione della facilità d’uso complessiva del servizio, misurata rilevando dagli strumenti di feedback le risposte fornite. Per le risposte vanno utilizzati come valori di riferimento numeri positivi su scala crescente (da 1 a 10) dove: Risposte con punteggio maggiore o uguale a 7 corrisponde a “soddisfatto”; • Risposte con punteggio minore di 7 corrisponde a “non soddisfatto”. | ||
Unità di misura | Percentuale | Fonte dati | Questionari |
Periodo di riferimento | Durata dell’intervento di supporto specialistico | Frequenza di misurazione | Al termine di ciascun intervento |
Dati da rilevare | • Numero risposte positive (risposte con valore ≥ 7) (Nrisposte_pos) • Numero di domande del questionario (Ndomande) • Numero totale di questionari compilati con tutte le risposte (Nquestionari) | ||
Regole di campionamento | A discrezione dell’Amministrazione | ||
Formula | 𝑁𝑞𝑢𝑒𝑠𝑡𝑖o𝑛𝑎𝑟𝑖 1 𝑁𝑟𝑖𝑠𝑝o𝑠𝑡𝑒𝑝o𝑠𝑖 𝐶𝑆𝐼𝑆 = × ( ∑ ) 𝑁𝑞𝑢𝑒𝑠𝑡𝑖o𝑘𝑎𝑟𝑖 𝑁𝑑o𝑚𝑎𝑘𝑑𝑒𝑖 𝑖=1 | ||
Regole di arrotondamento | Il risultato della misura va arrotondato al decimo di punto: - per difetto se la prima cifra decimale è ≤ 5 - per eccesso se la prima cifra decimale è > 5 | ||
Valore di soglia | CSIS >= 85 % | ||
Azioni contrattuali | Il mancato rispetto del valore di soglia comporterà 1 rilievo RSSP. Per CSIS < 80 %, perdita della quota sospesa “Supporto Specialistico non soddisfacente” Per CSIS < 65 %, per ogni 10% di peggioramento o frazione, l’Amministrazione applicherà altresì la penale “Inadeguatezza del supporto specialistico” pari all’1‰ dell’importo contrattualmente fissato per il servizio del contratto esecutivo. |
4.5.3 RSSP – Rilievi sui servizi di supporto specialistico
Aspetto da valutare | Numero di rilievi emessi per non conformità inerenti il servizio di supporto specialistico |
L’indicatore conteggia le non conformità rilevate dall’Amministrazione per obbligazioni contrattuali non adempiute nei tempi e nei modi previsti, siano esse rilevate da specifici indicatori o non conformità, non presidiati da specifici indicatori.
Unità di misura | Rilievo | Fonte dati | Comunicazioni |
Periodo di riferimento | Durata dell’intervento di supporto specialistico | Frequenza di misurazione | al termine dell’intervento |
Dati da rilevare | Numero Rilievi emessi sul servizio di supporto (Nrilievi_gestione) | ||
Regole di campionamento | Nessuna | ||
Formula | RSSP = Nrilievi_gestione | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | RSSP ≤ 1 | ||
Azioni contrattuali | Il superamento della soglia comporta la perdita della quota sospesa “Eccesso di rilievi di Supporto Specialistico” Per valori dell’indicatore RSSP > 3, l’Amministrazione applicherà altresì la penale “Reiterati rilievi supporto specialistico” pari all’1‰ dell’importo contrattualmente fissato per il servizio di supporto Specialistico del contratto esecutivo. |
4.6 Servizio di sviluppo e evoluzione sw in co-working con l’Amministrazione
In caso di mancata aderenza ai profili professionali richieste o ritardi nell’inserimento e nella sostituzione si applicano l’indicatore PFI – Personale Inadeguato e l’indicatore TIP-Tempestività nell’inserimento di personale.
4.6.1 RSCC – Rispetto di una scadenza dei servizi di sviluppo e evoluzione sw in co-working
L’indicatore misura il rispetto di scadenze temporali concordate o pianificate nei piani di gestione sviluppo e evoluzione sw in co-working, ivi inclusi le estensioni di orario di servizio, la reperibilità e l’extra-orario.
Aspetto da valutare | Rispetto di una scadenza temporale pianificata | ||
Unità di misura | Xxxxxx lavorativi | Fonte dati | Comunicazioni Contratto Esecutivo Piano di lavoro Strumento di tracciatura |
Periodo di riferimento | Durata del servizio Periodi per verifiche di conformità | Frequenza di misurazione | mensile |
Dati da rilevare | Per ciascuna scadenza vanno rilevati - Data prevista (data_prev) - Data effettiva (data_eff) | ||
Formula | RSCC = data_eff – data_prev | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia – Livello Standard | RSCC <= 0 nel 90% dei casi RSCC <=1 nel 100% dei casi | ||
Valore di soglia Livello Alta Reattività | RSCC <= 0 |
Azioni contrattuali | 1 Rilievo per ogni giorno lavorativo di ritardo che andrà ad incrementare l’indicatore RLFN |
4.7 Servizio Conduzione Tecnica
I seguenti indicatori si applicano a tutti i servizi di Conduzione Tecnica. Nel caso di attivazione di servizi separati, i livelli di servizio vengono rilevati e calcolati distintamente.
Il fornitore, per i servizi erogati presso la propria sede, deve mettere a disposizione dell’Amministrazione strumenti per la verifica della capacità di gestione delle richieste e della disponibilità del servizio stesso.
L’Amministrazione comunicherà ad inizio attività l’elenco dei sistemi da prendere in carico, indicandone la classe di appartenenza. Nel corso della fornitura, la classificazione dei nuovi sistemi sarà comunicata in fase di installazione ovvero nell’ambito delle attività collegate ai processi di change management e asset & configuration management.
L’Amministrazione si riserva comunque di modificare nel corso della durata contrattuale la classificazione precedentemente indicata.
La disponibilità del singolo sistema dovrà essere calcolata come la percentuale di tempo in cui non si manifestano disservizi rispetto alla fascia oraria di osservazione. Per disservizio si intende l'inattività e/o il non corretto funzionamento di uno o più componenti del sistema che dovrebbero essere attivi e/o correttamente funzionanti nella fascia oraria di osservazione.
Il calcolo della disponibilità del singolo sistema dovrà essere basato sui dati rilevati attraverso la piattaforma di monitoraggio. In caso di indisponibilità della piattaforma di monitoraggio, l’Indicatore di Qualità dovrà essere rilevato anche attraverso l’analisi dei log dei singoli componenti e di ulteriori strumenti che potranno essere indicati dall’Amministrazione. La disponibilità della piattaforma di monitoraggio dovrà a sua volta essere misurata attraverso l’analisi dei log di sistema.
Si precisa che la misurazione della disponibilità del singolo sistema dovrà essere effettuata:
▪ tenendo conto di tutte le eventuali estensioni del servizio richieste nel periodo di riferimento
▪ considerando la disponibilità giornaliera prevista per ciascun sistema, e quindi al netto dei fermi per manutenzione programmata;
▪ non considerando le indisponibilità non imputabili al Fornitore (p. e. problemi hardware per sistemi in garanzia);
valorizzando tutte le grandezze in secondi.
4.7.1 DSA – Disponibilità dei sistemi e apparati
L’indicatore misura il livello di servizio “Disponibilità di un sistema DSA_xxx”, dove xxx è un progressivo che identifica il singolo Sistema.
Caratteristica | Affidabilità | Sottocaratteristica | Tolleranza ai guasti |
Aspetto da valutare | Disponibilità dei sistemi | ||
Unità di misura | Punto percentuale | Fonte dati | Soluzione di monitoraggio |
Periodo di riferimento | Trimestre precedente la rilevazione | Frequenza di misurazione | Trimestrale |
Dati da rilevare | - L’orario giornaliero programmato in cui deve essere attivo il componente che per primo deve essere reso disponibile nella fascia di rilevazione, espresso in hh/mm/ss (Tsming) - L’orario giornaliero di disattivazione programmato del componente che per ultimo rimane attivo nella fascia di rilevazione, espresso in hh/mm/ss (Tsmaxg) - Tempo di indisponibilità giornaliera del sistema e/o di suoi componenti per fermi di manutenzione programmata o non imputabili al Fornitore, espresso in secondi (Tiprgg) - Intervallo temporale in cui uno dei componenti che dovrebbe essere attivo risulta non disponibile nella fascia di rilevazione, espresso in secondi (Tieffj) - N.di intervalli temporali di indisponibilità effettiva del sistema, su base giornaliera (Nfermi) - N. di giorni del trimestre preso in considerazione (Ngiorni) |
Regole di campionamento | Vanno considerati i seguenti fermi non programmati non dovuti ad applicazioni, rilevabili dalla piattaforma di monitoraggio: ▪ Xxxxx occorsi e risolti nel periodo di riferimento corrente ▪ Xxxxx occorsi nel periodo di riferimento precedente e risolti nel periodo di riferimento corrente |
Formule | La disponibilità prevista giornaliera (espressa in secondi) di un Sistema è: Tprevg = (TS max g − TS min g ) − TIprgg |
La disponibilità prevista (espressa in secondi) di un Sistema è: Ngiorni Tprevm = ∑Tprevg 1 | |
La indisponibilità giornaliera (espressa in secondi) di un Sistema è: Nfermi ISeff g = ∑TIeff j 1 | |
La indisponibilità (espressa in secondi) di un Sistema è: Ngiorni ISeffm = ∑ ISeffg 1 | |
La disponibilità (espressa in percentuale) di un Sistema è: DSA_xxx = 𝑇𝑝𝑟𝑒𝑣𝑚− 𝐼𝑆𝑒𝑓𝑓𝑚 x 100 𝑇𝑝𝑟𝑒𝑣𝑚 | |
Arrotondamento | Si |
Valore di soglia | DSA_xxx (Classe A) ≥ 99,8% DSA_xxx (Classe B) ≥ 99,5% |
Azioni contrattuali | La discesa dell’indicatore per l’insieme dei sistemi in ciascuna classe sotto il valore di soglia comporta l’applicazione di penale “Disponibilità dei sistemi e apparati” pari all’1‰ dell’importo contrattualmente fissato per il servizio di Conduzione tecnica. |
Ai fini della misurazione dell’indisponibilità giornaliera, si precisa che:
• nel caso in cui due o più componenti di un sistema risultino contemporaneamente indisponibili, per definire l’intervallo temporale di indisponibilità si dovrà considerare quanto segue:
1. l’inizio di tale intervallo deve coincidere con l’ora esatta (hh/mm/ss) in cui è iniziata l’indisponibilità del componente risultato indisponibile per primo;
2. la fine di tale intervallo deve coincidere con l’ora esatta (hh/mm/ss) in cui è terminata l’indisponibilità del componente riattivato per ultimo;
• nel caso in cui due o più componenti di un sistema risultino indisponibili in intervalli temporali contigui, l’indisponibilità sarà data dalla somma dei due intervalli temporali.
Il Fornitore dovrà garantire la misurazione e rendicontazione di ogni livello di servizio DSA_xxx relativo al singolo sistema. Di seguito è riportato l’algoritmo di calcolo dello scostamento complessivo al quale, al termine di ogni periodo di osservazione, sarà commisurata la penale da applicare in caso di mancato rispetto dei valori di soglia per la disponibilità complessiva dei sistemi relativamente a ciascuna delle classi sopra definite.
Lo scostamento complessivo è ottenuto quale sommatoria dei singoli valori percentuali di scostamento in difetto rispetto alla soglia. Pertanto, ai fini di tale sommatoria, non saranno conteggiati i valori superiori o uguali alla soglia minima.
dove:
𝐷𝑆𝐴_𝑠𝑐o𝑠𝑡𝑎𝑚𝑒𝑘𝑡o_𝑐o𝑚𝑝𝑙(𝐴) = ∑ 𝑠𝑐o𝑠𝑡𝑎𝑚𝑒𝑘𝑡oj (𝐴)
j
scostamentoJ = soglia(A) – DSA(sistemaJ (A)) se DSA(sistemaJ (A)) < soglia(A)
scostamentoJ = 0 se DSA(sistemaJ (A)) >= soglia(A)
𝐷𝑆𝐴_𝑠𝑐o𝑠𝑡𝑎𝑚𝑒𝑘𝑡o_𝑐o𝑚𝑝𝑙(𝐵) = ∑ 𝑠𝑐o𝑠𝑡𝑎𝑚𝑒𝑘𝑡oj (𝐵)
j
dove:
scostamentoJ = soglia(B) – DSA(sistemaJ (B)) se DSA(sistemaJ (B)) < soglia(B) scostamentoJ = 0 se DSA(sistemaJ (B)) >= soglia(B)
dove A e B rappresentano la classe di criticità.
4.7.2 EASA - Esecuzione delle attività su sistemi e apparati
L’indicatore misura misura la tempestività nell’esecuzione delle attività ove possibili programmate (es. batch, backup, ecc…), richieste dall’utenza di riferimento (es. gestione utenze/password, allineamento basi dati, restore, ecc…) e/o derivanti dall’attività proattiva del fornitore (es. creazione Pgm/Shell, passaggio di una patch di sistema, ecc..) da parte del servizio di Conduzione tecnica.
I tempi massimi di esecuzione delle attività sono i seguenti
Classe | Tempo massimo di avvio della esecuzione |
Classe 1 | ≤ 2 ore |
Classe 2 | ≤ 4 ore |
Classe 3 | ≤ 8 ore |
Tabella 4 - Classi di esecuzione di attività
Di seguito è riportata, a titolo esemplificativo e non esaustivo, una tabella riepilogativa che definisce la classe di appartenenza delle attività:
Attività | Classe |
patch di tipo correttivo o di sicurezza | 1 |
Esecuzione Pgm/Shell consolidata | 1 |
Creazione Pgm/Shell | 3 |
Gestione Spazi SAN/NAS | 2 |
Allineamento basi dati | 3 |
Richiesta Backup | 3 |
Richiesta Copia/Trasf. File | 2 |
Richiesta Gestione Utenze | 1 |
Richiesta Reset Password | 1 |
Richiesta Restore | 3 |
Tabella 5 - Esempi di attività e relativa classe associata
La lista sopra riportata sarà aggiornata dall’Amministrazione ad inizio fornitura e inserita nel Piano della Qualità Generale. Nel corso della durata contrattuale la lista sarà aggiornata su richiesta dell’Amministrazione, incrementandola con altre attività, anche attraverso l’aggiornamento dei sistemi di tracciatura degli interventi in uso.
Si precisa che:
• l’aggiornamento della lista ed il conseguente allineamento dei sistemi non è soggetto all’approvazione del Fornitore. Pertanto il Fornitore è tenuto a rispettare i tempi indicati dall’Amministrazione e prende atto che al rispetto di tali tempi è legata l’applicazione delle penali;
Caratteristica | Funzionalità | Sottocaratteristica | Accuratezza |
Aspetto da valutare | Tempestività nella esecuzione delle attività su sistemi e apparati | ||
Unità di misura | Punto percentuale | Fonte dati | Soluzione di Service Management, soluzione di monitoraggio tecnico |
Periodo di riferimento | Trimestre precedente la rilevazione | Frequenza di misurazione | Trimestrale |
Dati da rilevare | • Numero di attività eseguite nei tempi prefissati (Nattività_ok) • Numero totale di attività affidate al fornitore/schedulate e registrate nella piattaforma di monitoraggio (Ntotale_attività_schedulate) | ||
Regole di campionamento | Vanno considerate: - le attività iniziate e concluse nel periodo di riferimento corrente - le attività iniziate nel periodo di riferimento precedente e concluse nel periodo di riferimento corrente | ||
Formula | EASA = | 𝑁𝑎𝑡𝑡𝑖𝑣𝑖𝑡à_o𝑘 𝑁𝑡o𝑡𝑎𝑙𝑒_𝑎𝑡𝑡𝑖𝑣𝑖𝑡à_𝑠𝑐ℎ𝑒𝑑𝑢𝑙𝑎𝑡𝑒 | |
Arrotondamento | Si | ||
Valore di soglia | EASA >= 95% | ||
Azioni contrattuali | La discesa dell’indicatore sotto il valore di soglia comporta l’applicazione di penale “Esecuzione delle attività su sistemi e apparati“ pari all’1‰ dell’importo contrattualmente fissato per il servizio di Conduzione tecnica. |
• l’aggiornamento della lista da parte dell’Amministrazione non è soggetto a limitazioni. L’Amministrazione determinerà in fase di aggiornamento la classe di appartenenza dell’attività.
4.7.3 TROSA – Tempestività nel ripristino dell’operatività dei sistemi e apparati
L’indicatore misura la tempestività nella risoluzione degli incident relativi agli apparati e sistemi gestiti.
Servizio | Priorità | Tempi di ripristino |
Conduzione Tecnica | Categoria 1 | Entro 2 ore lavorative |
Categoria 2 | Entro 4 ore lavorative | |
Categoria 3 | Entro 8 ore lavorative | |
Categoria 4 | Entro 16 ore lavorative |
Si precisa che la priorità inizialmente attribuita ad un incident può essere rivista a seguito di ulteriori segnalazioni di malfunzionamenti riconducibili ad un unico servizio per l’utenza;
Ai fini della rilevazione del livello di servizio, si devono confrontare i tempi di esecuzione previsti rispetto a quelli effettivi.
I tempi previsti sono calcolati come intervallo di tempo tra l’apertura dell’incident registrata nella piattaforma di monitoraggio e la chiusura prevista per l’incident (tempo massimo di risoluzione) in base alla priorità attribuita allo stesso, registrata nella piattaforma di monitoraggio.
I tempi effettivi sono calcolati come intervallo di tempo tra l’apertura dell’incident registrata nella piattaforma di monitoraggio e la chiusura effettiva dell’incident registrata dalla piattaforma di monitoraggio.
Nel caso in cui il Fornitore non provveda all’apertura dell’incident, a fronte di una mancata apertura dello stesso in automatico, la data di apertura del ticket di incident si intende fissata al momento del verificarsi dell’evento registrato nella soluzione di monitoraggio tecnico applicativo; per tali incident è prefissata la priorità 1.
Caratteristica | Efficienza | Sottocaratteristica | Efficienza temporale |
Aspetto da valutare | Tempestività nel ripristino dell’operatività di sistemi e apparati | ||
Unità di misura | Punto percentuale | Fonte dati | Soluzione di Service Management, soluzione di monitoraggio tecnico applicativo |
Periodo di riferimento | Trimestre precedente la rilevazione | Frequenza di misurazione | Trimestrale |
Dati da rilevare | Numero di incident di priorità x risolti entro i tempi previsti (Nincident_x_ok) Numero totale di incident di priorità x eseguiti (Ntotale_incident_x) | ||
Regole di campionamento | Vanno considerati: - Gli incident iniziati e conclusi nel periodo di riferimento corrente - Gli incident iniziati nel periodo di riferimento precedente e conclusi nel periodo di riferimento corrente. | ||
Formula | TROSA_x = 𝑁𝑖𝑛𝑐𝑖𝑑𝑒𝑛𝑡_𝑥_o𝑘 𝑁𝑡o𝑡𝑎𝑙𝑒_𝑖𝑛𝑐𝑖𝑑𝑒𝑛𝑡_𝑥 dove: X = 1 ALTA, 2 MEDIA, 3 BASSA | ||
Arrotondamento | Si | ||
Valore di soglia | TROSA_x >= 97% | ||
Azioni contrattuali | La discesa dell’indicatore sotto il valore di soglia comporta l’applicazione di penale “Tempestività nel ripristino dell’operatività di sistemi e apparati” pari all’1‰ dell’importo contrattualmente fissato per il servizio di Conduzione tecnica. |
5. INDICI DI PRESTAZIONE E QUOTE SOSPESE
Di seguito sono riportate le tabelle in cui vengono schematizzati gli indici di prestazione, cui è legata la quota percentuale dei corrispettivi maturati che sarà erogata solo al soddisfacimento dei valori di soglia definiti.
5.1 Servizi Realizzativi
Tabella 6 - Quote Sospese Servizi Realizzativi
Indice | Indicatori di qualità correlati | % Quota |
IP1 Rispetto del Piano di lavoro | RSPL – Rispetto del Piano di lavoro di obiettivo | 5% |
IP2 Riuso sviluppo ex- novo | RIUSO – Riuso di componenti | 10% |
IP3 Rispetto avvio in esercizio | DAES – Difettosità in avvio in esercizio | 7% |
IP4 Rilievi su Obiettivi a tempi Standard | VISS – Violazioni degli standard di sviluppo Gli standard di sviluppo e le linee guida saranno definiti a valle del periodo di avviamento e pertanto l’indicatore si applicherà esclusivamente dopo la condivisione dei suddetti standard tra il Fornitore e l’Amministrazione. TROR – Totale Rilievi Obiettivo Realizzativo | 8% |
Totale | 30% |
Aspetto da valutare | Rispetto degli standard di sviluppo e delle linee guida | ||
Unità di misura | Numero di violazioni | Fonte dati | Standard e linee guida |
Periodo di riferimento | Fase di collaudo | Frequenza di misurazione | Al collaudo |
Dati da rilevare | Num_viol = Numero di violazioni | ||
Formula | VISS = Num_viol | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | VISS = 0 | ||
Azioni contrattuali | Il superamento del valore soglia comporta la sospensione del collaudo come previsto dall’indicatore GSCO – Giorni di sospensione del collaudo. |
5.2 Gestione della Conduzione Applicativa
Tabella 7 Quote Sospese Gestione della Conduzione Applicativa
Indice | Indicatori di qualità correlati | % Quota |
IP5 Indisponibilità del servizio di Gestione | DSGP – Disponibilità dei servizi di gestione del portafoglio applicativo | 10 |
IP6 Eccesso di rilievi di Gestione | RSGT – Rilievi sui servizi di gestione del Portafoglio | 15% |
Totale | 25% |
5.3 Supporto Specialistico
Tabella 8 Quote Sospese Supporto Specialistico
Indice | Indicatori di qualità correlati | % Quota |
IP7 Supporto Specialistico non soddisfacente | CSIS - Customer effort Score dell’intervento specialistico | 5% |
IP8 Eccesso di rilievi di Supporto Specialistico | RSSP – Rilievi sui servizi di supporto specialistico | 15% |
Totale | 20% |
5.4 Manutenzione Correttiva e Adeguativa
Tabella 9 Quote Sospese Manutenzione Correttiva
Indice | Indicatori di qualità correlati | % Quota | |
Ripristino Operatività Standard | Ripristino Operatività Premium | ||
IP9 Ritardo nel ripristino operatività di esercizio | TROI – Tempestività di Ripristino dell’Operatività in esercizio | 5% | |
IP10 Eccesso di Rilievi Manutenzione Correttiva | RMCO – Rilievi di Manutenzione Correttiva | 15% | 15% |
Totale | 15% | 20% |
6. INDICATORI DI DIGITALIZZAZIONE
I seguenti indicatori sono destinati alle attività degli organismi di coordinamento e controllo delle gare strategiche.
Sarà onere del Fornitore proporre sistemi di misurazione e rilevazione nel contesto.
Gli organismi di coordinamento e controllo – raccolte le proposte – potranno definire una linea guida comune per permettere la confrontabilità delle misure.
Tabella 9 Indicatori di digitalizzazione
# | Indicatori digitalizzazione per i Servizi Applicativi Sanità Digitale |
1 | Miglioramento Servizi digitalizzati: Nr servizi al cittadino digitalizzati/Nr totale dei servizi al cittadino |
2 | Miglioramento dell’esperienza del cittadino dei servizi realizzati/modificati |
3 | Standardizzazione Strumenti per la generazione e diffusione dei servizi digitali: % componenti di navigazione e interfaccia standard ed usabili / totale componenti |
3 | Riusabilità-Co-working Soluzioni Applicative realizzate e/o adottate : Nr di progetti in riuso o Co-working /Nr Totale Progetti di digitalizzazione ove è applicabile il Riuso o Co-working |
4 | Innalzamento livello di interoperabilità: Nr di progetti conformi alle Linee Guida di Interoperabilità e nel rispetto del ONCE ONLY Principle/ Nr Progetti Realizzati |
5 | Potenziamento Infrastrutture IT - adozione sistematica del paradigma Cloud: Nr di progetti conformi al paradigma Cloud/ Nr Totale di progetti realizzati |
6 | Utilizzo Piattaforme Abilitanti: Nr progetti che integrano Piattaforme Abilitanti/Nr progetti ove è applicabile un’integrazione con le Piattaforme Abilitanti |
7 | Miglioramento dell’utilizzo dei Servizi Digitali: Nr attività totali di prenotazioni on line (in tutte le modalità) /Nr attività totali (per attività si intendono: Prenotazioni CUP, Pagamenti online, Cambio del Medico, …) |
8 | Standardizzazione dei documenti in ambito Sanità Digitale: % Documenti sanitari in linea con le direttive Nazionali ed Europee / totale documenti sanitari |