CLASSIFICAZIONE DEL DOCUMENTO: CONSIP PUBLIC ID 2365

CLASSIFICAZIONE DEL DOCUMENTO: XXXXXX XXXXXX XX 0000

GARA A PROCEDURA APERTA PER LA CONCLUSIONE DI UN ACCORDO QUADRO, AI SENSI DEL D.LGS. 50/2016 E S.M.I., AVENTE AD OGGETTO L’AFFIDAMENTO DI SERVIZI APPLICATIVI E L’AFFIDAMENTO DI SERVIZI DI SUPPORTO IN AMBITO

«SANITA’ DIGITALE - Sistemi Informativi Sanitari e servizi al Cittadino» PER LE PUBBLICHE AMMINISTRAZIONI DEL SSN APPENDICE 3 LIVELLI DI SERVIZIO

ID 2365 – Lotti Applicativi – Sanità Digitale Appendice 3 Livelli di Servizio

Classificazione: Consip Public 1 di 39

Indice

1. PREMESSA 4

2. STRUMENTI 4

2.1 Strumenti alimentanti le rilevazioni. 4

3. MATRICE DI CORRISPONDENZA INDICATORI DI QUALITÀ E AZIONI CONTRATTUALI 5

Totale Rilievi Obiettivo Realizzativo 5

Disponibilità dei sistemi e apparati 6

Esecuzione delle attività su sistemi e apparati 6

4. INDICATORI DI QUALITÀ 7

4.1 Governo della fornitura 7

4.1.1 RSER – Impegni rispettati in offerta tecnica 7

4.1.2 PFI – Personale inadeguato 7

4.1.3 TIP – Tempestività nell’inserimento di personale 8

4.1.4 RSCT – Rispetto di una scadenza contrattuale 8

4.1.5 MAPP– Mancata Approvazione di un Artefatto della Fornitura 9

4.1.6 VQF – Valutazione Qualità della Fornitura 9

4.1.7 RLFN – Rilievi sulla fornitura 10

4.1.8 MIDG – Monitoraggio indicatori di digitalizzazione 11

4.1.9 TAI – Tempo di Attivazione degli Interventi 11

4.1.10 INPF – Indisponibilità Portale di Fornitura 12

4.1.11 ATPF – Mancata Attivazione Portale di Fornitura 12

4.2 Servizi di Sviluppo 13

4.2.1 RSPL – Rispetto del Piano di lavoro di obiettivo 13

4.2.2 GSCO – Giorni di sospensione del collaudo 14

4.2.3 DAES – Difettosità in avvio in esercizio 15

4.2.4 CTFU – Copertura test funzionali 15

4.2.5 RIUSO – Riuso di componenti 16

4.2.6 TRCG – Tempestività di Ripristino dell’Operatività in collaudo ed in garanzia 17

4.2.7 VISS – Violazioni degli standard di sviluppo 18

4.2.8 TROR – Totale Rilievi Obiettivo Realizzativo 18

4.2.9 Collaudo 19

4.2.9.1 DFCC – Difettosità in collaudo 20

4.2.9.2 MDTE – Miglioramento Debito Tecnico (moduli preesistenti) 20

4.2.9.3 QNFU – Qualità Non Funzionale 21

4.3 Manutenzione Correttiva (MAC) e Adeguativa (MAD) 23

4.3.1 TROI – Tempestività di Ripristino dell’Operatività in esercizio 23

4.3.2 CSR – Interventi di manutenzione correttiva recidivi 25

4.3.3 RMCO – Rilievi di Manutenzione Correttiva 26

4.4 Conduzione Applicativa 27

4.4.1 DSGP – Disponibilità dei servizi di gestione del portafoglio applicativo 27

4.4.2 RSCA – Rispetto di una scadenza dei servizi di gestione del Portafoglio 27

4.4.3 TRRA – Tempestività di risoluzione delle richieste di assistenza 28

4.4.4 RSGT – Rilievi sui servizi di gestione del Portafoglio Applicativo 28

4.5 Servizio di Supporto Specialistico 29

4.5.1 SPSS – Slittamento nella consegna di un’attività del servizio di Supporto Specialistico 29

4.5.2 CSIS - Customer effort Score dell’intervento specialistico 30

4.5.3 RSSP – Rilievi sui servizi di supporto specialistico 30

4.6 Servizio di sviluppo e evoluzione sw in co-working con l’Amministrazione 31

4.6.1 RSCC – Rispetto di una scadenza dei servizi di sviluppo e evoluzione sw in co-working 31

4.7 Servizio Conduzione Tecnica 32

4.7.1 DSA – Disponibilità dei sistemi e apparati 32

4.7.2 EASA - Esecuzione delle attività su sistemi e apparati 34

4.7.3 TROSA – Tempestività nel ripristino dell’operatività dei sistemi e apparati 35

5. INDICI DI PRESTAZIONE E QUOTE SOSPESE 37

5.1 Servizi Realizzativi 37

5.2 Gestione della Conduzione Applicativa 37

5.3 Supporto Specialistico 38

5.4 Manutenzione Correttiva e Adeguativa 38

6. INDICATORI DI DIGITALIZZAZIONE 39

1. PREMESSA

Il presente documento descrive il livello di qualità minimo atteso nell’erogazione dei servizi oggetto di fornitura.

Gli indicatori di qualità nell’ambito della presente iniziativa vengono descritti con il seguente dettaglio:

• la metrica e l’unità di misura con cui effettuare le misure;

• il periodo di riferimento su cui calcolare l’indicatore;

• la frequenza di esecuzione della misura dell’indicatore;

• i dati elementari o i sub-indicatori da rilevare per la misura;

• le eventuali regole di campionamento;

• le formule di calcolo e gli arrotondamenti da adottare;

• gli obiettivi che l’indicatore deve soddisfare espressi tramite valori soglia;

• le azioni contrattuali “a condizioni tutte fissate”.

• le eventuali eccezioni da considerare nell’uso dell’indicatore.

Nel caso dei Lotti Applicativi, l’Amministrazione potrà in AS personalizzare i livelli di servizio ed i relativi indicatori di qualità associati ed adeguare la sanzione conseguente al non raggiungimento degli obiettivi in funzione della criticità della violazione nel contesto specifico della propria organizzazione.

Unitamente al Piano della Qualità Generale, il fornitore deve consegnare alla Amministrazione la presente appendice integrata con gli indicatori aggiuntivi e migliorativi proposti in offerta tecnica di AQ e\o in offerta tecnica in fase di rilancio nonché con gli strumenti di misurazione migliorativi proposti o versioni di prodotto aggiornate alla data di stipula.

In erogazione, il fornitore deve mantenere costantemente adeguato il livello di qualità alla disponibilità di nuove versioni degli standard, best practice e linee guida applicabili.

2. STRUMENTI

2.1 Strumenti alimentanti le rilevazioni

Il Fornitore dovrà disporre degli strumenti specifici necessari a garantire la rilevazione dei livelli di qualità descritti nella presente appendice.

Il Fornitore dovrà mettere a disposizione tali strumenti senza alcun onere aggiuntivo per le Amministrazione e/o per i Comitati di monitoraggio e controllo e/o Consip.

Per l’erogazione dei servizi relativi ai Lotti Applicativi, il Fornitore dovrà conoscere e disporre di:

• strumenti di sviluppo: per le attività di programmazione, quali ambienti di sviluppo integrato (IDE Integrated Development Environment) specifici del linguaggio di riferimento, di accesso e manipolazione dei dati e stored procedure;

• strumenti per l’integrazione e rilascio continuo: per il versionamento dei sorgenti, le attività di build, test e deploy;

• strumenti per la verifica della qualità del software: per misurare e assicurare la qualità del software realizzato o modificato attraverso l’analisi statica e dinamica, la misura dell’usabilità, della sicurezza dei dati e delle applicazioni, delle prestazioni.

• strumenti di tracciatura: per la gestione dei requisiti funzionali e non, dei malfunzionamenti e delle richieste di assistenza.

Inoltre, con riferimento alla propria offerta tecnica il Fornitore può aggiungere e migliorare gli strumenti e proporre ulteriori indicatori, Key Performance Indicator, misure aggiuntive.

Pertanto, nei Contratti Esecutivi, sia gli strumenti a supporto della fornitura sia il profilo di qualità finale

comprenderanno tutto quanto offerto dal Fornitore.

Il Piano della qualità Generale e il Piano della Qualità Specifico del Contratto Esecutivo riporteranno sempre l’interezza degli strumenti, dei processi e del profilo di qualità.

3. MATRICE DI CORRISPONDENZA INDICATORI DI QUALITÀ E AZIONI CONTRATTUALI

Di seguito si trova la matrice di corrispondenza tra gli Indicatori di Qualità validi per l’intera fornitura e le azioni contrattuali previste nel caso di non rispetto dei valori di soglia. Si precisa che qualora il Fornitore abbia dichiarato nella propria Offerta Tecnica il miglioramento dei valori di soglia rispetto a quanto indicato nel presente documento, gli scostamenti al fine dell’applicazione delle penali saranno calcolati rispetto ai valori soglia dichiarati nell’Offerta Tecnica.

Tabella 1 Matrice di corrispondenza indicatori - azioni contrattuali per tutti i Lotti

	Indicatore	Azione Contrattuale
		Rilievo	Quota Sospesa	Penale
	Governo della fornitura
RSER	Impegni assunti in offerta tecnica per l’Amministrazione			X
PFI	Personale inadeguato			X
TIP	Tempestività nell’inserimento di personale	X
RSCT	Rispetto di una scadenza contrattuale			X
MAPP	Mancata Approvazione di un Artefatto della Fornitura			X
VQF	Valutazione Qualità della Fornitura	X
RLFN	Rilievi sulla fornitura			X
MIDG	Monitoraggio indicatori di digitalizzazione	X
TAI	Tempo di Attivazione degli Interventi			X
INPF	Indisponibilità Portale di Fornitura			X
ATPF	Mancata Attivazione Portale di Fornitura			X

Tabella 2 Matrice di corrispondenza indicatori - azioni contrattuali per i Lotti Applicativi

	Indicatore	Azione Contrattuale
		Rilievo	Quota Sospesa	Penale
	Servizi Realizzativi
RSPL	Rispetto del Piano di lavoro di obiettivo	X	X
GSCO	Giorni di sospensione del collaudo	X
DAES	Difettosità in avvio in esercizio	X	X	X
CTFU	Copertura test funzionali	X
RIUSO	Riuso di componenti		X
TRCG	Tempestività di Ripristino dell’Operatività in collaudo ed in garanzia	X		X
VISS	Violazioni degli standard di sviluppo	X	X
TROR	Totale Rilievi Obiettivo Realizzativo			X
DFCC	Difettosità collaudo	Sospensione del collaudo (disciplinata secondo l’indicatore GSCO)
MDTE	Miglioramento Debito Tecnico (moduli preesistenti)
QNFU	Qualità Non Funzionale
	Manutenzione Correttiva (MAC) e Adeguativa (MAD)
TROI	Tempestività di Ripristino dell’Operatività in esercizio	X	X
CSR	Interventi di manutenzione correttiva recidivi	X
RMCO	Rilievi di Manutenzione Correttiva		X	X
	Conduzione Applicativa
DSGP	Disponibilità dei servizi di gestione del portafoglio applicativo	X
RSCA	Rispetto di una scadenza dei servizi di gestione del portafoglio	X
TRRA	Tempestività di risoluzione delle richieste di assistenza	X

RSGT	Rilievi sui servizi di gestione del Portafoglio applicativo		X	X
	Supporto Specialistico
SPSS	Slittamento nella consegna di un’attività del servizio di Supporto Specialistico	X
CSIS	Customer effort score dell’intervento specialistico	X	X	X
RSSP	Rilievi sui servizi di supporto specialistico		X	X
	Servizio di sviluppo e evoluzione sw in co-working con l’Amministrazione
RSCC	Rispetto di una scadenza dei servizi di sviluppo e evoluzione in co-working	X
	Servizio Conduzione Tecnica
DSA	Disponibilità dei sistemi e apparati			X
EASA	Esecuzione delle attività su sistemi e apparati			X
TROSA	Tempestività nel ripristino dell’operatività dei sistemi e apparati			X

Tabella 3 Matrice di corrispondenza indicatori - azioni contrattuali per i Lotti di Supporto

	Indicatore	Azione Contrattuale
		Rilievo	Quota Sospesa	Penale
SPSS	Slittamento nella consegna di un prodotto e/o di un’attività	X
CSIS-SUPP	Customer effort score dell’intervento	X	X	X
RSSP	Rilievi sui servizi		X	X
RSCC	Rispetto di una scadenza dei servizi	X

4. INDICATORI DI QUALITÀ

4.1 Governo della fornitura

Di seguito sono descritti gli indicatori per misurare aspetti validi per tutti i servizi che compongono il Contratto Esecutivo.

4.1.1 RSER – Impegni rispettati in offerta tecnica

L’indicatore di qualità verifica il numero di impegni rispettati dal Fornitore in offerta tecnica, afferenti obbligazioni contrattuali non adempiute nei tempi e/o nei modi rappresentati nel Contratto Quadro e/o nei Contratti esecutivi con relativi allegati e/o tracciati sui Piani di lavoro, siano esse presidiate da specifici indicatori o non presidiate.

Aspetto da valutare	Numero di impegni assunti dal Fornitore in offerta tecnica non adempiuti
Unità di misura	Impegno	Fonte dati	Comunicazioni Note Amministrazione
Periodo di riferimento	Trimestre precedente la rilevazione	Frequenza di misurazione	Trimestrale
Dati da rilevare	N_RSE = Numero impegni rispettati
Regole di campionamento	Nessuna
Formula	RSER = N_RSE
Regole di arrotondamento	Nessuna
Valore di soglia	RSER = 0
Azioni contrattuali	Il mancato rispetto del valore di soglia comporterà per ogni scostamento rispetto al valore soglia l’applicazione della penale “Impegni assunti in offerta tecnica”, pari all’1‰ dell’importo contrattuale per ogni impegno non rispettato.

4.1.2 PFI – Personale inadeguato

L’indicatore misura la quantità di risorse non rispondenti ai profili professionali richiesti.

Aspetto da valutare	Numero di risorse ritenute inadeguate dall’Amministrazione
Unità di misura	Risorse inadeguate	Fonte dati	Strumenti di comunicazione E-mail, lettere, verbali
Periodo di riferimento	Durata del Contratto Esecutivo Periodi di verifica di conformità	Frequenza di misurazione	Mensile
Dati da rilevare	Numero risorse rimosse per inadeguatezza su richiesta della Amministrazione (Nrisorse_inadeg)
Regole di campionamento	Nessuna
Formula	PFI = Nrisorse_inadeg

Regole di arrotondamento	Nessuna
Valore di soglia	PFI = 1
Azioni contrattuali	Il mancato rispetto del valore di soglia comporterà l’applicazione della penale “Personale inadeguato”, pari all’1‰ dell’importo contrattuale per ogni risorsa inadeguata.

4.1.3 TIP – Tempestività nell’inserimento di personale

Con questo indicatore si misura la tempestività nell’inserimento/sostituzione delle risorse impiegate nella fornitura, compresi i Referenti.

Aspetto da valutare	Tempo trascorso tra la richiesta della Amministrazione e l’effettivo inserimento/sostituzione della risorsa richiesta.
Unità di misura	Xxxxxx lavorativi	Fonte dati	Contratto; E-mail; verbali Consuntivo Attività (Rendiconto risorse) presenze presso i team (eventuale foglio firma)
Periodo di riferimento	Durata della fornitura Periodi di verifica di conformità	Frequenza di misurazione	Ad evento (dopo ogni inserimento/sostituzione)
Dati da rilevare	• Data richiesta per l’inserimento/sostituzione di una risorsa (Data_richiesta_risorsa) • Data effettiva per l’inserimento/sostituzione della risorsa (Data_effettiva_risorsa)
Regole di campionamento	Nessuna
Formula	TIP = Data_effettiva_risorsa - Data_richiesta_risorsa
Regole di arrotondamento	Nessuna
Valore di soglia	TIP < =4
Azioni contrattuali	Il mancato rispetto del valore di soglia comporterà un rilievo RLFN sulla fornitura per ogni giorno lavorativo di ritardo rispetto al valore di soglia.

4.1.4 RSCT – Rispetto di una scadenza contrattuale

L’indicatore misura il rispetto di scadenze temporali derivanti dalla documentazione contrattuale inclusa l’offerta tecnica del fornitore e/o pianificate in un piano di lavoro approvato.

Aspetto da valutare	Rispetto di una scadenza contrattuale
Unità di misura	Xxxxxx lavorativi	Fonte dati	Contratto
Periodo di riferimento	Durata della fornitura Periodi di verifica di conformità	Frequenza di misurazione	Mensile
Dati da rilevare	Per ciascuna scadenza vanno rilevati - Data prevista (data_prev) - Data effettiva (data_eff)

Regole di campionamento	Nessuna
Formula	RSCT = data_eff – data_prev
Regole di arrotondamento	Nessuna
Valore di soglia	RSCT = 0
Azioni contrattuali	Per ogni 5 giorni lavorativi o frazione eccedenti il valore di soglia l’Amministrazione applicherà la penale “Slittamento di una scadenza contrattuale” pari all’1‰ dell’importo contrattuale. A titolo di esempio: RSCT = 6, comporterà l’applicazione di una penale pari alla somma di 1‰ per il primo giorno e di un altro 1‰ gli altri 5 giorni di ritardo. I ritardi sull’Offerta Tecnica devono essere segnalati al Comitato di monitoraggio e controllo.

4.1.5 MAPP– Mancata Approvazione di un Artefatto della Fornitura

L’indicatore misura l’inadeguatezza o incompletezza di Artefatti soggetti ad approvazione quali i prodotti del processo di sviluppo software: documento di Stima, Piano di Lavoro, Documento dei Requisiti, Analisi, Disegno, Documento di Architettura, Rapporti di Esecuzione Test, ecc...

La mancata approvazione è equiparata a mancata consegna. Il ritardo sulla riconsegna del documento viene misurata dagli specifici indicatori di ogni servizio.

Aspetto da valutare	Inadeguatezza o incompletezza dell’Artefatto da Approvare
Unità di misura	Numero	Fonte dati	Portale della fornitura Piano della Qualità Contratto
Periodo di riferimento	Durata del Contratto Esecutivo	Frequenza di misurazione	Ad evento
Dati da rilevare	Artefatto non approvato
Formula	MAPP = Numero Artefatti non approvati
Regole di arrotondamento	Nessuna
Valore di soglia	MAPP= 0
Azioni contrattuali	Il superamento del valore di soglia comporta il non superamento della milestone associata, pertanto l’Amministrazione applicherà la penale “Rigetto di Artefatti/Deliverable” pari all’1‰ dell’importo contrattuale.

4.1.6 VQF – Valutazione Qualità della Fornitura

L’indicatore costituisce un indice sintetico della qualità misurata e percepita del contratto esecutivo, rilevato secondo quanto specificato al par. “Rilevazione della Qualità della Fornitura” del CTS.

Aggiunge alla componente oggettiva, derivante dalla rilevazione di tutti gli indicatori applicabili alla fornitura, una componente soggettiva derivante dalla misura dell’esperienza d’uso dei servizi da parte degli utenti e dell’Amministrazione.

Aspetto da valutare	La percezione della qualità della fornitura e il grado di soddisfazione degli utenti come espressione della facilità d’uso complessiva dei servizi, misurata rilevando dagli strumenti di feedback le risposte fornite. Secondo le modalità indicate al par. 8.7. del CTS, a seconda dei servizi oggetto del contratto esecutivo, l’Amministrazione deve rilevare i feedback per quanto riguarda la facilità di interazione e gestione dei servizi, efficacia e qualità delle soluzioni proposte e realizzate, soddisfazione per i risultati raggiunti, anche in termini di ottimizzazione dei tempi e dei costi. Per i servizi di gestione della Conduzione Applicativa e manutenzione correttiva è altresì obbligatorio rilevare l’esperienza d’uso relativa al “primo contatto” dell’utente con gli operatori dei servizi. Per le risposte vanno utilizzati come valori di riferimento numeri positivi su scala crescente (da 1 a 10) dove: • Risposte con punteggio maggiore o uguale a 7 corrisponde a “soddisfatto”; • Risposte con punteggio minore di 7 corrisponde a “non soddisfatto”. Ai fini del calcolo dell’indicatore non possono essere riutilizzati i feedback già valutati per gli indicatori CSQA e CSIS.
Unità di misura	Percentuale	Fonte dati	Questionari
Periodo di riferimento	Semestre precedente la rilevazione	Frequenza di misurazione	Semestrale
Dati da rilevare	• Numero risposte positive (risposte con valore ≥ 7) (Nrisposte_pos) • Numero di domande del questionario (Ndomande) • Numero totale di questionari completamente compilati (Nquestionari)
Regole di campionamento	L’Amministrazione dovrà sceglierà un campione significativo di utenti da intervistare
Formula	𝑁𝑞𝑢𝑒𝑠𝑡𝑖o𝑛𝑎𝑟𝑖 1 𝑁𝑟𝑖𝑠𝑝o𝑠𝑡𝑒𝑝o𝑠𝑖 𝑉𝐹𝑄 = × ( ∑ ) 𝑁𝑞𝑢𝑒𝑠𝑡𝑖o𝑘𝑎𝑟𝑖 𝑁𝑑o𝑚𝑎𝑘𝑑𝑒𝑖 𝑖=1
Regole di arrotondamento	Il risultato della misura va arrotondato al decimo di punto: - per difetto se la prima cifra decimale è ≤ 5 - per eccesso se la prima cifra decimale è > 5
Valore di soglia	VFQ >= 75%
Azioni contrattuali	Il mancato rispetto del valore di soglia comporterà un rilievo RLFN per ogni 5 punti percentuali inferiori alla soglia.

4.1.7 RLFN – Rilievi sulla fornitura

Aspetto da valutare	Numero di rilievi emessi per non conformità della fornitura afferenti obbligazioni contrattuali non adempiute nei tempi e/o nei modi
Unità di misura	Rilievo sulla fornitura	Fonte dati	Comunicazioni
Periodo di riferimento	Durata della fornitura	Frequenza di misurazione	Mensile
Dati da rilevare	Numero Rilievi emessi sulla fornitura (Nrilievi_forn)

L’indicatore conteggia le non conformità rilevate dall’Amministrazione per obbligazioni contrattuali non adempiute nei tempi e nei modi previsti, siano esse rilevate da specifici indicatori o non conformità, non presidiati da specifici indicatori.

Regole di campionamento	Si considerano tutti i rilievi comunicati tramite nota/e di rilievo nel periodo di riferimento
Formula	RLFN = Nrilievi_forn
Regole di arrotondamento	Nessuna
Valore di soglia	RLFN = 1
Azioni contrattuali	Il superamento del valore di soglia comporta l’applicazione della penale “Eccesso di rilievi sulla fornitura” pari all’1‰ dell’importo contrattuale.

4.1.8 MIDG – Monitoraggio indicatori di digitalizzazione

Aspetto da valutare	Rispetto della scadenza di rilevazione degli indicatori di digitalizzazione
Unità di misura	Giorni lavorativi	Fonte dati	Documenti di pianificazione
Periodo di riferimento	Durata della fornitura	Frequenza di misurazione	Trimestrale
Dati da rilevare	Per ciascuna scadenza vanno rilevati - Data prevista (data_prev) - Data effettiva (data_eff)
Regole di campionamento	Nessuna
Formula	MIDG = data_eff – data_prev
Regole di arrotondamento	Nessuna
Valore di soglia	MIDG = 0
Azioni contrattuali	Il mancato rispetto del valore di soglia comporterà un rilievo RLFN. L’applicazione del rilievo non solleva il Fornitore dall’obbligo dell’adempimento.

L’indicatore misura il rispetto delle tempistiche nella raccolta delle informazioni ai fini della determinazione degli indici di digitalizzazione di cui al paragrafo 0

4.1.9 TAI – Tempo di Attivazione degli Interventi

L’indicatore TAI misura la tempestività di attivazione degli interventi relativi ai servizi previsti nel Contratto Esecutivo, a partire dalla richiesta dell’Amministrazione.

Aspetto da valutare	Il tempo di attivazione degli interventi a partire dalla richiesta dell’Amministrazione
Unità di misura	Giorni lavorativi	Fonte dati	Strumenti di comunicazione E-mail, lettere, verbali
Periodo di riferimento	Durata della fornitura Periodi per verifiche di conformità	Frequenza di misurazione	mensile
Dati da rilevare	Per ciascun intervento vanno rilevati - Data della richiesta di attivazione di un intervento (Data_rich_int) - Data di attivazione dell’intervento (Data_attiv_int)

Regole di campionamento	Nessuna
Formula	TAI = Data_attiv_int - Data_rich_int
Regole di arrotondamento	Nessuna
Valore di soglia	Per interventi pianificati nel Piano di Lavoro Generale TAI = 0 Negli altri casi TAI <= 10 giorni lavorativi per servizi realizzativi TAI <= 5 giorni lavorativi per altri servizi
Azioni contrattuali	Per ogni 5 giorni lavorativi o frazione eccedenti il valore di soglia l’Amministrazione applicherà la penale “Ritardo nell’attivazione intervento” pari all’1‰ dell’importo contrattuale, con un minimo di € 5.000. A titolo di esempio: TAI = 11, comporterà l’applicazione di una penale pari alla somma di 1‰ per il primo giorno e di un altro 1‰ per ogni 10 giorni di ritardo.

4.1.10 INPF – Indisponibilità Portale di Fornitura

L’indicatore verifica gli eventi imputabili al Fornitore, che non assicurino la disponibilità, la raggiungibilità tramite Internet in una logica multicanale, e la piena operatività del “Portale della Fornitura”, tali da non consentire alle singole Amministrazioni ed agli Organismi di coordinamento e controllo di attivare e governare agevolmente i servizi.

Aspetto da valutare	Giorni di indisponibilità dei servizi e/o strumenti e/o funzionalità del Portale di Fornitura
Unità di misura	Giorni Solari	Fonte dati	Comunicazioni Fornitore Note Amministrazione
Periodo di riferimento	Mese precedente la rilevazione	Frequenza di misurazione	Mensile
Dati da rilevare	N_GG_IND = Numero giorni di indisponibilità o mancata piena operatività
Regole di campionamento	Nessuna
Formula	INPF = N_GG_IND
Regole di arrotondamento	Nessuna
Valore di soglia	1
Azioni contrattuali	Il mancato rispetto del valore di soglia comporterà per ogni rilievo di scostamento rispetto al valore soglia l’applicazione della penale “Indisponibilità Portale di Fornitura”, pari a euro 1.000 (mille) per ogni giorno solare di indisponibilità, fino ad un massimo dell’1‰ dell’importo contrattuale

4.1.11 ATPF – Mancata Attivazione Portale di Fornitura

L’indicatore verifica l’attivazione del “Portale della Fornitura”.

Mancata attivazione del Portale di Fornitura

Aspetto da valutare

Unità di misura	Giorni solari	Fonte dati	Comunicazioni Fornitore Note Amministrazione Verbali di riunioni
Periodo di riferimento	Mese precedente la consegna	Frequenza di misurazione	Alla Consegna
Dati da rilevare	N_GCons = Numero giorni di ritardo nell’attivazione (Data effettiva – data prevista)
Regole di campionamento	Nessuna
Formula	ATPF = N_GCons
Regole di arrotondamento	Nessuna
Valore di soglia	ATPF <= 1
Azioni contrattuali	Il mancato rispetto del valore di soglia comporterà per ogni giorno solare di ritardo rispetto al valore soglia l’applicazione della penale “Mancata Attivazione del Portale di Fornitura”, pari a euro 1.000 (mille), fino ad un massimo dell’1‰ dell’importo contrattuale.

4.2 Servizi di Sviluppo

Di seguito sono descritti gli indicatori di qualità da applicarsi ai Servizi di Sviluppo di prodotti software.

4.2.1 RSPL – Rispetto del Piano di lavoro di obiettivo

L’indicatore RSPL verifica il rispetto della pianificazione di ogni obiettivo, misurando il rispetto della scadenza temporale di ciascuna milestone quali ad esempio:

• la date di consegna degli artefatti (la data pianificata di consegna del documento dei requisiti, del documento di analisi e piano di test, del documento di re-design, e così via per ogni artefatto obbligatorio del servizio);

• la data di consegna di ogni artefatto aggiuntivo offerto in offerta tecnica e concordato con l’Amministrazione nel Piano di lavoro;

• per i cicli agili, ogni data pianificata nello Sprint Planning;

• la data pianificata di “pronti al collaudo”, la data pianificata di termine collaudo con esito positivo, la data pianificata di rilascio, la data pianificata di termine avvio in esercizio formalmente.

Si precisa che per data effettiva di consegna di un artefatto va considerata la data di consegna del deliverable che soddisfa i requisiti minimi definiti nella documentazione contrattuale.

Pertanto, a titolo esemplificativo:

• una consegna incompleta o parziale non potrà essere considerata efficace e la data di consegna effettiva sarà quella dell’intero prodotto;

• il termine effettivo della fase di collaudo richiede la risoluzione di tutte le anomalie riscontrate nel corso del collaudo medesimo e la riconsegna della documentazione associata.

Aspetto da valutare	Rispetto di una scadenza temporale dell’obiettivo definita nel piano di lavoro approvato (o analogo documento)
Unità di misura	Giorni lavorativi	Fonte dati	Piano di lavoro Portale della fornitura, strumenti di gestione documentale e di configuration&versioning Documenti di pianificazione
Periodo di riferimento	Durata dell’obiettivo	Frequenza di misurazione	Ogni scadenza del Piano di lavoro Al termine dell’obiettivo

Dati da rilevare	Per ciascuna scadenza dell’obiettivo vanno rilevati: Data prevista (data_prev) Data effettiva (data_eff) Numero di scadenze dell’obiettivo(Nscad_ob)
Formula	RSPL=data_eff-data_prov
Regole di arrotondamento	Nessuna Numeri negativi per registrare le consegne in anticipo
Valore di soglia	Il Valore del ritardo della scadenza dell’obiettivo deve essere inferiore: RSPL <= 10 giorni lavorativi
Azioni contrattuali	1 Rilievo TROR per ogni giorno lavorativo di ritardo eccedente la soglia

4.2.2 GSCO – Giorni di sospensione del collaudo

Il presente indicatore è il più rilevante per i servizi realizzativi in quanto la sospensione del collaudo è indice di una grave carenza qualitativa e incompletezza delle attività realizzative. È un fattore molto grave e il fornitore deve mettere in campo tutte le azioni di mitigazione, prevenzione e correzione per ridurre al minimo il rischio di sospensione previste nei vari Piani di Qualità (Generale di Lotto, Specifico di Contratto Esecutivo, di Obiettivo).

La sospensione può attivarsi automaticamente alla presenza di malfunzionamenti bloccanti in collaudo come disciplinato nell’indicatore DFCC – Difettosità in collaudo, o su decisione dell’Amministrazione qualora si verifichino situazioni “anomale” che, a giudizio della stessa, sia per numerosità sia per gravità, sia per non rispetto dei tempi massimi previsti per la risoluzione delle difformità, non consentano lo svolgimento o la prosecuzione delle attività.

Costituisce altresì causa di sospensione un Piano di Test del fornitore con carenze tali da compromettere l’esecuzione del collaudo e/o il riscontro di almeno un test con esito negativo (rispetto a quanto dichiarato positivo dal fornitore nel Rapporto di esecuzione test).

La sospensione del collaudo comporta lo slittamento del termine pianificato e tale ritardo sarà a totale carico del Fornitore comportando le azioni contrattuali previste dal presente indicatore. La consegna della versione corretta dei prodotti dovrà avvenire entro il nuovo termine fissato dall’Amministrazione.

In caso di più di 2 sospensioni sul medesimo obiettivo l’Amministrazione si riserva la facoltà di dichiarare “non approvabile/accettabile” il prodotto oggetto di collaudo per inadempimento del Fornitore come previsto dal Contesto Applicativo “Modalità di Approvazione dei prodotti”.

Aspetto da valutare	Numero complessivo di giorni in cui è stato sospeso il collaudo di un obiettivo per cause imputabili al Fornitore
Unità di misura	Xxxxxx lavorativo	Fonte dati	Piano di lavoro approvato dell’obiettivo Comunicazioni di sospensione del collaudo e di ripresa
Periodo di riferimento	Durata collaudo	Frequenza di misurazione	Al termine del collaudo
Dati da rilevare	• Data della singola sospensione collaudo (Data_sospensionej) • Data della singola di ripresa del collaudo (Data_ripresaj) • Numero di sospensioni del collaudo (Nsosp)

Regole di campionamento	Si applica a tutte le sospensioni del collaudo (sia per la prima che, qualora capiti, per le successive)
Formula	𝐺𝑆𝐶𝑂 = ∑𝑁𝑠o𝑠𝑝(𝐷𝑎𝑡𝑎_𝑟𝑖𝑝𝑟𝑒𝑠𝑎 – 𝐷𝑎𝑡𝑎_𝑠o𝑠𝑝𝑒𝑘𝑠𝑖o𝑘𝑒 )Sommatoria dei giorni di tutte le 1 𝑖 𝑖 sospensioni del collaudo del medesimo obiettivo
Regole di arrotondamento	Nessuna
Valore di soglia	Deve essere inferiore alla % indicata della durata pianificata del collaudo GSCO <= 10% * durata collaudo in giorni lavorativi
Azioni contrattuali	1 Rilievo TROR per ogni giorno lavorativo eccedente la soglia

4.2.3 DAES – Difettosità in avvio in esercizio

Il presente indicatore rileva la difettosità residua funzionale e non funzionale.

Relativamente ai servizi esposti all’esterno, devono essere raccolti in particolare l’aderenza ai requisiti di accessibilità, usabilità, sicurezza, prestazioni che devono permettere la piena fruizione delle funzionalità e dei servizi a cittadino/impresa/operatore amministrativo/decisore/ fruitore.

Il periodo di avvio in esercizio è di 3 mesi.

Nel caso di obiettivi suddivisi in lotti il periodo di riferimento è relativo alla messa in esercizio del singolo lotto.

Aspetto da valutare	Difettosità del sistema rilasciato in esercizio
Unità di misura	Numero e tipologia di malfunzionamenti (errori e non conformità)	Fonte dati	Sistema di tracciatura Strumenti di raccolta feedback dagli utilizzatori del sistema
Periodo di riferimento	Fase di avvio in esercizio	Frequenza di misurazione	evento
Dati da rilevare	Numero totale di malfunzionamenti relativi a funzionalità utente nuove o modificate dall’obiettivo o regressioni sul software pregresso ivi incluso il mancato rispetto dei requisiti non funzionali. Malfunzionamenti Bloccanti: N_malfunz_bl Malfunzionamenti Non Bloccanti: N_malfunz_no_bl
Regole di campionamento	Nessuna
Valore di soglia	Classe di rischio A	Classe di rischio B		Classe di rischio C
	DAES_bloccanti = 0	DAES_bloccanti = 0		DAES_bloccanti =0
	DAES_non bloccanti=5	DAES_non bloccanti = 10		DAES_non bloccanti = 12
Azioni contrattuali	Dal 3° errore bloccante l’Amministrazione applicherà altresì la penale “Anomalie Bloccanti Reiterate” per ogni errore bloccante pari a: • € 7.500 per obiettivi di classe di rischio A • € 5.000 nei restanti casi Ogni malfunzionamento oltre la soglia del DAES_non bloccanti comporterà 1 Rilievo TROR

4.2.4 CTFU – Copertura test funzionali

Tale indicatore ha lo scopo di verificare la completezza funzionale del Piano di Test a partire dal primo rilascio del documento in fase di analisi. Il requisito minimo è la presenza di almeno un caso di test per ciascuno scenario di utilizzo del caso d’uso o funzionalità da realizzare o modificare.

In caso di mancato soddisfacimento i documenti di Analisi e Disegno e Piano di Test sono rigettati sino alla corretta compilazione.

Aspetto da valutare	Copertura Funzionale del piano di test
Unità di misura	Numero Casi d’uso	Fonte dati	Strumento automatico di gestione Requisiti e Test Documenti di Analisi e Piano di Test Rapporto di esecuzione
Periodo di riferimento	Durata dell’obiettivo	Frequenza di misurazione	Ciascuna Milestone di consegna del documento di analisi/disegno e piano di test Fase di collaudo
Dati da rilevare	NREko= Numero di Requisiti Utente non coperti da almeno un Caso d’uso NScenari ko = Numero scenari non coperti da almeno un caso di test
Formula	NREko= Numero di Requisiti non coperti da almeno un Caso d’uso e NScenari ko = Numero scenari per caso d’uso non coperti da almeno un caso di test
Soglia	CTFU = NREko + NScenari ko = 0
Azioni contrattuali	Se CTFU > 0 comporterà 1 Rilievo TROR aggiuntivo Il documento completo dovrà essere riconsegnato entro 3 giorni lavorativi o diverso termine indicato dall’Amministrazione

4.2.5 RIUSO – Riuso di componenti

L’indicatore si applica ai progetti di sviluppo ex-novo e misura il grado di riuso per incorporamento e integrazione di servizi, componenti sw, strutture logiche di dati e funzionalità provenienti da fonti diversi (quali ad esempio parco software e servizi infrastrutturali dell’Amministrazione, catalogo del riuso di AgID, Developers Italia, open source, soluzioni di terze parti con licenza libera).

Aspetto da valutare	Riuso di componenti nello sviluppo ex-novo
Unità di misura	Percentuale	Fonte dati	Specifiche Funzionali Disegno Tecnico
Periodo di riferimento	Durata dell’obiettivo Periodi di verifica di conformità	Frequenza di misurazione	Semestrale
Dati da rilevare	N_componenti_riuso = numero di componenti riutilizzati N_componenti_totali = numero di componenti da realizzare
Formula	RIUSO = N_componenti_riuso / N_componenti_totali
Soglia	RIUSO >= 10% il primo semestre di erogazione dei servizi. La soglia si alza del 5% ogni semestre

Azioni contrattuali Nel caso di mancato raggiungimento del valore di soglia, l’Amministrazione applicherà la perdita della quota sospesa “Riuso sviluppo ex-novo”

4.2.6 TRCG – Tempestività di Ripristino dell’Operatività in collaudo ed in garanzia

Il presente livello di servizio si applica a:

• Non conformità funzionali e non funzionali rilevate durante il collaudo.

• Non conformità funzionali e non funzionali rilevate nel periodo di esercizio di funzionalità/servizi rilasciati dal fornitore e dunque in garanzia (le anomalie rilevate nella fase di Avvio in Esercizio dell’obiettivo realizzativo sono considerate unicamente nell’indicatore DAES e pertanto sono escluse dal presente indicatore);

• Non conformità funzionali e non funzionali rilevate nel periodo di post-erogazione ed entro il periodo di garanzia: il software e l’ambiente di test dovranno essere mantenuti dal fornitore presso la propria struttura sino alla scadenza della garanzia.

Aspetto da valutare	Tempestività di ripristino dell'operatività in collaudo ed in garanzia
Unità di misura	Ora solare o lavorativa in funzione della soglia	Fonte dati	Strumenti di tracciatura E-mail
Periodo di riferimento	Durata del Collaudo Garanzia: Durata contrattuale	Frequenza di misurazione	evento
Dati da rilevare	Per ciascun malfunzionamento del software applicativo dovranno essere rilevate le seguenti informazioni: • Avvio del processo di risoluzione del malfunzionamento: Data, ora e minuti comunicazione al Fornitore [fase attivazione] (inizio) • Termine della risoluzione del malfunzionamento: Data, ora e minuti fine esecuzione [fase esecuzione] (termine) • Tempo di sospensione della risoluzione del malfunzionamento (sospensione) a causa dell'indisponibilità dell'ambiente di correzione, o per ragioni non imputabili al Fornitore (TS)
Regole di campionamento	Nessuna
Formula	TRGC_ cat j = t_risolj Dove: per ciascun malfunzionamento: t_risolj = terminej – inizioj – TS j=1,2,3,4 in base alla categoria di malfunzionamento
Regole di arrotondamento	Il risultato della misura va arrotondato: - per difetto se la parte decimale è ≤ 0,5 - per eccesso se la parte decimale è > 0,5

Valore di soglia	Categoria	Tempo massimo di risoluzione
	Categoria 1 (j=1)	In collaudo: Sospensione Collaudo t_risolj <= 1 giorno lavorativo
	Categoria 2 (j=2)	In collaudo: Sospensione Collaudo t_risolj <= 2 giorni lavorativi
	Categoria 3 (j=3)	t_risolj <= 3 giorni lavorativi
	Categoria 4 (j=4)	t_risolj <= 4 giorni lavorativi
Azioni contrattuali	Difettosità in collaudo: le categorie 1 e 2 comportano la sospensione del collaudo secondo l’indicatore DFCC. Relativamente alle categorie 3 e 4: per ogni giorno lavorativo eccedente il valore soglia (o il diverso termine indicato dall’amministrazione) verrà emesso un Rilievo TROR Garanzia in esercizio Se la rilevazione è avvenuta nel periodo di erogazione dei servizi (dopo la fase di Avvio in Esercizio), il non rispetto del valore di soglia comporterà l’emissione di 1 Rilievo RLFN per ogni giorno o frazione di superamento della soglia.
	Garanzia Post-Erogazione: il mancato rispetto del valore soglia comporta la penale “Mancato Ripristino Operatività in garanzia” pari a € 5.000 per ogni 8 ore (solari per cat.1 e 2 – lavorative per cat. 3 o 4) o frazione di superamento della soglia.

4.2.7 VISS – Violazioni degli standard di sviluppo

Gli standard di sviluppo e le linee guida saranno definiti a valle del periodo di avviamento e pertanto l’indicatore si applicherà esclusivamente dopo la condivisione dei suddetti standard tra il Fornitore e l’Amministrazione.

Aspetto da valutare	Rispetto degli standard di sviluppo e delle linee guida
Unità di misura	Numero di violazioni	Fonte dati	Standard e linee guida
Periodo di riferimento	Fase di collaudo	Frequenza di misurazione	Al collaudo
Dati da rilevare	Num_viol = Numero di violazioni
Regole di campionamento	Nessuna
Formula	VISS = Num_viol
Regole di arrotondamento	Nessuna
Valore di soglia	VISS = 0
Azioni contrattuali	Il superamento del valore soglia comporta la sospensione del collaudo come previsto dall’indicatore GSCO – Giorni di sospensione del collaudo.

4.2.8 TROR – Totale Rilievi Obiettivo Realizzativo

L’indicatore conteggia il numero di Rilievi degli obiettivi realizzativi derivanti da:

• violazioni di soglia di specifici indicatori

• ulteriori Rilievi per obbligazioni contrattuali non adempiute nei tempi e nei modi rappresentati nella documentazione contrattuale e non presidiati da specifici indicatori.

Aspetto da valutare	Numero di rilievi emessi per non conformità dei servizi realizzativi afferenti obbligazioni contrattuali non adempiute nei tempi e/o nei modi rappresentati nel Contratto Esecutivo e relativi allegati e/o tracciati sui Piani di lavoro
Unità di misura	Rilievo sull’obiettivo	Fonte dati	Sistema di Tracciatura Rilievi
Periodo di riferimento	Durata dell’obiettivo	Frequenza di misurazione	Al termine dell’obiettivo
Dati da rilevare	Numero Rilievi emessi sull’obiettivo (Nrilievi_obiettivo)
Ambito	Servizi realizzativi
Regole di campionamento	Nessuna
Formula	TROR = Nrilievi_obiettivo
Valore di soglia	TROR ≤ 3 (obiettivi con durata complessiva<= 6 mesi) o TROR ≤ 5 (obiettivi con durata complessiva> 6 mesi)
Azioni contrattuali	Per ogni rilievo eccedente le seguenti soglie: • TROR > 6 (progetti con durata complessiva<= 6 mesi) • TROR > 10 (progetti con durata complessiva > 6 mesi) l’Amministrazione applicherà altresì la penale “Reiterati Rilievi di Obiettivo” pari all’1‰ dell’importo contrattualmente fissato per il servizio realizzativo nel contratto esecutivo, con i seguenti minimi: • minimo € 5.000 per obiettivi di classe di rischio A • minimo € 3.000 nei restanti casi

4.2.9 Collaudo

Essendo il periodo di collaudo finalizzato alla verifica e validazione del sistema rilasciato è considerata fisiologica una difettosità residua rispetto alle attività di test effettuate dal fornitore. Tale fisiologica difettosità residua comprende malfunzionamenti di categoria NON bloccante nonché test negativi eseguiti con modalità differenti rispetto a quanto dichiarato positivamente eseguito dal fornitore. Diversamente trattasi di malfunzionamenti bloccanti come disciplinato dal successivo indicatore DFCC – Difettosità in collaudo.

Tutti i malfunzionamenti e le non conformità devono essere risolte per l’accettazione del software.

Il fornitore deve assicurare il supporto e garantire la tempestiva correzione degli errori sul software e sulla documentazione entro e non oltre i tempi previsti dal

TRCG – Tempestività di Ripristino dell’Operatività in collaudo ed in garanzia.

Si specifica che sono bloccanti (cat 1 o 2 come indicato nel corrispondente Piano di Test) le non conformità relative a:

▪ Sicurezza e Protezione dei dati: per tutti gli interventi realizzativi, ivi compresi gli interventi di correttiva

▪ Manutenibilità, Interoperabilità, Efficienza prestazionale, Affidabilità: per tutti gli interventi che realizzano servizi IT in Cloud e Migrazione Applicativi in Cloud;

▪ Manutenibilità e Affidabilità: per tutti gli interventi realizzativi su applicazioni di classe A;

▪ Usabilità e Portabilità per tutti gli interventi che realizzano/modificano servizi esposti all’esterno (siti, portali, app mobili)

Negli altri casi – fermo restando che tutte le non conformità devono essere risolte per l’accettazione del software – saranno considerate non bloccanti.

4.2.9.1 DFCC – Difettosità in collaudo

L’indicatore misura il numero di non conformità bloccanti rilevate in collaudo.

Aspetto da valutare	Numero di non conformità di categoria bloccante in collaudo
Unità di misura	Non conformità bloccanti (categorie 1 e 2)	Fonte dati	Verbale di collaudo
Periodo di riferimento	La fase di collaudo dell'obiettivo	Frequenza di misurazione	Alla rilevazione dell’evento
Dati da rilevare	Numero totale di non conformità Bloccanti emerse durante il collaudo (N_non_conformità_bloccanti)
Regole di campionamento	Vanno considerate le non conformità di categoria 1 o 2.
Regole di arrotondamento	Nessuna
Valore di soglia	- DFCC (categoria 1) = 0 - DFCC (categoria 2) <=3
Azioni contrattuali	Il superamento del valore soglia comporta la sospensione del collaudo come previsto dall’indicatore GSCO – Giorni di sospensione del collaudo.

4.2.9.2 MDTE – Miglioramento Debito Tecnico (moduli preesistenti)

La misura standard CISQ Debito tecnico stima il lavoro aggiuntivo finalizzato alle eliminazioni delle non conformità del software (rilevate tramite analisi statica). L’indicatore si applica a tutti gli obiettivi che modificano il codice esistente e deve essere calcolato anche per la manutenzione correttiva.

Pertanto, con riferimento alla rilevazione di inizio fornitura (subentro) o alla presa in carico del software oggetto di modifica il fornitore rileva il debito tecnico pre-esistente all’intervento di modifica e si impegna a non peggiorarlo.

Aspetto da valutare	Il debito tecnico
Unità di misura	Giorni persona	Fonte dati	Rilevazione iniziale Strumento di misurazione del Debito Tecnico
Periodo di riferimento	La fase di realizzazione dell'obiettivo	Frequenza di misurazione	Fase di realizzazione Fase di collaudo
Dati da rilevare	- Debito Tecnico software iniziale (DT_iniz) - Debito Tecnico software finale (DT_finale)
Formula	MDTE = (DT_finale-DT_iniziale) / DT_iniziale
Regole di arrotondamento	Nessuna
Valore di soglia	MDTE <= 0
Azioni contrattuali	Apertura malfunzionamento bloccante se MDTE <= 50%, bloccante se superiore. Per l’accettazione del software il codice deve essere corretto sino al raggiungimento di una soglia fissata dall’Amministrazione.

4.2.9.3 QNFU – QUALITÀ NON FUNZIONALE

Per ciascuna delle caratteristiche sotto richiamate i documenti di sviluppo applicabili (Specifiche funzionali, Disegno dell’architettura, Re-design Architetturale, Piano di test, ecc.) devono prevedere una trattazione specifica. L’assenza e/o l’incompletezza di quest’ultima comporta la non approvazione del relativo documento e la contestuale applicazione dell’indicatore MAPP-Mancata Approvazione di Artefatti/Deliverable.

Per ciascuna delle seguenti caratteristiche il fornitore predispone una sezione specifica del Piano di Test e un corrispondente rapporto di esecuzione contenente la sintesi degli esiti degli strumenti/metodologie e tecniche di misurazione della specifica caratteristica. I report analitici di test devono essere disponibili sul Portale della Fornitura e presentati alla richiesta di “Pronti al collaudo”.

Nel Piano della Qualità Generale del Lotto devono essere illustrati i dettagli dei report (es. usabilità, interoperabilità, ecc…) e degli strumenti (sia di analisi statica e dinamica del software sia di gestione dei requisiti e test) nonché dei livelli migliorativi offerti e che saranno di riferimento nel corso della Fornitura per la rilevazione delle caratteristiche di qualità descritte nel seguito.

Nel Piano della Qualità Specifico del Contratto Esecutivo dovranno essere indicati gli strumenti specifici per i servizi previsti e, ove applicabile in base alla caratteristica di riferimento, il valore esatto di soglia fermo restando che rispetto alle indicazioni fornite nel seguito tale valore non può essere mai peggiorativo.

Aspetto da valutare	Qualità del software misurata attraverso le caratteristiche descritte in Tabella 2
Unità di misura	Numero	Fonte dati: Artefatti di riferimento e strumenti	Documenti di analisi, progettazione e test Strumenti di misura della qualità del sw Strumenti di testing
Periodo di riferimento	La fase di collaudo dell'obiettivo	Frequenza di misurazione	Alla rilevazione dell’evento bloccante
Dati da rilevare	NFko = numero di caratteristiche funzionali che non rispettano le soglie
Regole di campionamento	Nessuna
Formula	QNFU = NFko
Regole di arrotondamento	Nessuna
Valore di soglia	QNFU = 0
Azioni contrattuali	Apertura non conformità: • non bloccante se QNFU <= 4 • bloccante se QNFU > 4 • bloccante in caso di non risoluzione del malfunzionamento aperto o di peggioramento dell’indicatore. Per l’accettazione del software deve essere raggiunto un valore di soglia fissato dall’Amministrazione.

La tabella riepiloga i livelli minimi da raggiungere per le caratteristiche e fornisce alcune indicazioni specifiche che dovranno essere riferite in misura equivalente dal Fornitore nell’utilizzo degli strumenti di rilevazione.

Tabella 2 Caratteristiche non funzionali

Caratteristica Modalità di valutazione Formula

NF1 Comportamento Temporale	Tramite simulazione e confronto tra il tempo di risposta effettivo (T) in condizioni ordinarie e il tempo di risposta atteso (Ts fissato nei requisiti)	NF1 = T - Ts SOGLIA = 0
NF2 Comportamento Temporale sotto carico	Tramite simulazione e confronto tra il tempo di risposta effettivo (T) in condizioni di carico o picco e il tempo di risposta atteso (Ts fissato nei requisiti)	NF2 = T - Ts SOGLIA = 0
NF3 Efficienza Prestazionale	Tramite analisi statica. Nel caso di nuovi sviluppi, si dovrà verificare che il codice rilasciato non contenga nessuna delle violazioni elencate nella specifica sezione dello standard CISQ. Nel caso di MEV, l’amministrazione potrà richiedere, come requisito, un numero massimo di violazioni ammesse (Nr). Ove non venga definito tale requisito, il numero massimo di violazioni ammesso sarà pari al numero di violazioni misurate sul software oggetto di MEV prima dell’intervento (Np).	Per i nuovi sviluppi: NF3 = numero violazioni rilevato dallo strumento automatico di analisi statica Per la MEV: NF3 = numero violazioni rilevato – Nr (se definito nei requisiti) NF3 = numero violazioni rilevato - Np SOGLIA = 0
NF4 Interoperabilità	Percentuale di interfacce conformi al modello di interoperabilità previsto dal Piano Triennale e dalle linee guida, sul totale di interfacce offerte dal software rilasciato	NI = Numero di interfacce sviluppate conformi al modello di interoperabilità NC = Numero complessivo di interfacce sviluppate NF4 = (NI/NC) SOGLIA = 100%
NF5 Usabilità-1	Percentuale di risposte affermative sul totale di risposte relative ai temi affrontati dai seguenti indicatori ISO/IEC 25023 ▪ ULe-1-G (Completezza della guida utente): il Numero di funzionalità utente realizzate è pari al Numero di Help On Line? ▪ UAp-2-S (Capacità di dimostrazione) il Numero di funzionalità utente specificate è pari al Numero di demo esplicative realizzate che possano aiutare l’utente nell’operatività? ▪ ULe-2-S (Valori di default nei campi input) il Numero di campi di input da immettere con aiuto rappresenta la maggioranza dei campi di input? – dove i campi senza aiuto sono stati precedentemente condivisi ▪ ULe-3-S (Comprensibilità dei messaggi d’errore): il numero di messaggi di errore parametrici e cioè con l’indicazione del campo e/o dell’operazione errata risulta essere pari al numero di messaggi di errore in totale? ▪ UEp-2-S (Correzione da errori di input dell’utente) i dati di input sono controllati dal sistema applicativo prima di essere elaborati?	NF5 = numero di risposte applicabili affermative / numero complessivo di risposte applicabili SOGLIA = 100%
NF6 Usabilità-2	Numero di test di usabilità conformi (Nu) alle linee guida di designer Italia, rispetto al numero totale di test di	NF6 = Nu/Nt SOGLIA = 100%

	usabilità riportati nel piano di test (Nt).
NF7 Affidabilità	Tramite analisi statica. Nel caso di nuovi sviluppi, si dovrà verificare che il codice rilasciato non contenga nessuna delle violazioni elencate nella specifica sezione dello standard CISQ. Nel caso di MEV, l’amministrazione potrà richiedere, come requisito, un numero massimo di violazioni ammesse (Nr). Ove non venga definito tale requisito, il numero massimo di violazioni ammesso sarà pari al numero di violazioni misurate sul software oggetto di MEV prima dell’intervento (Np).	Per i nuovi sviluppi: NF7 = numero violazioni rilevato dallo strumento automatico di analisi statica Per la MEV: NF7 = numero violazioni rilevato – Nr (se definito nei requisiti) NF7 = numero violazioni rilevato - Np SOGLIA = 0
NF8 Sicurezza	Attraverso: • Analisi Statica del software rilasciato, tramite conteggio (Nv) delle violazioni elencate nella specifica sezione dello standard CISQ; • rispetto di una checklist di vincoli per la sicurezza, proposta dal fornitore e coerente con le linee guida per lo sviluppo sicuro di AgID e alle indicazioni CWE, OWASP e CERT.	NF8 = Nv + Numero violazioni della checklist SOGLIA = 0
NF9 Automazione dei test	Percentuale di test automatici (nTA) rispetto al numero totale di test (nT) definiti nel piano di test	NF9 = nTA/nT SOGLIA >= 15%
NF10 Manutenibilità	Tramite analisi statica. Nel caso di nuovi sviluppi, si dovrà verificare che il codice rilasciato non contenga nessuna delle violazioni elencate nella specifica sezione dello standard CISQ. Nel caso di MEV, l’amministrazione potrà richiedere, come requisito, un numero massimo di violazioni ammesse (Nr). Ove non venga definito tale requisito, il numero massimo di violazioni ammesso sarà pari al numero di violazioni misurate sul software oggetto di MEV prima dell’intervento (Np).	Per i nuovi sviluppi: NF7 = numero violazioni rilevato dallo strumento automatico di analisi statica Per la MEV: NF7 = numero violazioni rilevato – Nr (se definito nei requisiti) NF7 = numero violazioni rilevato - Np SOGLIA = 0

4.3 Manutenzione Correttiva (MAC) e Adeguativa (MAD)

Di seguito sono descritti gli indicatori di qualità che si applicano al Servizio di Manutenzione correttiva e adeguativa.

4.3.1 TROI – Tempestività di Ripristino dell’Operatività in esercizio

Il ripristino dell’operatività del software applicativo in esercizio deve avvenire nel rispetto del seguente livello di servizio, suddiviso per livello di prestazione.

Aspetto da valutare	Tempestività di ripristino dell'operatività in esercizio a seguito di malfunzionamenti differenziata per categoria di malfunzionamento
Unità di misura	Percentuale	Fonte dati	Piano di lavoro Strumenti di tracciatura Strumenti di comunicazione E-mail

Periodo di riferimento	Durata del servizio Periodi per verifiche di conformità	Frequenza di misurazione	mensile
Dati da rilevare	Per ciascun malfunzionamento del software applicativo dovranno essere rilevate le seguenti informazioni: • Avvio del processo di risoluzione del malfunzionamento: Data, ora e minuti comunicazione al Fornitore [fase attivazione] (inizio) • Termine della risoluzione del malfunzionamento: Data, ora e minuti fine esecuzione [fase esecuzione] (termine) • Tempo di sospensione della risoluzione del malfunzionamento (sospensione) a causa dell'indisponibilità dell'ambiente di correzione, o per ragioni non imputabili al Fornitore (TS) Numero totale di malfunzionamenti di una specifica categoria j rilevati nel periodo di riferimento (T_malfunzj)
Regole di campionamento	Nessuna
Formula	(∑4 𝑇𝑅𝑂𝐼j) 𝑇𝑅𝑂𝐼 = j=1 4 Dove: j=1,2,3,4 in base alla categoria di malfunzionamento TROIj =(N_malfunzj/T_malfunzj) N_malfunzj = numero malfunzionamenti di categoria j con t_risolj ≤ tlimitej t_risolj = terminej – inizioj – TS
Regole di arrotondamento	Il risultato della misura va arrotondato: per difetto se la parte decimale è ≤ 0,5 - per eccesso se la parte decimale è > 0,5
Valore limite Livello di Prestazione Standard	Categoria	tlimitej
	Categoria 1 (j=1)	8 ore lavorative
	Categoria 2 (j=2)	12 ore lavorative
	Categoria 3 (j=3)	2 giorni lavorativi
	Categoria 4 (j=4)	4 giorni lavorativi
Valore di soglia Livello di Prestazione Standard	TROI >= 90% e TROI (tlimitej_ finale= tlimitej+1giorno lavorativo) = 100% (I restanti malfunzionamenti devono essere risolti nel limite maggiorato di 1 giorno lavorativo)
Azioni contrattuali Livello di Prestazione Standard	1 Rilievo per ogni punto percentuale inferiore rispetto ai valori di soglia sopra previsti che andrà ad incrementare l’indicatore RMCO

Valore limite Livello di Prestazione Premium	Categoria	tlimitej
	Categoria 1 (j=1)	8 ore solari
	Categoria 2 (j=2)	16 ore solari esclusi sabati e festivi
	Categoria 3 (j=3)	1 giorno lavorativo
	Categoria 4 (j=4)	2 giorni lavorativi
Valore di soglia Livello di Prestazione Premium	TROI >= 90% e TROI (tlimitej_ finale= tlimitej+1giorno lavorativo) = 100% (I restanti malfunzionamenti devono essere risolti nel limite maggiorato di 1 giorno lavorativo)
Azioni contrattuali Livello di Prestazione Premium	Nel caso di valori TROI inferiori alle soglie, perdita della quota sospesa “Ritardo nel ripristino operatività di esercizio”

4.3.2 CSR – Interventi di manutenzione correttiva recidivi

Misura il grado di efficacia degli interventi di manutenzioni misurando la percentuale di malfunzionamenti che si ripresentano dopo l’intervento correttivo

Aspetto da valutare	Numero di interventi di manutenzione correttiva recidivi, cioè relativi allo stesso modulo per lo stesso malfunzionamento
Unità di misura	Case recidivi	Fonte dati	Sistema di tracciatura o comunicazioni
Periodo di riferimento	Durata del servizio Periodi per verifiche di conformità	Frequenza di misurazione	mensile
Dati da rilevare	Numero di interventi di manutenzione correttiva segnalati sul sistema di tracciatura per lo stesso malfunzionamento (Ncase_ricorsivi)
Formula	CSR = Ncase_ricorsivi
Regole di arrotondamento	Nessuna
Valore di soglia – Livello di Prestazione Standard	CSR <= 2
Azioni contrattuali – Livello di Prestazione Standard	1 Rilievo per ogni Case recidivo che andrà ad incrementare l’indicatore RMCO
Valore di soglia – Livello di Prestazione Premium	CSR = 0

Azioni contrattuali Ripristino Premium
1 Rilievo per ogni Case recidivo che andrà ad incrementare l’indicatore RMCO

4.3.3 RMCO – Rilievi di Manutenzione Correttiva

Aspetto da valutare	Numero di rilievi emessi per non conformità inerenti il servizio di manutenzione correttiva rispetto al contratto ed allegati
Unità di misura	Rilievo	Fonte dati	Comunicazioni
Periodo di riferimento	Durata del servizio Periodi per verifiche di conformità	Frequenza di misurazione	Mensile
Dati da rilevare	Numero Rilievi emessi sul servizio di Manutenzione Correttiva (Nrilievi_correttiva)
Regole di campionamento	Nessuna
Formula	RMCO = Nrilievi_Correttiva
Regole di arrotondamento	Nessuna
Valore di soglia	RMCO = 0 nel caso di attivazione per singolo intervento RMCO <= 1 nel caso di servizio continuativo
Azioni contrattuali	Nel caso di superamento della soglia, perdita della quota sospesa “Eccesso di rilievi di Manutenzione Correttiva” Per valori dell’indicatore superiori a 3 nel caso di attivazione per singolo intervento e 4 nel caso di servizio continuativo, l’Amministrazione applicherà altresì la penale “Reiterati rilievi manutenzione correttiva” pari all’1‰ dell’importo contrattualmente fissato per il servizio di manutenzione correttiva del contratto esecutivo.

L’indicatore conteggia le non conformità rilevate dall’Amministrazione per obbligazioni contrattuali non adempiute nei tempi e nei modi previsti, siano esse rilevate da specifici indicatori o non conformità, non presidiati da specifici indicatori. Si precisa che qualsiasi intervento – ivi compresa la manutenzione correttiva – non deve peggiorare il debito tecnico della funzione/codice modificato né introdurre non conformità e/o violazioni. Ogni elemento negativo sulla qualità del software deve essere rimosso in garanzia ed alimenta il presente indicatore di rilievi.

4.4 Conduzione Applicativa

I seguenti indicatori si applicano a tutti i servizi di gestione. Nel caso di attivazione di servizi separati, i livelli di servizio vengono rilevati e calcolati distintamente.

Il fornitore, per i servizi erogati presso la propria sede, deve mettere a disposizione dell’Amministrazione strumenti per la verifica della capacità di gestione delle richieste e della disponibilità del servizio stesso.

4.4.1 DSGP – Disponibilità dei servizi di gestione del portafoglio applicativo

L’indicatore misura la disponibilità del servizio secondo i tempi ed i modi definiti nel Contratto Esecutivo, nel Piano di lavoro Generale e Piano di lavoro del servizio, ivi incluse le estensioni di orario di servizio, la reperibilità e l’extra-orario.

Aspetto da valutare	Disponibilità dei servizi di gestione
Unità di misura	Segnalazioni	Fonte dati	Comunicazioni Contratto Esecutivo Piano di lavoro Strumento di tracciatura e\o di monitoraggio dell’Amministrazione
Periodo di riferimento	Durata del servizio Periodi per verifiche di conformità	Frequenza di misurazione	mensile
Dati elementari da rilevare	Numero di segnalazioni di indisponibilità del servizio di gestione di riferimento (applicativi o siti web ) (Nsegnalazioni_indisp)
Formula	DSGP = Nsegnalazioni_indisp
Regole di arrotondamento	Nessuna
Valore di soglia	DSGP = 0
Azioni contrattuali	1 Rilievo per ogni segnalazione che andrà ad incrementare l’indicatore RSGT

4.4.2 RSCA – Rispetto di una scadenza dei servizi di gestione del Portafoglio

L’indicatore misura il rispetto di scadenze temporali concordate o pianificate nei piani di gestione del portafoglio, ivi incluse le estensioni di orario di servizio, la reperibilità e l’extra-orario.

Aspetto da valutare	Rispetto di una scadenza temporale pianificata
Unità di misura	Xxxxxx lavorativi	Fonte dati	Comunicazioni Contratto Esecutivo Piano di lavoro Strumento di tracciatura
Periodo di riferimento	Durata del servizio Periodi per verifiche di conformità	Frequenza di misurazione	mensile
Dati da rilevare	Per ciascuna scadenza vanno rilevati - Data prevista (data_prev) - Data effettiva (data_eff)

Formula	RSCA = data_eff – data_prev
Regole di arrotondamento	Nessuna
Valore di soglia	RSCA <= 0 nel 90% dei casi RSCA <=1 nel 100% dei casi
Azioni contrattuali	1 Rilievo per ogni giorno lavorativo di ritardo che andrà ad incrementare l’indicatore RSGT

4.4.3 TRRA – Tempestività di risoluzione delle richieste di assistenza

L’indicatore misura l’efficacia della prestazione mediante la percentuale di chiamate risolte o, dopo l’identificazione della causa, inoltrate al gruppo responsabile della risoluzione (es. manutenzione correttiva).

Si considera l’orario di servizio completo di estensioni di orario di servizio(reperibilità ed extra-orario).

Aspetto da valutare	Tempestività di risoluzione delle richieste di assistenza
Unità di misura	Percentuale	Fonte dati	Comunicazioni Contratto Esecutivo Piano di lavoro Strumento di tracciatura
Periodo di riferimento	Durata del servizio Periodi per verifiche di conformità	Frequenza di misurazione	mensile
Dati da rilevare	- Data e Ora (hh/mm) di ricezione della richiesta (Data_ricezione) - Data e Ora (hh/mm) della effettiva risoluzione o inoltro ad altro gruppo responsabile della risoluzione (Data_risoluz) - Numero totale richieste di assistenza pervenute nel periodo di riferimento (Num_richieste) oppure (Num_richieste_pervenute)
Regole di campionamento	Vanno considerate tutte le richieste di assistenza pervenute
Formula	TRRA= Num_richieste(T_risoluz <= T_ottimale) / Num_richieste_pervenute Dove: T_risoluz = Data_risoluz – Data_ricezione
Regole di arrotondamento	Il risultato della misura va arrotondato al punto percentuale: - per difetto se la parte decimale è <= 0,5 - per eccesso se la parte decimale è > 0,5
Valore di soglia	TRRA (T_ottimale= 4 ore lavorative) ≥ 90% e TRRA (T_ottimale= 8 ore lavorative)= 100%
Azioni contrattuali	1 Rilievo per ogni giorno lavorativo di ritardo che andrà ad incrementare l’indicatore RSGT

4.4.4 RSGT – Rilievi sui servizi di gestione del Portafoglio Applicativo

L’indicatore conteggia le non conformità rilevate dall’Amministrazione per obbligazioni contrattuali non adempiute nei tempi e nei modi previsti, siano esse rilevate da specifici indicatori o non conformità, non presidiati da specifici indicatori.

Aspetto da valutare	Numero di rilievi emessi per non conformità inerenti la disponibilità del servizio secondo le modalità di erogazione definite nel Contratto Esecutivo e nel Piano di lavoro.
Unità di misura	Numero	Fonte dati	Comunicazioni Contratto Esecutivo Piano di lavoro Strumento di tracciatura
Periodo di riferimento	Durata del servizio Periodi per verifiche di conformità	Frequenza di misurazione	Mensile
Dati da rilevare	Numero Rilievi emessi sul servizio di gestione (Nrilievi_gestione)
Regole di campionamento	Nessuna
Formula	RSGT = Nrilievi_gestione
Regole di arrotondamento	Nessuna
Valore di soglia	RSGT ≤ 3
Azioni contrattuali	Nel caso di superamento della soglia, perdita della quota sospesa “Eccesso di rilievi di Gestione” Per valori dell’indicatore RSGT > 6, l’Amministrazione applicherà altresì la penale “Reiterati rilievi di Gestione” pari all’1‰ dell’importo contrattualmente fissato per il servizio di gestione nel contratto esecutivo.

4.5 Servizio di Supporto Specialistico

4.5.1 SPSS – Slittamento nella consegna di un’attività del servizio di Supporto Specialistico

L’indicatore misura il rispetto della data di consegna di un’attività concordata/pianificata

Aspetto da valutare	Rispetto di una scadenza temporale pianificata nell’ambito del servizio di supporto specialistico
Unità di misura	Xxxxxx lavorativi	Fonte dati	Comunicazioni Contratto Esecutivo Piano di lavoro Strumento di tracciatura
Periodo di riferimento	Durata dell’intervento di supporto specialistico	Frequenza di misurazione	Al termine di ciascun intervento
Dati da rilevare	Per ciascuna scadenza vanno rilevati - Data prevista (data_prev) - Data effettiva (data_eff)
Regole di campionamento	Rilevazione separata per ciascun intervento
Formula	SPSS = data_eff – data_prev

Regole di arrotondamento	Nessuna
Valore di soglia	SPSS <= 0 (le scadenze possono essere anticipate)
Azioni contrattuali	1 Rilievo per ogni giorno lavorativo di ritardo che andrà ad incrementare l’indicatore RSSP.

4.5.2 CSIS - Customer effort Score dell’intervento specialistico

Il presente indicatore misura l’esperienza d’uso dei servizi da parte dell’Amministrazione, rilevata con l’impiego di strumenti messi a disposizione dal Fornitore per l’acquisizione dei feedback degli utenti secondo quanto specificato al par. 8 dei CTS.

Aspetto da valutare	La percezione della qualità dei servizi e il grado di soddisfazione degli utenti come espressione della facilità d’uso complessiva del servizio, misurata rilevando dagli strumenti di feedback le risposte fornite. Per le risposte vanno utilizzati come valori di riferimento numeri positivi su scala crescente (da 1 a 10) dove: Risposte con punteggio maggiore o uguale a 7 corrisponde a “soddisfatto”; • Risposte con punteggio minore di 7 corrisponde a “non soddisfatto”.
Unità di misura	Percentuale	Fonte dati	Questionari
Periodo di riferimento	Durata dell’intervento di supporto specialistico	Frequenza di misurazione	Al termine di ciascun intervento
Dati da rilevare	• Numero risposte positive (risposte con valore ≥ 7) (Nrisposte_pos) • Numero di domande del questionario (Ndomande) • Numero totale di questionari compilati con tutte le risposte (Nquestionari)
Regole di campionamento	A discrezione dell’Amministrazione
Formula	𝑁𝑞𝑢𝑒𝑠𝑡𝑖o𝑛𝑎𝑟𝑖 1 𝑁𝑟𝑖𝑠𝑝o𝑠𝑡𝑒𝑝o𝑠𝑖 𝐶𝑆𝐼𝑆 = × ( ∑ ) 𝑁𝑞𝑢𝑒𝑠𝑡𝑖o𝑘𝑎𝑟𝑖 𝑁𝑑o𝑚𝑎𝑘𝑑𝑒𝑖 𝑖=1
Regole di arrotondamento	Il risultato della misura va arrotondato al decimo di punto: - per difetto se la prima cifra decimale è ≤ 5 - per eccesso se la prima cifra decimale è > 5
Valore di soglia	CSIS >= 85 %
Azioni contrattuali	Il mancato rispetto del valore di soglia comporterà 1 rilievo RSSP. Per CSIS < 80 %, perdita della quota sospesa “Supporto Specialistico non soddisfacente” Per CSIS < 65 %, per ogni 10% di peggioramento o frazione, l’Amministrazione applicherà altresì la penale “Inadeguatezza del supporto specialistico” pari all’1‰ dell’importo contrattualmente fissato per il servizio del contratto esecutivo.

4.5.3 RSSP – Rilievi sui servizi di supporto specialistico

Aspetto da valutare Numero di rilievi emessi per non conformità inerenti il servizio di supporto specialistico

L’indicatore conteggia le non conformità rilevate dall’Amministrazione per obbligazioni contrattuali non adempiute nei tempi e nei modi previsti, siano esse rilevate da specifici indicatori o non conformità, non presidiati da specifici indicatori.

Unità di misura	Rilievo	Fonte dati	Comunicazioni
Periodo di riferimento	Durata dell’intervento di supporto specialistico	Frequenza di misurazione	al termine dell’intervento
Dati da rilevare	Numero Rilievi emessi sul servizio di supporto (Nrilievi_gestione)
Regole di campionamento	Nessuna
Formula	RSSP = Nrilievi_gestione
Regole di arrotondamento	Nessuna
Valore di soglia	RSSP ≤ 1
Azioni contrattuali	Il superamento della soglia comporta la perdita della quota sospesa “Eccesso di rilievi di Supporto Specialistico” Per valori dell’indicatore RSSP > 3, l’Amministrazione applicherà altresì la penale “Reiterati rilievi supporto specialistico” pari all’1‰ dell’importo contrattualmente fissato per il servizio di supporto Specialistico del contratto esecutivo.

4.6 Servizio di sviluppo e evoluzione sw in co-working con l’Amministrazione

In caso di mancata aderenza ai profili professionali richieste o ritardi nell’inserimento e nella sostituzione si applicano l’indicatore PFI – Personale Inadeguato e l’indicatore TIP-Tempestività nell’inserimento di personale.

4.6.1 RSCC – Rispetto di una scadenza dei servizi di sviluppo e evoluzione sw in co-working

L’indicatore misura il rispetto di scadenze temporali concordate o pianificate nei piani di gestione sviluppo e evoluzione sw in co-working, ivi inclusi le estensioni di orario di servizio, la reperibilità e l’extra-orario.

Aspetto da valutare	Rispetto di una scadenza temporale pianificata
Unità di misura	Xxxxxx lavorativi	Fonte dati	Comunicazioni Contratto Esecutivo Piano di lavoro Strumento di tracciatura
Periodo di riferimento	Durata del servizio Periodi per verifiche di conformità	Frequenza di misurazione	mensile
Dati da rilevare	Per ciascuna scadenza vanno rilevati - Data prevista (data_prev) - Data effettiva (data_eff)
Formula	RSCC = data_eff – data_prev
Regole di arrotondamento	Nessuna
Valore di soglia – Livello Standard	RSCC <= 0 nel 90% dei casi RSCC <=1 nel 100% dei casi
Valore di soglia Livello Alta Reattività	RSCC <= 0

Azioni contrattuali 1 Rilievo per ogni giorno lavorativo di ritardo che andrà ad incrementare l’indicatore RLFN

4.7 Servizio Conduzione Tecnica

I seguenti indicatori si applicano a tutti i servizi di Conduzione Tecnica. Nel caso di attivazione di servizi separati, i livelli di servizio vengono rilevati e calcolati distintamente.

Il fornitore, per i servizi erogati presso la propria sede, deve mettere a disposizione dell’Amministrazione strumenti per la verifica della capacità di gestione delle richieste e della disponibilità del servizio stesso.

L’Amministrazione comunicherà ad inizio attività l’elenco dei sistemi da prendere in carico, indicandone la classe di appartenenza. Nel corso della fornitura, la classificazione dei nuovi sistemi sarà comunicata in fase di installazione ovvero nell’ambito delle attività collegate ai processi di change management e asset & configuration management.

L’Amministrazione si riserva comunque di modificare nel corso della durata contrattuale la classificazione precedentemente indicata.

La disponibilità del singolo sistema dovrà essere calcolata come la percentuale di tempo in cui non si manifestano disservizi rispetto alla fascia oraria di osservazione. Per disservizio si intende l'inattività e/o il non corretto funzionamento di uno o più componenti del sistema che dovrebbero essere attivi e/o correttamente funzionanti nella fascia oraria di osservazione.

Il calcolo della disponibilità del singolo sistema dovrà essere basato sui dati rilevati attraverso la piattaforma di monitoraggio. In caso di indisponibilità della piattaforma di monitoraggio, l’Indicatore di Qualità dovrà essere rilevato anche attraverso l’analisi dei log dei singoli componenti e di ulteriori strumenti che potranno essere indicati dall’Amministrazione. La disponibilità della piattaforma di monitoraggio dovrà a sua volta essere misurata attraverso l’analisi dei log di sistema.

Si precisa che la misurazione della disponibilità del singolo sistema dovrà essere effettuata:

▪ tenendo conto di tutte le eventuali estensioni del servizio richieste nel periodo di riferimento

▪ considerando la disponibilità giornaliera prevista per ciascun sistema, e quindi al netto dei fermi per manutenzione programmata;

▪ non considerando le indisponibilità non imputabili al Fornitore (p. e. problemi hardware per sistemi in garanzia);

valorizzando tutte le grandezze in secondi.

4.7.1 DSA – Disponibilità dei sistemi e apparati

L’indicatore misura il livello di servizio “Disponibilità di un sistema DSA_xxx”, dove xxx è un progressivo che identifica il singolo Sistema.

Caratteristica	Affidabilità	Sottocaratteristica	Tolleranza ai guasti
Aspetto da valutare	Disponibilità dei sistemi
Unità di misura	Punto percentuale	Fonte dati	Soluzione di monitoraggio
Periodo di riferimento	Trimestre precedente la rilevazione	Frequenza di misurazione	Trimestrale

Dati da rilevare	- L’orario giornaliero programmato in cui deve essere attivo il componente che per primo deve essere reso disponibile nella fascia di rilevazione, espresso in hh/mm/ss (Tsming) - L’orario giornaliero di disattivazione programmato del componente che per ultimo rimane attivo nella fascia di rilevazione, espresso in hh/mm/ss (Tsmaxg) - Tempo di indisponibilità giornaliera del sistema e/o di suoi componenti per fermi di manutenzione programmata o non imputabili al Fornitore, espresso in secondi (Tiprgg) - Intervallo temporale in cui uno dei componenti che dovrebbe essere attivo risulta non disponibile nella fascia di rilevazione, espresso in secondi (Tieffj) - N.di intervalli temporali di indisponibilità effettiva del sistema, su base giornaliera (Nfermi) - N. di giorni del trimestre preso in considerazione (Ngiorni)
Regole di campionamento	Vanno considerati i seguenti fermi non programmati non dovuti ad applicazioni, rilevabili dalla piattaforma di monitoraggio: ▪ Xxxxx occorsi e risolti nel periodo di riferimento corrente ▪ Xxxxx occorsi nel periodo di riferimento precedente e risolti nel periodo di riferimento corrente
Formule	La disponibilità prevista giornaliera (espressa in secondi) di un Sistema è: Tprevg = (TS max g − TS min g ) − TIprgg
	La disponibilità prevista (espressa in secondi) di un Sistema è: Ngiorni Tprevm = ∑Tprevg 1
	La indisponibilità giornaliera (espressa in secondi) di un Sistema è: Nfermi ISeff g = ∑TIeff j 1
	La indisponibilità (espressa in secondi) di un Sistema è: Ngiorni ISeffm = ∑ ISeffg 1
	La disponibilità (espressa in percentuale) di un Sistema è: DSA_xxx = 𝑇𝑝𝑟𝑒𝑣𝑚− 𝐼𝑆𝑒𝑓𝑓𝑚 x 100 𝑇𝑝𝑟𝑒𝑣𝑚
Arrotondamento	Si
Valore di soglia	DSA_xxx (Classe A) ≥ 99,8% DSA_xxx (Classe B) ≥ 99,5%
Azioni contrattuali	La discesa dell’indicatore per l’insieme dei sistemi in ciascuna classe sotto il valore di soglia comporta l’applicazione di penale “Disponibilità dei sistemi e apparati” pari all’1‰ dell’importo contrattualmente fissato per il servizio di Conduzione tecnica.

Ai fini della misurazione dell’indisponibilità giornaliera, si precisa che:

• nel caso in cui due o più componenti di un sistema risultino contemporaneamente indisponibili, per definire l’intervallo temporale di indisponibilità si dovrà considerare quanto segue:

1. l’inizio di tale intervallo deve coincidere con l’ora esatta (hh/mm/ss) in cui è iniziata l’indisponibilità del componente risultato indisponibile per primo;

2. la fine di tale intervallo deve coincidere con l’ora esatta (hh/mm/ss) in cui è terminata l’indisponibilità del componente riattivato per ultimo;

• nel caso in cui due o più componenti di un sistema risultino indisponibili in intervalli temporali contigui, l’indisponibilità sarà data dalla somma dei due intervalli temporali.

Il Fornitore dovrà garantire la misurazione e rendicontazione di ogni livello di servizio DSA_xxx relativo al singolo sistema. Di seguito è riportato l’algoritmo di calcolo dello scostamento complessivo al quale, al termine di ogni periodo di osservazione, sarà commisurata la penale da applicare in caso di mancato rispetto dei valori di soglia per la disponibilità complessiva dei sistemi relativamente a ciascuna delle classi sopra definite.

Lo scostamento complessivo è ottenuto quale sommatoria dei singoli valori percentuali di scostamento in difetto rispetto alla soglia. Pertanto, ai fini di tale sommatoria, non saranno conteggiati i valori superiori o uguali alla soglia minima.

dove:

𝐷𝑆𝐴_𝑠𝑐o𝑠𝑡𝑎𝑚𝑒𝑘𝑡o_𝑐o𝑚𝑝𝑙(𝐴) = ∑ 𝑠𝑐o𝑠𝑡𝑎𝑚𝑒𝑘𝑡oj (𝐴)

j

scostamentoJ = soglia(A) – DSA(sistemaJ (A)) se DSA(sistemaJ (A)) < soglia(A)

scostamentoJ = 0 se DSA(sistemaJ (A)) >= soglia(A)

𝐷𝑆𝐴_𝑠𝑐o𝑠𝑡𝑎𝑚𝑒𝑘𝑡o_𝑐o𝑚𝑝𝑙(𝐵) = ∑ 𝑠𝑐o𝑠𝑡𝑎𝑚𝑒𝑘𝑡oj (𝐵)

j

dove:

scostamentoJ = soglia(B) – DSA(sistemaJ (B)) se DSA(sistemaJ (B)) < soglia(B) scostamentoJ = 0 se DSA(sistemaJ (B)) >= soglia(B)

dove A e B rappresentano la classe di criticità.

4.7.2 EASA - Esecuzione delle attività su sistemi e apparati

L’indicatore misura misura la tempestività nell’esecuzione delle attività ove possibili programmate (es. batch, backup, ecc…), richieste dall’utenza di riferimento (es. gestione utenze/password, allineamento basi dati, restore, ecc…) e/o derivanti dall’attività proattiva del fornitore (es. creazione Pgm/Shell, passaggio di una patch di sistema, ecc..) da parte del servizio di Conduzione tecnica.

I tempi massimi di esecuzione delle attività sono i seguenti

Classe	Tempo massimo di avvio della esecuzione
Classe 1	≤ 2 ore
Classe 2	≤ 4 ore
Classe 3	≤ 8 ore

Tabella 4 - Classi di esecuzione di attività

Di seguito è riportata, a titolo esemplificativo e non esaustivo, una tabella riepilogativa che definisce la classe di appartenenza delle attività:

Attività	Classe
patch di tipo correttivo o di sicurezza	1
Esecuzione Pgm/Shell consolidata	1
Creazione Pgm/Shell	3
Gestione Spazi SAN/NAS	2

Allineamento basi dati	3
Richiesta Backup	3
Richiesta Copia/Trasf. File	2
Richiesta Gestione Utenze	1
Richiesta Reset Password	1
Richiesta Restore	3

Tabella 5 - Esempi di attività e relativa classe associata

La lista sopra riportata sarà aggiornata dall’Amministrazione ad inizio fornitura e inserita nel Piano della Qualità Generale. Nel corso della durata contrattuale la lista sarà aggiornata su richiesta dell’Amministrazione, incrementandola con altre attività, anche attraverso l’aggiornamento dei sistemi di tracciatura degli interventi in uso.

Si precisa che:

• l’aggiornamento della lista ed il conseguente allineamento dei sistemi non è soggetto all’approvazione del Fornitore. Pertanto il Fornitore è tenuto a rispettare i tempi indicati dall’Amministrazione e prende atto che al rispetto di tali tempi è legata l’applicazione delle penali;

Caratteristica	Funzionalità	Sottocaratteristica	Accuratezza
Aspetto da valutare	Tempestività nella esecuzione delle attività su sistemi e apparati
Unità di misura	Punto percentuale	Fonte dati	Soluzione di Service Management, soluzione di monitoraggio tecnico
Periodo di riferimento	Trimestre precedente la rilevazione	Frequenza di misurazione	Trimestrale
Dati da rilevare	• Numero di attività eseguite nei tempi prefissati (Nattività_ok) • Numero totale di attività affidate al fornitore/schedulate e registrate nella piattaforma di monitoraggio (Ntotale_attività_schedulate)
Regole di campionamento	Vanno considerate: - le attività iniziate e concluse nel periodo di riferimento corrente - le attività iniziate nel periodo di riferimento precedente e concluse nel periodo di riferimento corrente
Formula	EASA =	𝑁𝑎𝑡𝑡𝑖𝑣𝑖𝑡à_o𝑘 𝑁𝑡o𝑡𝑎𝑙𝑒_𝑎𝑡𝑡𝑖𝑣𝑖𝑡à_𝑠𝑐ℎ𝑒𝑑𝑢𝑙𝑎𝑡𝑒
Arrotondamento	Si
Valore di soglia	EASA >= 95%
Azioni contrattuali	La discesa dell’indicatore sotto il valore di soglia comporta l’applicazione di penale “Esecuzione delle attività su sistemi e apparati“ pari all’1‰ dell’importo contrattualmente fissato per il servizio di Conduzione tecnica.

• l’aggiornamento della lista da parte dell’Amministrazione non è soggetto a limitazioni. L’Amministrazione determinerà in fase di aggiornamento la classe di appartenenza dell’attività.

4.7.3 TROSA – Tempestività nel ripristino dell’operatività dei sistemi e apparati

L’indicatore misura la tempestività nella risoluzione degli incident relativi agli apparati e sistemi gestiti.

Servizio Priorità Tempi di ripristino

Conduzione Tecnica	Categoria 1	Entro 2 ore lavorative
	Categoria 2	Entro 4 ore lavorative
	Categoria 3	Entro 8 ore lavorative
	Categoria 4	Entro 16 ore lavorative

Si precisa che la priorità inizialmente attribuita ad un incident può essere rivista a seguito di ulteriori segnalazioni di malfunzionamenti riconducibili ad un unico servizio per l’utenza;

Ai fini della rilevazione del livello di servizio, si devono confrontare i tempi di esecuzione previsti rispetto a quelli effettivi.

I tempi previsti sono calcolati come intervallo di tempo tra l’apertura dell’incident registrata nella piattaforma di monitoraggio e la chiusura prevista per l’incident (tempo massimo di risoluzione) in base alla priorità attribuita allo stesso, registrata nella piattaforma di monitoraggio.

I tempi effettivi sono calcolati come intervallo di tempo tra l’apertura dell’incident registrata nella piattaforma di monitoraggio e la chiusura effettiva dell’incident registrata dalla piattaforma di monitoraggio.

Nel caso in cui il Fornitore non provveda all’apertura dell’incident, a fronte di una mancata apertura dello stesso in automatico, la data di apertura del ticket di incident si intende fissata al momento del verificarsi dell’evento registrato nella soluzione di monitoraggio tecnico applicativo; per tali incident è prefissata la priorità 1.

Caratteristica	Efficienza	Sottocaratteristica	Efficienza temporale
Aspetto da valutare	Tempestività nel ripristino dell’operatività di sistemi e apparati
Unità di misura	Punto percentuale	Fonte dati	Soluzione di Service Management, soluzione di monitoraggio tecnico applicativo
Periodo di riferimento	Trimestre precedente la rilevazione	Frequenza di misurazione	Trimestrale
Dati da rilevare	Numero di incident di priorità x risolti entro i tempi previsti (Nincident_x_ok) Numero totale di incident di priorità x eseguiti (Ntotale_incident_x)
Regole di campionamento	Vanno considerati: - Gli incident iniziati e conclusi nel periodo di riferimento corrente - Gli incident iniziati nel periodo di riferimento precedente e conclusi nel periodo di riferimento corrente.
Formula	TROSA_x = 𝑁𝑖𝑛𝑐𝑖𝑑𝑒𝑛𝑡_𝑥_o𝑘 𝑁𝑡o𝑡𝑎𝑙𝑒_𝑖𝑛𝑐𝑖𝑑𝑒𝑛𝑡_𝑥 dove: X = 1 ALTA, 2 MEDIA, 3 BASSA
Arrotondamento	Si
Valore di soglia	TROSA_x >= 97%
Azioni contrattuali	La discesa dell’indicatore sotto il valore di soglia comporta l’applicazione di penale “Tempestività nel ripristino dell’operatività di sistemi e apparati” pari all’1‰ dell’importo contrattualmente fissato per il servizio di Conduzione tecnica.

5. INDICI DI PRESTAZIONE E QUOTE SOSPESE

Di seguito sono riportate le tabelle in cui vengono schematizzati gli indici di prestazione, cui è legata la quota percentuale dei corrispettivi maturati che sarà erogata solo al soddisfacimento dei valori di soglia definiti.

5.1 Servizi Realizzativi

Tabella 6 - Quote Sospese Servizi Realizzativi

Indice	Indicatori di qualità correlati	% Quota
IP1 Rispetto del Piano di lavoro	RSPL – Rispetto del Piano di lavoro di obiettivo	5%
IP2 Riuso sviluppo ex- novo	RIUSO – Riuso di componenti	10%
IP3 Rispetto avvio in esercizio	DAES – Difettosità in avvio in esercizio	7%
IP4 Rilievi su Obiettivi a tempi Standard	VISS – Violazioni degli standard di sviluppo Gli standard di sviluppo e le linee guida saranno definiti a valle del periodo di avviamento e pertanto l’indicatore si applicherà esclusivamente dopo la condivisione dei suddetti standard tra il Fornitore e l’Amministrazione. TROR – Totale Rilievi Obiettivo Realizzativo	8%
Totale		30%

Aspetto da valutare	Rispetto degli standard di sviluppo e delle linee guida
Unità di misura	Numero di violazioni	Fonte dati	Standard e linee guida
Periodo di riferimento	Fase di collaudo	Frequenza di misurazione	Al collaudo
Dati da rilevare	Num_viol = Numero di violazioni
Regole di campionamento	Nessuna
Formula	VISS = Num_viol
Regole di arrotondamento	Nessuna
Valore di soglia	VISS = 0
Azioni contrattuali	Il superamento del valore soglia comporta la sospensione del collaudo come previsto dall’indicatore GSCO – Giorni di sospensione del collaudo.

5.2 Gestione della Conduzione Applicativa

Tabella 7 Quote Sospese Gestione della Conduzione Applicativa

Indice	Indicatori di qualità correlati	% Quota
IP5 Indisponibilità del servizio di Gestione	DSGP – Disponibilità dei servizi di gestione del portafoglio applicativo	10
IP6 Eccesso di rilievi di Gestione	RSGT – Rilievi sui servizi di gestione del Portafoglio	15%
Totale		25%

5.3 Supporto Specialistico

Tabella 8 Quote Sospese Supporto Specialistico

Indice	Indicatori di qualità correlati	% Quota
IP7 Supporto Specialistico non soddisfacente	CSIS - Customer effort Score dell’intervento specialistico	5%
IP8 Eccesso di rilievi di Supporto Specialistico	RSSP – Rilievi sui servizi di supporto specialistico	15%
Totale		20%

5.4 Manutenzione Correttiva e Adeguativa

Tabella 9 Quote Sospese Manutenzione Correttiva

Indice	Indicatori di qualità correlati	% Quota
		Ripristino Operatività Standard	Ripristino Operatività Premium
IP9 Ritardo nel ripristino operatività di esercizio	TROI – Tempestività di Ripristino dell’Operatività in esercizio		5%
IP10 Eccesso di Rilievi Manutenzione Correttiva	RMCO – Rilievi di Manutenzione Correttiva	15%	15%
	Totale	15%	20%

6. INDICATORI DI DIGITALIZZAZIONE

I seguenti indicatori sono destinati alle attività degli organismi di coordinamento e controllo delle gare strategiche.

Sarà onere del Fornitore proporre sistemi di misurazione e rilevazione nel contesto.

Gli organismi di coordinamento e controllo – raccolte le proposte – potranno definire una linea guida comune per permettere la confrontabilità delle misure.

Tabella 9 Indicatori di digitalizzazione

#	Indicatori digitalizzazione per i Servizi Applicativi Sanità Digitale
1	Miglioramento Servizi digitalizzati: Nr servizi al cittadino digitalizzati/Nr totale dei servizi al cittadino
2	Miglioramento dell’esperienza del cittadino dei servizi realizzati/modificati
3	Standardizzazione Strumenti per la generazione e diffusione dei servizi digitali: % componenti di navigazione e interfaccia standard ed usabili / totale componenti
3	Riusabilità-Co-working Soluzioni Applicative realizzate e/o adottate : Nr di progetti in riuso o Co-working /Nr Totale Progetti di digitalizzazione ove è applicabile il Riuso o Co-working
4	Innalzamento livello di interoperabilità: Nr di progetti conformi alle Linee Guida di Interoperabilità e nel rispetto del ONCE ONLY Principle/ Nr Progetti Realizzati
5	Potenziamento Infrastrutture IT - adozione sistematica del paradigma Cloud: Nr di progetti conformi al paradigma Cloud/ Nr Totale di progetti realizzati
6	Utilizzo Piattaforme Abilitanti: Nr progetti che integrano Piattaforme Abilitanti/Nr progetti ove è applicabile un’integrazione con le Piattaforme Abilitanti
7	Miglioramento dell’utilizzo dei Servizi Digitali: Nr attività totali di prenotazioni on line (in tutte le modalità) /Nr attività totali (per attività si intendono: Prenotazioni CUP, Pagamenti online, Cambio del Medico, …)
8	Standardizzazione dei documenti in ambito Sanità Digitale: % Documenti sanitari in linea con le direttive Nazionali ed Europee / totale documenti sanitari