TOMMASO TAFURI
Firmato digitalmente da:
XXXXXXX XXXXXX
Ministero dell'Interno/97420690584 Firmato il 28/07/2020 11:10
Seriale Certificato: 6074
Valido dal 31/08/2017 al 31/08/2020
TI Trust Technologies per il Ministero dell'Interno CA
APPENDICE 2 INDICATORI DI QUALITA’
AL CAPITOLATO TECNICO DI APPALTO SPECIFICO
AFFIDAMENTO DI “Realizzazione di un unico sistema informatico denominato “S.I.R.U.S” per la reingegnerizzazione e la centralizzazione delle soluzioni ICT per la gestione integrata delle risorse umane e strumentali della Polizia di Stato” MEDIANTE APPALTO SPECIFICO NELL’AMBITO DELL’ACCORDO QUADRO PER I SERVIZI APPLICATIVI PER LE PUBBLICHE AMMINISTRAZIONI STIPULATO DA XXXXXX
XX 0000 – Lotto 2
Appalto Specifico per “Realizzazione di un unico sistema informatico denominato “S.I.R.U.S” per la reingegnerizzazione e la centralizzazione delle soluzioni ICT per la gestione integrata delle risorse umane e strumentali della Polizia di Stato”
Appendice 2 - Indicatori di qualità al Capitolato Tecnico di Appalto Specifico 1 di 27
Indice
3. INDICATORI DI QUALITÀ DI GOVERNO DELLA FORNITURA 5
3.1 PFI – Personale inadeguato 5
3.2 TSP - Tempestività nella sostituzione del personale 6
3.3 ESSAU - Efficacia di risoluzione del servizio di assistenza agli utenti 6
3.4 RSCT – Rispetto di una scadenza contrattuale 7
3.5 RLFN – Rilievi sulla fornitura 8
4. INDICATORI DI QUALITÀ APPLICABILI AI SERVIZI REALIZZATIVI 9
4.1 RSTO – Rispetto di una scadenza temporale di un obiettivo 9
4.2 TNCO – Tasso di Casi di test eseguiti in collaudo con esito negativo (IQ21) 10
4.3 GSCO – Giorni di sospensione del collaudo 10
4.4 DAES – Difettosità in avvio in esercizio 12
4.5 TECM – Tasso di Complessità Essenziale (nuovi moduli) 13
4.6 TCCM – Tasso di Complessità Ciclomatica (nuovi moduli) 14
4.7 AVIC – Assenza Violazioni Critiche (nuovi moduli) 15
4.8 MDTE – Miglioramento Debito Tecnico (moduli preesistenti) 16
5. INDICATORI DI QUALITÀ APPLICABILI AL SERVIZIO DI MANUTENZIONE CORRETTIVA 17
5.1 TROI – Tempestività di Ripristino dell’Operatività in esercizio (per singolo intervento) 17
5.2 CSR – Interventi di manutenzione correttiva recidivi 18
6. INDICATORI DI QUALITÀ APPLICABILI AL SERVIZIO DI GESTIONE APPLICATIVI E/O GESTIONE CONTENUTI SITI WEB 19
6.1 GASS – Rispetto di una scadenza dei servizi di gestione 19
6.2 TRRI – Tempestività di risoluzione delle richieste di assistenza 20
6.3 DGA – Disponibilità dei servizi di gestione del portafoglio applicativo 21
7. INDICATORI DI QUALITÀ APPLICABILI AI SERVIZIO TECNICO-SPECIALISTICO ED AI SERVIZIO DI SUPPORTO 22
7.1 SPSS – Slittamento nella consegna di un prodotto e/o di un’attività del servizio Tecnico- Specialistici e/o di Supporto (Change Management, Demand Management, BPR, Supporto al ridisegno dei processi) 22
7.2 MACON - Mancata approvazione della consegna 23
7.3 EFSS – Efficacia di un’attività del Servizio di Supporto (Change Management, Demand Management, BPR, Supporto al ridisegno dei processi) 23
8. INDICATORI DI QUALITÀ APPLICABILI AI SERVIZI ACCESSORI PER LA FORMAZIONE 25
8.1 Efficacia delle tecnologie e delle metodologie didattiche – ETMD 25
8.2 Efficacia del materiale didattico – EMD 25
8.3 Efficacia didattica del docente – EDD 26
8.4 Accettazione corso / modulo didattico tradizionale – ACT 26
1. PREMESSA
Il presente documento descrive gli indicatori di qualità dell’Appalto Specifico con una scheda che identifica:
• la caratteristica di qualità a cui l’indicatore fa riferimento,
• la metrica e l’unità di misura con cui effettuare le misure,
• il periodo di riferimento su cui calcolare l’indicatore,
• la frequenza di esecuzione della misura dell’indicatore,
• i dati elementari da rilevare per la misura,
• le eventuali regole di campionamento,
• le formule di calcolo e gli arrotondamenti da adottare,
• gli obiettivi che l’indicatore deve soddisfare espressi tramite valori soglia,
• le azioni contrattuali a livello di AS
• le possibili eccezioni da considerare nell’uso dell’indicatore (ad esempio l’indicatore potrebbe non applicarsi in fase di avviamento all’esercizio di un sistema o servizio).
2. DEFINIZIONI
Classificazione dei malfunzionamenti
Obiettivo
I malfunzionamenti (difetti/errori/anomalie) rilevati dall’Amministrazione e/o dall’utenza sono classificati in base alle seguenti tipologie. In sistemi complessi, l’Amministrazione potrà individuare più categorie.
• non bloccante: malfunzione che non inibisce l’operatività da parte dell’utente; l’utente può cioè ugualmente pervenire ai risultati attesi anche mediante l’utilizzo di altre funzionalità offerte dal sistema e senza aggravio per l’utente;
• bloccante: malfunzione che rende totalmente o parzialmente non utilizzabili all’utente una o più funzionalità dell’applicazione.
In genere le anomalie rilevate sulla documentazione a corredo del prodotto software (ad es. Manuale Utente, Manuale di Gestione, ecc.) sono malfunzionamenti non bloccanti, almeno in collaudo e quando l’applicazione non è particolarmente diffusa.
Unità organica di lavoro, affidabile al fornitore, in cui si scompongono i servizi erogati in modalità progettuale. Dal punto di vista del Fornitore l’obiettivo è assimilabile ad un “progetto”, la cui esecuzione è suddivisa nelle fasi, indicate dal ciclo di vita applicato, che richiedono la realizzazione di specifici prodotti.
3. INDICATORI DI QUALITÀ DI GOVERNO DELLA FORNITURA
Di seguito sono descritti gli indicatori di qualità per misurare aspetti validi per tutti i servizi che compongono la fornitura quali ad es. rispetto delle scadenze di documenti contrattuali (piano della qualità, predisposizione ambienti, attività di subentro, documenti di AS IS e di TO BE nelle attività di Change Management e di Ridisegno dei processi, Studi di Fattibilità, ecc..); adeguatezza delle risorse impiegate nella fornitura; rispetto degli adempimenti contrattuali non presidiati da separate e specifiche azioni contrattuali (non conformità rispetto al contratto ed allegati).
3.1 PFI – Personale inadeguato
L’indicatore di qualità misura la quantità di risorse non rispondenti ai profili professionali richiesti oppure che pur aderendo formalmente ai requisiti del profilo nel corso della fornitura l’Amministrazione ha ritenuto non adeguata la mansione e l’attività svolta al ruolo richiesto e ne ha chiesto la rimozione.
Caratteristica | Efficienza | Sottocaratteristica | Utilizzazione delle Risorse |
Aspetto da valutare | Numero di risorse ritenute inadeguate dall’Amministrazione | ||
Unità di misura | Risorse inadeguate | Fonte dati | E-mail lettere verbali |
Periodo di riferimento | Mese precedente la rilevazione | Frequenza di misurazione | Mensile |
Dati da rilevare | Numero risorse rimosse per inadeguatezza su richiesta della Amministrazione (Nrisorse_inadeg) | ||
Regole di campionamento | Nessuna | ||
Formula | PFI = Nrisorse_inadeg | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | PFI = 0 | ||
Azioni contrattuali | il mancato rispetto del valore di soglia comporterà l’applicazione della penale “Personale inadeguato” pari all’1‰ dell’importo contrattuale per ogni risorsa inadeguata | ||
Eccezioni | Nessuna | ||
3.2 TSP - Tempestività nella sostituzione del personale
Descrizione | Ritardo relativo alla sostituzione su richiesta dell’Amministrazione, o per altri motivi, e durata dell’affiancamento. | ||
Unità di misura | Xxxxxx lavorativi (numero) | ||
Periodo di riferimento | N/A | Frequenza di misurazione | Ad ogni inserimento / sostituzione di risorsa |
Dati da rilevare | • Dp1 = Data prevista inserimento risorsa nel caso di inserimento iniziale, ovvero la data prevista nella proposta di intervento • Dr = Data Richiesta sostituzione risorsa da parte di Amministrazione in corso di intervento • Dp2 = Data prevista inserimento risorsa nel caso di sostituzione per altri motivi, non su richiesta di Amministrazione • Di = Data Inserimento Risorsa | ||
Formula | Tempo di inserimento risorse = Di-Dp1. Tempo di sostituzione su richiesta dell’Amministrazione= Di-Dr Xxxxx di sostituzione per altri motivi = Di-Dp2 | ||
Valore di soglia | Tempo di inserimento risorse =7 gg lavorativi Tempo di sostituzione su richiesta di Amministrazione = 15 gg lavorativi Tempo di sostituzione per altri motivi = 0 | ||
Sanzione | Il superamento del valore di soglia comporta l’applicazione di penali nella misura di € 500,00 per ogni giorno lavorativo di scostamento dalla soglia | ||
3.3 ESSAU - Efficacia di risoluzione del servizio di assistenza agli utenti
Caratteristica | Efficacia | Sottocaratteristica | Efficacia |
Aspetto da valutare | Capacità di risoluzione delle segnalazioni utente ricevute. Dovranno essere conteggiate tutte le segnalazioni ricevute dal servizio di assistenza chiuse entro 12 ore dalla presa in carico e non ripetute. | ||
Unità di misura | Punto percentuale | Fonte dati | Centralino telefonico Strumento di tracciatura delle richieste o altro strumento automatico |
Periodo di riferimento | Mese precedente la rilevazione | Frequenza di misurazione | Mensile |
Dati da rilevare | • Numero di richieste risolte dall’assistenza agli utenti (N_segnalazioni_risolte) • Numero totale di richieste entranti nel periodo di riferimento risolvibili dall’assistenza agli utenti (T_segnalazioni) | ||
Regole di campionamento | Vanno considerate tutte le segnalazioni ricevute nel periodo di riferimento e risolvibili dall’assistenza utenti | ||
Formula | ESSAU = (N _ segnalazioni _ risolte / T _ segnalazioni ) x 100 |
Regole di arrotondamento | Il risultato della misura va arrotondato: - per difetto se la parte decimale è = 0,5 - per eccesso se la parte decimale è > 0,5 |
Valori di soglia | ESSAU >= 98% |
Azioni contrattuali | Il superamento del valore di soglia comporta l’emissione di un rilievo. |
Eccezioni | Nessuna |
3.4 RSCT – Rispetto di una scadenza contrattuale
L’indicatore di qualità misura il rispetto di scadenze temporali derivanti dalla documentazione contrattuale inclusa l’offerta tecnica dell’aggiudicatario e/o pianificate in un piano di lavoro approvato.
Caratteristica | Efficienza | Sottocaratteristica | Prestazioni temporali |
Aspetto da valutare | Rispetto di una scadenza contrattuale | ||
Unità di misura | Xxxxxx lavorativi | Fonte dati | Documenti di pianificazione |
Periodo di riferimento | Mensilmente | Frequenza di misurazione | Ad evento |
Dati da rilevare | Per ciascuna scadenza vanno rilevati - Data prevista (data_prev) - Data effettiva (data_eff) | ||
Regole di campionamento | Nessuna | ||
Formula | RSCT = data_eff – data_prev | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | RSCT <= 0 | ||
Azioni contrattuali | Per ogni 5 giorni lavorativi o frazione eccedenti il valore di soglia l’Amministrazione applicherà la penale “Slittamento di una scadenza contrattuale” pari all’1‰ dell’importo contrattuale. A titolo di esempio: RSCT = 6, comporterà l’applicazione di una penale pari alla somma di 1‰ per il primo giorno e di un altro 1‰ gli altri 5 giorni di ritardo. | ||
Eccezioni | Nessuna | ||
3.5 RLFN – Rilievi sulla fornitura
L’indicatore di qualità conteggia le non conformità rilevate, tramite segnalazione (di seguito chiamata Rilievo) dall’Amministrazione per obbligazioni contrattuali non adempiute nei tempi e nei modi rappresentati nella documentazione contrattuale (di AQ e di AS) e non presidiati da specifici indicatori di qualità.
Caratteristica | Efficacia | Sottocaratteristica | Efficacia | |
Aspetto da valutare | Numero di rilievi emessi per non conformità della fornitura afferenti obbligazioni contrattuali non adempiute nei tempi e/o nei modi rappresentati nel Contratto di Fornitura e relativi allegati e/o tracciati sui Piani di lavoro | |||
Unità di misura | Rilievo sulla fornitura | Fonte dati | Comunicazioni | |
Periodo di riferimento | Mese precedente la rilevazione | Frequenza di misurazione | Mensile | |
Dati da rilevare | Numero Rilievi emessi sulla fornitura (Nrilievi_forn) | |||
Regole di campionamento | Si considerano tutti i rilievi comunicati tramite nota/e di rilievo nel periodo di riferimento | |||
Formula | RLFN = Nrilievi_forn | |||
Regole di arrotondamento | Nessuna | |||
Valore di soglia | RLFN = 0 | |||
Azioni contrattuali | Il superamento del valore di soglia comporta l’applicazione della penale una tantum “Eccesso di rilievi sulla fornitura” pari all’1‰ dell’importo contrattuale. L’Amministrazione fisserà un nuovo termine per porre termine all’inadempimento e tale nuovo termine costituirà una nuova scadenza da presidiare con il medesimo indicatore. | |||
Eccezioni | Nessuna | |||
4. INDICATORI DI QUALITÀ APPLICABILI AI SERVIZI REALIZZATIVI
Di seguito sono descritti gli indicatori di qualità da applicarsi ai Servizi Realizzativi di prodotti software applicativi. L’obiettivo RSTO si applica anche ai servizi di supporto propedeutici ai servizi realizzativi per ogni deliverable richiesto dall’Amministrazione, siano le attività pianificate all’interno dell’obiettivo realizzativo siano esse un obiettivo separato.
4.1 RSTO – Rispetto di una scadenza temporale di un obiettivo
L’indicatore di qualità RSTO misura il rispetto di una scadenza temporale (ad es. data prevista di consegna di un prodotto, data prevista di “pronti al collaudo”, data prevista termine collaudo con esito positivo, ecc.) definita formalmente (ad es. piano di lavoro obiettivo approvato)
Si precisa che per data effettiva di consegna di un deliverable va considerata la data di consegna del deliverable che soddisfa i requisiti e/o standard definiti nella documentazione contrattuale.
Pertanto, a titolo esemplificativo:
• una consegna incompleta o parziale non potrà essere considerata efficace e la data di consegna effettiva sarà quella dell’intero prodotto.
• termine della fase di collaudo effettivo richiede la risoluzione di tutte le anomalie riscontrate nel corso del collaudo medesimo.
Caratteristica | Efficienza | Sotto caratteristica | Prestazioni temporali |
Aspetto da valutare | Rispetto di una scadenza temporale dell’obiettivo definita piano di lavoro approvato (o analogo documento | ||
Unità di misura | Xxxxxx lavorativi | Fonte dati | Contratto Piano di lavoro Lettere di consegna di deliverable Documenti di pianificazione comunicazioni |
Periodo di riferimento | Durata dell’ obiettivo | Frequenza di misurazione | Ad evento |
Dati da rilevare | Per ciascuna scadenza dell’obiettivo vanno rilevati Data prevista (data_prev) Data effettiva (data_eff) | ||
Formula | RSTO (scad_ob) = data_eff – data_prev | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | RSTO (scad_ob) <= 0 | ||
Azioni contrattuali | Per ogni giorno lavorativo eccedente la soglia, l’Amministrazione applicherà la penale “Mancato rispetto di una scadenza di obiettivo” pari all’1‰ dell’importo contrattualmente fissato per il servizio realizzativo nel contratto di fornitura. | ||
Eccezioni | Nessuna | ||
4.2 TNCO – Tasso di Casi di test eseguiti in collaudo con esito negativo (IQ21)
Il fornitore è sempre tenuto alla predisposizione del piano di test (test unitari, test funzionali, di sistema, di sicurezza, di accessibilità, di performance, di compatibilità, ecc.) e all’esecuzione dei casi di test pianificati sino al loro positivo esito e/o superamento delle soglie di qualità definite minime per la tecnologia/linguaggio/finalità del sw : ciò rappresenta la precondizione per la consegna del software realizzato e dunque per l’avvio al collaudo. A partire dal piano di test l’Amministrazione redigerà il piano di collaudo. Il Fornitore è l’unico responsabile della completa verifica della qualità tecnica e rispondenza funzionale del software: in nessun caso può consegnare sw non pienamente verificato e testato all’Amministrazione.
L’indicatore di qualità misura il rapporto tra i casi di collaudo eseguiti con esito negativo ed il totale dei casi di collaudo eseguiti in collaudo. Deve essere rilevato per ogni collaudo, compresi i collaudi successivi ad un precedente collaudo negativo.
Caratteristica | Affidabilità | Sotto caratteristica | Maturità |
Aspetto da valutare | Percentuale di casi di test eseguiti con esito negativo rispetto al totale dei casi di collaudo eseguiti | ||
Unità di misura | Punto percentuale | Fonte dati | Piano di Test – Realizzazione Rapporto di collaudo |
Periodo di riferimento | La durata della fase di collaudo dell'obiettivo | Frequenza di misurazione | Al termine della fase di collaudo dell’obiettivo |
Dati da rilevare | - casi di test pianificati , eseguiti con esito negativo in collaudo (N_test _not_ok) - casi di test eseguiti in collaudo (Tot_test) | ||
Regole di campionamento | Nessuna | ||
Formula | TNCO = (N_test_not_ok / Tot_test) * 100 | ||
Regole di arrotondamento | Il risultato della misura va arrotondato: - per difetto se la parte decimale è ≤ 0,5 - per eccesso se la parte decimale è > 0,5 | ||
Valore di soglia | TNCO <= 10 % | ||
Azioni contrattuali | Il non rispetto del valore di soglia comporterà l’applicazione della penale una tantum “Test negativi in collaudo” pari all’1‰ del valore contrattualmente fissato per il servizio realizzativo nel contratto di fornitura. Il nuovo collaudo inizierà alla data fissata dall’Amministrazione. | ||
Eccezioni | Nessuna | ||
4.3 GSCO – Giorni di sospensione del collaudo
Con questo indicatore si vuole controllare il numero di giorni in cui è stato sospeso il collaudo di un obiettivo realizzativo (di sviluppo, di mev, di personalizzazione, di manutenzione adeguativa, ecc..) per cause imputabili al Fornitore.
Qualora il Piano di test consegnato presenti carenze tali da compromettere l’esecuzione del collaudo, si procede alla sospensione dello stesso.
Caratteristica | Affidabilità | Sottocaratteristica | Maturità |
Aspetto da valutare | Numero complessivo di giorni in cui è stato sospeso il collaudo di un obiettivo per cause imputabili al Fornitore | ||
Unità di misura | Xxxxxx lavorativo | Fonte dati | Comunicazioni di sospensione del collaudo e di ripresa |
Periodo di riferimento | Durata collaudo | Frequenza di misurazione | Al termine del collaudo |
Dati da rilevare | • Data della singola sospensione collaudo (Data_sospensionej) • Data della singola di ripresa del collaudo (Data_ripresaj) • Numero di sospensioni del collaudo (Nsosp) | ||
Regole di campionamento | Si applica a tutte le sospensioni del collaudo (sia per la prima che, qualora capiti, per le successive) | ||
Formula | |||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | GSCO = 0 | ||
Azioni contrattuali | Per ogni giorno lavorativo eccedente la soglia, l’Amministrazione applicherà la penale “Sospensione del collaudo” pari all’1‰ dell’importo fissato per il servizio realizzativo nel contratto di fornitura. | ||
Eccezioni | Nessuna | ||
4.4 DAES – Difettosità in avvio in esercizio
Per ogni obiettivo nell’ambito dei servizi realizzativi rilasciato in esercizio, l’indicatore rileva il numero di malfunzionamenti bloccanti e non bloccanti, nel periodo di riferimento.
Nel caso di obiettivi suddivisi in lotti il periodo di riferimento è relativo alla messa in esercizio del singolo lotto.
Caratteristica | Affidabilità | Sottocaratteristica | Maturità |
Aspetto da valutare | Difettosità in avvio di esercizio | ||
Unità di misura | Difettosità | Fonte dati | Sistema di tracciatura |
Periodo di riferimento | Fase di avvio in esercizio | Frequenza di misurazione | Al termine del periodo di riferimento |
Dati da rilevare | Numero totale di malfunzionamenti bloccanti delle funzionalità utente nuove o modificate dall’obiettivo rilevati durante il periodo di riferimento (N_malfunz_bl) Numero totale di malfunzionamenti non bloccanti delle funzionalità utente nuove o modificate dall’obiettivo rilevati durante il periodo di riferimento (N_malfunz_no_bl) | ||
Regole di campionamento | Nessuna | ||
Valore Soglie | DAES (bloccanti) = 0 DAES (non bloccanti) <= 3 | ||
Regole di arrotondamento | Nessuna | ||
Azioni contrattuali | Per ciascun errore eccedente il valore di soglia l’Amministrazione applicherà la penale “Eccesso di malfunzionamenti in avvio di esercizio” pari all’1‰ dell’importo contrattualmente calcolato per l’obiettivo realizzativo | ||
4.5 TECM – Tasso di Complessità Essenziale (nuovi moduli)
Caratteristica | Affidabilità | Sottocaratteristica | Maturità |
Aspetto da valutare | Percentuale di nuovi moduli sviluppati in linguaggio Java con Essential complexity di McCabe soddisfacente | ||
Unità di misura | Percentuale | Fonte dati | McCabe Tool set 8.0 o successive o analogo strumento |
Periodo di riferimento | La fase di realizzazione dell'obiettivo | Frequenza di misurazione | Una volta (Al termine del periodo di riferimento) |
Dati da rilevare | - ECM di un modulo software nuovo (Essential Complessity di Modulo) - Numero totale di moduli software nuovi sviluppati (T_moduli) | ||
Formula | |||
Regole di arrotondamento | Il risultato della misura va arrotondato: - all'intero per difetto se la prima cifra decimale è <= 0,5 - all'intero per eccesso se la prima cifra decimale è > 0,5 | ||
Valore di soglia | TECM(valore_limite <= 4) ≥ 95% | ||
Azioni contrattuali | Il non rispetto del valore di soglia comporterà la sospensione del collaudo con l’applicazione della relativa penale “Test negativi in collaudo”. Il nuovo collaudo inizierà alla data fissata dall’Amministrazione | ||
Eccezioni | Nessuna | ||
Tutti gli indicatori di qualità del software devono essere contestualizzati sul linguaggio/tecnologia/tipologia di software e devono essere aggiornate sulla base delle ISO relative alle qualità del software emesse e relative modalità e tecniche di misurazione.
4.6 TCCM – Tasso di Complessità Ciclomatica (nuovi moduli)
Caratteristica | Manutenibilità | Sottocaratteristica | Modificabilità |
Aspetto da valutare | Percentuale di nuovi moduli sviluppati in linguaggio Java con complessità ciclomatica di McCabe soddisfacente | ||
Unità di misura | Percentuale | Fonte dati | McCabe Tool set 8.0 o successive o analogo strumento |
Periodo di riferimento | La fase di realizzazione dell'obiettivo | Frequenza di misurazione | Una volta (Al termine del periodo di riferimento) |
Dati da rilevare | CCM di un modulo software nuovo (Complessità Ciclomatica modulo) Numero totale di moduli software nuovi sviluppati (Tmoduli) | ||
Formula | |||
Regole di arrotondamento | Il risultato della misura va arrotondato: - all'intero per difetto se la prima cifra decimale è <= 0,5 - all'intero per eccesso se la prima cifra decimale è > 0,5 | ||
Valore di soglia | TCCM (valore_limite <= 10) ≥ 95% | ||
Azioni contrattuali | Il non rispetto del valore di soglia comporterà la sospensione del collaudo con l’applicazione della relativa penale “Test negativi in collaudo”. Il nuovo collaudo inizierà alla data fissata dall’Amministrazione | ||
Eccezioni | nessuna | ||
4.7 AVIC – Assenza Violazioni Critiche (nuovi moduli)
Il software realizzato deve essere esente da Violazioni Critiche o non conformità rilevabili attraverso le metriche del Consortium for IT Software Quality, integrate da linee guida/best practices per linguaggio e tecnologia nonché dalle proposte migliorative degli aggiudicatari in AQ ed eventualmente in AS-
Caratteristica | Manutenibilità | Sottocaratteristica | Modificabilità |
Aspetto da valutare | Assenza di violazioni critiche | ||
Unità di misura | Numero | Fonte dati | Strumenti di analisi qualità del software |
Periodo di riferimento | La fase di realizzazione dell'obiettivo | Frequenza di misurazione | Tutti i cicli di analisi qualità del software (Al termine del periodo di riferimento) |
Dati da rilevare | Violazioni e non conformità per ogni metrica (Nr_Violazione) | ||
Formula | Nr_Violazione= zero | ||
Regole di arrotondamento | nessuna | ||
Valore di soglia | AVIC= 0 | ||
Azioni contrattuali | Il non rispetto del valore di soglia comporterà la sospensione del collaudo con l’applicazione della relativa penale “Test negativi in collaudo”. Il nuovo collaudo inizierà alla data fissata dall’Amministrazione | ||
Eccezioni | nessuna | ||
4.8 MDTE – Miglioramento Debito Tecnico (moduli preesistenti)
Il software modificato (servizi realizzativi di evoluzione, personalizzazione, adeguativa ed anche manutenzione correttiva) non può peggiorare la qualità intrinseca del software in esercizio. Pertanto, con riferimento alla rilevazione di inizio fornitura od ante modifica, tutte le caratteristiche e sottocaratteristiche del software devono essere mantenute o migliorate, riducendo il debito tecnico di inizio fornitura.
Caratteristica | tutte | Sottocaratteristica | tutte |
Aspetto da valutare | Nessun peggioramento | ||
Unità di misura | Numero | Fonte dati | Strumenti di analisi qualità del software |
Periodo di riferimento | La fase di realizzazione dell'obiettivo | Frequenza di misurazione | Tutti i cicli di analisi qualità del software (Al termine del periodo di riferimento) |
Dati da rilevare | Metriche peggiorate (Nr_KO_metrica) | ||
Formula | Nr_KO_metrica= zero | ||
Regole di arrotondamento | nessuna | ||
Valore di soglia | MDTE= 0 | ||
Azioni contrattuali | Il non rispetto del valore di soglia comporterà la sospensione del collaudo con l’applicazione della relativa penale “Test negativi in collaudo”. Il nuovo collaudo inizierà alla data fissata dall’Amministrazione | ||
Eccezioni | nessuna | ||
5. INDICATORI DI QUALITÀ APPLICABILI AL SERVIZIO DI MANUTENZIONE CORRETTIVA
Di seguito sono descritti gli indicatori di qualità che si applicano al Servizio di Manutenzione correttiva.
5.1 TROI – Tempestività di Ripristino dell’Operatività in esercizio (per singolo intervento)
La misura del livello di servizio dovrà essere effettuata su ogni intervento di ripristino del software applicativo in esercizio eseguito nel periodo di riferimento.
Caratteristica | Efficienza | Sottocaratteristica | Efficienza temporale |
Aspetto da valutare | Tempestività di ripristino dell'operatività del software applicativo in esercizio a seguito di un malfunzionamento | ||
Unità di misura | Ore solari per errori bloccanti, lavorative negli altri casi (a multipli di mezze giornate lavorative) | Fonte dati | Sistema di tracciatura o comunicazioni |
Periodo di riferimento | Il mese precedente la rilevazione | Frequenza di misurazione | Mensile |
Dati da rilevare | Avvio del processo di risoluzione del malfunzionamento: Data, ora e minuti comunicazione al Fornitore [fase attivazione](inizio) Termine della risoluzione del malfunzionamento: Data, ora e minuti fine esecuzione [fase esecuzione] (termine) Tempo di sospensione della risoluzione del malfunzionamento (sospensione) a causa dell'indisponibilità dell'ambiente di correzione, o per ragioni non imputabili al Fornitore(TRO) | ||
Formula | TROI = termine – inizio – TRO (ore, minuti) | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | Bloccante | Non Bloccante (l’Amministrazione potrà inserire sotto categorie ) | |
TROI | ≤ 8 ore solari | ≤ 2 gg lavorativi (esclusi sabato e festivi) | |
Azioni contrattuali | Per ogni 4 ore (come sopra definite) di superamento del valore di soglia comporterà per l’applicazione della penale “Ripristino dell’operatività in esercizio” così definita: ⮚ pari all’1‰ per errori bloccanti o pari allo 0,5‰ per errori non bloccanti dell’importo contrattualmente definito per il servizio di correttiva per malfunzionamenti sul sw affidato al servizio di correttiva ad inizio fornitura; ⮚ pari all’1‰ per errori bloccanti o pari allo 0,5‰ per errori non bloccanti del valore complessivo del servizio realizzativo per i malfunzionamenti su software rilasciato (realizzato o modificato) dal fornitore durante la fornitura. | ||
Eccezioni | Nessuna | ||
5.2 CSR – Interventi di manutenzione correttiva recidivi
Misura il grado di efficacia degli interventi di manutenzioni misurando la percentuale di errori che si ripresentano dopo l’intervento correttivo
Caratteristica | Affidabilità | Sottocaratteristica | Maturità |
Aspetto da valutare | Numero di interventi di manutenzione correttiva recidivi, cioè relativi allo stesso modulo per lo stesso malfunzionamento | ||
Unità di misura | Case recidivi | Fonte dati | Sistema di tracciatura o comunicazioni |
Periodo di riferimento | Trimestre precedente la rilevazione | Frequenza di misurazione | Trimestrale |
Dati da rilevare | Numero di interventi di manutenzione correttiva segnalati sul sistema di tracciatura per lo stesso malfunzionamento (Ncase_ricorsivi) | ||
Formula | CSR = Ncase_ricorsivi | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | CSR = 0 | ||
Azioni contrattuali | ogni case recidivo eccedente il valore di soglia comporterà l’applicazione della penale “Interventi di manutenzione correttiva recidivi” pari all’1‰ dell’importo contrattualmente definito per il servizio | ||
Eccezioni | Nessuna | ||
6. INDICATORI DI QUALITÀ APPLICABILI AL SERVIZIO DI GESTIONE APPLICATIVI E/O GESTIONE CONTENUTI SITI WEB
6.1 GASS – Rispetto di una scadenza dei servizi di gestione
L’indicatore di qualità misura il rispetto di scadenze temporali concordate o pianificate nei piani di gestione.
Caratteristica | Efficienza | Sottocaratteristica | Prestazioni temporali |
Aspetto da valutare | Rispetto di una scadenza temporale concordata | ||
Unità di misura | Xxxxxx lavorativi | Fonte dati | Comunicazioni o Documenti di pianificazione |
Periodo di riferimento | Mensile | Frequenza di misurazione | Ad evento |
Dati da rilevare | Per ciascuna scadenza vanno rilevati - Data prevista (data_prev) - Data effettiva (data_eff) | ||
Formula | GASS (scad) = data_eff – data_prev | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | GASS (scad) <= 0 | ||
Azioni contrattuali | Per ogni 2 giorni lavorativi o frazione, l’Amministrazione applicherà la penale “Mancato rispetto di una scadenza in gestione” pari all’1‰ dell’importo contrattualmente fissato per il relativo servizio. | ||
Eccezioni | Nessuna | ||
6.2 TRRI – Tempestività di risoluzione delle richieste di assistenza
L’indicatore di qualità misura l’efficacia della prestazione mediante la percentuale di chiamate risolte od inoltrate al gruppo responsabile della risoluzione (es. manutenzione correttiva) dopo aver identificato la causa
Caratteristica | Efficienza | Sottocaratteristica | Efficienza temporale |
Aspetto da valutare | Tempestività di risoluzione delle richieste di assistenza | ||
Unità di misura | Punto percentuale | Fonte dati | Strumento di tracciatura o comunicazioni |
Periodo di riferimento | Mese precedente la rilevazione | Frequenza di misurazione | Mensile |
Dati da rilevare | - Data e Ora (hh/mm) di ricezione della richiesta (Data_ricezione) - Data e Ora (hh/mm) della effettiva risoluzione della richiesta/inoltro gruppo con diagnosi (Data_risoluz) - Numero totale richieste di assistenza pervenute nel periodo di riferimento | ||
Regole di campionamento | Vanno considerate tutte le richieste di assistenza pervenute | ||
Formula | TRRI=Num_richieste(T_risoluz <= 4 ore) Num_richieste_pervenute Dove: T_risoluz =Data_risoluz – Data_ricez < l’Amministrazione può personalizzare il numero di ore medio atteso> | ||
Regole di arrotondamento | Il risultato della misura va arrotondato al punto percentuale: - per difetto se la parte decimale è <= 0,5 - per eccesso se la parte decimale è > 0,5 | ||
Valore di soglia | TRRI ≥ 99%a | ||
Azioni contrattuali | Per ogni 5% o frazione inferiore al valore di soglia l’Amministrazione applicherà la penale ”Mancata Tempestività nella risoluzione delle richieste di assistenza” pari all’1‰ dell’importo contrattualmente previsto per il relativo servizio di gestione | ||
Eccezioni | Nessuna | ||
6.3 DGA – Disponibilità dei servizi di gestione del portafoglio applicativo
Caratteristica | Affidabilità | Sottocaratteristica | Maturità |
Aspetto da valutare | Disponibilità dei servizi di gestione | ||
Unità di misura | Segnalazioni | Fonte dati | Comunicazioni |
Periodo di riferimento | Trimestre precedente la rilevazione | Frequenza di misurazione | Trimestrale |
Dati elementari da rilevare | Numero di segnalazioni di indisponibilità del servizio di gestione (applicativi o siti web) (Nsegnalazioni_indisp) | ||
Regole di campionamento | Si considerano tutte le segnalazioni di indisponibilità del servizio di gestione effettuate dall’Amministrazione eformalizzate al Fornitore nel periodo di riferimento | ||
Formula | DGA = Nsegnalazioni_indisp | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | DGA = 0 | ||
Azioni contrattuali | Per ogni segnalazione eccedente il valore di soglia l’Amministrazione applicherà la penale “Indisponibilità del servizio di gestione” pari all’1‰ dell’importo contrattualmente previsto per il servizio | ||
Eccezioni | Nessuna | ||
7. INDICATORI DI QUALITÀ APPLICABILI AI SERVIZIO TECNICO-SPECIALISTICO ED AI SERVIZIO DI SUPPORTO
7.1 SPSS – Slittamento nella consegna di un prodotto e/o di un’attività del servizio Tecnico-Specialistici e/o di Supporto (Change Management, Demand Management, BPR, Supporto al ridisegno dei processi)
L’indicatore di qualità misura il rispetto della data di consegna e o erogazione di un’attività concordata / pianificata
Caratteristica | Efficienza | Sottocaratteristica | Prestazioni temporali |
Aspetto da valutare | Rispetto di una scadenza temporale pianificata nell’ambito del servizio tecnico- specialistico ed la servizio di supporto | ||
Unità di misura | Xxxxxx lavorativi | Fonte dati | Comunicazioni / Documenti di pianificazione |
Periodo di riferimento | Mensile | Frequenza di misurazione | Ad evento |
Dati da rilevare | Per ciascuna scadenza vanno rilevati - Data prevista (data_prev) - Data effettiva (data_eff) | ||
Regole di campionamento | Rilevazione separata per ciascun servizio | ||
Formula | SPSS (scad_ob) = data_eff – data_prev | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | SPSS (scad_ob) <= 0 (le scadenze possono essere anticipate) | ||
Azioni contrattuali | per ogni 3 giorni lavorativi o frazione eccedenti il valore di soglia l’Amministrazione applicherà la penale “Mancato rispetto di una scadenza del servizio di supporto o del servizio tecnico-specialistico” pari all’1‰ dell’importo contrattualmente previsto per il servizio. | ||
Eccezioni | Nessuna | ||
7.2 MACON - Mancata approvazione della consegna
Descrizione | Mancata approvazioni della consegna di prodotti per cause non imputabili all’Amministrazione, sia per incompletezza che non correttezza della documentazione o dei prodotti software oggetto dell’intervento. | ||
Unità di misura | Mancata approvazione | ||
Periodo di riferimento | N/A | Frequenza di misurazione | Ad ogni consegna di un prodotto di fase, o completamento di attività |
Dati da rilevare | Ma = N. di mancate approvazioni dello stesso prodotto | ||
Formula | MACON = Ma | ||
Valore di soglia | XXXXX = 1 | ||
Sanzione | Ciascuna mancata approvazione oltre la soglia comporta l’emissione di un rilievo sul progetto . | ||
Note | Si applica ad ogni singolo prodotto di una consegna | ||
7.3 EFSS – Efficacia di un’attività del Servizio di Supporto (Change Management, Demand Management, BPR, Supporto al ridisegno dei processi)
L’indicatore di qualità misura il raggiungimento delle finalità di ottimizzazione dei processi, di efficacia dell’attività richiesta. Ad attivazione dell’intervento devono essere definiti gli specifici target oggettivamente misurabili es. riduzione tempi di lavorazione pratica 1 amministrativa da 1 giorno a 2 ore, numero pratiche amministrative disponibili on-line per gli utenti con i tempi per fasi di lavorazione, ecc…
Caratteristica | Efficacia | Sottocaratteristica | Ottimizzazione processi |
Aspetto da valutare | Raggiungimento delle finalità dell’intervento di supporto | ||
Unità di misura | numero | Fonte dati | Documentazione di intervento |
Periodo di riferimento | Mensile | Frequenza di misurazione | Ad evento |
Dati da rilevare | Per ciascun intervento - Metriche di scopo _ soglia (sogliai_scopoi) - Rilevazione _soglia_effettiva (sogliai_effi) | ||
Regole di campionamento | Eventualmente definite dall’Amministrazione all’attivazione dell’intervento | ||
Formula | EFSS_OK se soglia data_eff sogliai_effi = sogliai_scopoi | ||
Regole di arrotondamento | Nessuna | ||
Valore di soglia | EFSS_OK = VERO (ogni metrica di scopo deve essere soddisfatta) | ||
Azioni contrattuali | Nel caso di non raggiungimento delle metriche di scopo prefissate per l’attività di supporto e misurate dall’indicatore EFSS, l’Amministrazione applicherà la penale “Mancata Efficacia dell’attività di Supporto” pari all’1‰ dell’importo contrattualmente previsto l’intero Appalto Specifico, salvo l’applicazione del maggior danno. |
Eccezioni | Nessuna |
8. INDICATORI DI QUALITÀ APPLICABILI AI SERVIZI ACCESSORI PER LA FORMAZIONE
8.1 Efficacia delle tecnologie e delle metodologie didattiche – ETMD
Caratteristica | Efficacia | Sottocaratteristica | Efficacia |
Aspetto da valutare | La rilevazione viene effettuata tramite il questionario di gradimento da somministrare alla fine dell’erogazione di ciascun corso, tramite l’item “Come valuta l’efficacia delle tecnologie e delle metodologie didattiche impiegate?”. Il giudizio viene dato su scala 1-10 | ||
Unità di misura | Numero | ||
Dati elementari da rilevare | Livello di soddisfazione del partecipante | ||
Periodo di riferimento | Fase di erogazione del servizio | ||
Frequenza esecuzione misure | Tutte le sessioni in cui risulta articolato il corso | ||
Regole di campionamento | Il questionario dovrà essere compilato solo dai discenti che frequentino almeno l’80% del monte ore totale. | ||
Formula di calcolo | Valore medio dei giudizi espressi | ||
Regole di arrotondamento | Arrotondamento alla seconda cifra decimale per eccesso | ||
Obiettivi e valori soglia | Risultato atteso > 7 | ||
Azioni contrattuali | In presenza di un risultato inferiore alla soglia sarà richiesta l’erogazione di un numero di giornate pari al 25% del totale per ogni punto di giudizio in meno rispetto al valore soglia. | ||
8.2 Efficacia del materiale didattico – EMD
Caratteristica | Efficacia | Sottocaratteristica | Efficacia |
Aspetto da valutare | La rilevazione viene effettuata tramite il questionario di gradimento da somministrare alla fine dell’erogazione di ciascun corso, tramite l’item “In quale misura ritiene che il materiale didattico sia esaustivo rispetto ai contenuti trattati in aula?. Il giudizio viene dato su scala 1-10 | ||
Unità di misura | Numero | ||
Dati elementari da rilevare | Livello di soddisfazione del partecipante | ||
Periodo di riferimento | Fase di erogazione del servizio | ||
Frequenza esecuzione misure | Tutte le sessioni in cui risulta articolato il corso | ||
Regole di campionamento | Il questionario dovrà essere compilato solo dai discenti che frequentino almeno l’80% del monte ore totale. | ||
Formula di calcolo | Valore medio dei giudizi espressi | ||
Regole di arrotondamento | Arrotondamento alla seconda cifra decimale per eccesso | ||
Obiettivi e valori soglia | Risultato atteso > 7 | ||
Azioni contrattuali | In presenza di un risultato inferiore alla soglia saranno attuate specifiche azioni correttive (richiesta integrazione del materiale). | ||
8.3 Efficacia didattica del docente – EDD
Caratteristica | Efficacia | Sottocaratteristica | Efficacia |
Aspetto da valutare | La rilevazione viene effettuata tramite il questionario di gradimento da somministrare alla fine dell’erogazione di ciascun corso, tramite gli item “Come valuta il grado di efficacia (profondità e ampiezza dei contenuti) dei docenti nel trattare i temi/argomenti del corso?” e “Come valuta la chiarezza espositiva dei docenti nel trattare i temi/argomenti del corso?”. Il giudizio, dato su scala 1-10 su ciascuno dei quesiti, risulta dalla media aritmetica delle due risposte. | ||
Unità di misura | Numero | ||
Dati elementari da rilevare | Livello di soddisfazione del partecipante | ||
Periodo di riferimento | Fase di erogazione del servizio | ||
Frequenza esecuzione misure | Tutte le sessioni in cui risulta articolato il corso | ||
Regole di campionamento | Il questionario dovrà essere compilato solo dai discenti che frequentino almeno l’80% del monte ore totale. | ||
Formula di calcolo | Valore medio dei giudizi espressi per singola edizione del corso | ||
Regole di arrotondamento | Arrotondamento alla seconda cifra decimale per eccesso | ||
Obiettivi e valori soglia | Risultato atteso > 7 | ||
Azioni contrattuali | In presenza di un risultato inferiore alla soglia sarà richiesta l’erogazione di un numero di giornate pari al 25% del totale per ogni punto di giudizio in meno rispetto al valore soglia con sostituzione del docente. | ||
8.4 Accettazione corso / modulo didattico tradizionale – ACT
Caratteristica | Soddisfazione | Sottocaratteristica | Soddisfazione |
Aspetto da valutare | La rilevazione viene effettuata tramite il questionario di gradimento da somministrare alla fine dell’erogazione di ciascun corso, tramite gli item “Come valuta il grado di efficacia (profondità e ampiezza dei contenuti) dei docenti nel trattare i temi/argomenti del corso?” e “Come valuta la chiarezza espositiva dei docenti nel trattare i temi/argomenti del corso?”. Il giudizio, dato su scala 1-10 su ciascuno dei quesiti, risulta dalla media aritmetica delle due risposte. | ||
Aspetto da valutare | Elaborazione indicatori relativi all’erogazione della singola edizione del corso/modulo (EDD, EMD) | ||
Unità di misura | Numero | ||
Dati elementari da rilevare | Livello di soddisfazione del partecipante | ||
Periodo di riferimento | Fase di erogazione del servizio | ||
Frequenza esecuzione misure | Tutte le sessioni in cui risulta articolato il corso | ||
Regole di campionamento | Il questionario dovrà essere compilato solo dai discenti che frequentino almeno l’80% del monte ore totale. |
Formula di calcolo | ACT = 0,6*EDD+0,4*EMD Media pesata degli indicatori relativi a: EDD: Efficacia didattica del docente EMD: Efficacia del materiale didattico |
Regole di arrotondamento | Arrotondamento alla seconda cifra decimale |
Obiettivi e valori soglia | ACT > 6 |
Azioni contrattuali | In presenza di un risultato inferiore alla soglia l’Amministrazione può richiedere la riproposizione totale o parziale dell’edizione del corso (a totale carico del fornitore) e richiedere la predisposizione e l’attuazione di specifiche azioni correttive |