CONTRATO DE PRÉSTAMO BID 5148/OC-CO No. 004-2021
PROGRAMA DE APOYO A LA MODERNIZACIÓN DE LA DIRECCIÓN DE IMPUESTOS Y ADUANAS NACIONALES – DIAN
CONTRATO XX XXXXXXXX BID 5148/OC-CO No. 004-2021
SOLICITUD DE INFORMACIÓN (RFI)
REPOSITORIO ÚNICO DE DATOS (DATAR)
MARZO DE 2021
TABLA DE CONTENIDO
1. Introducción 2
1.1. Objetivo 2
1.2. Cronograma 2
1.3. Forma de presentación 2
2. Antecedentes 4
3. Requerimientos de la solución 6
3.1. Repositorio DataR 8
3.2. Migración de datos históricos 39
3.3. Servicios de gestión de datos 46
3.4. Elementos comunes 49
3.5. Requerimientos metodológicos 52
3.6. Requerimientos de calidad 81
3.7. Equipo de trabajo 91
3.8. Propiedad intelectual 99
4 Solicitud de información (RFI) 103
4.1. Información del interesado 103
4.2. Información de la solución para DataR 103
4.3. Migración de datos históricos 106
4.4. Servicios de gestión de datos 106
4.5. Estrategia y cronograma de implementación 107
4.6. Estimación de la inversión 108
1. Introducción
1.1. Objetivo
La Unidad Administrativa Especial Dirección de Impuestos y Aduanas Nacionales -DIAN está interesada en realizar un estudio xx xxxxxxx con el fin de contratar el diseño, aprovisionamiento, implementación, administración, soporte, mantenimiento y servicios de gestión del Repositorio Único de Datos de la DIAN (DataR).
Para lograr este objetivo, la DIAN envía a los interesados en participar en el eventual proceso de contratación, el siguiente documento de solicitud de información (RFI por sus siglas en inglés) para recibir documentación que facilite el análisis de las soluciones disponibles en el mercado para el repositorio único de datos DataR.
Aunque se recomienda a los interesados en participar en el eventual proceso de contratación de la solución que respondan a las preguntas de los capítulos 3 y 4 del Anexo de este RFI con el mayor detalle posible, se aclara que las propuestas recibidas no tendrán ningún tipo de relación o vínculo con el proceso de contratación.
1.2. Cronograma
A continuación, las fechas previstas para la presentación del RFI:
- Fecha de lanzamiento del RFI: 26 xx xxxxx de 2021
- Fecha máxima para realizar preguntas: 9 xx xxxxx de 2021
- Fecha y hora límite para envío de respuestas al RFI: 23 xx xxxxx de 2021 a las 17:00
La DIAN se reserva el derecho de analizar las respuestas de los interesados al RFI y de solicitar las aclaraciones que a su juicio se requieran.
1.3. Forma de presentación
El RFI se remitirá a través del correo electrónico xxxxxxxxxxxxx@xxxxxxxxx.xxx.xx que es gestionado por la Unidad de Coordinación del Programa de Apoyo a la Modernización de la DIAN, de tal manera que se centralice la información. Todas las interacciones entre la DIAN y los interesados en participar en este requerimiento se deben realizar utilizando el correo mencionado. No se aceptarán respuestas al RFI que se entreguen por un medio diferente o que se entreguen en papel en las dependencias de la DIAN.
Para realizar las preguntas, en el término establecido para el efecto, o enviar la respuesta al RFI, se deberá indicar en el asunto del correo – antes de cualquier referencia – el número del RFI dentro del cual se está formulando la pregunta o haciendo la entrega, seguido de la denominación, así:
RFI No. 004-2021- DATAR. En caso de requerir formular preguntas para otro de los RFI que se encuentran en trámite, se deberá remitir un correo individual para cada uno, siguiendo la instrucción señalada.
Estaremos atentos para atender cualquier duda.
2. Antecedentes
La Dirección de Impuestos y Aduanas Nacionales es una Unidad Administrativa Especial del orden nacional, de carácter eminentemente técnico y especializado, con personería jurídica, autonomía administrativa y presupuestal y con patrimonio propio, adscrita al Ministerio de Hacienda y Crédito Público. El objeto de la Entidad consiste en coadyuvar a garantizar la seguridad fiscal del Estado colombiano y la protección del orden público económico nacional, mediante la administración y control al debido cumplimiento de las obligaciones tributarias, aduaneras y cambiarias, y la facilitación de las operaciones de comercio exterior en condiciones de equidad, transparencia y legalidad.
La Unidad Administrativa Especial Dirección de Impuestos y Aduanas Nacionales – UAE-DIAN, tiene a su cargo un servicio público esencial (parágrafo artículo 53 de la Ley 633 de 2000), su objetivo es coadyuvar a garantizar la seguridad fiscal del Estado Colombiano y la protección del orden público económico nacional, mediante la administración y control al debido cumplimiento de las obligaciones tributarias, aduaneras y cambiarias y la facilitación de las operaciones de comercio exterior en condiciones de equidad, transparencia y legalidad.
La Ley 1819 de 2016 facultó a la DIAN para adelantar un proceso de modernización y el Plan Nacional de Desarrollo 2018-2022 incluyó dentro de sus objetivos fortalecer la capacidad técnica e institucional de la DIAN, y en ese marco se ha estructurado el Programa de Apoyo a la Modernización de la DIAN que tiene el propósito de mejorar la eficacia y la eficiencia de la gestión tributaria y aduanera de la Entidad y así incrementar la recaudación del Gobierno Nacional.
El Programa de Apoyo a la Modernización de la DIAN, financiado con recursos del Contrato xx Xxxxxxxx BID 5148/OC-CO, se ha orientado al cumplimiento de tres objetivos específicos:
1. Mejorar el modelo de gobernanza institucional para el fortalecimiento de la planificación estratégica y la estructura institucional y la actualización del modelo de gestión xx xxxxxxx humano
2. Optimizar procesos de gestión tributaria y aduanera para el aumento de su eficiencia en términos de mayor recaudo y mejor gestión de riesgo y
3. Mejorar la eficiencia de la gestión tecnológica, los datos y la seguridad de la información para optimizar la toma de decisiones y proteger la información.
Actualmente, en el marco del Programa mencionado, se está trabajando paralelamente en los siguientes frentes para definir una nueva plataforma tecnológica, su arquitectura y sus interrelaciones:
a. Nuevo sistema de gestión tributaria (NSGT), es una plataforma tecnológica de procesos e información diseñada por la DIAN para facilitar y controlar de manera eficiente los
procesos tributarios de recaudación de impuestos y derechos, control cambiario, fiscalización y defensa del interés legal.
b. Nuevo sistema de gestión de aduanas (NSGA), es una plataforma tecnológica de procesos e información diseñada por la DIAN en el que se pretende reflejar la visión de un ecosistema eficiente, en el que la DIAN sea el habilitador de condiciones propicias para robustecer la actividad económica, articulando los esfuerzos de los actores del comercio exterior en Colombia.
c. Repositorio único de datos (Data-R), que permitirá contar con una sola fuente de datos e información que facilite la gestión y el aprovechamiento de los mismos en los distintos sistemas transaccionales, así como en los procesos analíticos.
d. Servicios compartidos y Portal Mi DIAN, son las soluciones tecnológicas comunes a los Nuevos Sistemas de Gestión Tributaria y Aduanera, que permitan la gestión integral de las operaciones de gestión aduanera, tributaria y cambiaria de Colombia por medios digitales, de forma ágil y eficiente, con altos estándares de seguridad y auditabilidad, maximizando la automatización de los procesos, minimizando la intervención humana y probabilidad de error y generando capacidades de interoperabilidad que faciliten la adaptación a cambios y mejoras continuas. Los servicios compartidos constituyen el portal Mi DIAN, sistema de gestión de relacionamiento con clientes – CRM, gestión de trámites digitales, Registro Único Tributario (RUT), gestión de interoperabilidad, gestión de riesgos, sistema administrador de decisiones - DMS y autenticación.
e. Gobernanza de datos, establecerá los lineamientos, políticas y procedimientos para la adecuada gestión de datos, asegurando el cumplimiento de las políticas de seguridad y protección de datos personales, así como las mejores prácticas en gestión.
f. Seguridad, establecerá un marco conceptual y normativo de seguridad de la información que incluye: (i) preparación de diagnóstico de la situación actual, diseño de la situación futura y período de transición, y propuesta de un nuevo marco consistente con el PETI; (ii) desarrollo de los manuales de política de seguridad; (iii) implantación del marco incluyendo campañas de concientización; y (iv) difusión de los instrumentos de seguridad de la información y ciberseguridad.
g. Multinube híbrida, servicio de nube híbrida (pública y privada basada en contenedores) para toda la plataforma de aplicaciones y servicios institucionales y para el repositorio único de datos, incluyendo almacenamiento, comunicación, seguridad, procesamiento de las aplicaciones, licencias de software, actualizaciones y soporte.
El presente documento se centra en la arquitectura requerida para la construcción del Repositorio único de datos (DataR). Debido a lo anterior, una vez se adelante el proceso correspondiente y se seleccione al PROVEEDOR, tendrá que generarse la articulación y comunicación requerida con quienes trabajen en los demás frentes (proveedores, equipos técnicos, entre otros) por lo cual deberá disponerse lo necesario para asegurar esta articulación
de tal manera que haya coordinación de acciones, tareas y se resuelvan interdependencias que existan entre los distintos servicios y cumplir con los requerimientos establecidos y definidos para el sistema.
3. Requerimientos de la solución
Por favor indique el cumplimiento de la solución ofrecida con respecto al requerimiento definido en el numeral correspondiente.
El cumplimiento se debe responder teniendo en cuenta la siguiente clasificación:
• F – Full Se tiene la capacidad disponible al 100%
• P – Parcial La capacidad puede cumplirse con una adaptación. Indicar en qué porcentaje lo cumple y qué requiere adaptación
• N – No disponible La capacidad no está disponible (0%), requiere el 100% de adaptación.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
Este nivel de cumplimiento y la necesidad de adaptación se debe reflejar en el diligenciamiento del cuadro de costos (Anexo 1).
El Repositorio Único de Datos (DataR) facilitará la integración de información proveniente de diversas fuentes asegurando su homogeneidad, calidad y consistencia a lo largo de su ciclo de vida, esto se hará a partir de la incorporación de herramientas tecnológicas y las mejores prácticas de gestión de datos que permitirán contar con información para mejorar los procesos de la entidad y acrecentar la explotación de información para fines de inteligencia de negocio, analítica y toma de decisiones.
Para el diseño, aprovisionamiento, implementación, administración, soporte, mantenimiento y servicios de gestión de DataR se han contemplado tres componentes: la solución tecnológica del DataR, que incluye todas sus herramientas; los servicios de gestión y la migración de los datos históricos.
a. Solución tecnológica del DataR: Comprende el diseño, aprovisionamiento, la implementación, administración y soporte de los componentes y las herramientas tecnológicas necesarias para soportar los procesos de gestión de datos y los flujos de información, a lo largo del ciclo de vida de los datos. El PROVEEDOR deberá aprovisionar, instalar y configurar todos los componentes que integran la solución, así como dar soporte a los mismos durante la vigencia del contrato. Dentro de las herramientas a integrar se incluyen: herramientas para la integración y transformación de datos, almacenamiento y conservación de datos, acceso y uso y gestión.
b. Migración de datos históricos: Comprende la definición y ejecución de los planes de trabajo para la migración de la información existente en la DIAN, de las fuentes de origen hacia DataR. Esta migración deberá garantizar la integridad y la calidad de los datos, y la disponibilidad de la información tanto para los sistemas y aplicaciones que hoy día consumen y alimentan las diversas fuentes de origen, así como para los nuevos sistemas que se desarrollarán en el marco de la modernización tecnológica para la DIAN.
• Servicios de gestión de datos: Comprende el diseño, ejecución y entrega del modelo de operación y gestión de datos para la DIAN en concordancia con las políticas de gobernanza, calidad, seguridad y demás sistemas de gestión de la DIAN que se definan. Comprende la definición y ejecución de los procesos, procedimientos y demás instrumentos que sean necesarios basados en el marco de referencia de gestión de datos del DAMA- DMBOK2
De acuerdo con lo anterior, las responsabilidades generales del PROVEEDOR comprenden las siguientes:
• Diseñar e implementar la arquitectura de datos del repositorio DataR, que integre las fuentes de información y que provea datos consistentes a los servicios internos y externos de la DIAN, garantizando la seguridad en el manejo de los datos e información y cumpliendo con los lineamientos de gobernanza de datos que establezca la DIAN.
• Proveer, implementar y soportar los componentes tecnológicos y procesos para la integración y transformación de datos, de las fuentes originales a DataR, así como la solución de virtualización de datos para fortalecer y facilitar la disponibilidad de la información.
• Diseñar, implementar y soportar los componentes tecnológicos y procesos para el almacenamiento de información en soluciones de Data Warehouse, Data Lakes y Data Marts, para el uso en la operación de la DIAN y la analítica de datos.
• Proveer e implementar herramientas tecnológicas para la visualización, modelado y análisis descriptivos, predictivos y prescriptivos de datos, para apoyar la mejor toma de decisiones.
• Facilitar el manejo y explotación de la información institucional, así como la gestión de datos históricos de la entidad, a través de la provisión e implementación de herramientas y
procesos de gestión de datos maestros (MDM) y de metadatos unificados, garantizando su consistencia a lo largo de los flujos de información,
• Diseñar, proveer, implementar, soportar y mantener una solución de gestión de datos unificada, consistente, efectiva y administrable que permita potenciar el aprovechamiento de los datos de la Entidad para volver más eficientes los servicios institucionales y los procesos aduaneros, tributarios y cambiarios.
• Proveer e implementar procesos y procedimientos que generen capacidades que permitan gestionar los datos a lo largo de todo su ciclo de vida, aplicando las mejores prácticas y atendiendo a los lineamientos de gobierno digital del país.
• Diseñar y ejecutar la estrategia y plan de trabajo para migrar de manera eficiente y segura la información institucional, de las fuentes originales a la nueva solución del DataR, proveyendo herramientas tecnológicas e integrando procesos de calidad de datos que garanticen los atributos necesarios, tales como integridad, actualización, coherencia, accesibilidad y confiabilidad.
En esta sección se indicarán para cada uno de estos componentes las especificaciones mínimas que se deben cumplir y posteriormente se indicarán los requerimientos transversales relacionados con metodologías, calidad y niveles de servicio que aplican a los tres componentes.
3.1. Repositorio DataR
La solución tecnológica del DataR, comprende los componentes y las herramientas tecnológicas necesarias para soportar los procesos de gestión de datos y los flujos de información, a lo largo del ciclo de vida de los datos. El PROVEEDOR deberá proveer, instalar y configurar todos los componentes que integran la solución, así como dar soporte a los mismos durante la vigencia del contrato.
A continuación, se muestra un diagrama conceptual con los elementos que integran la solución tecnológica del Repositorio Único de Datos.
Figura 1. Diagrama conceptual de la solución tecnológica del Repositorio Único de Datos (DataR).
La siguiente tabla describe de manera general los componentes que debe integrar la solución tecnológica del DataR.
Componente | Descripción conceptual |
1. Integración y transformación de datos | Este grupo incluye las herramientas tecnológicas para la ejecución de los procesos de integración, transformación, replicación y sincronización de datos |
2. Almacén de datos | Es el repositorio de todos los datos de la entidad; utilizando para ello diferentes herramientas y componentes tecnológicos, estos incluyen como mínimo: Data warehouse, Data marts, Data lakes, Data hubs. |
3. Acceso y uso | Este grupo de componentes incluye las herramientas tecnológicas que permitirán el acceso y uso de la información contenida en los componentes xxx xxxxxxx de datos y análisis. |
4. Transversales | Este grupo de componentes incluye las herramientas tecnológicas que están presentes en todas las capas anteriores, directamente o mediante integración con los otros componentes. Estos componentes incluyen como mínimo: gestión de datos maestros, gestión de metadatos, gestión de calidad de datos, arquitectura, catálogos y seguridad. |
En la figura se incluye Gobernanza de Datos debido a que, aunque no es un componente de la solución, allí se establecerán los lineamientos, políticas y procedimientos para la adecuada gestión
de datos, asegurando el cumplimiento de las políticas de seguridad y protección de datos personales, así como las mejores prácticas en gestión.
El siguiente esquema muestra el esquema la arquitectura tecnológica general del Repositorio DataR.
Figura 2. Arquitectura tecnológica del Repositorio DataR
En este esquema se resaltan la interacción entre los componentes, así como su posible ubicación física. Los componentes de Calidad de Datos y Data Virtualization prestan servicio en más de una ubicación por lo que se representan con línea punteada. Otras herramientas como las de gestión de metadatos y datos maestros, así como modelado de datos interactúan con las herramientas en las diferentes etapas. En la parte inferior del esquema, se destacan servicios y herramientas transversales a nivel de gestión de datos, seguridad e infraestructura tanto en nube como on- premise, en caso de aplicar.
DataR debe conectarse en dos sentidos con los sistemas y servicios compartidos, uno es para extraer los datos necesarios para su poblamiento y el otro es para entregar información en el marco de los diferentes procesos de gestión, como se indica en el siguiente gráfico:
Figura 3. Diagrama contextual del DataR en la nueva plataforma tecnológica de la DIAN
La solución tecnológica del DataR estará dispuesta en una plataforma tecnológica basada en un modelo de servicios de nube en un ambiente de multinube híbrida.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1. Componentes y capacidades del repositorio
3.1.1.1. Fuentes de datos
La capa xx xxxxxxx de datos incluye todos los almacenes de datos en bruto que posee la entidad: Datos estructurados (Bases de datos: Oracle, SQL Server y MySQL), semiestructurados (XML, excel, archivos planos, etc) y no estructurados (Bases de datos NoSQL, archivos PDF, etc.).
Adicionalmente, se tienen fuentes de datos externas que corresponden a convenios que tiene la entidad con otras organizaciones como FATCA con EE.UU., CbC con OECD o CRS con países de la OECD.
En todo caso la interacción con las fuentes externas de datos debe realizarse a través de los servicios de interoperabilidad del componente servicios compartidos.
La capa xx xxxxxxx de datos debe contar con un catálogo xx xxxxxxx de información en donde se identifique plenamente cada una, su propósito, contenido, políticas de acceso y restricciones, versión, y en general todos los datos que permitan su efectiva gestión.
La mayoría de las fuentes de datos que existen hoy en la entidad se encuentran on-premise, pero es importante considerar que existen también en la nube y que los nuevos sistemas privilegiarán su ubicación en un escenario multinube. En el primer caso, esta información debe ser principalmente objeto de migración como información histórica y lo correspondiente a los nuevos desarrollos se debe incorporar principalmente a través de procesos de integración de datos.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.2. Integración y transformación de datos
Esta capa incluye las herramientas y los componentes tecnológicos que tienen como función principal la integración y transformación de datos, incluyendo también la replicación de datos y sincronización. A continuación, se describe cada uno de ellos.
3.1.1.2.1. Integración de datos
Las herramientas para la integración de datos deben permitir realizar procesos de movimiento de datos extrayéndolos de distintas fuentes, reformateándolos o transformándolos y cargándolos en otra base de datos, almacén de datos o incluso en otro sistema operacional para su explotación y análisis.
El proceso de integración de datos puede incluir la ejecución de tareas de calidad de datos, ya sea con scripts específicos o con la utilización de herramientas complementarias.
Las herramientas de integración de datos que el PROVEEDOR incluya en su propuesta de arquitectura deberán al menos:
a. Controlar y validar la transferencia de datos.
b. Permitir la planificación y automatización de tareas.
c. Ejecutar tareas en paralelo.
d. Dar soporte para el movimiento de datos bulk/batch (masivo/por lotes) tanto en extracción como entrega, soportando ETL (Extracción, Transformación y Carga) /ELT (Extracción, Carga y Transformación) /ETLT (Extracción, Transformación, Carga y Transformación), consolidando datos desde y hacia varios tipos de bases de datos y de formatos.
e. Soportar como fuentes y destinos, un amplio rango de mecanismos de conectividad nativa o adaptadores permitiendo el acceso a base de datos relacionales y no relacionales, así como el acceso a estructuras de datos legadas no relacionales, archivos planos, archivos XML y JSON, colas de mensajes, tipos de almacenamiento de objetos basados en la nube y datos en streaming. Se debe privilegiar la conexión nativa sobre la necesidad de conectores o adaptadores externos, estos deben ser suministrados con la solución.
f. Soportar el movimiento de datos orientado a mensajes (Message-Oriented Data Movement), permitiendo encapsular datos en mensajes que variadas aplicaciones puedan leer, permitiendo el intercambio de datos en tiempo real, ya sea a través de colas de mensajes, servicios de datos, mecanismos de orquestación de servicios datos incluyendo la combinación de APIs y microservicios. Para estos casos de ingesta de datos se utilizarán el API Gateway que es parte de los servicios compartidos, o conexiones API directamente desde las nuevas aplicaciones.
g. Soportar la integración de corrientes de datos (streaming data integration), abarcando tanto la provisión como el consumo de corrientes de datos ya sea para análisis o almacenamiento.
h. Ofrecer soporte a mecanismos de sincronización, replicación y Change Data Capture (CDC). Esto es tener la habilidad de proveer una copia simple de los datos a través del movimiento físico de los mismos en casi tiempo real de un lugar a otro, pero sin cambiar la forma, estructura o contenido de los datos que se mueven.
i. Tener capacidad de interoperar con colas de eventos y con ESB.
j. Ofrecer soporte amplio a transformaciones de datos, con capacidades incluídas y empaquetadas para permitir funciones básicas (conversiones de tipos de datos, manipulaciones xx xxxxxxx de texto e inclusión xx xxxxxx calculados), funciones intermedias (búsqueda (lookup), reemplazo, agregaciones, resúmenes, emparejamiento) y funciones complejas (parseo complejo, combinación de datos y fuentes de contenido, minería de texto, minería de medios, complex parsing, combining data and content sources, text mining, media mining, patrones y eventos en bigdata, entre otros). Igualmente debe soportar transformaciones complejas como la integración con las herramientas de calidad de datos y MDM suministradas como parte de la solución DataR para así tener acceso a los cambios en validaciones de datos directamente de los metadatos de estas soluciones.
k. Soportar metadatos y modelamiento de datos. Descubrimiento automatizado de metadatos, informes de análisis de linaje e impacto para sincronizar metadatos através de múltiples instancias de la herramienta. También la habilidad de compartir metadatos con otras
herramientas. Sería una ventaja deseable que proporcione descubrimiento mejorado de metadatos a través de machine learning así como capacidades analíticas internas. Este soporte puede darse nativo o a través de integración con la herramienta porporcionada por la solución DataR, en todo caso si es interna debe asegurarse la integración de las dos herramientas en la gestión de metadatos.
l. Integrar o integrarse con la herramienta de modelamiento de datos del DataR.
m. Capacidad de integrarse con herramientas de Gobernanza de datos, así como con los componentes de la arquitectura del DataR, Gestión de Datos Maestros, Gestión de Metadatos y Calidad de Datos. Tener la capacidad de importar, exportar y acceder directamente a metadatos con perfiles de datos y herramientas de calidad de datos, y / u otras tecnologías que permitan el gobierno de datos (como MDM, administración de información, gestión de metadatos y herramientas de catálogo de datos). Tener soporte a multinube y nubes híbridas. Tener la habilidad de soportar la integración de datos y cargas através de un rango de infraestructuras on-premise y múltiples proveedores de servicios en la nube. Para los elementos on-premise el soporte de plataforma en tiempo de ejecución debe ser demostrable en los sistemas operativos Windows, Unix o Linux.
n. Permitir la integración de la herramienta de ETL con la herramienta de control de versiones que utiliza la DIAN.
o. Manejar usuarios y roles que habiliten el trabajo colaborativo con las debidas capacidades y restricciones que esto implica, adicionando facilidades de definición y utilización xx xxxxxxxxxx, librerías u otros mecanismos de modularidad y reuso.
p. Tener la capacidad consumir y exponer APIs y microservicios.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.2.2. Virtualización de datos
La virtualización de datos debe ofrecer una vista unificada de los datos, lo que implica que los consumidores de datos no tienen que saber que los datos a los que acceden pueden provenir de múltiples almacenes de datos. La virtualización de datos oculta el hecho de que los datos se están integrando para formar esa vista unificada.
Las soluciones de Data Virtualization permiten crear una capa virtual abstracta que puede ser reflejada para proveer una vista sencilla de los datos que residen en la fuente sin necesidad de tener que correr procesos de ETL para tener los datos disponibles en el repositorio. Esto permite ver como una sola pieza, bases de datos, data warehouses y servicios de nube y así tener una vista global de los datos que es lo que finalmente importa. Proporcionan una “vista virtual” de la información, permitiendo que los sistemas y servicios accedan a la información institucional que requieren, sin importar la fuente de datos, su ubicación o tipo de información.
El componente de Data Virtualization debe agregar funcionalidades sustantivas al ambiente tecnológico del DataR, como la migración de datos (con control intrínseco de referencias) y la integración de nuevos sistemas y servicios al ecosistema, sin que la operación se detenga.
La solución de Data Virtualization que el PROVEEDOR incluya en su propuesta de arquitectura deberá tener capacidades para:
a. Abstracción para ocultar los aspectos técnicos de los datos, como por ejemplo ubicación, estructura de almacenamiento, lenguaje de acceso, etc.
b. Permitir la integración xx xxxxxxx estructuradas y no estructuradas incluyendo archivos en formatos como planos, Excel, Word, PDF, XML y JSON, correos electrónicos, leer de plataformas de gestión de APIs, y repositorios SQL y NoSQL y repositorios de objetos en la nube.
c. Aplicar lógicas de transformación, para la presentación de datos.
d. Disponer de acceso a los datos sin necesidad de copiar ni moverlos de su ubicación original de almacenamiento.
e. Permitir el establecimiento de reglas de automatización, reglas de negocio y linaje de datos.
f. Protección de datos, administración de roles y permisos.
g. Ejecutar la migración de datos con actualización automática de referencias.
h. Optimizar consultas dinámicas.
i. Posibilidad de realizar caché de las vistas lógicas de datos.
j. Manejar de manera trasparente la gestión de recursos, incluyendo el balanceo de carga y autoescalamiento.
k. Ser compatible e integrar con herramientas de Gobernanza de datos, así como con los componentes de la arquitectura del DataR, Gestión de Datos Maestros, Gestión de Metadatos y Calidad de Datos.
l. Ser compatible e integrarse con productos de Data Lake y Data Warehouse y en general con herramientas de analítica.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.3. Almacén de datos
La capa xx xxxxxxx de datos cumple una función primordial en la solución del DataR, ya que es el repositorio de todos los datos de la entidad; utilizando para ello diferentes herramientas y componentes tecnológicos, estos incluyen como mínimo: Data warehouse, Data marts, Data lakes, Data hubs.
3.1.1.3.1. Datawarehouse
Corresponde a la base de datos donde se integra y depura la información proveniente de diversas fuentes para ser procesada y analizada desde múltiples perspectivas. Esta base de datos debe ser optimizada para consultas a gran velocidad.
El producto de Data Warehouse que el PROVEEDOR proponga como parte de la solución deberá ser escalable, flexible, orientado a temas, no volátil, totalmente integrable a los ambientes tecnológicos de datos, control y gestión de seguridad y tener capacidad para habitar y operar en la nube.
Cabe resaltar que la solución de Data Warehouse debe permitir:
a- Manejar grandes volúmenes de datos1, para múltiples estructuras de datos y formatos. Es importante en todo caso, realizar optimizaciones y gestión sobre las cargas que generan las consultas.
b- Soportar la ingesta continua de datos, aunque el cargue masivo o en lotes de información sea lo preferido. Igualmente, debe soportar la actualización continua de información y aun así mantener la optimización para la consulta de información.
c- Procesar y enlazar diferentes tipos de datos, no exclusivamente datos estructurados.
d- Realizar de forma automática la optimización y la gestión de carga de trabajo para consultas repetitivas.
e- Incluir capacidades de administración y gestión tales como actividades basadas en roles, consejeros (advisors), monitoreo de utilización y planeación de capacidad.
f- Cumplir con los niveles de disponibilidad y capacidades de recuperación ante desastres tal como se define más adelante para los componentes del repositorio DataR.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.3.2. Datamarts
Los Data Marts son versiones especializadas de un Data Warehouse (enfocadas a un tema, departamento u objetivo específico), cuya estructura de datos contenidos simplifica su organización y acceso. Son subconjuntos de datos que tienen el objetivo de proveer información específica a la organización, para fines de inteligencia de negocio, analítica y toma de decisiones.
1 Ver sección 3.2.1.1 Información de referencia de volúmenes de datos de los sistemas actuales
Las herramientas de Data Marts que el PROVEEDOR proponga como parte de la solución tecnológica del DataR deberán permitir la creación de Data Marts dependientes, independientes e híbridos; integrables a la solución de Data Warehouse propuesta y a los componentes tecnológicos de inteligencia de negocio y analítica de la solución del DataR.
Adicionalmente, al ser los Data Marts epecializaciones de un Data Warehouse, las características requeridas para las herramientas de Data Warehouse se extiende a las de Data Marts.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.3.3. DataLakes
Son soluciones de gestión de datos no estructurados y semi estructurados, en su formato nativo, sin procesar, para posteriormente ser procesados y llevados a un almacén de datos o bien para su explotación directa como insumo de los procesos de inteligencia de negocio, analítica avanzada y ciencia de datos.
Los servicios de Data Lakes que el PROVEEDOR incluya como parte de la solución tecnológica del DataR deberá tener capacidades de flexibilidad, escalabilidad, manejo de metadatos, control y gestión de seguridad y tener capacidad para habitar y operar en la nube.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.3.4. DataHubs
Las herramientas de Data Hubs que el PROVEEDOR proponga como parte de la solución tecnológica del DataR deberán permitir almacenar datos de manera sencilla para facilitar la toma de decisiones. Y la diferencia clave respecto al data lake y el data warehouse está en que el data hub se centra en categorizar los datos y hacerlos disponibles para una recuperación fácil y rápida. Existen adaptadores que permiten la ingesta de datos en el data hub, donde se armonizan, limpian y gestionan adecuadamente, y se ponen a disposición de toda la empresa, incluidos los sistemas de origen. El data hub pretende dar más autonomía a los usuarios de negocio para trabajar con los datos (autoservicio de datos).
Los servicios de Data Hubs que el PROVEEDOR incluya como parte de la solución tecnológica del DataR deberá tener capacidades de flexibilidad2, escalabilidad3, manejo de metadatos, control y gestión de seguridad, y tener capacidad para habitar y operar en la nube.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.3.5. Modelado
El PROVEEDOR deberá incluir en su propuesta herramientas de modelado de datos, que sean integrables e interconectables con los componentes tecnológicos de la solución del DataR y que provean capacidades de autoservicio. Esta herramienta puede ser parte de las herramientas de visualización y dashboards, pero en todo caso deben integrarse con los componentes de gestión de datos maestros y metadatos.
Las herramientas de modelado de datos contienen datos e información de manera multidimensional (cubos), utilizados para acceder, analizar y generar reportes de información específica proveniente de otras fuentes y almacenes de datos. Su principal función es proveer información a los procesos de inteligencia de negocio, analítica y ciencia de datos
Dentro de las características mínimas que se esperan de las herramientas de modelado en complemento con otros componentes del DataR están:
a. Capacidad de creación y manipulación de modelos de datos complejos.
b. Linaje de datos.
c. Autodescubrimiento y perfilamiento de datos.
d. Integración de los modelos con los componentes de ETL y Data Virtualization.
El PROVEEDOR deberá integrar a la solución los modelos de BI que utiliza la DIAN en este momento para ser incorporados en el repositorio de la herramienta provista y a su vez estar disponibles para la migración de los reportes actuales con el acompañamiento a los usuarios autores.
Para dimensionar el tamaño del proceso de migración de modelos de datos, se pueden tener en cuenta las estadísticas de los proyectos Cognos existentes, el principal de Inteligencia Corporativa
2 Flexibilidad es la capacidad de un componente para ajustarse a requerimientos o necesidades de la organización, por ejemplo capacidades de procesamiento, almacenamiento, o modificaciones a estos recursos en cualquier momento,
3Escalabilidad es la característica de un componente que indica su capacidad de atender una cantidad creciente de trabajo de manera uniforme
que abarca la información de declaraciones tributarias, aduaneras, la información exógena tributaria, aduanera y cambiaria, así como alguna información adicional producto de procesamientos de la anterior o de información xx xxxxxxx externas; el proyecto de Selectividad que abarca la información del proceso de Análisis de Riesgos sobre los procesos aduaneros y de devoluciones de iva y renta; el los proyecto de Fiscalización y los proyectos de Consulta xx Xxxxx.
Figura 4. Estadísticas proyecto principal Cognos Inteligencia Corporativa
Figura 5. Estadísticas proyecto Cognos Selectividad
Figura 6. Estadísticas proyecto Fiscalización
Figura 7. Estadísticas proyecto Estadísticas Gerenciales
Figura 8. Estadísticas proyecto Consulta xx Xxxxx
Figura 9. Estadísticas proyecto Consulta xx Xxxxx No Rut
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.3.6. Conservación y Disposición final
Basado en las mejores prácticas del marco de gestión DAMA (Data Management International) las herramientas que el PROVEEDOR incluya como parte del componente almacén de datos, deben permitir que los datos sean limpiados, transformados, fusionados, mejorados o agregados y purgados una vez ha concluido su ciclo de vida.
El ciclo de vida de los datos debe guardar concordancia con las tablas de retención aprobadas para la DIAN, la legislación vigente, así como normas y procedimientos internos. Teniendo en cuenta esto, se deben implementar los mecanismos que materialicen la conservación y disposición final de la información procesada y almacenada en el repositorio DataR, incluyendo la selección del almacenamiento más eficiente y eficaz de acuerdo con las características de la etapa del ciclo de vida del dato.
En el repositorio de la solución DataR se llevará a cabo la conservación y resguardo de los expedientes digitales que provengan de los sistemas transaccionales de la DIAN y del propio Registro único tributario (RUT), de acuerdo con los lineamientos de la normatividad vigente.
Las políticas de conservación de información y disposición final que el PROVEEDOR debe tomar como referencia serán las establecidas por la DIAN.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.4. Acceso e interoperabilidad
La capa de acceso y uso integra herramientas que permiten el consumo de datos de la capa xx xxxxxxx, desde los diferentes consumidores de datos, para fines transaccionales, de consulta y de explotación de información para inteligencia de negocio y analítica de grandes datos. Las herramientas que integran esta capa permiten también la interoperabilidad, la comunicación y el traspaso de información entre sistemas y clientes de datos. Estos componentes deben incluir como mínimo las herramientas: APIs, ETL/Sincronización y visualizadores y dashboards con las siguientes características.
3.1.1.4.1. APIs
Las APIs (Interfaz de programación de aplicaciones) son un conjunto definiciones, funciones y procedimientos en forma de servicios, que permiten la comunicación y el intercambio de información entre aplicaciones, de manera segura y sin que se requiera saber cómo están implementados. Las APIs aportan flexibilidad en la interconexión de aplicaciones y servicios, simplificando el diseño y la administración de las aplicaciones
Para las APIs como elemento de acceso y uso de información del repositorio DataR, se debe contemplar la existencia de los componentes definidos para tal fin como parte de los Servicios Compartidos, especialmente el API Gateway que permitirá la publicación de las APIs para acceso interno y externo. Este componente provee para esto a parte del API Gateway, los servicios de publicación de APIs, administración de tráfico, seguridad y monitoreo.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.4.2. Traspaso de información y sincronización
Las herramientas de traspaso de información que el PROVEEDOR incluya para la oferta de servicios de información para acceso y uso pueden ser la misma provista como parte de la capa de Integración de datos o debería cumplir con los mismos requerimientos y características descritas en el numeral 3.1.1.2.1. En todo caso, alternativamente a procesos ETL como tal, se pueden usar
las características de sincronización o un componente adicional para realizar la disposición de información a los Consumidores de Datos.
Estas herramientas servirán para alimentar procesos de inteligencia de negocios, analítica y ciencia de datos.
Las herramientas de sincronización podrán ser parte de la herramienta ETL o ser provista de forma independiente.
Las herramientas propuestas podrán ser las mismas descritas previamente en la capa de integración y transformación de datos.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.4.3. Visualizadores / Dashboards
Los visualizadores son herramientas para presentar los datos e información de los repositorios de datos, estas son librerías o herramientas para presentar datos en forma de gráficos y tableros de control para el soporte a la toma de decisiones a nivel operativo, estratégico o táctico en la DIAN. Estos elementos se integran también a componentes APIs para consultar datos procesados con destino a usuarios internos o externos como FATCA o la OECD.
Permiten explorar una gran cantidad de información, para ser utilizada en procesos de inteligencia de negocios, analítica y ciencia de datos.
El PROVEEDOR deberá incluir en su propuesta herramientas de visualización que sean integrables e interconectables con los componentes tecnológicos de la solución del DataR y que provean capacidades de autoservicio.
Las herramientas propuestas deben contar con las siguientes capacidades:
a. Conexión a los diferentes servicios de datos provistos por el repositorio DataR a través de los diferentes mecanismos dispuestos para ello.
b. Integración con herramienta de modelado de datos provista para el repositorio DataR y con los demás componentes del repositorio para gestión de datos maestros y gestión de metadata.
c. Habilitación de seguridad a nivel de plataforma, incluyendo la administración de usuarios, auditoría de accesos y utilización, asegurando alta disponibilidad y recuperación ante desastres.
d. Arrastrar y soltar, combinación de datos de diferentes fuentes y la creación de modelos de análisis (como medidas, conjuntos, grupos y jerarquías definidos por el usuario).
e. Capacidades avanzadas como autodescubrimiento semántico, relaciones inteligentes, generación de jerarquías y linaje de datos.
f. Exploración visual interactiva. Exploración de datos mediante la manipulación de imágenes de gráficos, con el color, brillo, tamaño, forma y movimiento de objetos visuales que representan aspectos del conjunto de datos que se analiza.
g. Creación de dashboards con contenido altamente interactivo, con exploración visual, y análisis incrustado, avanzado y geoespacial, con la posibilidad de ser consumido por otros.
h. Despliegue de visualizaciones en dispositivos móviles con algún nivel de interactividad.
Actualmente la DIAN utiliza Cognos BI como su suite de inteligencia de negocios, y para esto tiene el siguiente licenciamiento:
Licencia | Cantidad |
IBM Cognos Administrator | Dos (2) |
IBM Cognos Analytics Explorer | Tres (3) |
IBM Cognos Analytics User | Sesenta y cinco (64) |
De estos usuarios, se estima que 25 requerirían migración de reportes con un número promedio de 5 reportes por usuario.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.4.4. Consumidores de datos
La capa de Consumidores de Datos se refiere a todos aquellos sistemas y servicios que consultan y utilizan datos provenientes de la solución del DataR, para fines de la operación, la entrega de servicios institucionales o las tareas de inteligencia de negocio y analítica.
La solución del DataR deberá garantizar el acceso a la información contenida en sus almacenes de datos, para los nuevos sistemas de gestión de Aduanas (NSGA), de gestión Tributaria (NSGT) y los Servicios compartidos (SC).
De igual manera, el DataR garantizará el acceso y disposición de datos para los sistemas y servicios actuales de la DIAN tales como al Sistema de Factura Electrónica y las aplicaciones de inteligencia de negocio y analítica, tanto actuales como futuras, así como distintas herramientas de ciencia de datos para procesar y visualizar resultados de los diferentes algoritmos que se pueden aplicar en los proyectos de Ciencia de Datos.
La capa de consumidores debe contar con un catálogo de productos de información en donde se identifique plenamente cada uno de los productos de información que se ofrecen, su propósito, contenido, políticas de acceso y restricciones, versión, y en general todos los datos que permitan su efectiva gestión.
Finalmente, el DataR garantizará a través del conjunto de servicios implementados para el intercambio de información, que esta se exponga al público (interno o externo a la organización) a través del API Gateway de Servicios Compartidos, en cumplimiento de los Convenios Nacionales e internacionales, incluyendo la política de datos abiertos.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.5. Transversales
La capa de Transversales se refiere a todos aquellos componentes que tienen relación o prestan servicio a las demás capas que componen el repositorio DataR y a lo largo de todo el ciclo de vida de los datos, incluso pueden estar ubicadas físicamente en una de ellas. Esto se puede dar si las herramientas ofrecidas por el PROVEEDOR para cumplir con las tareas aquí descritas son provistas de forma integrada por alguna de las herramientas de Integración de Datos, xxx Xxxxxxx de Datos, o de Acceso y Uso. A continuación, se describen las herramientas que deben hacer parte de esta capa.
3.1.1.5.1. Arquitectura
Como un componente transversal, las herramientas para gestión de arquitectura deben ofrecer una disposición organizada de los elementos o componentes de la solución DataR para optimizar el funcionamiento, rendimiento, viabilidad y costos de la solución.
Los componentes de las herramientas de gestión de arquitectura que el PROVEEDOR incluya en su propuesta deberán al menos permitir la definición y administración de:
a. Modelos conceptuales
b. Modelos lógicos
c. Flujos de datos en varios niveles
d. Descripción de Componentes
e. Descripción de Servicios
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.5.2. Gestión de metadatos
Como componente tecnológico de la Gestión de Metadatos, estas herramientas permiten facilitar la búsqueda y el análisis de los datos desde la propia fuente y a lo largo del ciclo de vida de los datos. Coadyuvan a la integración y la estandarización de datos.
Las herramientas tecnológicas de gestión de metadatos que el PROVEEDOR incluya en su propuesta deberán permitir:
a. Creación, clasificación y gestión automática de metadatos. Sería una ventaja deseable que proporcione descubrimiento mejorado de metadatos a través de machine learning, así como capacidades analíticas internas.
b. Flexibilidad en el modelado de datos de forma nativa o integrándose con componentes del DataR.
c. Integración con los componentes de la solución del DataR, permitiendo que los medatados definidos en la herramienta puedan ser integrados o utilizados por los demás componentes que lo requieren.
d. Control y gestión de seguridad y operación en la nube.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.5.3. Gestión de datos maestros
Siendo un componente tecnológico de la Gestión de Datos Maestros, estas herramientas permiten relacionar los datos críticos de una entidad para ser utilizados como referencia común para todos los sistemas y procesos del ciclo de vida de los datos de la organización.
Las herramientas de gestión de datos maestros que el PROVEEDOR incluya en su propuesta deberán garantizar la sincronización de los datos maestros y de referencia, así como permitir:
a. Gestión de datos maestros multidominio, habilitando la gestión de datos entre dominios.
b. Flexibilidad en el modelado de datos de forma nativa o integrándose con un componente del DataR.
c. Integración con componentes de inteligencia de negocio, analítica y aprendizaje automático, especialmente con los suministrados como parte del DataR. Esta integración se debe poder realizar en cualquiera o en varios de los estilos principales, de forma centralizada, por consolidación, coexistencia o registro.
d. Control y gestión de seguridad y operación en la nube.
e. Trabajo colaborativo para hacer mejoras, monitorear procesos y crear visualizaciones.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.5.4. Gestión de calidad
Las herramientas de calidad de datos permiten ejecutar procesos controlados de análisis, corrección y transformación de datos para otorgar a los datos la calidad requerida.
La calidad de datos es la cualidad de un conjunto de información recogida en una base de datos, un sistema de información o un almacén de datos que reúne entre sus atributos la exactitud, completitud, integridad, actualización, coherencia, relevancia, accesibilidad y confiabilidad necesarias para su mejor aprovechamiento y explotación, a lo largo del ciclo de vida de los datos.
Las herramientas de calidad de datos provistas deberán permitir:
a. Perfilamiento. El análisis estadístico de diversos sets de datos que brinde hallazgos sobre la calidad de los datos y ayude a identificar fallas de calidad de datos.
b. La administración de datos (definir y mantener modelos de datos, documentándolos, limpiándolos, eliminando duplicados y definiendo sus reglas y políticas).
c. La preparación de datos (proceso de limpiar, normalizar, transformar o enriquecer los datos). Modificación de los datos para cumplir con restricciones de domino, integridad y otras reglas de negocio.
d. Visualización y analítica interactiva que permita identificar, entender y monitorear problemas de calidad de datos, así como descubrir patrones y tendencias a través de reportes, tableros y otros recursos visuales.
e. Emparejamiento, vinculación y fusión de datos relacionados dentro o a través de varios conjuntos de datos utilizando una variedad de métodos como reglas, algoritmos, metadatos, inteligencia artificial y machine learning.
f. Soporte a dominios de multidatos, tales como varios dominios de datos maestros.
g. Definir e implementar flujos de trabajo orientados al negocio, que habiliten a los usuarios de negocio para identificar fácilmente, poner en cuarentena, asignar, escalar y resolver problemas de calidad de datos, facilitando el trabajo colaborativo y el monitoreo generalizado.
h. Escalar y permitir ajustes para mejorar el desempeño, tanto en procesamiento en línea como en proceso en lotes.
i. Xxxxxx de roles que permitan el trabajo colaborativo.
j. Definición de reglas y validaciones complejas. Las reglas pueden ser llamadas dentro de la solución o por otros componentes externos, incluidos los del DataR, para validación de datos en línea o en lotes.
k. Despliegue a larga escala en arquitecturas basadas en nube o en arquitectura on premise.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.5.5. Gestión de seguridad
La gestión de seguridad de los datos incluye la planificación, desarrollo y ejecución de las políticas de seguridad y procedimientos para proporcionar la correcta autenticación, autorización, acceso y auditoría de los activos de datos y la información. Los detalles de la seguridad de datos (datos que deben ser protegidos, por ejemplo) difieren entre industrias y países. Sin embargo, el objetivo de las prácticas de seguridad de datos es el mismo: proteger activos de información en concordancia con las regulaciones de privacidad y confidencialidad, acuerdos contractuales y requerimientos de negocio.
A nivel técnico las herramientas de gestión de seguridad deben permitir como mínimo:
a. Descubrimiento y clasificación de datos
b. Cifrado de datos
c. Prevención de pérdida de datos
d. Enmascaramiento dinámico de datos
e. Análisis de comportamiento de usuarios y entidades
f. Monitoreo de la disponibilidad de los servicios
Los requerimientos de seguridad que debe cumplir el Repositorio único de datos DataR son:
• El Repositorio único de datos DataR debe ajustarse a los requerimientos de seguridad transversales definidos en el programa de modernización de la DIAN, los cuales por razones de privacidad les serán comunicados y entregados oficialmente al PROVEEDOR seleccionado.
• En cualquier caso, debe por lo menos aprobar un análisis de vulnerabilidad sin “no conformidades”, que realice la interventoría del proyecto.
• Y superar una prueba de penetración sin inconvenientes, que realice la interventoría del proyecto.
De igual manera se deben involucrar políticas para la implementación de la solución, tales como:
• Contar con una política de seguridad de la información autorizada, alineada a la de la DIAN. Debe estar publicada, difundida y disponible para el personal interno y terceros que participen en el proyecto y alineada con las políticas de la DIAN.
• Los cambios a la solución del DataR a lo largo de su implementación deberán ser controlados por el uso de un procedimiento formal de control de cambios soportado por una herramienta de control de versiones.
• Documentar los roles y perfiles definidos en los componentes de la solución del DataR junto con sus niveles de acceso y los requisitos de autorización correspondientes.
• Realizar revisiones de seguridad para minimizar la probabilidad de debilidades de seguridad conocidas.
• Debe existir una política y procedimientos formales que aseguren que información se debe clasificar como sensible y los datos en esta categoría deben estar encriptados tanto en su reposo, tránsito y en uso.
• Considerar un seguimiento de auditoría de todas las solicitudes de cambio.
• Incluir información de auditoría donde se registre toda modificación a datos sensibles incluso si se hace directo sobre la base de datos.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.5.6. Interoperabilidad
El PROVEEDOR deberá alinear los diseños de la solución del Repositorio Único de Datos al marco de interoperabilidad y la plataforma de interoperabilidad de la DIAN.
La solución del DataR tiene interacción con diversos servicios y contratos que forman parte de la estrategia de modernización tecnológica de la DIAN, a continuación, se describen los principales requerimientos de interoperabilidad.
En concordancia con los servicios de la plataforma de interoperabilidad de la DIAN, los mecanismos que se pueden usar son:
a) API Gateway
b) Eventos
c) Data Streaming
3.1.1.5.6.1. Nuevo Sistema de Gestión de Aduanas.
Figura 10. Diagrama conceptual de interoperabilidad del NSA con el DataR.
El plan de modernización de la DIAN contempla el desarrollo de nuevos sistemas para la operación de la entidad, siendo uno de ellos el Nuevo Sistema de Gestión de Aduanas (NSGA). El PROVEEDOR del DataR deberá tener en cuenta los siguientes requerimientos para dicho sistema:
• El NSGA deberá tener acceso a la información histórica de los sistemas actuales que se requiera para procesar las operaciones de comercio exterior, por lo que los proveedores deberán comunicarse y coordinarse, en conjunto con la DIAN, para tener satisfecho este requerimiento, tanto para el diseño, las pruebas como para la implementación en
producción. Lo anterior de acuerdo con la estrategia definida en el numeral 3.2. y de acuerdo con la metodología de integración del numeral 3.5.3.
• Para el proceso de desarrollo del NSGA se deberán tener disponibles las definiciones que se requieran, respecto del acceso a datos, configuraciones y demás políticas que el DataR proporciona de manera transversal a los consumidores.
• Se deberán proveer las definiciones de las interfaces (API) que serán empleadas en la construcción del NSGA para el acceso a los datos. Lo anterior, de acuerdo con los requerimientos específicos que el proveedor del NSGA solicitará al DataR.
• Se deberán proveer los mecanismos para recepción de datos en el repositorio que serán empleados en la construcción del NSGA.
• El PROVEEDOR del DataR deberá contemplar en las definiciones de la propuesta de la solución, el uso de la versión 3.7 del modelo de datos de la Organización Mundial de Aduanas (OMA).
• El PROVEEDOR de la solución del DataR es el responsable de realizar la migración de datos históricos desde las fuentes originales hacia el repositorio único, para lo cual se deberán realizar actividades de mapeo, clasificación e identificación de estructuras de datos a ser migrados. Dichas actividades serán realizadas por el proveedor de la solución del DataR, en conjunto con el equipo especialista de la DIAN y el proveedor del NSGA, quien deberá definir los requerimientos específicos de datos para la operación de su sistema. Las condiciones generales del proceso de migración de datos históricos, está descrito en el numeral 3.2.
3.1.1.5.6.2. Nuevo Sistema de Gestión Tributaria.
Figura 11. Diagrama conceptual de interoperabilidad del NSGT con el DataR.
Con respecto al Nuevo Sistema de Gestión Tributaria (NSGT) se debe tener en cuenta lo siguiente:
• El NSGT debe tener acceso a la información histórica de los sistemas actuales que se requieran para procesar las operaciones tributarias, por lo que los proveedores deberán comunicarse y coordinarse, en conjunto con la DIAN, para tener satisfecho este requerimiento, tanto para las pruebas como para la implementación en producción. Las condiciones generales del proceso de migración de datos históricos, está descrito en el numeral 3.2.
• Para el proceso de construcción del NSGT se deberán tener disponibles las definiciones que se requieran, respecto del acceso a datos, configuraciones y demás políticas que el DataR proporciona de manera transversal a los consumidores.
• Se deberán proveer las definiciones de las interfaces (API) que serán empleadas en la construcción del NSGT para el acceso a los datos. Lo anterior, de acuerdo a los requerimientos específicos que el proveedor del NSGT solicitará al DataR.
• Se deberán proveer los mecanismos para recepción de datos en el repositorio que serán empleados en la construcción del NSGT.
• El PROVEEDOR de la solución del DataR es el responsable de realizar la migración de datos históricos desde las fuentes originales hacia el repositorio único, para lo cual se deberán realizar actividades de mapeo, clasificación e identificación de estructuras de datos a ser migrados. Dichas actividades serán realizadas por el proveedor de la solución del DataR, en conjunto con el equipo especialista de la DIAN y el proveedor del NSGT, quien deberá definir los requerimientos específicos de datos para la operación de su sistema. Las condiciones generales del proceso de migración de datos históricos, está descrito en el numeral 3.2.
3.1.1.5.6.3. Servicios compartidos
Figura 12. Diagrama conceptual de interoperabilidad de los Servicios compartidos con el DataR.
Con respecto a los Servicios compartidos se debe tener en cuenta lo siguiente:
• Los servicios compartidos deben tener acceso a la información histórica de los sistemas actuales que se requieran para procesar las operaciones de su ámbito, por lo que los proveedores deberán comunicarse y coordinarse, en conjunto con la DIAN, para tener satisfecho este requerimiento, tanto para las pruebas como para la implementación en producción. Las condiciones generales del proceso de migración de datos históricos, está descrito en el numeral 3.2.
• Para el proceso de construcción de los servicios compartidos se deberán tener disponibles las definiciones que se requieran, respecto del acceso a datos, configuraciones y demás políticas que el DataR proporciona de manera transversal a los consumidores.
• Se deberán proveer las definiciones de las interfaces (API) que serán empleadas en la construcción de los servicios compartidos para el acceso a los datos. Lo anterior, de acuerdo a los requerimientos específicos que el proveedor de Servicios Compartidos solicitará al DataR.
• Se deberán proveer los mecanismos para recepción de datos en el repositorio que serán empleados en la construcción de los servicios compartidos.
• Servicios compartidos será el intermediario para exponer servicios de datos a sistemas internos y externos desde el repositorio DataR haciendo uso de APIs publicadas en el componente API Gateway. Servicios compartidos provee para esto a parte del API Gateway, los servicios de publicación de APIs, administración de tráfico, seguridad y monitoreo.
• El PROVEEDOR de la solución del DataR es el responsable de realizar la migración de datos históricos desde las fuentes originales hacia el repositorio único, para lo cual se deberán realizar actividades de mapeo, clasificación e identificación de estructuras de datos a ser migrados. Dichas actividades serán realizadas por el PROVEEDOR de la solución del DataR, en conjunto con el equipo especialista de la DIAN y el proveedor de Servicios
compartidos, quien deberá definir los requerimientos específicos de datos para la operación de sus servicios y sistemas. Las condiciones generales del proceso de migración de datos históricos, está descrito en el numeral 3.2.
3.1.1.5.6.4. Sistema de factura electrónica
Con respecto al Sistema de factura electrónica se debe tener en cuenta lo siguiente:
• Sistema de factura electrónica debe tener acceso a la información histórica de los sistemas actuales que se requieran para procesar las operaciones tributarias, por lo que el PROVEEDOR deberá coordinar en conjunto con la DIAN las actividades para tener satisfecho este requerimiento, tanto para las pruebas como para la implementación en producción. Las condiciones generales del proceso de migración de datos históricos, está descrito en el numeral 3.2.
• Para el proceso de ajustes al Sistema de factura electrónica se deberán tener disponibles las definiciones que se requieran, respecto del acceso a datos, configuraciones y demás políticas que el DataR proporciona de manera transversal a los consumidores.
• Se deberán proveer las definiciones de las interfaces (API) que serán empleadas por el Sistema de factura electrónica para el acceso a los datos. Lo anterior, de acuerdo a los requerimientos específicos que el PROVEEDOR entregará a la DIAN.
• Se deberán proveer los mecanismos para recepción de datos en el repositorio que serán empleados en los ajustes al Sistema de factura electrónica.
• El PROVEEDOR de la solución del DataR es el responsable de realizar la migración de datos históricos desde las fuentes originales hacia el repositorio único, para lo cual se deberán realizar actividades de mapeo, clasificación e identificación de estructuras de datos a ser migrados. Dichas actividades serán realizadas por el proveedor de la solución del DataR, en conjunto con el equipo especialista de la DIAN, quien deberá definir los requerimientos específicos de datos para la operación del sistema.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.5.7. Monitoreo
La solución del DataR deberá contar con mecanismos de monitoreo que permitan conocer el comportamiento de los componentes tecnológicos en tiempo real (7x24x365), de tal manera que se facilite el diagnóstico y corrección de cualquier situación anómala que se presente en la operación.
El monitoreo de los componentes de la solución del DataR es complementario a los servicios de monitoreo que ejecutará el contrato de Multinube híbrida para los recursos que provee y los servicios de monitoreo del contrato de Seguridad, ambos de la DIAN. Por lo anterior, el PROVEEDOR deberá coordinarse con los proveedores de los contratos mencionados, para acceder al monitoreo de sus recursos.
Se deberá como mínimo contar con medios implementados para el monitoreo directo o a través de la integración de los servicios de monitoreo de la DIAN de los siguientes elementos de la solución del DataR:
• Herramientas y componentes tecnológicos del DataR.
• Recursos de procesamiento y almacenamiento en la Nube.
• Umbrales de consumo de recursos de procesamiento y almacenamiento.
• Comunicación entre elementos de la solución y tiempos de respuesta.
• Procesos de transferencia de datos y calidad de datos.
• Resultados de ejecución de procesos automáticos
• Consumo de productos de información
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.1.5.8. Recursos y Herramientas de soporte
Al momento del inicio del proyecto la DIAN definirá la herramienta para la administración de todo el ciclo de vida de las soluciones. Por lo tanto, el proveedor deberá utilizar dicha herramienta, desde el inicio del proyecto y hasta la entrega a la DIAN, para:
• Automatización de la configuración. Donde se aplique automáticamente la configuración requerida por la solución según su ambiente de trabajo.
• Gestión de tareas del proyecto. Donde se realice la gestión de las actividades del equipo de trabajo del proyecto, incluyendo el monitoreo y seguimiento.
• Gestión de requerimientos e incidencias. Donde se realice la gestión de las incidencias reportadas. Será definida en la etapa de entendimiento, en la cual se puedan reportar
incidentes, problemas, errores, consultas u observaciones, de forma automática para que el equipo implementador revise, resuelva y coloque la propuesta de solución a ser probada y aprobada por los funcionarios que designe la entidad.
• Administración de código fuente. Donde se almacene el código fuente que generen los componentes del DataR, y sus respectivas versiones.
• Gestión documental del proyecto. Donde se tenga el repositorio para el almacenamiento y consulta de todo documento generado durante la ejecución del contrato.
Adicionalmente, el PROVEEDOR deberá poner a disposición de la DIAN desde la etapa de Entendimiento las siguientes herramientas:
- Colaboración. Para la comunicación entre los integrantes de los equipos de trabajo del PROVEEDOR, la interventoría y la DIAN. Como ejemplos de herramientas están Slack, Microsoft Teams.
- Pruebas. Para la verificación de la implementación de componentes y automatización de pruebas.
- Integración continua. Donde se generen los artefactos para el despliegue.
- Despliegue continuo. Donde se realice la configuración y ejecución de los pipelines de despliegue en los diferentes ambientes.
El acceso a todo el equipo de proyecto tanto del PROVEEDOR como de la DIAN deberá darse a más tardar 10 días después del inicio de la ejecución del contrato.
Es de vital importancia que el PROVEEDOR use estas herramientas y no las propias, pues con ello facilita la transferencia de conocimiento, así como la gobernanza de las soluciones a la DIAN.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.2. Mantenimiento
El PROVEEDOR será responsable de realizar el mantenimiento correctivo y preventivo de todos los componentes tecnológicos, herramientas y procesos de gestión de datos de la solución del DataR, así como de las herramientas para su administración, operación y monitoreo, para garantizar y cumplir los niveles de servicio.
El PROVEEDOR deberá integrar una propuesta de mantenimiento preventivo y correctivo que cumpla con los tiempos de atención establecidos en los niveles del servicio del numeral 3.6.6. del presente documento. Esta propuesta será analizada por la DIAN y validada por la Interventoría. De manera general, el PROVEEDOR deberá contemplar la disponibilidad durante las 24 horas del día, los 7 días de la semana y los 365 días del año de la vigencia del contrato.
Mantenimiento correctivo
El PROVEEDOR de la solución del DataR proporcionará los procedimientos relacionados con el mantenimiento correctivo, con al menos la siguiente información:
• El procedimiento para reportar el incidente.
• Matriz con los niveles de escalamiento interno, incluyendo información de los contactos (nombre, puesto, teléfono de oficina y móvil, número de localizador, en caso de contar con uno).
• Tiempos de atención establecidos para el escalamiento entre cada nivel.
El PROVEEDOR estará obligado a efectuar el servicio de mantenimiento correctivo, entendido como la corrección de la incidencia detectada en la solución del DataR, cuantas veces sea necesario y requerido mediante los reportes respectivos que reciba de la DIAN de conformidad al procedimiento y a los niveles de servicio establecidos. Esta obligación estará vigente durante la vigencia del contrato.
A continuación, se enlistan las actividades mínimas generales que deberán realizarse como parte del mantenimiento correctivo:
• Asistencia telefónica.
• Asistencia en sitio.
• Asistencia remota, siempre y cuando sea autorizada la modalidad para el caso específico, por parte de la DIAN.
• Documentación de cierre del mantenimiento correctivo.
En caso de identificar otros alcances y actividades que mejoren el mantenimiento, serán documentados debidamente y serán sometidas a la aprobación de la DIAN y de la Interventoría.
Mantenimiento preventivo
Las ventanas de tiempo de mantenimiento preventivo deberán ser programadas e informadas con anticipación a la DIAN, a fin de conseguir su aprobación previa a la ejecución de las actividades, con el objetivo de minimizar el impacto en la operación.
El PROVEEDOR deberá considerar un programa de mantenimientos preventivos, el cual debe incluir como mínimo lo siguiente:
• La descripción de los procesos asociados a la actividad.
• Los recursos humanos y herramientas involucrados.
• El tiempo periódico de mantenimientos preventivos.
• Los alcances técnicos del mantenimiento y los protocolos de prueba serán propuestos por el PROVEEDOR y autorizados por la DIAN.
• Las rutas de escalamiento correspondientes.
A continuación, se mencionan las actividades mínimas a desarrollar por parte del PROVEEDOR dentro del mantenimiento preventivo; esto no limita, que el PROVEEDOR realice mejoras adicionales para asegurar el correcto funcionamiento de la solución provista:
• Monitorear y buscar posibles errores y mensajes de error, para identificar sus causas, y ejecutar las acciones necesarias para corregirlas.
• Mantener un monitoreo constante y proactivo sobre los componentes tecnológicos y herramientas que integran la solución del DataR; así como la notificación en tiempo real a la DIAN.
• Mantenimiento de la infraestructura virtual y los componentes de la solución del DataR.
• Ejecución de diagnóstico de los servicios y componentes.
• Pruebas de funcionamiento de los servicios y componentes.
• Entrega de la documentación y actualización de configuraciones y demás documentación técnica.
El PROVEEDOR deberá alinearse en todo momento a los procedimientos operativos de la DIAN.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.1.3. Garantía
El PROVEEDOR será responsable de realizar la atención de incidentes y problemas que se presenten en el uso y operación de todos los componentes tecnológicos, herramientas y procesos de gestión de datos de la solución del DataR, así como de las herramientas para su administración, operación y monitoreo, durante los seis (6) meses posteriores a la etapa de estabilización y hasta que se hayan atendido las últimas incidencias reportadas durante este periodo.
El PROVEEDOR deberá integrar una propuesta de atención de garantía que cumpla con los tiempos de atención establecidos en los niveles del servicio del numeral 3.6.6. del presente documento. De manera general, el PROVEEDOR deberá contemplar la disponibilidad durante las 24 horas del día, los 7 días de la semana y los 365 días del año de la vigencia del contrato.
El PROVEEDOR de la solución del DataR proporcionará mensualmente los informes relacionados con los soportes y atención de incidentes durante el período de garantía, con al menos la siguiente información:
• Información de fecha y hora del registro y cierre
• Descripción de la incidencia
• Evolución del caso
• Causa Raíz
• Resolución
Adicionalmente, el PROVEEDOR de la solución del DataR presentará un documento de resumen de los incidentes presentados, donde se liste la cantidad total, por tipo de incidente, por tipo de causa y resolución, así como por tipo de componente.
Cuando aplique, el PROVEEDOR deberá entregar igualmente la documentación y actualización de configuraciones y demás documentación técnica que se vea afectada por los ajustes que se hayan realizado, así como los ambientes de trabajo completamente sincronizados cumpliendo lo requerido en el numeral 3.1.2.
Finalmente, en lo referente a los elementos licenciados y entregados por el PROVEEDOR a la DIAN, se deben entregar con una garantía mínima de tres (3) años a partir de la entrega a la DIAN, cubriendo el servicio de soporte y mantenimiento, así como el derecho a las actualizaciones del software licenciado, durante el mismo periodo de tres años. Así mismo, los elementos proporcionados por el PROVEEDOR deberán contar con un certificado de EOL (End of Life) expedido por el fabricante, no inferior a cinco (5) años para la versión entregada a la DIAN.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.2. Migración de datos históricos
El PROVEEDOR deberá implementar la gestión de datos históricos y proveer, configurar, implementar y dar soporte a los componentes tecnológicos necesarios para la ejecución de los procesos y tareas de migración de datos y de calidad de datos, a lo largo de la vida del contrato.
El PROVEEDOR, en conjunto con la DIAN, deberán realizar un análisis de la información existente en la entidad, a fin de identificar qué datos se migrarán, de qué tipo son, cuál es su origen y qué formato adquirirán en destino, una vez completado el traslado. Dicho análisis se llevará a cabo en la etapa de diseño de estrategia de migración definida en la sección 3.5.1.3 y tendrá como resultado un plan de trabajo para la migración de datos. El resultado del análisis permitirá conocer el tipo de información y fuente de los datos, los criterios para la clasificación de información y los bloques a migrarse, el orden de la migración de datos y las dependencias existentes para los diferentes volúmenes a migrarse.
Con la intención de garantizar la no afectación a la operación de los sistemas y servicios que hoy día funcionan en la DIAN, el PROVEEDOR debe implementar una solución de Data
Virtualization, la cual permitirá que una aplicación obtenga y procese datos sin requerir detalles específicos de su estructura, como por ejemplo el formato de la fuente o dónde se encuentra físicamente con lo que se consigue homologar los datos entre plataformas, brindando la capacidad de actualizar dinámicamente las referencias de la ubicación de los datos.
El proceso de migración deberá ser transparente y no requerir de etapas xx xxxxx de operación o cierre, permitiendo consumir los datos desde los sistemas transaccionales o desde el DataR. La migración al DataR se deberá realizar de manera gradual y por etapas de alcance definido, garantizando la continuidad operativa de los sistemas actuales y los sistemas nuevos, con plena integridad y disponibilidad de los datos.
El PROVEEDOR deberá incluir en su plan de trabajo una etapa de pruebas y validación de los datos migrados, para asegurar que reúnen todos los atributos de calidad4, integridad5 y disponibilidad 6en la nueva plataforma.
El PROVEEDOR deberá desarrollar un plan de mitigación para aquellas bases de datos que estén imposibilitadas para su migración o que su proceso de migración requiera esfuerzo más extensivo de tiempo o que existan dependencias operativas fuera de la solución del DataR.
3.2.1. Migración y virtualización.
El plan de migración propuesto deberá contemplar, como mínimo, la migración de datos históricos para los nuevos sistemas de gestión aduanera, tributario, servicios compartidos (en particular el RUT) y el sistema de factura electrónica, de tal manera que se garantice la correcta operación de los mismos sin depender xx xxxxxxx legadas de información y también facilitar la operación de productos de información que se identifiquen en el levantamiento de información y que se consideren necesarios para los procesos de inteligencia de negocio y analítica.
El PROVEEDOR de la solución del DataR deberá colaborar con los proveedores de los nuevos sistemas de gestión de Aduanas y de gestión Tributaria, así como de los Servicios compartidos, durante las etapas de diseño, implementación y paralelo de cada uno de sus contratos, a fin de facilitarles el acceso a los datos e información de cada uno de ellos, en la solución del DataR, lo anterior en el marco de lo establecido en la metodología de integración del numeral 3.5.3.
La finalidad del proceso de migración de datos históricos es garantizar que no se tenga ninguna dependencia de sistemas legados y que solamente se cuente con una fuente de información para los procesos de gestión aduanera, tributaria y cambiaria y también para los procesos de análisis y toma de decisión estratégica. Por eso se prevé la ejecución de un proceso gradual, en él se deben desarrollar los siguientes pasos:
4 Calidad es la medida en que un dato corresponde con la realidad que representa.
5 Integridad de los datos es la precisión, integralidad y fiabilidad de los datos a lo largo de su ciclo de vida
6 Disponibilidad de los datos es la característica de poder ser accedido para consulta o modificación por quien corresponde en el momento que se requiera
1- Analizar las fuentes de datos de aplicaciones actuales de la DIAN en concordancia con los diseños de los nuevos sistemas de gestión.
2- Habilitar la consulta de datos a partir de virtualización de datos mientras que se ejecuta la migración total de los datos históricos al repositorio.
3- Se habilita la consulta de datos históricos solamente desde el repositorio de datos DataR. 4- Toda la información de los nuevos sistemas se integra al repositorio de datos DataR.
A continuación, se muestra de manera esquemática este proceso de transición.
Figura 16. Flujo estratégico para el tratamiento de datos históricos.
Como parte del proceso de tratamiento de datos históricos, el PROVEEDOR deberá diseñar y ejecutar un plan de migración de datos de acuerdo con las políticas de tratamiento de datos e información definidas por la DIAN, para cada uno de los tipos de información y procesos que alimentan y de conformidad con los diseños de los nuevos sistemas y del sistema de factura electrónica.
La figura 17 presenta una aproximación tradicional utilizando herramientas de ETL para realizar el tratamiento de información histórica, en este caso, usando como ejemplo el caso del Nuevo Sistema Aduanero y la información histórica proveniente de Muisca y Siglo XXI. En todo caso, esto deberá revisarse en cada caso durante la etapa de entendimiento y quedará registrado como parte de la estrategia de migración de datos históricos tal como se menciona en la sección 3.5.1. Migración de datos históricos.
Figura 17. Ejemplo de aproximación tradicional vía ETL, para el tratamiento de datos históricos.
La utilización de tecnología de Data Virtualization proporcionará una “vista virtual” de la información, permitiendo que los sistemas y servicios accedan a la información institucional que requieren, sin importar la fuente de datos, su ubicación o tipo de información.
Apoyados en su capa de abstracción, las soluciones de virtualización de datos deben permitir el consumo de la información sin importar la ubicación o estructura de la fuente de datos, facilitando tanto la migración de datos, como la integración de nuevos sistemas y servicios al ecosistema, sin afectación a la operación. Las herramientas de virtualización de datos y de integración de datos que el PROVEEDOR utilizará en esta etapa deben tener las capacidades que se indican en el numeral 3.1.1.2.
3.2.1.1. Información de referencia de volúmenes de datos de los sistemas actuales
Los sistemas de la DIAN en la actualidad soportan su persistencia en tres motores de bases de datos relacionales: Oracle, SQLServer y MySQL.
La distribución de bases de datos Oracle en cuanto a versión y cantidad es la siguiente:
Bases de Datos Oracle | ||||
Ambiente | Cantidad | Versión | Cantidad | |
Desarrollo | 14 | Oracle 7.2 | 2 | |
Pruebas | 20 | Oracle 8.1.7.4 | 50 | |
Producción | 47 | Oracle 10.2.0.4 | 5 | |
DataGuard | 10 | Oracle 11.2.0.4 | 15 | |
Administrativas | 2 | Oracle 12.2.0.1 | 21 |
Figura 18. Bases de datos Oracle por ambiente y por versión.
Y la distribución en cuanto a bases de datos SQLServer es la siguiente:
SQL Server Databases | ||||
Ambiente | Cantidad | Versión | Cantidad | |
Producción | 15 | SQL Server 2000 | 14 | |
Pruebas | 8 | SQL Server 2016 | 9 |
Figura 19. Bases de datos Microsoft SQL Server por ambiente y por versión.
A continuación, se presenta el tamaño acumulado de las bases de datos Oracle de tamaño significativo (ACUM), su crecimiento histórico en terabytes (TB) y el crecimiento porcentual con respecto al año anterior (CREC%) se presentan en la siguiente tabla:
TOTAL | |||
AÑO | TB * | ACUM | CREC% |
2012 | 45,1 | 45,1 | |
2013 | 4,3 | 52,1 | 15,5 |
2014 | 5,5 | 61,1 | 17,3 |
2015 | 8,9 | 74,6 | 22,1 |
2016 | 18,9 | 98,4 | 31,9 |
2017 | 6,5 | 110,7 | 12,5 |
2018 | 15,6 | 133,2 | 20,3 |
2019 | 23,7 | 156,9 | 17,8 |
En la siguiente figura se detalla el espacio ocupado en bases de datos por algunos de los principales sistemas sobre bases de datos Oracle.
Figura 20. Espacio ocupado en Gigabytes (GB) esquemas principales aplicaciones Muisca.
Y en cuanto a bases de datos no Oracle, principalmente SQLServer, se tienen los siguientes tamaños:
Figura 21. Espacio ocupado en Gigabytes (GB) aplicaciones en Microsfot SQL Server y MySQL.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.2.2. Aseguramiento de calidad de datos
El PROVEEDOR deberá considerar una estrategia de aseguramiento de calidad de datos que garantice la confiabilidad e integridad de la información histórica que se integra al repositorio DataR para lo cual deberá realizar como mínimo las siguientes acciones:
a) Definir las métricas de calidad de la información migrada
b) Definir umbrales de aceptación de información
c) Definir / usar datos estándares
d) Usar reglas de validación y de limpieza de datos.
e) Monitorear e inspeccionar los datos migrados
Los mecanismos de validación de la finalización de la migración deben considerar como mínimo los siguientes aspectos:
a) Precisión
b) Linaje
c) Consistencia estructural
d) Consistencia semántica
e) Integridad
f) Coherencia
g) Razonabilidad
h) Identificabilidad
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.2.3. Herramientas de migración
Las herramientas y componentes tecnológicos que soportan la migración de datos históricos serán aprovisionados, instalados, implementados y soportados por el PROVEEDOR en el marco de lo establecido en el numeral 3.1. En caso de requerir alguna herramienta especializada y adicional para el proceso de migración de datos históricos, el proveedor deberá proveerla, configurarla y retirarla cuándo ya se haya validado el proceso de migración.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.3. Servicios de gestión de datos
3.3.1. Modelo de gestión de datos
La implementación de la nueva arquitectura tecnológica de datos en la DIAN tiene el objetivo de fortalecer la gestión de los datos para optimizar el aprovechamiento y uso de los mismos, tanto en la prestación de los servicios como en la toma de decisiones en la entidad, enmarcados en la gestión efectiva del ciclo de vida de los datos.
El PROVEEDOR deberá diseñar, ejecutar y entregar el modelo de operación y gestión de datos que comprende la definición de los procesos, procedimientos y herramientas que sean necesarias, y de manera alineada con las políticas de calidad, seguridad y demás sistemas de gestión con que cuente la DIAN.
Los componentes mínimos del modelo de gestión de datos a prestar por el PROVEEDOR deben incluir cómo mínimo los relacionados en el marco de referencia de gestión de datos del DAMA- DMBOK2, que se ilustra a continuación:
Figura 22. DAMA-DMBOK2 Marco de Referencia de Gestión de Datos
DAMA-DMBOK2 es una guía y un marco metodológico orientado a la Gestión de datos, que describe conceptos e identifica ampliamente los objetivos de gestión de datos, funciones y actividades, entregables, roles, principios, tecnología y cuestiones de organización y cultura que conforman el ecosistema de los datos. Es además un compendio de buenas prácticas en constante evolución y adaptación a los dinámicos escenarios tecnológicos, por esta razón se ha integrado a la arquitectura digital de la DIAN, el uso de este marco de referencia.
El PROVEEDOR deberá implementar y presentar a la DIAN procesos y flujos estandarizados para la gestión de requerimientos, de incidentes y problemas, a fin de garantizar la atención de los mismos.
Figura 23. Esquema conceptual de la función de Gestión de servicios de información.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.3.2. Herramientas de gestión
Las herramientas de gestión en que se apalancan los procesos son las definidas en el numeral 3.1.y las que el PROVEEDOR considere necesarias para la correcta gestión de los servicios.
Las herramientas y componentes tecnológicos que integran el Repositorio DataR y las herramientas para la operación de los procesos de Soporte especializado (procesos de gestión de datos) serán aprovisionados, instalados, implementados y soportados por el PROVEEDOR.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.4. Elementos comunes
Esta sección define requerimientos que son comunes a los tres componentes del contrato, esto es: Solución DataR, Migración de datos históricos y Servicios de gestión de datos.
3.4.1. Infraestructura
A continuación, se describen los elementos de infraestructura que deberá tener la solución a proveer, estos comprenden los recursos tecnológicos para la operación y los ambientes de trabajo.
3.4.1.1. Recursos tecnológicos
Los recursos de infraestructura en donde se alojarán y operarán los componentes tecnológicos de la solución del DataR, serán provistos por el contrato de Multinube híbrida de la DIAN. El PROVEEDOR deberá solicitar el aprovisionamiento de dichos recursos, mediante los procedimientos establecidos por la DIAN. Las herramientas y componentes tecnológicos que integran el Repositorio DataR y las herramientas para la operación de los procesos de Soporte especializado (procesos de gestión de datos) serán provistos, instalados, implementados y soportados por el PROVEEDOR.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
Los ambientes aquí descritos deben estar aislados de forma lógica, no necesariamente de forma física.
3.4.1.2. Ambientes de trabajo
Para el desarrollo del proyecto se requiere contar por lo menos con 2 ambientes: Pruebas e integración y Producción; donde se surta todo el ciclo de construcción, de ser necesario y por condiciones de agilidad, facilidad o estrategia podrían requerirse ambientes adicionales.
Los ambientes deben estar 100% aislados el uno del otro (física o lógicamente) de tal forma que el acceso a cada uno de ellos pueda estar debidamente segmentado y se pueda configurar por grupos de usuarios, quienes tienen acceso a cada ambiente. Este punto, pretende dar un grado más de confiabilidad, tanto al proyecto como a la operación del repositorio, muy alineada con el concepto de DataOps que permita acelerar toda la cadena de valor de análisis y la transforma en conocimiento a través del uso de tecnologías modernas en integración de datos en tiempo real.
La topología de cada ambiente debe ser idéntica para evitar comportamientos diferentes del mismo software aplicativo en diferentes ambientes, esto incluye, mas no limita a:
• Versiones de software base (sistemas operativos, contenedores, etc.).
• Versiones de bases de datos.
• Herramientas de monitoreo.
• Balanceadores de carga.
• Firewalls.
• Nodos.
Básicamente la diferencia debe radicar en la capacidad de cómputo de cada ambiente, además al estar empleando arquitectura auto-escalable tanto vertical como horizontal, los tamaños mínimos y máximos se parametrizan de acuerdo con las necesidades del proyecto y del sistema.
También puede existir diferencia en las herramientas instaladas que sean propias del objetivo de cada ambiente, por ejemplos las herramientas de automatización de pruebas, las cuales pueden estar en pruebas mas no en producción.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.4.1.2.1. Pruebas e integración
La infraestructura y licencias requeridas para el DataR serán aprovisionadas y costeadas por el PROVEEDOR hasta después de finalizada la fase de estabilización y garantía; estas deberán estar integradas en el ecosistema de Multinube híbrida.
Un objetivo de este ambiente es integrar los componentes del repositorio y realizar las pruebas como un todo, pruebas de integración.
Otro objetivo de este ambiente es brindar a los terceros con quienes el repositorio interactúa un ambiente estable donde puedan probar sus desarrollos y simultáneamente el proyecto pueda realizar pruebas conectado con ambientes de pruebas funcionales de todos los involucrados externos a la DIAN.
Este ambiente debe ser usado para las capacitaciones que se requieran, tanto durante el proyecto como posterior a la puesta en producción.
Debe contar con las herramientas definidas para pruebas automatizadas, pruebas no funcionales, validación estática o dinámica de código fuente, así como proveer conexiones con todos los sistemas externos involucrados y poder validar la integración con el sistema externo, tanto de entrada como de salida, estas conexiones pueden ser reales funcionales o emuladas.
En cuanto a características de infraestructura y software base y de apoyo este ambiente es idéntico al ambiente de pruebas, en cuanto al software aplicativo es posible que se tenga una versión más madura que la que se tiene en ambiente de pruebas para hacerlo más estable.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.4.1.2.2. Ambiente de producción
La infraestructura y licencias requeridas para el DataR serán aprovisionadas y costeadas por la DIAN, para lo cual el PROVEEDOR deberá definir los requerimientos oportunamente.
Este ambiente tiene como objetivo atender los requerimientos de servicios del repositorio con información real, solo debe estar instalado y configurado con los componentes para este efecto y el software y herramientas adicionales requeridos para su funcionamiento, estabilidad y monitoreo.
En este ambiente debe estar instalado y operativo todo lo contemplado para garantizar alta disponibilidad y recuperación de desastres.
Este ambiente será el utilizado para realizar la instalación completa del repositorio y el procesamiento de las operaciones del paralelo, dado lo anterior es posible que se requiera tener instaladas algunas herramientas adicionales para ser utilizadas solamente en el transcurso del paralelo para luego ser removidas.
Este ambiente incluye la configuración necesaria de alta disponibilidad o recuperación de desastres que se defina en la arquitectura tecnológica.
Una vez finalizado el paralelo de manera satisfactoria se continuará con la operación productiva en este ambiente.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.4.1.2.3. Automatización de los ambientes
La solución del DataR deberá contar con mecanismos para creación de ambientes que use elementos (ej: plantillas, scripts, etc.) que permitan automatizar y garantizar equivalencia de los componentes creados. De igual manera, estos mecanismos de automatización deben buscar facilitar la integración y pruebas de los demás proveedores para que puedan ser utilizados en la configuración de sus ambientes de desarrollo y pruebas internas.
La creación de los componentes de la solución del DataR hace uso de los servicios de aprovisionamiento que ejecutará el contrato de Multinube híbrida para los recursos que provee. Por lo anterior, el PROVEEDOR deberá coordinarse con los proveedores de los contratos mencionados, para acceder a las herramientas que permitan automatizar la creación de sus recursos.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5. Requerimientos metodológicos
3.5.1. Plan de trabajo
Para el desarrollo del proyecto para el diseño, aprovisionamiento, implementación, administración, soporte y mantenimiento del Repositorio Único de Datos (DataR), se ha previsto el siguiente plan de trabajo que incluye las etapas y la duración establecida para cada una de ellas:
FASES | Mes de inicio | Duración meses | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 |
PLANEACIÓN | 1 | 2 | X | X | ||||||||||||||||||||||||||||||||||||||||||||||
SOLUCIÓN TECNOLÓGICA DEL REPOSITORIO | ||||||||||||||||||||||||||||||||||||||||||||||||||
Entendimiento y diseño | 3 | 6 | X | X | X | X | X | X | ||||||||||||||||||||||||||||||||||||||||||
Implementación | 7 | 0 | X | X | X | X | X | X | X | X | X | X | X | X | ||||||||||||||||||||||||||||||||||||
Entrada en producción | 18 | 2 | X | X | ||||||||||||||||||||||||||||||||||||||||||||||
Estabilización | 20 | 4 | X | X | X | X | ||||||||||||||||||||||||||||||||||||||||||||
Garantía | 24 | 6 | X | X | X | X | X | X | ||||||||||||||||||||||||||||||||||||||||||
Soporte y mantenimiento | 30 | 19 | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | |||||||||||||||||||||||||||||
MIGRACIÓN DE DATOS HISTÓRICOS | ||||||||||||||||||||||||||||||||||||||||||||||||||
Levantamiento de información | 3 | 5 | X | X | X | X | X | |||||||||||||||||||||||||||||||||||||||||||
Estrategia de migración | 6 | 2 | X | X | ||||||||||||||||||||||||||||||||||||||||||||||
Implementación de mecanismos de migración/virtualización | 8 | 6 | X | X | X | X | X | X | ||||||||||||||||||||||||||||||||||||||||||
Virtualización | 10 | 18 | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | ||||||||||||||||||||||||||||||
Virtualización NSGA | 10 | 5 | X | X | X | X | X | |||||||||||||||||||||||||||||||||||||||||||
Virtualización RUT | 10 | 2 | X | X | ||||||||||||||||||||||||||||||||||||||||||||||
Virtualización NSGT | 10 | 3 | X | X | X | |||||||||||||||||||||||||||||||||||||||||||||
Migración | 10 | 18 | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | ||||||||||||||||||||||||||||||
Migración NSGA | 10 | 8 | X | X | X | X | X | X | X | X | ||||||||||||||||||||||||||||||||||||||||
Migración RUT | 10 | 5 | X | X | X | X | X | |||||||||||||||||||||||||||||||||||||||||||
Migración NSGT | 10 | 5 | X | X | X | X | X | |||||||||||||||||||||||||||||||||||||||||||
Validación | 10 | 22 | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | ||||||||||||||||||||||||||
SERVICIOS DE GESTIÓN | ||||||||||||||||||||||||||||||||||||||||||||||||||
Diseño de procesos | 3 | 5 | X | X | X | X | X | |||||||||||||||||||||||||||||||||||||||||||
Operación de los servicios | 8 | 41 | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | |||||||
Entrega de servicios | 19 | 30 | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | ||||||||||||||||||
GESTIÓN DE INTEGRACIÓN | 1 | 23 | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | |||||||||||||||||||||||||
GESTIÓN DE CAMBIO Y TRANSFERENCIA DE CONOCIMIENT | 3 | 42 | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | ||||||
GESTIÓN Y MONITOREO DEL PROYECTO | 3 | 46 | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | X | ||
CIERRE | 45 | 4 | X | X | X | X |
Figura 24. Etapas del contrato de la solución del Repositorio Único de Datos (DataR)
Cada etapa descrita en el plan de trabajo incluye actividades, entregables, contenido y características mínimas y duración que deberá cumplir el PROVEEDOR y que tienen como fin establecer con claridad el resultado esperado en cada etapa y que se describen a continuación. El conteo de los días establecido en este documento para efectos de cumplimiento de plazos de entrega se entenderá como días calendario.
3.5.1.1. Planificación
En esta fase el PROVEEDOR deberá realizar la planificación detallada del proyecto ajustando metodologías, tiempos y recursos a las necesidades específicas plasmadas en este documento, sus anexos y documentos complementarios que sean entregados durante esta etapa por la DIAN, como mínimo se deberán desarrollar las siguientes actividades:
Actividad | Entregable |
Construir el plan de proyecto de acuerdo con la metodología de gestión de proyectos de la DIAN. | Plan de proyecto |
Elaborar plan de gestión del equipo de trabajo, con esquema de conformación, proceso de aprovisionamiento y transferencia de conocimiento. | Plan de proyecto – Equipo de trabajo Plan de proyecto – Gestión del conocimiento |
Elaborar matriz RACI de comunicaciones con todos los interesados del proyecto. | Plan de proyecto – Comunicaciones |
Incluir en el plan de proyecto la gestión de integración con otros proyectos. | Plan de proyecto- Plan de integración |
Elaborar el plan de gestión de riesgos, con los riesgos iniciales identificados, matriz de impacto vs probabilidad, plan de mitigación. | Plan de proyecto – Gestión de riesgos |
Elaborar el plan de gestión de cambio que involucre a todas las partes interesadas internas y externas del proyecto. | Plan de gestión de cambio |
Esta fase tiene una duración de 2 meses y deberá alinearse a las metodologías establecidos por la DIAN. El proveedor debe presentar la propuesta base de discusión del Plan de trabajo, en un plazo máximo de 15 días después a la firma del acta de inicio, para validación y aprobación.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.2. Solución tecnológica del repositorio
Este componente comprende las etapas necesarias y las actividades que permitirán diseñar, aprovisionar, construir y poner en funcionamiento el Repositorio único de datos DataR junto a todas las herramientas y componentes tecnológicos que lo conforman, asegurando su adecuada integración con los demás proyectos del Programa de Modernización de la DIAN.
3.5.1.2.1. Entendimiento y diseño
En esta etapa el PROVEEDOR deberá llevar a cabo la recopilación y levantamiento de información e insumos para la definición, afinación y diseño de estrategias, arquitecturas y planes
de trabajo para la implementación del Repositorio único de datos DataR y todas las herramientas que lo conforman.
Actividad | Entregable |
Hacer un levantamiento de los modelos, fuentes de información a integrar al repositorio y los productos de información base requeridos por los diferentes procesos de gestión aduanera, tributaria y cambiaria, así como de los casos de uso de las herramientas que comprenden el repositorio. | Documento de levantamiento de información para diseño. |
Elaborar el diseño general de la solución tecnológica del DataR y de todas las herramientas que la componen. | Diseño detallado de la solución tecnológica del DataR. |
Diseñar la arquitectura de datos de Data R. | Arquitectura de datos. |
Identificar y preparar las metodologías y herramientas para la gestión de la implementación de la solución tecnológica. | Plan detallado de implementación con las metodologías ajustadas, los procedimientos y formatos a seguir y las soluciones tecnológicas a utilizar, incluyendo las herramientas de validación masiva de datos que certifiquen la correcta migración de estos al repositorio DataR y las demás que considere necesarias para adelantar la implementación. |
Presentar, validar y gestionar aprobación, de las necesidades de licenciamiento para la implementación de la solución del DataR. | Documento de licenciamiento aprobado. |
Habilitar los ambientes necesarios para la construcción o adaptación de la solución tecnológica. | Ambientes habilitados, a disposición. Informe de configuración de cada ambiente. Licenciamiento de los ambientes en operación. Herramientas de soporte habilitadas. Acceso de equipo de trabajo del proyecto a las herramientas requeridas para el desarrollo. |
Elaborar los planes de trabajo particulares para la implementación de todos los componentes tecnológicos del repositorio. | Documento de estrategia y plan detallado de implementación de los componentes de la solución tecnológica de DataR. |
Organizar y disponer el equipo de trabajo requerido para la implementación de la solución tecnológica y de los procesos de gestión. | Equipo de trabajo de implementación y de gestión preparado. |
Esta etapa tiene una duración de seis (6) meses a partir del tercer mes de ejecución del contrato.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.2.2. Implementación
En esta fase se llevarán a cabo las actividades de configuración e implementación de los componentes tecnológicos del DataR, en concordancia con los planes y estrategias definidos. Como mínimo se deberán desarrollar las siguientes actividades:
Actividad | Entregable |
Implementación iterativa del Repositorio único de datos DataR y todas sus herramientas. | Repositorio único de datos DataR y sus herramientas configuradas y probadas de acuerdo con el diseño. Código fuente (Si aplica). Manuales de configuración de las herramientas del repositorio. Modelos y productos de información en operación. Plantillas de despliegue de infraestructura basada en código. |
Integración xx xxxxxxx de información | Integración xx xxxxxxx de datos históricos y de los nuevos sistemas. |
Construir todos los servicios de integración de datos al Repositorio. | Interfaces de los servicios de integración habilitados. Documento de configuración de interoperabilidad. |
Actividad | Entregable |
Elaborar plan de pruebas para los componentes de la solución del DataR. | Plan de pruebas detallado. Si la metodología es iterativa, debe actualizarse el plan de pruebas por cada iteración. Habilitación de herramienta de automatización de pruebas. |
Construir los scripts para las pruebas automáticas de cada uno de los componentes del DataR. | Scripts de pruebas automáticas realizadas y entregados. |
Validar el cumplimiento de la arquitectura de la solución, de acuerdo con los diseños realizados previamente. | Informe de las validaciones realizadas y cumplimiento de las políticas definidas en la arquitectura y en las metodologías. |
Realizar las pruebas correspondientes a cada etapa del plan de pruebas | Informe con los resultados de las pruebas realizadas, de acuerdo con la metodología. Si la metodología es iterativa, debe entregarse un informe por cada iteración. |
Realizar pruebas automáticas de cada uno de los componentes de DataR | Informe con los resultados de las pruebas realizadas, de acuerdo con la metodología. Si la metodología es iterativa, debe entregarse un informe por cada iteración. |
Realizar pruebas funcionales a cada uno de los productos de información implementados | Informe con los resultados de las pruebas realizadas, de acuerdo con la metodología. Si la metodología es iterativa, debe entregarse un informe por cada iteración. |
Realizar pruebas de aceptación de usuario para cada uno de los productos de información implementados | Informe con los resultados de las pruebas realizadas, de acuerdo con la metodología. Si la metodología es iterativa, debe entregarse un informe por cada iteración. |
Realizar pruebas no funcionales. | Informe con los resultados de las pruebas realizadas, de acuerdo con la metodología. Si la metodología es iterativa, debe entregarse un informe por cada iteración. |
Realizar pruebas de seguridad. | Informe con los resultados de las pruebas realizadas, de acuerdo con la metodología. Si la metodología es iterativa, debe entregarse un informe por cada iteración. |
Realizar pruebas de integración. | Informe con los resultados de las pruebas realizadas, de acuerdo con la metodología. Si la metodología es iterativa, debe entregarse un informe por cada iteración. |
Realizar pruebas de interoperabilidad. | Informe con los resultados de las pruebas realizadas, de acuerdo con la metodología. Si la metodología es iterativa, debe entregarse un informe por cada iteración. |
Documentar y automatizar los procedimientos de despliegue y promoción entre ambientes. | Acta de entrega de la configuración de las herramientas de despliegue y promoción entre ambientes. |
Actividad | Entregable |
Validar los requerimientos de infraestructura para el ambiente de producción. | Informe de validación de infraestructura para entrada en producción. |
Adaptación y ajustes del diseño detallado del Repositorio. | Documento de diseño detallado actualizado. |
Generar la documentación asociada al Repositorio y todas las herramientas que lo componen. | Documentación técnica del repositorio y sus herramientas. |
Esta fase tiene una duración máxima de 12 meses y se inicia a partir del mes 7 de ejecución del contrato.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.2.3. Entrada en producción
En esta fase el PROVEEDOR debe poner en operación el Repositorio y todas sus herramientas, garantizando la operatividad de la integración de las fuentes de datos históricos y de los nuevos sistemas, adicionalmente ofreciendo los productos de información que definió en la etapa de entendimiento y diseño. Como mínimo, el PROVEEDOR deberá desarrollar las siguientes actividades, en cada una de las salidas a producción establecidas por el PROVEEDOR en su plan de puesta en producción definido en la fase de entendimiento y diseño:
Actividad | Entregable |
Solicitar el aprovisionamiento de la infraestructura tecnológica, instalación y configuración del software requerido, parametrización repositorio en ambiente productivo, después de las correcciones y/o validaciones de las pruebas. | Informe de despliegue del repositorio y todas sus herramientas en ambiente productivo después de las correcciones y/o validaciones de las pruebas. Plantillas de despliegue de infraestructura basada en código. |
Elaborar y ejecutar el plan de puesta en producción. | Plan de puesta en producción. Manuales de instalación y configuración. |
Elaborar un plan de reversión o retorno en caso de errores en la puesta en producción. | Plan de reversión o retorno debidamente probado y validado. |
Llevar a cabo la puesta en producción de los componentes de la solución del DataR, de manera integrada. | Solución DataR y todas sus herramientas en producción, incluyendo la conexión de las fuentes de información y la disposición de los productos de información. Informe de puesta en producción de la solución del DataR con todos sus componentes. Acta de puesta en producción. Manuales de instalación y configuración actualizados. |
Esta etapa tiene una duración de dos (2) meses a partir del mes dieciocho (18) de ejecución del contrato, sin embargo, si se trata de una implementación iterativa este plazo será el plazo máximo para tener toda la solución operando.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.2.4. Estabilización
En esta fase el PROVEEDOR debe trabajar para atender y solucionar los incidentes que se presenten en la solución del DataR, atendiendo los acuerdos de niveles de servicio señalados en el numeral 3.6.6. Como mínimo, el PROVEEDOR deberá desarrollar las siguientes actividades:
Actividad | Entregable |
Atender los incidentes que se presenten, de acuerdo con los niveles de servicio correspondientes. | Incidencias y/o problemas presentados completamente resueltos. Documentación y registros de la atención de incidentes y/o problemas. Componentes de la solución del DataR operando. |
Monitorear el comportamiento del Repositorio en la infraestructura tecnológica. | Informe semanal con el comportamiento del repositorio y sus componentes en la infraestructura tecnológica. |
Validar el cumplimiento de todos los criterios de aceptación y gestionar el acta de aceptación de la solución tecnológica del Repositorio. | Acta de aceptación del repositorio firmada por la interventoría y la DIAN. |
Habilitar y asegurar que las herramientas de gestión de garantía, soporte y mantenimiento se encuentren en operación. | Herramientas de gestión de soporte y monitoreo en operación. |
Esta fase debe tener una duración de 4 meses, a partir de la puesta en producción de la solución del DataR. En el caso de una implementación iterativa se debe aplicar a partir de la entrada en producción de cada uno de los sprint de implementación.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.2.5. Garantía
En esta fase el PROVEEDOR debe atender los incidentes y problemas que se presenten en el uso y operación de los componentes de la solución del DataR, posteriores a la etapa de estabilización y deberá realizar los ajustes pertinentes para garantizar la correcta operación de esta. Como mínimo, el PROVEEDOR deberá desarrollar las siguientes actividades:
Actividad | Entregable |
Atender las incidencias y/o problemas que se presenten en las herramientas y componentes de la solución del DataR, reportados durante el periodo de garantía, cumpliendo con los acuerdos de nivel de servicio definidos. | Informe de atención de incidencias durante la garantía. Código fuente/Configuraciones de herramientas actualizadas. Incidencias presentadas completamente resueltas. Documentación técnica actualizada. Ambientes de trabajo actualizados. Componentes de la solución del DataR operando. |
Esta fase tendrá una duración de 6 meses, a partir de la finalización de la etapa de estabilización y termina una vez se han atendido las últimas incidencias reportadas durante este periodo.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.2.6. Soporte y mantenimiento
En esta fase el PROVEEDOR debe brindar apoyo al equipo de la DIAN en la operación del repositorio y todas sus herramientas, atender y corregir los incidentes que se presenten y realizar la actualización tecnológica de las versiones utilizadas. Como mínimo, el PROVEEDOR deberá desarrollar las siguientes actividades:
Actividad | Entregable |
Realizar el monitoreo técnico y seguimiento a la adecuada operación del Repositorio y de todas sus herramientas. | Informe diario de monitoreo y seguimiento. |
Elaborar y ejecutar un plan de mantenimiento a todas las herramientas y componentes de la solución del DataR. | Plan de mantenimiento a la solución del DataR. |
Realizar mantenimiento preventivo y correctivo a todas las herramientas del Repositorio único de datos DataR. | Informe semanal de mantenimiento y soporte. Código fuente/Configuraciones actualizadas. Documentación técnica actualizada. Ambientes de trabajo actualizados. |
Operar y dar soporte a todos los componentes tecnológicos que integran la solución del DataR. | Informe semanal de mantenimiento y soporte. Incidencias y/o problemas presentados completamente resueltos. Documentación y registros de la atención de incidentes y/o problemas. Componentes de la solución del DataR operando. Código fuente/Configuraciones actualizadas. |
Documentación técnica actualizada. Ambientes de trabajo actualizados. | |
Mantener actualizadas todas las herramientas implementadas como parte de la solución del DataR, de acuerdo con las recomendaciones de los fabricantes. | Informe semanal de mantenimiento y soporte. Código fuente/Configuraciones actualizadas. Documentación técnica actualizada. Ambientes de trabajo actualizados |
Esta fase debe tener una duración de dieciocho (19) meses que empezará una vez finalizado el periodo de garantía.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.3. Migración de datos históricos
En este componente se ejecutarán los planes de integración, migración y calidad de datos históricos, así como las configuraciones y afinaciones necesarias para garantizar la no afectación a la operación de la DIAN durante la ejecución de actividades, esto se debe realizar en coordinación con los demás proyectos del programa de modernización de la DIAN.
3.5.1.3.1. Levantamiento de información
En esta etapa el PROVEEDOR deberá llevar a cabo la recopilación y levantamiento de información e insumos para la definición y diseño de estrategias, arquitecturas y planes de trabajo para migración de información histórica al Repositorio único de datos DataR y para facilitar su acceso a los nuevos sistemas de información tributario, aduanero y los servicios compartidos. El PROVEEDOR deberá efectuar como mínimo las siguientes actividades:
Actividad | Entregable |
Levantamiento de información de sistemas de información | Documento de levantamiento de información para diseño. |
legados de los cuáles se extraerá la información histórica. | |
Levantamiento de información de los nuevos sistemas de gestión tributaria, aduanera y servicios compartidos | Documento de levantamiento de información para diseño. |
Esta etapa tiene una duración de cinco (5) meses a partir del tercer mes de ejecución del contrato.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.3.2. Diseño de estrategia de migración
En esta etapa el PROVEEDOR llevará a cabo la definición y diseño de estrategias, arquitecturas y planes de trabajo para migración de información histórica al Repositorio único de datos DataR y para facilitar su acceso a los nuevos sistemas de información tributario, aduanero y los servicios compartidos.
El PROVEEDOR deberá efectuar como mínimo las siguientes actividades:
Actividad | Entregable |
Elaboración de la estrategia y plan de trabajo para la integración/migración de datos históricos. | Estrategia y plan detallado de migración de datos con las metodologías correspondientes, los procedimientos y formatos a seguir y las soluciones tecnológicas a utilizar. |
Elaborar plan de validación de migración de información. | Plan de validación de información de migración. |
Organizar y disponer el equipo de trabajo requerido para la migración. | Equipo de trabajo de implementación y de gestión preparado. |
Habilitar los ambientes necesarios para la migración de datos, exceptuando las correspondientes al ambiente de producción, los cuales serán proporcionados por la DIAN. | Ambientes habilitados, a disposición. Informe de configuración de cada ambiente. Licenciamiento de los ambientes en operación. Herramientas de soporte habilitadas. Acceso de equipo de trabajo del proyecto a las herramientas requeridas para el desarrollo. |
Esta etapa tiene una duración de dos (2) meses a partir del sexto mes de ejecución del contrato.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.3.3. Implementación de mecanismos de migración/virtualización
En esta etapa el PROVEEDOR deberá implementar los mecanismos con los cuales llevará a cabo la migración / virtualización de información histórica al Repositorio único de datos DataR y para facilitar su acceso a los nuevos sistemas de información tributario, aduanero y los servicios compartidos.
El PROVEEDOR deberá efectuar como mínimo las siguientes actividades:
Actividad | Entregable |
Realizar la implementación de los mecanismos de migración. | Mecanismos de migración operativos. Informe de habilitación de mecanismos de migración. |
Esta etapa tiene una duración de seis (6) meses a partir del octavo mes de ejecución del contrato.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.3.4. Virtualización/migración
En esta etapa el PROVEEDOR deberá llevar a cabo la migración / virtualización de información histórica al Repositorio único de datos DataR y para facilitar su acceso a los nuevos sistemas de información tributario, aduanero y los servicios compartidos.
El PROVEEDOR deberá efectuar como mínimo las siguientes actividades:
Actividad | Entregable |
Ejecutar los planes de trabajo de virtualización. | Informe de migración/virtualización de datos. |
Ejecutar los planes de trabajo para la migración. | Informe de migración/virtualización de datos. |
Ejecutar los planes de trabajo para los procesos de calidad de datos. | Informe de migración/virtualización de datos. |
Esta etapa tendrá una duración máxima de dieciocho (18) meses a partir del décimo mes de ejecución del contrato. No obstante, el proveedor deberá contemplar los tiempos máximos establecidos en la Figura 24. Etapas del contrato de la solución del Repositorio Único de Datos (DataR), tanto para virtualización como para migración de datos históricos de cada sistema.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.3.5. Validación
En esta etapa el PROVEEDOR deberá validar que la información que está siendo parte de la migración / virtualización al Repositorio único de datos DataR cumpla entre otras con las
condiciones de calidad, disponibilidad, consistencia, y demás requerimientos de los nuevos sistemas de información tributario, aduanero y los servicios compartidos.
Como mínimo, el PROVEEDOR deberá desarrollar las siguientes actividades:
Actividad | Entregable |
Ejecutar los procesos de validación de la migración/virtualización. | Validación de la migración/virtualización de datos |
Esta etapa iniciará al tiempo con la etapa de virtualización/migración y durará cuatro (4) meses más que dicha etapa.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.4. Servicios de gestión de datos
Este componente incluye el diseño, ejecución y entrega de los servicios de gestión de datos que incluyan la gestión integral del repositorio y todas sus herramientas, la gestión arquitectura de datos, metadatos, datos maestros, calidad de datos, seguridad y productos de información, todo de conformidad con el ciclo de vida de los datos.
3.5.1.4.1. Diseño de procesos
En esta etapa el PROVEDOR debe elaborar el diseño de procesos, procedimientos y la definición de herramientas que permitirán la prestación de los servicios de gestión establecidos en el numeral
3.3 del presente documento, para lo cual deberá adelantar como mínimo las siguientes actividades:
Actividad | Entregable |
Identificación de macroprocesos de gestión de datos y de administración del repositorio de datos y todas sus herramientas. | Documento de diseño de procesos. |
Definición de procedimientos e indicadores de gestión. | Documento de diseño de procesos. |
Definición de herramientas de apoyo para la ejecución y seguimiento de los procedimientos de gestión. | Configuración de herramientas de apoyo para la gestión de Data R. |
Organizar y disponer el equipo de trabajo requerido para la implementación de la solución tecnológica y de los procesos de gestión. | Equipo de trabajo de implementación y de gestión preparado. |
Esta etapa tiene una duración de cinco (5) meses a partir del tercer mes de ejecución del contrato.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.4.2. Operación de los servicios
En esta fase el PROVEEDOR debe llevar a cabo la operación de los servicios de gestión correspondientes para lo cual deberá desarrollar como mínimo las siguientes actividades:
Actividad | Entregable |
Ejecución de los procesos y procedimientos de gestión de acuerdo con las definiciones de la etapa de diseño de procesos. | Procedimientos en operación cumpliendo con los ANS definidos. |
Monitoreo y medición periódica del desempeño de los procedimientos de gestión. | Informe semanal de monitoreo de los servicios de gestión. |
Mejoras implementadas en el modelo de gestión establecido. | Documento de lecciones aprendidas. Procesos, procedimientos y herramientas actualizadas. |
Esta etapa tiene una duración de cuarenta y un (41) meses a partir del octavo mes de ejecución del contrato.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.5. Gestión de la integración
En esta fase el PROVEEDOR deberá realizar las acciones de articulación y alineación necesarias con los demás PROVEEDORES de los otros proyectos de modernización.
El PROVEEDOR deberá desarrollar como mínimo las siguientes actividades:
Actividad | Entregable |
Definición de protocolos e instrumentos para facilitar la integración de los diferentes componentes del proyecto de modernización de la DIAN. | Protocolos, instructivos e instrumentos de integración. Disposición de ambientes de pruebas de integración. |
Acompañar y hacer seguimiento de la ejecución de los protocolos de integración. | Informe con los resultados de la administración de la integración. Si la metodología es iterativa, debe entregarse un informe por cada iteración. |
Participar en los comités de integración con el equipo de la DIAN, la interventoría, y los proveedores de los demás proyectos de modernización. | Acta de reunión o ayuda de memoria. |
Entregar las interfases de integración o cualquier otro artefacto que sea requerido por el comité de integración. | Todos los artefactos, claves, información, documentación que permitan realizar la integración de los elementos de la solución del DataR. |
Solicitar los artefactos que le sean requeridos de los demás proveedores, con el fin de adelantar sus implementaciones. | Solicitudes de artefactos en Acta de reunión o ayuda de memoria. |
Xxxxxxx acompañamiento técnico a los demás proveedores en los procesos de integración que le sean requeridos. | Acta de reunión o ayuda de memoria. |
Esta fase tiene una duración de veintitrés (23) meses, para garantizar la salida a producción de los nuevos sistemas de gestión de Aduanas, gestión Tributaria y servicios compartidos, así como otros requerimientos operativos y de negocio de la DIAN como la Factura Electrónica y los procesos de analítica de datos.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.6. Gestión de cambio y transferencia de conocimiento
El PROVEEDOR deberá diseñar y ejecutar la estrategia de gestión de cambio a lo largo de todo el contrato, con el fin de garantizar una mejor apropiación de la nueva solución para las diferentes partes involucradas.
Dentro de la estrategia deberá incluir la capacitación y transferencia de conocimiento de acuerdo con lo definido a continuación:
Actividad | Entregable |
Definir el plan detallado de gestión de cambio y transferencia de conocimiento. | Documento de estrategia y plan de gestión del cambio y transferencia de conocimiento. |
Ejecutar el plan de gestión de cambio y transferencia de conocimiento definido para cada parte interesada e involucrada. | Herramientas y recursos para la gestión de cambio y transferencia de conocimiento Evidencias de ejecución del plan de gestión de cambio en cada parte interesada. Informes de evaluación de resultados parciales de la estrategia de gestión de cambio. Informe final de resultados de la gestión de cambio y transferencia de conocimiento. |
Realizar la capacitación de inducción a la gestión de datos, para el personal de la DIAN, involucrado con la solución del DataR. | Capacitación de inducción a la gestión de datos. |
Actividad | Entregable |
Realizar jornadas de capacitación y transferencia de conocimiento para personal técnico (operadores y administradores) de la DIAN, que garanticen que se desarrollaron las competencias necesarias para la operación y soporte de los componentes tecnológicos y procesos de gestión de la solución del DataR. | Materiales de capacitación. Herramientas de capacitación. Evidencias de participación en la capacitación. Evaluación de resultados de la capacitación. |
Verificar el cumplimiento de los objetivos de gestión de cambio y transferencias de conocimiento establecidos. | Objetivos de gestión de cambio y transferencia de conocimiento cumplidos. |
Diseñar e implementar un base de conocimiento que permita administrar de la mejor manera todo el conocimiento para el equipo técnico y funcional de la DIAN, facilitando el mantenimiento y evolución de la solución del DataR a lo largo del contrato. | Herramientas de gestión de conocimiento habilitadas y actualizadas. |
Esta fase se desarrollará a lo largo de la vida del contrato, comenzando en el mes número 3 y concluyendo con la fase de cierre del contrato.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.6.1. Monitoreo y seguimiento del proyecto
En esta fase el PROVEEDOR debe realizar un monitoreo constante del proyecto, atendiendo todas las áreas de conocimiento y todas las actividades de éste. Como mínimo, el PROVEEDOR deberá desarrollar las siguientes actividades:
Actividad | Entregable |
Realizar reuniones periódicas con el gerente de proyecto de la DIAN y la interventoría para informar el estado de avance del plan detallado del proyecto. | Informe de seguimiento semanal del proyecto |
Realizar reuniones periódicas de alto nivel para informar el estado de avance del plan detallado del proyecto a los patrocinadores del proyecto. | Informe mensual ejecutivo del proyecto. |
Realizar reuniones técnicas con el equipo de la DIAN, la interventoría, y los proveedores de los demás proyectos de modernización, cuando se considere conveniente por alguna de las partes. | Acta de reunión o ayuda de memoria. |
Realizar demostraciones de la implementación y operación de la solución. | Acta de reunión o ayuda de memoria. |
Realizar eventos de inspección y adaptación. | Informe de inspección y adaptación. |
Esta fase inicia en el mes 3 y se mantiene durante toda la vigencia del contrato.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.1.7. Cierre
En esta fase el PROVEEDOR debe realizar el cierre del contrato, asegurando la verificación de que todas sus obligaciones hayan sido cumplidas, realizar los procesos de empalme con los equipos encargados de recibir la operación, soporte y mantenimiento de la solución del DataR y finalizar los procesos de transferencia de conocimiento, documentación, licenciamientos y activos a que haya lugar. Para esto el PROVEEDOR deberá realizar como mínimo las siguientes actividades:
Actividad | Entregable |
Elaboración y presentación del plan de cierre del contrato. | Plan de actividades para el cierre del contrato. |
Ejecutar los procedimientos y actividades para el cierre del contrato. | Cierre administrativo del contrato. Acta de entrega del soporte y mantenimiento. Acta de entrega de los servicios de gestión. Acta de cierre del contrato. Repositorio documental del proyecto. Base de conocimiento. |
Esta fase se desarrollará en el último mes del contrato.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.2. Pruebas
Dado el tamaño, la complejidad de la solución la DIAN, debe presentarse un plan de pruebas donde se contemplen por lo menos pruebas funcionales, no funcionales, de integración, de seguridad y pruebas de aceptación de usuario (UAT), todas ellas apoyadas en herramientas de automatización de pruebas cuyos scripts formarán parte de los entregables del proyecto, fundamentales para la sostenibilidad de este, a mediano y largo plazo.
Figura 25. Metodología de pruebas
La metodología que se adopte para el desarrollo del repositorio y de todas sus herramientas, debe contemplar el uso de herramientas de automatización de pruebas, se hace imperativo a medida que se avanza en las fases, la cantidad de pruebas automáticas se van incrementando de tal suerte que las pruebas manuales se limiten a los productos implementados en la última fase y vayan quedando incorporadas en los scripts de automatización de pruebas para que en las fases siguientes se realicen a través de la herramienta de manera automática.
Como parte final del proyecto y previo a la puesta en marcha se tiene contemplada una fase de UAT, pruebas de aceptación de usuario, donde se emitirá la certificación de la solución y se tomará la decisión de puesta en producción, una vez se haya verificado el cumplimiento de los criterios de aceptación, tanto por parte de la DIAN como por parte de la Interventoría.
La metodología de pruebas que aquí se describe aplica a los componentes de Repositorio y todas sus herramientas y al proceso de migración de datos históricos, y en este último caso además de esto se debe cumplir con los lineamientos de calidad de datos específicos los cuáles deben ser verificados también durante la etapa de pruebas.
En concordancia con lo anterior se propone que el plan de pruebas integre las siguientes pruebas:
3.5.2.1. Pruebas funcionales
Este tipo de pruebas se centran en validar si el repositorio y todas sus herramientas cumplen con los requerimientos definidos por el usuario, con base en los casos de uso, la legislación vigente, los
parámetros de riesgo y los parámetros de funcionamiento definidos, entre otros, se debe construir el set de pruebas que debe ser aplicado, documentando los resultados obtenidos los cuales pasan a formar parte de los entregables del proyecto.
A medida que se va aplicando el set de pruebas, como una labor paralela, debe construirse el script que va a ser empleado por la herramienta de pruebas automáticas para que en iteraciones posteriores se repitan los mismos escenarios de prueba, sin tener que repetir el proceso manual.
Si se detectan situaciones de “no conformidad” entre el funcionamiento de los componentes de la solución y el funcionamiento esperado, el equipo de trabajo realizará los ajustes necesarios de tal forma que el objetivo del sprint o entrega se cumpla, de no ser así, los casos no corregidos entrarán a formar parte del sprint backlog (en el caso de metodologías iterativas).
Los entregables de estas pruebas son: el set de pruebas ejecutado junto con sus resultados, los defectos hallados y la evidencia de su corrección y los scripts para ser utilizados por la herramienta de automatización de pruebas.
Dentro de los casos de prueba para cada tarea, adicional a la validación de la funcionalidad específica, se debe tener en cuenta:
• Validación de roles y permisos.
• Validación de excepciones, base de datos abajo.
• Parametrización utilizada y casos con modificación de parámetros.
• Tamaños de los campos de entrada y tipo de dato permitido (cuando aplique).
• Escenarios de caída de cada uno de los componentes involucrados y mecanismos de recuperación, validación de transacciones on-fly (transacciones en proceso en el instante de una caída).
En la siguiente ilustración podemos ver el ciclo de pruebas funcionales que se debe seguir en cada sprint o entrega, el costado izquierdo muestra las actividades tendientes a prevenir los defectos y el costado derecho se enfoca en la detección de los que no pudieron ser prevenidos.
Figura 26. Ciclo de pruebas funcionales
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.2.2. Pruebas no funcionales.
Dado que el Repositorio único de datos DataR y todas sus herramientas deben soportar cargas variables (picos y xxxxxx) se deben conocer claramente los límites de carga hasta donde la solución del DataR funciona correctamente y la robustez de la arquitectura para escalar tanto de manera horizontal (más nodos o clústeres) como vertical (incremento de capacidad de un nodo), esto se logra con el diseño de escenarios de carga a través de la herramienta seleccionada para la automatización de pruebas.
Los objetivos de estas pruebas son:
• Determinar tiempos de respuesta en escenarios de alta y baja carga.
• Encontrar los umbrales de saturación los componentes de la solución.
• Validar el funcionamiento de las definiciones implementadas para HA y DRP.
• Conocer los tiempos de migración al centro de cómputo alterno, en caso de tener un esquema de DRP activo-pasivo.
• Determinar la máxima capacidad de operaciones que la solución puede procesar (picos transaccionales).
• Conocer los consumos de memoria, almacenamiento y CPU de la infraestructura involucrada en los diferentes escenarios.
Estos escenarios y sus resultados deben ser documentados y se constituyen en entregables de la solución del DataR.
Los tipos de pruebas no funcionales a adelantar deben comprender: 1- Pruebas de seguridad
2- Pruebas de integración
3- Pruebas de interoperabilidad
4- Pruebas de aceptación de usuario
Estas pruebas deben ser ejecutadas en ambiente de pruebas a lo largo de todo el proyecto de acuerdo con el plan de pruebas, y en la fase de UAT una ejecución final en ambiente de aseguramiento de calidad.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.2.3. Pruebas de seguridad
Estas pruebas hacen parte de las pruebas no funcionales, pero dada su especialidad y relevancia en repositorio y todas sus herramientas se les otorga un capítulo aparte y deberán ceñirse a las especificaciones de controles que identifique el contrato de seguridad de la información, dentro ellas se destacan las pruebas de penetración y ethical hacking.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.2.4. Pruebas de integración
El proceso de pruebas de integración debe incluir la prueba de integración de las herramientas que hacen parte del Repositorio único de datos DataR, e incluir las pruebas necesarias para la integración efectiva de los demás componentes del proyecto de modernización esto es: 1- Nuevo sistema de gestión tributario 2- Nuevo sistema de gestión aduanero 3- Servicios compartidos y Sistema de factura electrónica, lo anterior en correspondencia con la metodología de gestión de integración definida.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.2.5. Pruebas de interoperabilidad
Para las pruebas de interoperabilidad se llevarán a cabo 5 tipos de validaciones de acuerdo con lo siguiente:
• Tipo de datos Interoperabilidad. Se centra en comprobar que los tipos de datos se transfieren de un tipo a otro. No debe haber ninguna inconsistencia de datos cuando los datos se transfieren entre los sistemas.
• Interoperabilidad Semántica. Este tipo se centra en el algoritmo que se utiliza para transferir los datos. Comprueba la semántica que está involucrada y verifica si el algoritmo es confiable o no.
• Interoperabilidad física. Esto verifica si las conexiones entre los dos o más sistemas son correctas o no. Los puertos y cables que se utilizan no deben afectar la velocidad o la velocidad de transferencia.
• Protocolo de interoperabilidad. El protocolo que se utiliza para la transferencia de datos se verifica para garantizar la seguridad de los datos. La suma de control debe estar habilitada para transferir datos sin ningún error.
• Interoperabilidad de formato de datos. El formato en el que se envían y reciben los datos debe ser el mismo en ambos sistemas.
• Casos de uso interoperabilidad. Los casos de uso de interoperabilidad que harán parte del repositorio deberán ser probados para asegurar que la información que ingresa o sale del repositorio sea precisa y confiable y cumpla con la especificación de interoperabilidad dada en el diseño.
Estas pruebas deben incluir las pruebas relacionadas con la plataforma de interoperabilidad que provee el contrato de servicios compartidos.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.2.6. Pruebas de aceptación de usuario (UAT).
El objetivo de las pruebas de aceptación es validar que el repositorio cumple con el funcionamiento esperado y permitir al usuario que determine su aceptación, desde el punto de vista de su funcionalidad y rendimiento. Las pruebas de aceptación son definidas por el usuario de la solución DataR y deben contemplar el 100% de los posibles escenarios que se presentan en ambiente real.
Estas pruebas deben realizarse en el ambiente de aseguramiento de calidad con conectividad real con todos los ambientes de pruebas de los terceros involucrados y empleando ciclos de proceso similares a los que se tienen en circunstancias reales.
Se deben establecer criterios de aceptación los cuales deben cumplirse antes de poder avanzar hacia el paralelo con producción, dentro de dichos criterios deben estar incluidos:
• Ejecución del 100% de los escenarios de prueba.
• Todos los defectos que hayan sido reportados deben estar corregidos y probados a satisfacción.
• Realizar las demostraciones de las soluciones, los talleres de inspección y adaptación (I&A).
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.3. Gestión de integración
La integración con los demás sistemas es un esfuerzo sustancial para que los servicios compartidos funcionen correctamente, no solo de forma individual, sino una vez sea integrado a las demás soluciones. Este proceso requiere un esfuerzo importante para que a lo largo del proceso de
implementación se identifiquen y subsanen todos los potenciales inconvenientes que se presenten, de forma que al momento de llegar a la fase de paralelo todo esté dispuesto para que funcione según lo esperado.
Por lo anterior, el PROVEEDOR deberá coordinar con los demás proveedores de los otros servicios NSGA, NSGT, Sistema de factura electrónica y DATAR la capacidad organizativa para lograr que todas las soluciones alcancen sus objetivos de forma óptima.
En este sentido, el PROVEEDOR deberá definir los elementos de gobernanza y operación requeridos para que la integración funcione correctamente.
En los elementos de gobernanza están:
• Políticas de administración. el PROVEEDOR debe indicar el proceso a seguir para publicar un elemento de integración (API, eventos o servicios). el PROVEEDOR también debe definir la forma en que los demás proveedores podrán monitorear la integración de sus servicios
• Catálogo de APIs, eventos y servicios de integración. el PROVEEDOR debe mantener el catálogo de APIs, eventos y servicios de integración que están disponibles para consumo por parte de cada proveedor. Debe diferenciar en el catálogo lo que está haciendo uso de servicios dummy y lo que está desarrollado.
• Seguimiento. el PROVEEDOR debe hacer seguimiento a que los catálogos se vayan actualizando oportunamente de dummy a servicios desarrollados, con el fin de superar las pruebas de integración correspondientes antes del paralelo
En los elementos de operación están:
• Administración. el PROVEEDOR debe contar con un equipo encargado de revisar las integraciones y sus configuraciones en las herramientas correspondientes.
• Monitoreo. el PROVEEDOR debe aplicar el esquema de monitoreo definido en las políticas de integración, permitiendo a cada uno de los demás proveedores monitorear el comportamiento de cada elemento integrado.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.5.4. Gestión de cambio y transferencia de conocimiento
El PROVEEDOR deberá diseñar y ejecutar una estrategia de gestión de cambio que contemple tres audiencias diferentes, usuarios funcionales y usuarios técnicos de la solución del DataR, así como usuarios de administración; a continuación, se relacionan los aspectos mínimos para cada caso:
● Los usuarios de la solución del DataR que defina la DIAN, luego del proceso de gestión del cambio incluido, deben estar en capacidad de interactuar con la solución de manera que puedan cumplir con las tareas asignadas a cada uno de sus roles en el proceso dentro de los estándares de calidad y oportunidad requeridos.
● El equipo técnico luego de la gestión del cambio por parte del PROVEEDOR debe estar en capacidad de diagnosticar, atender y corregir las situaciones fuera de lo común que se presenten dentro de la operación cotidiana de los componentes tecnológicos de la solución del DataR.
● El equipo de administración luego de la gestión del cambio incluida debe estar en capacidad de monitorear, ejecutar los procesos que sean requeridos, alertar al equipo de soporte ante situaciones anómala y brindar los primeros auxilios a los componentes de la solución del DataR en caso de alguna falla.
Para garantizar la transferencia de conocimiento, el PROVEEDOR debe integrar al equipo de la DIAN (funcional, técnico y de administración o soporte) en las diferentes etapas del proyecto, desde el entendimiento, la implementación y la puesta en producción, hasta la estabilización, el soporte y mantenimiento de la solución del DataR. Así mismo deberá disponer de una herramienta de gestión de conocimiento que deberá estar disponible para todos los participantes en el proyecto durante la vigencia del contrato y entregar a la DIAN en la etapa de cierre del contrato.
El PROVEEDOR deberá realizar sesiones programadas para la transferencia de conocimiento de todos los componentes tecnológicos y servicios de la solución del DataR, una vez liberados.
De igual manera, el PROVEEDOR deberá elaborar la documentación técnica, presentaciones, material de estudio, talleres y otros elementos que permitan realizar de manera efectiva la transferencia de conocimientos, de cada componente de la solución del DataR.
Nota: Teniendo en cuenta que el equipo de la DIAN deberá ser integrado desde la etapa de Entendimiento, el proceso de gestión del cambio se dará por aceptado cuando el equipo de trabajo de la DIAN esté en capacidad de soportar la operación de la solución del DataR de forma autónoma, sin requerir apoyo por parte del PROVEEDOR.
Todos los recursos, herramientas y contenidos necesarios para la ejecución de la estrategia serán responsabilidad del PROVEEDOR y deberán ser coordinados con la DIAN y contar con la debida aprobación previa de la DIAN antes de su ejecución.
Se deberán realizar mediciones periódicas (de acuerdo con la estrategia) para identificar que se cumplieron los objetivos de transferencia de conocimientos o, en su caso, tomar las correspondientes medidas correctivas.
El PROVEEDOR debe capacitar (en idioma español) y certificar mínimo a 20 funcionarios de la entidad, en temas técnicos que incluyan la administración, configuración, operación y actualización de la solución, en especial en las herramientas componentes de la solución y los mecanismos de integración con la solución.
El PROVEEDOR debe capacitar (en idioma español) y certificar mínimo a 100 funcionarios de la entidad, en temas funcionales de la solución implementada que incluyan por lo menos la utilización y actualización de modelos, y uso de las herramientas de consulta dispuestas por el repositorio DataR.
El PROVEEEDOR deberá desarrollar contenidos en objetos virtuales de aprendizaje que se puedan integrar a la plataforma de elearning que la DIAN defina, en cualquier caso, el PROVEEDOR es responsable de ofrecer una plataforma de elearning durante la ejecución del contrato.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.6. Requerimientos de calidad
Los atributos de calidad deben estar alineados con la norma ISO-250107 la cual define una taxonomía para los atributos de calidad de un sistema. Esta taxonomía aplica como marco de referencia para los atributos de calidad esperados por parte de la solución del DataR. Esta xxxxx xxxxxx lo solicitado en la norma ISO 9126.
Estos requerimientos de calidad deben cumplirse en su totalidad y ser verificados por la interventoría como prerrequisito para la aceptación de la solución por parte de la DIAN.
7 Tomado de xxxxx://xxx00000.xxx/xxxxx.xxx/xxxxxx-xxx-00000/xxx-00000
Figura 27: Requerimientos de calidad
3.6.1. Eficiencia
Establecen los umbrales de tiempos y uso de recursos en la ejecución de la solución del DataR, los cuales deben cumplir con los siguientes atributos como mínimo:
• Los servicios de datos no masivos, que forman parte del Repositorio único de datos DataR deben tener un tiempo de respuesta máximo de 500 milisegundos, medidos en el llamado del API Gateway.
• El consumo de CPU no debe sobrepasar el 50% en ninguna de las máquinas físicas o virtuales que formen parte de la infraestructura que soporta el DataR.
• El consumo de memoria no debe sobrepasar el 75% en ninguna de las máquinas físicas o virtuales que formen parte de la infraestructura que soporta el DataR.
Dentro de las características de la solución debe tenerse en cuenta el uso eficiente de los canales de comunicaciones, racionalizando el consumo de ancho xx xxxxx, teniendo en cuenta que en algunas ubicaciones donde el sistema debe operar existen limitantes tecnológicas.
La DIAN proporcionará las características de la red de comunicaciones disponible para la operación de la solución y con base en ellas el PROVEEDOR debe construir el DataR de tal forma que pueda operar cumpliendo los criterios de aceptación, especialmente en lo que respecta a eficiencia.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.6.2. Compatibilidad
Capacidad de dos o más sistemas o componentes para intercambiar información y/o llevar a cabo sus funciones requeridas cuando comparten el mismo entorno hardware o software. Esta característica se subdivide a su vez en las siguientes subcategorías:
• Coexistencia: Grado del producto para coexistir con otro software independiente, en un entorno común, compartiendo recursos comunes sin detrimento.
• Interoperabilidad: Grado de dos o más sistemas o componentes para intercambiar información y utilizar la información intercambiada.
El PROVEEDOR deberá considerar en su propuesta la compatibilidad y características de integración de todos los componentes tecnológicos que conforman la solución del DataR.
El PROVEEDOR podrá ofrecer en su propuesta, componentes tecnológicos independientes para cada componente dentro de la solución del DataR o bien, productos comerciales en forma de suite, o la combinación de ambos, siempre y cuando se cumpla con todas y cada una de las funcionalidades de la solución tecnológica del DataR.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.6.3. Fiabilidad
Establece el grado de confianza para la operación de la solución con mínimo los siguientes criterios:
• El Repositorio único de datos DataR debe tener una disponibilidad de 7x24x365 con un nivel de 99.999%.
• El Repositorio único de datos DataR debe cumplir con las definiciones en lo referente a alta disponibilidad (HA) en su esquema de contenedores y escalabilidad, debe contemplarse en las pruebas UAT y paralelo.
• El Repositorio único de datos DataR debe contemplar un plan de recuperación de desastres (DRP) que permita reiniciar su operación en máximo 20 minutos, debe contemplarse en las pruebas UAT y paralelo.
• El Repositorio único de datos DataR debe contemplar mecanismos de tolerancia a fallos que le permitan seguir operando sin inconvenientes ante un fallo de hardware o software (clusters, versiones anteriores de los componentes), debe contemplarse en las pruebas UAT y paralelo.
• El Repositorio único de datos DataR, ante aumento de la carga transaccional debe poder escalar de manera automática dentro de los umbrales establecidos y una vez se reduce la carga liberar los recursos.
• El Repositorio único de datos DataR debe estar construido para alcanzar un alto nivel de fiabilidad. Esto significa que, durante el diseño, se ha tenido especial precaución en no dejar puntos únicos xx xxxxx, que las capacidades de recuperación sean las más eficiente posibles y la disponibilidad del sistema sea lo más cercano al 100%.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.6.4. Mantenibilidad
Establece las características que permiten que el Repositorio único de datos DataR pueda ser mantenido de forma fácil, sin suspensión de servicio.
• Debe poder realizar los despliegues sin tener que suspender el 100% de la operación, solo debe afectarse como máximo el componente que está siendo desplegado, pudiendo hacerse de manera escalonada en las instancias donde este se encuentre y teniendo la posibilidad de instalar parcialmente (p ej. solo en un contenedor) para verificaciones de funcionalidad y luego masificar la instalación.
• No debe existir más de un componente con el mismo objetivo, deben ser reutilizados.
• La documentación debe ajustarse a las definiciones establecidas para facilitar y disminuir riesgos en el mantenimiento.
Por otra parte, el sistema debe ser construido a partir de una arquitectura propuesta. Por esta razón el aspecto de reusabilidad toma un papel de gran importancia. Los servicios deben ser creados con este fin y además pueden ser consumidos desde cualquier canal promoviendo la reusabilidad.
El DataR debe ser diseñado como una solución modular dividida en componentes funcionales individuales los cuales deben poder ser fácilmente reemplazados, actualizados y probados. Esta actualización está limitada al módulo que se cambia minimizando el impacto en los módulos relacionados. El uso de contenedores de servicios organizados en clúster facilita el cumplimiento de este aspecto.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.6.5. Portabilidad
Establece las características que permiten que el Repositorio único de datos DataR pueda ser transferido entre entornos de hardware o software.
● La construcción del Repositorio único de datos DataR debe realizarse de tal forma que no esté acoplado a ningún software base en particular ni a ninguna infraestructura de hardware y/o base de datos.
● El sistema debe poder operar en nube pública.
● En el diseño del Repositorio único de datos DataR se requiere el uso de tecnologías de manera que el producto final no sea dependiente de una infraestructura particular de hardware.
● El empleo de servicios instalados en contenedores al igual que el uso de herramientas de integración continua, facilita tanto la instalación (total o parcial) del sistema como el reemplazo de uno o más de sus componentes de ser necesario.
● Para la implementación del Repositorio único de datos DataR, el aseguramiento de la calidad se debe tener un enfoque de proceso desde el inicio de la construcción y no meramente una etapa de pruebas cuando la solución ya esté implementada.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.6.6. Niveles de Servicio
Los acuerdos de niveles de servicio son una herramienta que permite vigilar, medir y mantener la calidad de los servicios que integran la solución del DataR, definiendo claramente los niveles de servicio y las reglas que el PROVEEDOR debe cumplir, así como las penalizaciones o deductivas aplicables en caso de incumplimiento.
Las penalizaciones por incumplimiento son acumulables en caso de que no se cumpla con más de uno de los ANS descritos, pero en ningún caso podrá superar el 10% del valor costo del contrato, en este supuesto la DIAN podrá iniciar la aplicación de las cláusulas de incumplimiento al PROVEEDOR.
A continuación, se describen los ANS mínimos requeridos para la ejecución del presente contrato.
3.6.6.1. Solución tecnológica del repositorio
Componente: SOLUCIÓN TECNOLÓGICA DEL REPOSITORIO | ||||
Id | ANS | Fórmula de cálculo | Periodicidad | Etapas en las que aplica |
01 | Cumplimiento con la fecha de puesta en producción de la Solución tecnológica del repositorio. Nota: Con todos los componentes tecnológicos que la integran. | D = Número de días de retraso con respecto a la fecha límite de puesta en producción de la solución tecnológica del repositorio del DataR, establecida en el plan de trabajo. | Única | Entrada en producción |
02 | Defectos presentados en producción durante los periodos de estabilización y garantía. | DP= Número de defectos presentados en producción en los periodos de estabilización y garantía y registrados en la herramienta de gestión del proyecto. | Mes | Estabilización y garantía. |
03 | Tiempo corrección de defectos presentados en producción, durante los periodos de estabilización y garantía. | I= Tiempo de atención, es el tiempo transcurrido desde la notificación al proveedor por el canal establecido y la asignación que este haga de recurso humano para atenderlo. J=Tiempo de solución, es el tiempo transcurrido desde la notificación al proveedor por el canal establecido y la solución del incidente. | Mes | Estabilización y garantía. |
04 | Tiempo de atención de incidentes y problemas en la operación de la solución tecnológica del repositorio, durante los períodos de estabilización y garantía. | I= Tiempo de atención, es el tiempo transcurrido desde la notificación al proveedor por el canal establecido, misma que generará un registro (huella de hora) en la herramienta tecnológica de gestión del proyecto. J= Tiempo de solución, es el tiempo transcurrido desde el registro en la herramienta tecnológica y la solución del incidente. El nivel de servicio se medirá en el ambiente productivo. | Mes | Estabilización y garantía. |
05 | Tiempo de atención de incidentes y problemas en la operación de la solución tecnológica del repositorio. | I= Tiempo de atención, es el tiempo transcurrido desde la notificación al proveedor por el canal establecido, misma que generará un registro (huella de hora) en la herramienta tecnológica de gestión del proyecto. | Mes | Soporte y mantenimiento. |
J= Tiempo de solución, es el tiempo transcurrido desde el registro en la herramienta tecnológica y la solución del incidente. El nivel de servicio se medirá en el ambiente productivo. | ||||
06 | Disponibilidad del servicio, medida en términos porcentuales, como el tiempo en que un componente del servicio cumple con sus especificaciones de operación, con respecto al total del tiempo disponible planificado. | Disponibilidad = 100 * ( TRO / TTM – TFPO) En donde TRO es el tiempo real de operación, TTM el tiempo total mensual, TFO el tiempo fuera de operación, TPFO el tiempo fuera. | Mes | Estabilización, garantía y soporte y mantenimiento. |
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.6.6.2. Migración de datos históricos
Componente: SERVICIO DE MIGRACIÓN DE DATOS HISTÓRICOS | ||||
Id | ANS | Fórmula de cálculo | Periodicidad | Etapas en las que aplica |
07 | Cumplimiento con la fecha de puesta en producción de la solución y mecanismos de migración/virtualización. | D = Número de días de retraso con respecto a la fecha límite de puesta en producción de la solución y mecanismos de migración/virtualización, establecida en el plan de trabajo. | Única | Implementación de mecanismos de migración/virtualización. |
08 | Defectos presentados en durante el periodo de pruebas y estabilización de la solución y mecanismos de migración/virtualización. | DP= Número de defectos presentados en el periodo de pruebas y estabilización, registrados en la herramienta de gestión del proyecto. | Mes | Pruebas y estabilización. |
09 | Tiempo corrección de defectos presentados durante el periodo pruebas y estabilización de la solución y mecanismos de migración/virtualización. | I= Tiempo de atención, es el tiempo transcurrido desde la notificación al proveedor por el canal establecido y la asignación que este haga de recurso humano para atenderlo. J=Tiempo de solución, es el tiempo transcurrido desde la notificación al proveedor por el canal establecido y la solución del incidente. | Mes | Pruebas y estabilización. |
10 | Tiempo de atención de incidentes y problemas durante | I= Tiempo de atención, es el tiempo transcurrido desde la notificación al proveedor por el canal | Mes | Estabilización. |
el periodo de estabilización de la solución y mecanismos de migración/virtualización. | establecido, misma que generará un registro (huella de hora) en la herramienta tecnológica de gestión del proyecto. J= Tiempo de solución, es el tiempo transcurrido desde el registro en la herramienta tecnológica y la solución del incidente. El nivel de servicio se medirá en el ambiente productivo. | |||
11 | Tiempo de atención de incidentes y problemas en la operación de la solución y mecanismos de migración/virtualización. | I= Tiempo de atención, es el tiempo transcurrido desde la notificación al proveedor por el canal establecido, misma que generará un registro (huella de hora) en la herramienta tecnológica de gestión del proyecto. J= Tiempo de solución, es el tiempo transcurrido desde el registro en la herramienta tecnológica y la solución del incidente. El nivel de servicio se medirá en el ambiente productivo. | Mes | Virtualización y Migración. |
12 | Disponibilidad del servicio, medida en términos porcentuales, como el tiempo en que un componente del servicio cumple con sus especificaciones de operación, con respecto al total del tiempo disponible planificado. | Disponibilidad = 100 * (TRO / TTM – TFPO) En donde TRO es el tiempo real de operación, TTM el tiempo total mensual, TFO el tiempo fuera de operación, TPFO el tiempo fuera. | Mes | Virtualización y Migración. |
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.6.6.3. Servicios de gestión de datos
Componente: SERVICIOS DE GESTIÓN DE DATOS | ||||
Id | ANS | Fórmula de cálculo | Periodicidad | Etapas en las que aplica |
13 | Cumplimiento con la fecha de entrega de diseño de procesos y procedimientos de los servicios de gestión de datos. | D = Número de días de retraso con respecto a la fecha límite de entrega de diseño de procesos y procedimientos de los servicios de gestión de datos, establecida en el plan de trabajo. | Única | Diseño de procesos. |
14 | Defectos presentados en durante la operación y entrega de servicios de gestión de datos. | DP= Número de defectos presentados en el periodo de operación y entrega de servicios, registrados en la herramienta de gestión del proyecto. | Mes | Operación y entrega de servicios. |
15 | Tiempo de atención de defectos, incidentes y problemas en la operación y entrega de servicios de gestión de datos. | I= Tiempo de atención, es el tiempo transcurrido desde la solicitud al proveedor por el canal establecido, registrado en la herramienta tecnológica de gestión del proyecto. J= Tiempo de solución, es el tiempo transcurrido desde el registro en la herramienta tecnológica y la solución del defecto, incidente o problema. | Mes | Operación y entrega de servicios. |
16 | Cumplimiento del tiempo de atención de solicitudes de productos de información. | I= Tiempo de atención, es el tiempo transcurrido desde la solicitud al proveedor por el canal establecido, registrado en la herramienta tecnológica de gestión del proyecto. J= Tiempo comprometido para la entrega del producto de información. H= Diferencia entre el tiempo comprometido y el tiempo real de la entrega del producto de información. | Mes | Entrega de servicios. |
17 | Entrega de informes de monitoreo de Servicios de gestión de datos. | D = Número de días de retraso en la entrega del informe de monitoreo de servicios de gestión establecido en el presente documento. | Semanal | Entrega de servicios. |
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.6.6.4. ANS comunes para los tres componentes
Componente: TODOS LOS SERVICIOS | ||||
Id | ANS | Fórmula de cálculo | Periodicidad | Etapas o componentes en las que aplica |
18 | Cumplimiento en las entregas de documentación y entregables. | E= (Número de entregas realizadas/Número de entregas planificadas) * 100 ocurridos durante | Mes | Todas las etapas definidas en el numeral 3.4.1. |
el periodo, y registrados en la herramienta de gestión del proyecto. | ||||
19 | Calidad de los entregables. | C= Número de devoluciones o ajustes a entregables efectuados durante el periodo y registrados en la herramienta de gestión del proyecto. | Mes | Todas las etapas definidas en el numeral 3.4.1. |
20 | Índice de mejora del cumplimiento de ANS global. | K= Número de SMMLV determinados como penalización el mes anterior. J= Numero de SMMLV determinados como penalización el mes actual. I = J – K | Mes | Todas |
Notas.
1. Un evento será considerado como realizado satisfactoriamente cuando la DIAN confirme la ejecución de actividades y se compruebe la funcionalidad del servicio, proceso o componente implementado, así como la recepción de los entregables asociados al evento, hito o servicio.
2. Defectos, Incidencias y Problemas. Para efecto de la revisión del cumplimiento de los Niveles de Servicio descritos en las tablas previas, se debe entender por “defecto” cualquier diferencia identificada entre la arquitectura y las funcionalidades definidas para la solución (en el presente documento) y la solución implementada y liberada a producción.
3. La DIAN, a través de su Centro de Gestión de Proyectos, definirá los procesos para la gestión de ANS. El PROVEEDOR implementará una herramienta tecnológica para la recepción y registro de las solicitudes de atención de incidentes, problemas y solicitudes de servicios de información (numeral 3.1.1.5.9), que brindarán información como insumo para la medición de los Niveles de Servicio.
4. La determinación de las penalidades se realizará con base en la información y fórmulas descritas en el cuadro anterior. El PROVEEDOR aceptará en el contrato correspondiente que los importes que resulten de la aplicación de las penalidades se descontarán de los pagos a cargo de la DIAN que se encuentren activos en los periodos durante la vigencia del contrato, sin perjuicio de las garantías que se constituyan como parte del proyecto.
Cumplimiento (F,P,N) | Descripción de solución y comentarios |
3.7. Equipo de trabajo
El PROVEEDOR deberá presentar a la DIAN un esquema que describa la organización de su equipo de trabajo y los roles que lo integrarán, a fin de garantizar la entrega y el desarrollo de las actividades definidas en el plan de trabajo, numeral 3.4.1.
Cada equipo de trabajo deberá contar con líderes técnicos para el seguimiento detallado de las actividades de los planes de trabajo, en cada una de las etapas del contrato.
El PROVEEDOR deberá presentar la documentación que avale la capacidad técnica y experiencia de su personal, de acuerdo con los roles y actividades a desempeñar. El PROVEEDOR deberá presentar certificaciones, hojas de vida con experiencia comprobable, cursos oficiales, entre otros, para cada elemento de su equipo de trabajo.
La DIAN se reservará el derecho de comprobar la experiencia de los trabajadores que el
PROVEEDOR incluya en su equipo para la implementación y entrega de los servicios.
La conformación del equipo de trabajo del PROVEEDOR para el presente contrato deberá estar constituida por dos grandes grupos, un equipo base con responsabilidades transversales, que debe permanecer a lo largo de todo el proyecto y un equipo variable que se integra de acuerdo con las necesidades de cada una de las fases del proyecto.
3.7.1. Equipo base
El PROVEEDOR deberá contar con personal especialista para desarrollar las actividades inherentes a los productos y servicios contenidos en el contrato, asegurando la implementación, operación y soporte de la solución del DataR. El equipo de trabajo fijo deberá estar compuesto por al menos:
• Un representante del nivel ejecutivo
• Un gerente de contrato
• Un gerente de gestión de proyectos y procesos
• Un líder de gestión del cambio
Las personas que integren este equipo desde el inicio del proyecto permanecerán durante la vigencia de este y no podrá ser modificado unilateralmente por el PROVEEDOR. En caso de que el PROVEEDOR quiera realizar un cambio de persona o de rol deberá contar con la autorización expresa de la DIAN, debiendo acreditar, además de la formación y la experiencia requerida, la forma en que será transferido el conocimiento de la persona saliente a la persona entrante.
La DIAN podrá solicitar el cambio de persona o rol en cualquier momento del proyecto cuando a su juicio, el desempeño, comportamiento, acciones u omisiones de la persona o rol estén afectando el desarrollo del proyecto, esto sin perjuicio de otras acciones establecidas en el contrato y en la legislación.
Las responsabilidades mínimas transversales del equipo son las siguientes, sin limitarse a:
• Coordinar a los equipos de trabajo para lograr los objetivos y alcance del proyecto dentro de los parámetros técnicos, funcionales y metodológicos establecidos en este documento.
• Garantizar el cumplimiento de las fechas establecidas dentro de los planes de trabajo.
• Determinar, monitorear, administrar y mitigar los riesgos del proyecto.
• Coordinar con los demás contratos señalados en el numeral 3 del presente documento que se ejecutan en paralelo, para no generar impacto negativo en los planes de trabajo tanto del presente proyecto como de los demás contratos.
• Realizar la planificación detallada para el desarrollo del proyecto conforme a las etapas, actividades, obligaciones y duración establecidas para cada una.
• Garantizar la alineación arquitectónica de las soluciones.
• Determinar el diseño técnico de la solución del DataR y los diseños particulares de los componentes que la integran, dentro de los lineamientos arquitectónicos, técnicos y tecnológicos.
• Velar por el funcionamiento adecuado de los ambientes de trabajo requeridos para la construcción o adaptación del proyecto.
• Mantener actualizada la herramienta de gestión del proyecto de acuerdo con las responsabilidades de cada uno de los miembros del equipo.
• Elaborar el plan de pruebas para todos los componentes de la solución del DataR, de acuerdo con las definiciones del numeral 3.4.2. del presente documento.
• Garantizar la calidad de los entregables y vigilar el cumplimiento de los ANS.
• Administrar los equipos de trabajo, fijo y variable, sugerir cambios de miembros de este o solicitar la inclusión de recursos adicionales de acuerdo con las fases y necesidades del proyecto.
• Adelantar el plan de gestión del cambio de acuerdo con lo establecido en este documento.
• Coordinar y vigilar la ejecución de los servicios adicionales que la DIAN solicite.
• Atender las recomendaciones de la DIAN y del equipo de interventoría
• Elaborar y presentar los informes de seguimiento de proyecto.
A continuación, se describen los roles y perfiles profesionales mínimos requeridos para el equipo de trabajo del PROVEEDOR, así sus responsabilidades generales, de manera enunciativas más no limitativa:
Gerencia de contrato | |
Rol | Responsabilidades |
Representante del nivel ejecutivo | Facilitar la toma de decisiones a alto nivel en el marco del proyecto. Interactuar con la alta dirección de la DIAN y de los organismos nacionales involucrados en el proyecto. Facilitar la disposición de los recursos necesarios para la ejecución exitosa del proyecto. Coordinar los trabajos del equipo para llevar información de valor, calidad y en tiempo a la alta Dirección de la DIAN Gestionar en forma centralizada y difundir a los involucrados en el proyecto de todo el conocimiento generado durante el mismo. Participar activamente y fortalecer el ecosistema de Gestión del Proyecto en la DIAN Medir el rendimiento e impacto el trabajo de cada uno de los equipos de trabajo. |
Gerente de contrato | Responsable del seguimiento de las obligaciones contractuales por parte del PROVEEDOR. Mantendrá comunicación constante con el equipo de la DIAN para todo lo relacionado con la gestión administrativa y financiera del contrato. Seguimiento a los planes de trabajo y actividades técnicas de su equipo, para la implementación y entrega de los componentes y servicios del DataR. Capacidades de gestión, negociación, conciliación y desarrollo de estrategias. |
Gestión de proyectos y procesos | |
Rol | Responsabilidades |
Gerente de gestión de proyectos y procesos (Project Manager) | Seguimiento a los planes de trabajo para la implementación de los componentes tecnológicos y servicios del DataR. Facilitador de recursos para el equipo de trabajo del PROVEEDOR y encargado del seguimiento de proyecto con el personal del contrato de la DIAN. |
Gestión de cambio | |
Rol | Responsabilidades |
Líder de Gestión del Cambio | Elaboración y seguimiento al plan de gestión del cambio de acuerdo con lo establecido en este documento. |
3.7.2. Equipo variable
Como parte de los alcances de las etapas de planeación y entendimiento el PROVEEDOR deberá integrar y definir el equipo de trabajo requerido para cada una de las etapas del proyecto, así como todos los perfiles detallados que sean necesarios para poder cumplir con los objetivos y alcance del proyecto con los niveles de calidad esperados, quienes tendrán como mínimo las siguientes responsabilidades, sin limitarse a éstas:
• Cada miembro del equipo debe cumplir con las tareas asignadas cumpliendo con los requerimientos de calidad y tiempo establecidos.
• Trabajar con el equipo transversal para realizar la planeación de actividades.
• Colaborar con los arquitectos de todos los dominios, utilizar las mejores prácticas de diseño e implementación de los componentes tecnológicos y de procesos de gestión de datos que conforman la solución del DataR.
• Gestionar los cambios de la implementación de la solución.
• Ejecutar pruebas de aceptación y mantener la documentación de evidencia.
• Atender los incidentes que se presenten en las diferentes etapas del proyecto dentro de los ANS establecidos.
• Brindar el soporte preventivo y correctivo para el funcionamiento satisfactorio del sistema.
• Transferir el conocimiento tanto técnico, funcional y operativo al equipo designado por la DIAN.
• Mantener actualizada la herramienta de gestión del proyecto de acuerdo con las responsabilidades de cada uno de los miembros del equipo.
• Realizar los diferentes tipos de pruebas a todos los componentes de la solución del DataR, de acuerdo con el plan establecido.
• Planear, diseñar y ejecutar los planes de trabajo para los servicios adicionales que la
DIAN como parte del acompañamiento consultivo.
Los equipos de proyecto definidos para cada fase deberán estar disponibles como mínimo quince días antes del inicio de la etapa en la que participarán.
La definición e integración de los integrantes del equipo variable, así como su incorporación a las distintas fases del proyecto, es responsabilidad del PROVEEEDOR. La DIAN podrá solicitar el cambio de persona en un rol específico, en cualquier momento del proyecto cuando a su juicio el desempeño, comportamiento, acciones u omisiones de la persona o rol estén afectando el desarrollo del proyecto, esto sin perjuicio de otras acciones establecidas en el contrato y en la legislación.
A continuación, se relacionan una serie de roles, con sus responsabilidades, que pueden involucrarse en la conformación del equipo de trabajo, de acuerdo con la fase en que participan:
Equipo de trabajo para la solución DataR
Rol | Responsabilidades |
Arquitecto de datos | Diseño de planes y estrategias para integrar, centralizar y mantener todos los datos, comprendiendo todas las fuentes de datos y su relación con las operaciones de la entidad. Diseñar lógicamente las bases de datos y almacenes de datos, así como los flujos de datos e información entre componentes de la solución. Sus actividades pueden incluir el diseño de bases de datos y almacenes de datos, el desarrollo de estrategias para la adquisición de datos, la recuperación de archivos, la limpieza y el mantenimiento de las bases de datos mediante procesos de limpieza y calidad de datos. |
Ingeniero de datos | Diseño e implementación de herramientas, motores y componentes de la solución del DataR. Instalación, configuración, planeación de capacidades e implementación de tareas de datos. Planeación y diseño de esquemas de copias de seguridad (backups) y sistemas de recuperación ante desastres. |
Analista de datos | Análisis de datos e información. Obtención de información analítica de todas las fuentes de datos de la entidad, para su análisis, modelado y explotación. |
Especialista inteligencia de negocios y analítica | Implementación de herramientas para inteligencia de negocios, analítica y ciencias de datos. Liderar actividades y tareas de inteligencia de negocios y analítica de datos, basado en sus conocimientos solidos de bases de datos, tecnologías BigData, lenguajes para la extracción y análisis de datos, minería de datos y analítica. Diseño de soluciones para la visualización, modelado y análisis descriptivos, predictivos y prescriptivos de datos, para la mejor toma de decisiones y colaboración con la DIAN en proyectos específicos de analítica de datos. |
Especialista en seguridad de la información | Diseño, implementación y vigilancia de los esquemas de seguridad en la solución del DataR. |
Rol | Responsabilidades |
Colaboración y comunicación con el proveedor del contrato de seguridad y los especialistas de seguridad informática de la DIAN, para la definición de políticas de seguridad y su aplicación en la solución del DataR. | |
Especialista en arquitectura y servicios de nube | Diseño de requerimientos de servicios en la nube, para los componentes y servicios del DataR, los cuales serán provistos por el contrato de Multinube híbrida de la DIAN. Monitoreo de las capacidades de los servicios para la solución del DataR en la nube y definición de umbrales para garantizar su operación. Diseño y definición de los requerimientos de Blueprints (modelos) para los componentes y soluciones de analítica de grandes datos. Colaboración y comunicación con el proveedor del contrato de Multinube híbrida y con los especialistas de servicios en la nube de la DIAN, para la definición de requerimientos para la solución del DataR. |
Especialista en soluciones de integración de datos y procesos de Calidad de datos. | Diseño e implementación de los procesos de integración de datos y procesos de calidad de datos. Diseño de estrategias para los procesos de calidad de datos, a lo largo del ciclo de vida de los datos. |
Especialista en soluciones de Virtualización de datos. | Diseño, implementación y soporte de la solución de Data Virtualization. Diseño de estrategias para la integración de Data Virtualization a la arquitectura tecnológica del DataR, para integración, migración, transformación, abstracción y gestión de datos. |
Analista en Modelado de Datos | Construcción de los modelos de datos correspondientes a la implementación del Repositorio único de datos DataR. Migración de los modelos de datos existentes al componente respectivo en el Repositorio único de datos DataR, cuando aplique. |
Ingeniero de Pruebas | Elaboración del plan de pruebas para migración o virtualización de información. Implementación de scripts de automatización de pruebas de validación de migración o virtualización de información. Ejecución del plan de pruebas para migración o virtualización de información histórica. |
Analista seguridad | Responsables de la ejecución de las pruebas de seguridad para la solución. De igual forma, entregarán recomendaciones de mejora e interactuará con los responsables de seguridad de los diversos contratos para coordinar esfuerzos y actividades de integración. |
Equipo de trabajo para migración de datos históricos
Rol | Responsabilidades |
Arquitecto de datos | Diseño de planes y estrategias para migración de información histórica. Diseñar lógicamente las bases de datos y almacenes de datos adicionales requeridas, así como los flujos de datos e información entre componentes de la solución. |
Especialista en soluciones de Virtualización de datos. | Diseño, implementación y soporte de la solución de Data Virtualization para incorporación de información histórica al repositorio. Diseño de estrategias para la integración de Data Virtualization a la arquitectura tecnológica del DataR, para integración, migración, transformación, abstracción y gestión de datos históricos. |
Especialista en soluciones de integración de datos y procesos de Calidad de datos. | Diseño e implementación de los procesos de integración de datos históricos y procesos de calidad de datos. Diseño de estrategias para los procesos de calidad de datos, a lo largo del ciclo de vida de los datos. |
Ingeniero de Pruebas | Elaboración del plan de pruebas para migración o virtualización de información histórica. Implementación de scripts de automatización de pruebas de validación de migración o virtualización de información histórica. Ejecución del plan de pruebas para migración o virtualización de información histórica. |
Equipo de trabajo para servicios de gestión de datos
Rol | Responsabilidades |
Especialista de procesos de gestión de TI | Implementación de procesos de la Mesa de servicios, incidentes, problemas y seguimiento a requerimientos y solicitudes de información al DataR. Implementación de los procesos de servicios de información. |
Especialista en gestión de datos | Diseño e implementación de los procesos de gestión de datos, para datos maestros y metadatos. Diseño de flujos de datos y gestión de ciclo de vida de los datos. |
Especialista en gestión de calidad de datos | Diseño e implementación de los procesos de gestión de calidad de datos en las diferentes etapas del ciclo de vida de los datos. |
Especialista en gestión documental | Diseño e implementación de los procesos de gestión de contenido en el Repositorio único de datos DataR. |
Especialista en operación servicios de nube | Monitoreo de las capacidades de los servicios para la solución del DataR en la nube y definición de umbrales para garantizar su operación. Colaboración y comunicación con el proveedor del contrato de Multinube híbrida y con los especialistas de servicios en la nube de la DIAN, para la definición y atención de requerimientos para la solución del DataR en operación. |
Especialista en operación soluciones de Virtualización de datos. | Monitoreo y soporte de la solución de Data Virtualization para incorporación de información al repositorio. Monitoreo y soporte a los servicios de Data Virtualization prestados por el Repositorio único de datos DataR. |
Especialista en soluciones de integración de datos y procesos de Calidad de datos. | Monitoreo y soporte de los procesos de integración de datos históricos y procesos de calidad de datos. |
Equipo de trabajo gestión de integración
Rol | Responsabilidades |
Líder de integración de sistemas | Responsable de interactuar con los responsables técnicos de los contratos de desarrollo de los nuevos sistemas de gestión de aduanas (NSGA), tributario (NSGT) y servicios compartidos (SC), a fin de coordinar las actividades de integración de la solución del DataR con los nuevos desarrollos. |
Analista de negocio | Enlace a nivel de negocio en los procesos de integración del Repositorio único de datos DataR con los desarrollos de los nuevos sistemas de gestión de aduanas (NSGA), tributario (NSGT) y servicios compartidos (SC), y con los responsables de ajustes al Sistema de factura electrónica. |
Arquitecto/diseñador de base de datos | Responsable de interactuar con los especialistas técnicos de los contratos de desarrollo de los nuevos sistemas de gestión de aduanas (NSGA), tributario (NSGT) y servicios compartidos (SC), a fin de coordinar las actividades de diseño, creación y adecuación de BDs en la solución del DataR, para consumo y utilización de los nuevos sistemas. |
Especialista en desarrollo de interfaces | Responsable de interactuar con los especialistas técnicos en interfaces de los contratos de desarrollo de los nuevos sistemas de gestión de aduanas (NSGA), tributario (NSGT) y servicios compartidos (SC), a fin de coordinar las actividades de diseño, creación y adecuación de interfaces con la solución del DataR, para consumo y utilización de los nuevos sistemas. |
Equipo de gestión de cambio y transferencia de conocimiento
Gestión de cambio y transferencia de conocimiento | |
Rol | Responsabilidades |