Contract
1 - Título da Demanda
CONTROLADORIA-GERAL DA UNIÃO ESTUDO TÉCNICO PRELIMINAR
Renovação de Serviço: Suporte e direito de atualização do software de Virtualização VMware.
SEÇÃO I
DESCRIÇÃO DA NECESSIDADE
2 - Necessidade do Negócio
Tendo em vista o fim da vigência do contrato nº 28/2016 em 29/12/2019, faz-se necessária nova contratação para garantir o suporte e direito de atualização do software de virtualização do ambiente de produção da CGU, atualmente fornecido por solução da fabricante VMWare, conforme apresentado no estudo detalhado da Seção VI – item 1.2.
A não renovação, do suporte e direito de atualização das licenças de virtualização, eleva o risco de indisponibilidade de diversos sistemas e soluções informatizados, que são críticos para área de negócio da CGU.
A solução de virtualização é uma solução de fundamental importância para a Organização, pois suporta toda a infraestrutura dos principais serviços e sistemas que apoiam a execução das atividades finalísticas da CGU, de forma a garantir o atingimento de sua missão institucional. Logo, o suporte para garantir a disponibilidade e o direito de atualização dos produtos desta solução deve ser tratado como serviço continuado.
São exemplos de sistemas e serviços internos que funcionam sobre a infraestrutura de virtualização: Servidor de Arquivos, Videoconferência, Telefonia IP, e-SIC, e- OUV, CEIS, entre outros.
SEÇÃO II
REQUISITOS DA SOLUÇÃO
3 - Requisitos de Negócio
Com fins de suportar as necessidades de negócio, descritas no item 2, a CGU atualmente faz uso de software de virtualização que suporta a carga de mais de 400 máquinas virtuais que compõem a infraestrutura do ambiente crítico de produção da maioria dos sistemas e serviços que atendem ao público interno e externo da CGU/DF.
Diante dos fatos acima elencados, esta renovação da Solução Virtualização deverá atender aos seguintes requisitos de negócio: A solução deverá estar em funcionamento a partir da data 30/12/2019;
Garantir o suporte do ambiente crítico de produção de virtualização com suporte oficial do fabricante da solução 24 x 7.
Conforme recomendações do estudo detalhado da Seção VI – item 6.1.4, projetamos um cenário de unificação de datacenters, com a redução de clusters e consequentemente a redução do número de sockets do nosso ambiente de virtualização on-premises para os próximos anos. A partir desta contratação, iniciaremos a primeira transição entre estes cenários.
A renovação da Solução deverá atender também aos seguintes requisitos de negócio: Prover suporte por 12 meses renováveis mais duas vezes por igual período;
Downsizing do ambiente on-premises, reduzindo o número de licenças com suporte para 60 sockets.
4 - Requisitos Tecnológicos
Além dos requisitos de negócio citados acima, a solução deverá atender aos principais requisitos técnicos elencados: Requisitos Técnicos Gerais listados no estudo detalhado da Seção VI – item 2.1;
Compatibilidade com solução de Backup:
O serviço de backup é crítico para a Organização, por isso a solução de virtualização deverá possuir compatibilidade com a atual solução de backup de Máquinas Virtuais do ambiente da CGU, IBM Spectrum Protect, conforme Termo Aditivo do Contrato 46/2017;
De acordo com o site do fabricante (IBM Spectrum Protect® for Virtual Environments - All Requirements Doc, 2019), a última versão (8.1.8) e anteriores, somente são compatíveis com duas soluções de virtualização: VMWare e Microsoft Hyper-V;
Compatibilidade com a solução de Anti-spam:
serviço de Anti-Spam, utilizado na CGU atualmente através do contrato 37/2017, é fornecido através do produto da Trend InterScan Messaging Security Virtual Appliance (IMSVA) e, de acordo com o site do fabricante (TREND IMSVA, 2016), possui como requisitos as soluções de virtualização: VMWare e Microsoft Hyper-V;
Compatibilidade com a solução de Suporte Remoto Terceirizado:
serviço de suporte remoto terceirizado, utilizado na CGU atualmente através do contrato 44/2018, é fornecido pela ferramenta do Bomgar, instalado através de Server Appliance (.ova), e de acordo com o site do fabricante (Bomgar, 2019) apenas possui compatibilidade com as soluções de virtualização: VMWare e Microsoft Hyper-V;
Compatibilidade com a solução de Telefonia IP:
O serviço de telefonia IP é crítico para a Organização e é fornecido para a CGU através do produto da Avaya Aura (atualmente na versão 7), contrato nº 35/2018, que, de acordo com o site do fabricante (AVAYA, 2019), possui como requisito as soluções de virtualização VMWare e, somente a partir da versão 8.0.1, Microsoft Hyper-V;
Compatibilidade com a solução de Videoconferência:
O serviço de videoconferência é crítico para a Organização e o suporte do fabricante para a parte virtualizada desta solução, utilizada pela CGU através do contrato nº 31/2017, possui compatibilidade com as seguintes soluções de virtualização, conforme elencado abaixo:
Cisco Vbrick DME: suporta tanto o Hypervisor VMWare ESXi como o Micrososft Hyper-v, conforme documentação oficial do fabricante (CISCO Vbrick, 2016);
Cisco Meeting Management (CMM): suporta apenas o Hypervisor VMWare ESXi, conforme item 2.2 da documentação oficial do fabricante (Cisco Meeting Management 2.5, 2018);
Cisco Meeting Server: suporta apenas o VMWare, pois a partir da versão 2.4 não suporta mais a plataforma de virtualização do Microsoft Hyper- V, conforme documentação oficial do fabricante (Cisco Meeting Server Release 2.5.0, 2019);
Cisco VCS Control: suporta apenas o Hypervisor VMWare ESXi, conforme documentação oficial do fabricante (CISCO VCS Control, 2019); Compatibilidade com a solução de Gerenciamento de Switches:
O software de gerenciamento do hardware de switches do contrato nº 46/2018 é crítico para a Organização e o suporte do fabricante à solução HPE IMC possui compatibilidade com as seguintes soluções de virtualização: VMware vSphere, Microsoft Hyper-V, Citrix Xen e KVM.
As informações acima se encontram sintetizadas na Tabela 5 do estudo detalhado da Seção VI – item 1.1.
5 - Resumo dos Requisitos
Requisitos | ||
#ID | Nome Curto | Descrição |
1 | Suporte Oficial do Fabricante, 24 x 7, por 12 meses | Possuir suporte oficial do fabricante, 24x7x365, por 12 meses apenas. |
2 | Downsizing do ambiente de hardware on-premises. | Solução deverá estar aderente a proposta de downsizing do ambiente on-premises, conforme co (a). |
3 | Requisitos Técnicos Gerais. | Solução deve atender aos principais requisitos Técnicos Gerais de uma solução de virtualização 2.1. |
4 | Compatibilidade com solução de Backup. | Solução deverá ser compatível com o suporte da atual da solução de Backup contratada pela CG |
5 | Compatibilidade com a solução de AntiSpam. | Solução deverá ser compatível com o suporte da atual da solução de Anti-spam contratada pela |
6 | Compatibilidade com a solução de Suporte Remoto Terceirizado. | Solução deverá ser compatível com o suporte da atual da solução de Suporte Remoto Terceiriza |
7 | Compatibilidade com a solução de Telefonia IP. | Solução deverá ser compatível com o suporte da atual da solução de Telefonia IP pela CGU. |
8 | Compatibilidade com a solução de Videoconferência. | Solução deverá ser compatível com o suporte da atual da solução de Videoconferência contrata |
9 | Compatibilidade com a solução de Gerenciamento de Switches. | Solução deverá ser compatível com o suporte da atual da solução de Gerenciamento de Switche |
SEÇÃO III
ANÁLISE DE SOLUÇÕES
6 - Levantamento de Possíveis Soluções:
Solução 1: Renovação do Suporte do atual software de virtualização VMWare VSphere Enterprise Plus with Operations Manager (VSOM) para 60 (sessenta) sockets e 01 (uma) instância do VMware vCenter Server 6 Standard for vSphere.
Descrição da solução: Renovação do suporte técnico do tipo production 24 x 7 e direito de atualização para 01 (uma) instância do VMware vCenter Server 6 Standard for vSphere 6 e para 60 (sessenta) sockets das licenças atuais da CGU VMWare VSphere Enterprise Plus with Operations Manager (VSOM):
vSphere 6 Enterprise Plus for 1 processor
VMware vRealize Operations 7 Standard (Per CPU)
Abdicação do suporte de 4 hospedeiros (16 sockets) – na Sede/DF, conforme conclusões do estudo detalhado da Seção VI – item 6.1.4.
Solução 2: Aquisição de Upgrade de 60 (sessenta) sockets do atual software de virtualização, VMWare VSphere Enterprise Plus with Operations Manager (VSOM), para o VCloud Suite Advanced (VCLOUD) e contratação de Suporte para 60 (sessenta) sockets e uma instância do VMware vCenter Server 6 Standard for vSphere 6.
Abdicação do suporte de 4 hospedeiros (16 sockets) – na Sede/DF, conforme conclusões do estudo detalhado da Seção VI – item 6.1.4.
Solução 3: Migração do VMWare VSphere Enterprise Plus with Operations Manager (VSOM) para o Microsoft Hyper-V e System Center 2019.
Contratar um aditivo às atuais licenças do tipo subscrição no atual contrato com a Microsoft, conforme estudo detalhado da Seção VI – item 4.5, ou prever as novas licenças na nova contratação de produtos da Microsoft, e executar a Migração da atual solução de virtualização, VMWare VSphere Enterprise Plus with Operations Manager (VSOM), pelo Microsoft Hyper-V e System Center 2019, com contratação adicional de horas com o Suporte Premier.
Solução 4: Utilização de ambiente de virtualização híbrido Microsoft Hyper-V e VMWare na CGU/DF.
Segregar os atuais clusters de produção VMWare Sede e IDC, conforme definidos no estudo detalhado da Seção VI – item 1, e utilizar a solução de virtualização do
Microsoft Hyper-V, sem o System Center, disponibilizada pelo licenciamento adquirido com o Windows Server DataCenter, conforme estudo detalhado da Seção VI
– item 4.1, e migrar as máquinas Windows para a solução Microsoft Hyper-V.
Solução 5: Licitação aberta para soluções de mercado.
Migração da atual solução de virtualização por outra solução de mercado, que atenda às necessidades da CGU. As demais soluções entre as líderes de mercado, segundo o Gartner, são:
I. Citrix XenServer;
II. Oracle VM;
III. Red Hat VM;
IV. Virtuozzo; e
V. Huawei.
Solução 6: Adoção de Software Livre.
Substituição da atual solução de virtualização por solução de software livre, que atenda às necessidades da CGU.
Não foi encontrada solução de virtualização de servidores no Portal do Software Público Brasileiro (xxxxx://xxx.xxxxxxxxxxxxxxx.xxx.xx/).
Existem várias soluções de software livre para virtualização de servidores. Os líderes de mercado também disponibilizam versões gratuita de suas ferramentas, com funcionalidades limitadas, voltada para pequenos ambientes. Seguem algumas das ferramentas livres disponíveis na internet:
I. KVM (xxxx://xxx.xxxxx-xxx.xxx/);
II. XenServer (xxxx://xxxxxxxxx.xxx/).
III. Virtualbox (xxxxx://xxx.xxxxxxxxxx.xxx/)
7 - Avaliação das soluções identificadas frente aos requisitos
Requisito
Soluções
#ID
Nome curto
2 – Upgrade VCloud 3 – Migração para o
1 – Manutenção VSOM
Suite Advanced Microsoft Hyper-V
4 –
Ambiente Híbrido
CGU/DF
1
Suporte Oficial do Fabricante, 24 x 7, por 12 meses
Atende
Atende
Atende
Atende
2
Downsizing do ambiente de hardware on-premises.
Atende
Atende
Atende
Não atende
3
Requisitos Técnicos Gerais.
Atende
Atende
Atende
Não atende
4
Compatibilidade com solução de Backup.
Atende
Atende
Atende
Atende
5
Compatibilidade com a solução de AntiSpam.
Atende
Atende
Atende
Atende
6 Compatibilidade com a solução de Suporte Remoto Terceirizado.
Atende
Atende
Atende
Atende
7
Compatibilidade com a solução de Telefonia IP.
Atende
Atende
Não atende
Atende
8
Compatibilidade com a solução de Videoconferência.
Atende
Atende
Não atende
Atende
9 | Compatibilidade com a solução de Gerenciamento de Switches. | Atende | Atende | Atende | Atende |
Resultado | Atende | Atende | Não atende | Não atende |
As soluções 3, 4, 5 e 6 não atenderam um ou mais requisitos. Desta forma, foram consideradas inviáveis.
8 - Avaliação das Soluções Viáveis
Os recursos e requisitos abaixo foram considerados para a análise de todas as soluções viáveis apresentadas.
Recursos Materiais
Para instalação da arquitetura do software de backup a CGU disponibilizará:
Cluster-INTEL: 10 Hospedeiros Dell Inc. PowerEdge M830 com ESXi 6.7 U2 localizadas uma no edifício Sede, ou em outra localidade que a CGU venha a ocupar no DF;
Cluster-IDC: 5 Hospedeiros Dell Inc. PowerEdge R820 com ESXi 6.5 localizadas no colocation IDC/DF da Embratel, ou em outra localidade que o
colocation venha a ocupar no DF;
Conexão com Storages: IBM Storwize v7000 e Huawei Dorado All Flash v6000; Máquina virtual com VCenter Server Appliance v 6.7;
Máquina virtual com VRealize Operations Manager v 7.0;
Qualquer necessidade de licenciamento de banco de dados necessário para o funcionamento da solução de virtualização deverá ser fornecida pela CONTRATADA, sem nenhum ônus adicional para a Contratante.
Requisitos de Manutenção Mecanismo de Continuidade:
Solução continuará funcionando, mesmo sem contrato de suporte. Neste caso, será necessária realização de uma nova contratação para suporte.
Requisitos de Disponibilidade e Níveis de Serviço:
O suporte técnico deverá estar disponível, no mínimo, 24 (vinte e quatro) horas por dia, 07 (sete) dias por semana; Disponibilidade para abertura de chamado: 24x7x365 (web, e-mail ou telefone);
Disponibilidade para início de atendimento: até 2h dentro do horário do suporte técnico.
Requisitos de Manutenção:
Direito de atualização de software e pacotes de correção;
Direto de upgrade do produto para a versão última versão estável; Requisitos de Suporte Técnico:
Apoio a dúvidas de configurações, funcionamento, atualizações de versões; Análises e soluções de alertas e problemas apresentados pela solução;
O atendimento será preferencialmente remoto. Caso haja necessidade de intervenção local, esta poderá ser executada. Nos dois casos, sempre com acompanhamento pela equipe técnica da CGU, própria ou terceirizada.
Atendimento direto por técnicos do fabricante em português ou oferecer um tradutor; Acesso web à base de conhecimento oficial;
Abertura ilimitada de chamados de suporte;
Possibilidade abertura de chamados via interface web, e-mail ou telefone.
Requisitos Temporais
A solução deverá estar em funcionamento até a data de 29/12/2019, conforme requisito de negócio.
Requisitos de Segurança
Todo e qualquer tipo de acesso on-site ou remoto necessário ao suporte da solução deverá ser previamente autorizado pela CGU e respeitar as normas vigentes da CGU, mantendo o sigilo e a confidencialidade de qualquer informação que venha a obter conhecimento.
Requisitos Sociais, Ambientais e Culturais
Todos os softwares e atualizações deverão ser disponibilizadas para a CGU por meio eletrônico, pela internet, de forma a evitar o impacto da produção de CD/DVD sobre recursos naturais (flora, fauna, solo, água, ar), de caixa de CD/DVD, de pacote, de transporte e de necessidade de desfazimento futuro.
Toda a documentação de software e base de conhecimento deverá estar disponível na internet, de forma a evitar impacto sobre recursos naturais decorrentes de produção de material de impressão, de pacotes e de desfazimento futuro.
O suporte técnico deverá ser prestado preferencialmente de forma remota, pela internet, de forma a evitar impacto sobre recursos naturais decorrentes do transporte de pessoas para o ambiente da CGU.
Requisitos de padrões e modelos do Governo Eletrônico: e-ping, e-mag, e-pwg, icp-brasil, e-Arq, etc.
Atende | Não atende | Não se aplica | |
ePing | x | ||
eMag | x | ||
ePwg | x | ||
ICP-Brasil | x | ||
e-ARQ | x |
Levantamento de softwares disponíveis conforme descrito na Portaria STI/MP nº 46, de 28 de setembro de 2016.
O site xxxx://xxx.xxxxxxxxxxxxxxx.xxx.xx foi acessado em 11/08/2019 às 20:13, foi utilizada a palavra-chave “virtualização“ no campo de busca e nenhum software foi encontrado.
Solução 1: Renovação do Suporte do atual software de virtualização VMWare VSphere Enterprise Plus with Operations Manager (VSOM) para 60 (sessenta) sockets e 01 (uma) instância do VMware vCenter Server 6 Standard for vSphere.
Descrição da solução: Renovação do suporte técnico do tipo production 24 x 7 e direito de atualização para 01 (uma) instância do VMware vCenter Server 6 Standard for vSphere 6 e para 60 (sessenta) sockets das licenças atuais da CGU VMWare VSphere Enterprise Plus with Operations Manager (VSOM):
vSphere 6 Enterprise Plus for 1 processor
VMware vRealize Operations 7 Standard (Per CPU)
Abdicação do suporte de 4 hospedeiros (16 sockets) – na Sede/DF, conforme conclusões do estudo detalhado da Seção VI – item 6.1.4. Fornecedores da solução: VMWare, por meio de parceiros.
Quem utiliza e valor pago: CGU, através do contrato 28/2016 de R$1.604.884,40 para 76 sockets.
Requisitos de Capacitação: Não há necessidade de repasse de capacitação, equipe da CGU já capacitada na solução. Requisitos de Manutenção:
Requisitos de instalação da solução: Não há necessidade de instalação, solução já instalada em produção no ambiente da CGU. Requisitos de implantação da solução: Não há necessidade de implantação, solução já implantada em produção no ambiente da CGU.
Critério 1: Esforço de Migração e Capacitação Técnica.
Vantagens:
Não há necessidade capacitação, instalação, implantação e migração, pois a solução já instalada no ambiente de produção e toda equipe da CGU já está capacitada;
Desvantagens:
Não foram vislumbradas desvantagens nesta solução, em relação a este critério.
Critério 2: Integração com Nuvem.
o Vantagens
Não foram vislumbradas vantagens nesta solução, em relação a este critério. o Desvantagens
Licenciamento atual não prevê ferramentas para implementação de nuvem privada e integração com principais nuvens públicas do mercado, o que permitiria um gerenciamento mais fácil e centralizado, além de outras integrações.
Solução 2: Aquisição de Upgrade de 60 (sessenta) sockets do atual software de virtualização, VMWare VSphere Enterprise Plus with Operations Manager (VSOM), para o VCloud Suite Advanced (VCLOUD) e contratação de Suporte para 60 (sessenta) sockets e uma instância do VMware vCenter Server 6 Standard for vSphere 6.
Descrição da solução: Aquisição de upgrade do atual licenciamento VMWare VSOM para o VCLOUD e contratação de Suporte técnico tipo production 24 x 7 para 60 (sessenta) sockets e uma instância do VMware vCenter Server 6 Standard for vSphere 6 com direito de atualização.
Abdicação do suporte de 4 hospedeiros (16 sockets) – na Sede/DF, conforme conclusões do estudo detalhado da Seção VI – item 6.1.4. Fornecedores da solução: VMWare, por meio de Parceiros.
Quem utiliza e valor pago: PCDF R$442.970,16 de Renovação de Suporte para 24 Sockets.
Requisitos de Capacitação: o repasse de conhecimento deverá ser feito presencialmente em Brasília/DF em localidade definida pela contratante, ministrado por profissional certificado na solução, com carga horária de 40 horas e turma para 07 pessoas (05 alunos oficiais e 02 alunos ouvintes).
Requisitos de Manutenção:
Requisitos de instalação da solução:
A instalação da solução compreende a instalação dos softwares das licenças adicionais providas pelo VCloud, configurações de conexão com a rede local, rede SAN e nuvem;
Deverá ser feita de forma presencial, em Brasília/DF, para acompanhamento da equipe da CGU; Deverá ser feita em horário comercial.
Requisitos de implantação da solução:
A implantação da solução compreende a configuração do software de VCloud;
Deverá ser feita de forma presencial, em Brasília/DF, para acompanhamento da equipe da CGU; Deverá ser feita em horário comercial.
Critério 1: Esforço de Implantação e Capacitação Técnica.
Vantagens:
Não há necessidade de migração de solução e das máquinas virtuais.
Desvantagens:
Há uma necessidade mínima de instalação, implantação e capacitação nas novas funcionalidades e integrações que o licenciamento do VCloud
provê.
Critério 2: Integração com Nuvem.
Vantagens
Provê novas funcionalidades para implementação de nuvem privada e integração com principais nuvens públicas do mercado (Azure, AWS e Google), permitindo um gerenciamento mais fácil e centralizado, além de outras integrações.
Desvantagens
Esta integração e feita através de instâncias de hospedeiros baremetal na nuvem e utilização do VSphere nestes hospedeiros.
9 - Análise de Custo das Soluções
Custos Totais de Propriedade
Como esta contratação se refere a aquisição de licenças de software, os itens referentes ao cálculo do custo total de propriedade (Total Cost Ownership – TCO) nem todos serão considerados na análise de custo, pois são constantes em ambas as soluções viáveis deste estudo. Abaixo, seguem alguns exemplos dos custos mais recentes pertencentes ao TCO da solução de virtualização:
Hardware:
Valor anual dos 12 hospedeiros do Cluster-INTEL com garantia (Contrato CGU 38/2015 e 17/2016): R$ 369.504,00 Valor anual dos 5 Hospedeiros do Cluster-IDC com garantia (Contrato CGU 44/2014): R$ 103.800,00
Valor anual dos Renovação do contrato de Suporte dos Chasis Cluster-INTEL (Contrato CGU 1º TA 20/2018): R$ 62.133,68 Software:
Valor anual da Garantia e suporte da solução de virtualização do VMWare (Contrato CGU 28/2016): R$ 543.047,35.
Valor anual para a Microsoft Pelo Licenciamento Windows Server Datacenter (Contrato CGU 2º. TA 07/2017): R$83.812,84.
Administração Operacional:
Valor Anual da Administração Terceirizada da Solução de Virtualização (Contrato CGU 27/2017): R$ 101.088,00.
Análise de Custo de Licenças e Suporte Solução 1
Com o valor do Item 02 - Ata de Registro de Preços - Ministério da Defesa Exército Brasileiro Comando do Comando Militar do Leste UASG: 160299 - Pregão Eletrônico SRP 11/2018 e 06/2018 com suporte para 36 meses, vencida em 08/2019, podemos estimar os custos futuros para manter apenas o suporte da solução de virtualização atual para 60 sockets, conforme tabela abaixo.
Solução | Tipo | Qtde. | Valor Unitário (R$) Para 36 meses | 2020 | Totais |
VSOM | Suporte VSOM tipo Production - 24 x 7 (por 24 meses) por Socket | 60 | R$20.900,00 | R$418.000,00 | R$418.000,00 |
Suporte VCenter tipo Production – 24 x 7 (por 24 meses) | 1 | R$27.000,00 | R$9.000,00 | R$9.000,00 | |
Implantação | - | - | R$0,00 | R$0,00 | |
Treinamento | - | R$0,00 | R$0,00 | ||
Totais | - | - | R$427.000,00 | R$427.000,00 |
Tabela 1 – Custo total para Solução 1 – Manutenção do VSOM.
Solução 2
Com a o valor do Item 04 - Ata de Registro de Preços - Ministério da Defesa Exército Brasileiro Comando do Comando Militar do Leste UASG: 160299 - Pregão Eletrônico SRP 11/2018 e 06/2018 com suporte para 36 meses, podemos estimar os custos futuros para fazer o upgrade da solução de virtualização atual (VSOM) para o VCloud Suite Advanced para 60 sockets, conforme tabela abaixo.
Solução | Produto | Qtde. | Valor Unitário (R$) Para 36 meses | 2020 | Totais |
VCLOUD | Upgrade de Licenças VSOM Para VCloud Suite Advanced + Suporte VCloud tipo Production - 24 x 7 (por 12 meses) por Socket | 60 | R$56.800,00 | R$1.136.000,00 | R$1.136.000,00 |
Suporte VCenter tipo Production – 24 x 7 (por 12 meses) | 1 | R$27.000,00 | R$9.000,00 | R$9.000,00 | |
Implantação | 1 | R$0,00 | R$0,00 | R$0,00 | |
Treinamento | 1 | R$0,00 | R$0,00 | R$0,00 | |
Totais | - | - | R$1.145.000,00 | R$1.145.000,00 |
Tabela 2 - Custo total para Solução 2 – Upgrade para o VCLOUD.
Tem a desvantagem de adquirir novas licenças perpétuas, por socket, em um cenário de redução da capacidade total de processamento do ambiente virtualizado, conforme estudo detalhado da Seção VI – item 6.1.4.;
Comparativo de Custo entre as Soluções
Soluções | 2020 | Custo Total |
1 - Manter VSOM | R$427.000,00 | R$427.000,00 |
2 - Upgrade VCLOUD | R$1.145.000,00 | R$1.145.000,00 |
Tabela 3 - Comparativo de custo entre as duas soluções viáveis.
Figura 1 - Comparativo de custo entre as duas soluções viáveis.
10 - Análise comparativa das soluções
Comparação das alternativas:
Critérios/Opção | Peso | Solução 1 | Solução 2 |
Esforço de Implantação e Capacitação | 1 | 5 | 3 |
Integração com Nuvem | 1 | 1 | 5 |
Custo | 3 | 15 | 3 |
Pontuação Final | - | 21 | 11 |
Descrição dos Critérios:
Esforço de Implantação e Capacitação: minimizar o esforço da equipe técnica da CGU em ter que implantar a solução e capacitar sua equipe.
Integração com Nuvem: maior facilidade para configuração de um ambiente híbrido com nuvem pública.
Custo: avaliação da solução com menor custo financeiro.
Classificação dos Critérios:
Classificação dos Critérios | Pontuação |
Melhor | 5 |
Bom | 4 |
Médio | 3 |
Ruim | 2 |
Pior | 1 |
SEÇÃO IV
DESCRIÇÃO DA SOLUÇÃO DE TI
11 - Descrição da solução escolhida
Solução 1: Renovação do Suporte do atual software de virtualização VMWare VSphere Enterprise Plus with Operations Manager (VSOM) para 60 (sessenta) sockets e 01 (uma) instância do VMware vCenter Server 6 Standard for vSphere 6.
Descrição da solução: Renovação do suporte técnico do tipo production 24 x 7 e direito de atualização para 01 (uma) instância do VMware vCenter Server 6 Standard for vSphere 6 e para 60 (sessenta) sockets das licenças atuais da CGU VMWare VSphere Enterprise Plus with Operations Manager (VSOM):
vSphere 6 Enterprise Plus for 1 processor
VMware vRealize Operations 7 Standard (Per CPU)
Abdicação do suporte de 4 hospedeiros (16 sockets) – na Sede/DF, conforme conclusões do estudo detalhado da Seção VI – item 6.1.4.
12 - Justificativa da escolha da solução
A Solução 1 apresentou-se como a solução de menor custo financeiro, atendendo aos atuais requisitos de negócio, técnicos gerais, compatibilidades de outras soluções integradas e as recomendações das conclusões do estudo detalhado na Seção VI – item 6.
13 - Estimativa de Custo Total da Contratação
A Tabela 3 apresenta a estimativa média de custos com a Solução 1 para os próximos 12 (doze) meses no total de R$427.000,00 (quatrocentos e vinte e sete mil reais).
SEÇÃO V
VIABILIDADE DA CONTRATAÇÃO
14 - Viabilidade da Contratação
Consoante o inciso V do art. 11 da Instrução Normativa n° 1 de 4 de abril de 2019, da SGD/ME, esta equipe de planejamento declara viável esta contratação com base neste Estudo Técnico Preliminar.
SEÇÃO VI
ESTUDO DETALHADO
1. Ambiente de Virtualização da CGU
Hoje o ambiente de Infraestrutura de Virtualização da CGU é distribuído em um datacenter na Sede/DF, um Colocation no IDC/DF (onde ambos utilizam a solução de virtualização VMWare e suportam quase todos os serviços e sistemas internos e externos da CGU) e um datacenter em cada Regional (onde todos utilizam a solução de virtualização do Microsoft Hyper-V Standard que provêm serviços básicos da rede local), conforme tabela abaixo.
Cluster | Virtualizador | Hospedeiros | Hardware | Sockets /Hospedeiro | Cores /Socket | Sockets /Cluster | Localização | Total de VM´s |
Cluster-AMD | VMWare | 2 | Dell PowerEdge M915 | 4 | 16 | 8 | SEDE/DF | 45 |
Cluster-INTEL | VMWare | 12 | Dell PowerEdge M830 | 4 | 10 | 48 | SEDE/DF | 308 |
Cluster-IDC | VMWare | 0 | Xxxx XxxxxXxxx X000 | 4 | 8 | 20 | IDC/DF | 105 |
Regionais | Hyper-V Standalone | 26 | Dell | - | - | 33 | REGIONAIS | 52 |
Totais | - | 45 | - | - | - | 109 | - | 510 |
Tabela 4 - Soluções de Virtualização atuais da CGU
1.1. Escopo do Estudo
O escopo do estudo de Solução de Virtualização fica restrito àquelas soluções que são exigidas para o suporte do fabricante de outros Serviços e que são executados no ambiente de virtualização, conforme elencado na Seção II – item 4 - Podemos resumi-los de acordo com a tabela abaixo.
Solução | Serviço | Contrato | Crítico | Virtualizadores Compatíveis |
Backup | IBM Spectrum Protect 46/2017 Sim | VMWare Microsoft Hyper-V | ||
Anti-spam | Trend InterScan Messaging Security Virtual Appliance | 37/2017 | Não | VMWare |
Microsoft Hyper-V | ||||
Suporte Remoto Terceirizado | Bomgar 44/2018 Não | VMWare Microsoft Hyper-V | ||
Telefonia IP | Avaya Aura | 35/2018 | Sim | VMWare Microsoft Hyper-V (somente a partir da versão 8.0.1) |
Videoconferência | Cisco Vbrick DME 31/2017 Sim | VMWare Microsoft Hyper-V | ||
Cisco Meeting Management (CMM) | 31/2017 | Sim | VMWare | |
Cisco Meeting Server 31/2017 Sim | VMWare | |||
Cisco VCS Control | 31/2017 Sim VMWare | |||
Gerenciamento de Switches | Comunicação de Rede camadas 2/3 | 46/2018 | Sim | VMware vSphere Microsoft Hyper-V Citrix Xen KVM |
Tabela 5 - Soluções restritivas das Soluções de Virtualização
Para não restringir o escopo do estudo somente a solução de virtualização do VMWare, iremos estudar em conjunto a solução do Microsoft Hyper-V, uma vez que são poucos serviços que não dão suporte a esta solução. Desta forma, poderemos recomendar que futuras contratações destes serviços avaliem soluções com suporte a mais virtualizadores permitindo maior concorrência.
1.2. Licenciamento VMWare Contratado pela CGU (contrato 28/2016) – Ambiente do DF
A solução atual de Virtualização da CGU/DF é composta pelo licenciamento por socket físico (do hospedeiro) perpétuo e pelo direito de suporte e atualização do produto do VMWare Vsphere with Operations Manager. Esta solução é mantida pelo contrato 28/2016 que investiu na manutenção e expansão da solução de virtualização VMWare, já utilizada por mais de 6 (seis) anos nos ambientes do DF, da seguinte forma:
Upgrade do tipo de licenciamento perpétuo de 74 sockets do tipo VMware vSphere 6 Enterprise Plus para vSphere 6 with Operations Management Enterprise Plus;
Ampliação do licenciamento perpétuo vSphere 6 with Operations Management Enterprise Plus em mais 2 (dois) sockets;
Aquisição de suporte e direito de atualização da solução VMWare vSphere with Operations Management 6 Enterprise Plus para 76 (setenta e seis) sockets e uma instância do gerenciador, vCenter Server 6 Standard, com nível de suporte Production, ou seja, 24x7x365 por 3 anos;
Início da Vigência do Contrato de Suporte e Atualização: 29/12/2016; Fim da Vigência do Contrato de Suporte e Atualização: 28/12/2019.
O custo total do contrato pode ser observado na tabela abaixo:
Tipo | Qtde. Sockets | Valor Unitário (R$) | 2017 | 2018 | 2019 | Totais |
Upgrade de Licenças VSphere Para VSOM | 74 | R$4.170,00 | R$308.580,00 | - | - | R$308.580,00 |
Aquisição de Licenças VSphere Enterprise with Operations Management | 2 | R$18.692,95 | R$37.385,90 | - | - | R$37.385,90 |
Suporte VSOM tipo Production - 24 x 7 (por 36 meses) | 76 | R$21.116,90 | R$534.961,47 | R$534.961,47 | R$534.961,47 | R$1.604.884,40 |
Suporte VCenter Standard tipo Production – 24 x 7 (por 36 meses) | 10 | R$24.258,86 | R$8.086,29 | R$8.086,29 | R$8.086,29 | R$24.258,86 |
Totais | - | - | R$889.013,65 | R$543.047,75 | R$543.047,75 | R$1.975.109,16 |
Tabela 6 - Custo total do Contrato 28/2016
1.3. Licenciamento Microsoft Contratado pela CGU (contrato 07/2017) – Ambiente das Regionais
O atual contrato de licenciamento com a Microsoft, relativo à parte de licenciamento servidores Windows, é o 2º Termo Aditivo ao contrato nº 07/2017 que, no tocante às Regionais, temos o custo conforme a tabela abaixo.
Produto | Part-Number | Qtde. de Pacotes de 2 Cores | Valor Unitário do Pacote (R$) | Total Pago em 2019 |
CIS Standard | 9GA-00006 | 208 | R$226,22 | R$47.053,10 |
Total | - | - | - | R$47.053,10 |
Tabela 7 – Custo do Licenciamento de Virtualização com Hyper-V das Regionais
Diferentemente do atual licenciamento perpétuo da VMWare, o atual licenciamento Windows contratado pela CGU é do tipo subscrição, ou seja, após o tempo pago pela subscrição perde-se o direito de utilização do produto. Além disto, o licenciamento da VMWare é cobrado por sockets físicos e o licenciamento Windows é cobrado com base no número de núcleos (cores) físicos presentes dentro do socket da máquina hospedeira.
Os requisitos para o licenciamento dos cores são:
Todos os cores físicos devem ser licenciados; Cada pacote de licenças cobre dois cores; Deve-se licenciar, no mínimo:
8 cores por socket; 16 cores por servidor.
Figura 2 – Licenciamento Windows Microsoft
A licença Windows Server Standard permite a cada regional o direito de instalar um hospedeiro com Hyper-V e instanciar 2 máquinas virtuais Windows (Windows Server Standard).
Licenças do tipo CIS Standard são o agrupamento da licença Windows Server Standard e System Center Standard.
A licença System Center Standard permite a utilização do System Center Configuration Manager (SCCM), ferramenta utilizada na CGU para o gerenciamento das estações de trabalho (desktops).
Desta forma, com o agrupamento CIS Standard, na época do aditivo ao contrato, as regionais possuíam licenciamento para utilizar: 1 Hospedeiro Hyper-V com:
1 Máquina virtual para os serviços de AD/DHCP/DNS;
1 Máquina virtual para os serviços de Servidor de Arquivo/Servidor de Impressão e SCCM para desktops.
Conforme a Tabela 4 , a CGU possui 26 hospedeiros nas Regionais e com estas regras supracitadas em mente podemos calcular o número de Pacotes CIS Standard necessários para o ambiente virtualizado das Regionais, conforme tabela abaixo:
Regional | Sockets por servidor | Cores por socket | Cores total | Qtd VMs Windows | Pacotes lic. CIS |
AC | 1 | 6 | 6 | 2 | 8 |
AL | 1 | 6 | 6 | 2 | 8 |
AM | 1 | 6 | 6 | 2 | 8 |
AP | 1 | 6 | 6 | 2 | 8 |
BA | 2 | 6 | 12 | 2 | 8 |
CE | 2 | 6 | 12 | 2 | 8 |
ES | 1 | 6 | 6 | 2 | 8 |
GO | 1 | 6 | 6 | 2 | 8 |
MA | 1 | 6 | 6 | 2 | 8 |
MG | 2 | 6 | 12 | 2 | 8 |
MS | 1 | 6 | 6 | 2 | 8 |
MT | 1 | 6 | 6 | 2 | 8 |
PA | 1 | 6 | 6 | 2 | 8 |
PB | 1 | 6 | 6 | 2 | 8 |
PE | 2 | 6 | 12 | 2 | 8 |
PI | 1 | 6 | 6 | 2 | 8 |
PR | 1 | 6 | 6 | 2 | 8 |
RJ | 2 | 6 | 12 | 2 | 8 |
RN | 1 | 6 | 6 | 2 | 8 |
RO | 2 | 6 | 12 | 2 | 8 |
RR | 1 | 6 | 6 | 2 | 8 |
RS | 1 | 6 | 6 | 2 | 8 |
SC | 1 | 6 | 6 | 2 | 8 |
SE | 1 | 6 | 6 | 2 | 8 |
SP | 2 | 6 | 12 | 2 | 8 |
TO | 1 | 6 | 6 | 2 | 8 |
TOTAL | 208 |
Tabela 8 - Cálculo do número de pacotes CIS Standard das Regionais
Obs1: Cada pacote de licença Windows Server licencia o dobro de cores. Por cada servidor, é licenciado no mínimo 8 pacotes.
2. Principais Requisitos Técnicos da Solução de Virtualização
2.1. Requisitos Gerais
Em linhas gerais para o ambiente da CGU, uma solução de Virtualização deverá atender aos principais requisitos listados abaixo, de forma não exaustiva:
a. possuir console única, de forma a gerenciar todos os hospedeiros e agrupá-los em clusters;
b. possuir alta disponibilidade da ferramenta de gerenciamento de virtualização;
c. possibilitar o controle de permissões de funções da console de forma granular por perfil de usuário;
d. permitir integração do acesso à console com os usuários e grupos do Microsoft Active Directory;
e. permitir acessar a máquina virtual localmente através de console remota;
f. possuir funcionalidade para balancear automaticamente a carga de processamento e memória de máquinas virtuais entre os hospedeiros;
g. possuir a funcionalidade de criar um switch virtual distribuído entre hosts que centralize o provisionamento, administração, monitoramento e que permita que a configuração de rede das máquinas virtuais de forma consistente enquanto estas migram entre hospedeiros;
h. utilizar técnicas de gerenciamento de memória do hospedeiro de forma a otimizar o uso da RAM, como compressão, oversubscription, ballooning ou outro método dinâmico similar que permita atribuir mais memória RAM que o tamanho existente no hospedeiro, aproveitando a memória ociosa de algumas máquinas virtuais para outras que precisam mais;
i. possuir a funcionalidade de Changing Tracking, ou seja, ser capaz de identificar um uma mudança a nível de bloco no sistema de arquivos;
j. possuir funcionalidade de tirar um ou mais snapshots da máquina virtual com ou sem os dados da memória da máquina naquele instante e apagar todos os snapshots consolidando o disco da máquina virtual;
k. possuir a funcionalidade de clonar uma Máquina Virtual;
l. permitir o aumento de disco de Máquinas Virtuais de forma “online”, ou seja, com a máquina ligada;
m. entregar discos Raw Device do storage diretamente para a máquina virtual;
n. possibilitar a criação de templates de máquinas virtuais e permitir a instanciação de uma nova máquina virtual a partir de um template;
o. possuir a funcionalidade de download, gerenciamento e remediação de updates nos hospedeiros e exibir situação de compliance de acordo com um baseline;
p. migrar máquinas virtuais entre hospedeiros distintos de forma “online”, ou seja, com a máquina ligada e sem nenhuma interrupção da mesma;
q. migrar máquinas virtuais entre datastores distintos de forma “online”, ou seja, com a máquina ligada e sem nenhuma interrupção da mesma;
r. na falha de um hospedeiro, reiniciar as máquinas virtuais em outros hospedeiros com capacidade disponível;
s. possuir a função modo manutenção, ou seja, deverá migrar todas as máquinas virtuais automaticamente para demais hospedeiros e isolar o hospedeiro ou
datastore para futura manutenção;
t. possuir políticas de afinidade que possam ser configuradas de forma a garantir a alocação de uma Máquina Virtual em alguns hospedeiros pré-definidos;
u. possuir monitoramento em tempo real de processamento, memória e disco de hospedeiros e máquinas virtuais;
v. possuir ferramenta que apresente relatórios e informações gerenciais do ambiente e de capacidade como tendências futuras de utilização e otimização de recursos.
2.2. Requisitos Desejáveis
Requisitos adicionais desejáveis, de forma não taxativa:
a. possuir módulo powershell para administração da solução de virtualização por Command Line Interface (CLI) e permitir a elaboração de fluxos de automação;
b. permitir o aumento de cpu e memória de Máquinas Virtuais de forma “online”, ou seja, com a máquina ligada;
c. possibilitar a criação e aplicação de TAGS nos recursos de clusters, datastores, hospedeiros e máquinas virtuais;
d. possibilitar o agrupamento de máquinas virtuais por pastas;
e. permitir a reserva de recursos de memória e processamento do cluster de forma a isolar um conjunto de recursos para o gerenciamento de máquinas virtuais específicas.
3. Solução da VMWare
3.1. Comentários sobre produtos VMWare e seus tipos de licenciamento
Antes de analisarmos os produtos licenciados da VMWare na CGU, faz-se necessário apresentar alguns produtos e seus tipos de licenciamento.
As licenças do VMWare são perpétuas e basicamente são comercializadas, na maioria dos seus produtos, pela capacidade de processamento do seu ambiente, ou seja, o número de CPUs físicas (sockets) dos hospedeiros a serem virtualizados. Ademais, é cobrado um valor anual pelo suporte e direito de atualização do produto.
O licenciamento VMWare trabalha com um modelo de negócio que não é vantajoso para o serviço público no geral que é a cobrança de “passivo”, ou seja, se a Organização não renovar a contratação um tempo limite após o término do suporte, é cobrado um valor passivo pelo tempo sem suporte ativo, no momento da recontratação do mesmo. Dependendo do tempo sem renovação, o preço de adquirir novas licenças perpétuas é menor do que reativar o suporte das licenças antigas.
*Observação: estes comentários têm apenas o intuito de apresentar os produtos adquiridos pela CGU no contrato 28/2016 e atualmente podem não condizer com o atual modelo de negócio oferecido pelo fabricante, pois mudanças ocorrem com frequência.
3.1.1. VMWare VSphere
O VSphere é a base do VMWare, ou seja, é o software responsável pela camada de virtualização propriamente dita, conhecida como Hypervisor, e que é instalado diretamente no hospedeiro. A cobrança do seu licenciamento é contabilizada pelo número de sockets físicos do hardware do hospedeiro.
Este software oferece apenas uma interface gráfica individual para administração daquele hospedeiro e é geralmente comercializado nas versões Standard, Enterprise Plus e Platinium. Diferenças entre as versões podem ser encontradas no site do fabricante (VMWare VSphere, 2019).
3.1.2. VMWare VCenter Server
O VCenter basicamente é o software de gerência que unifica os hospedeiros VSphere, agregando-os em clusters. O VCenter provê um console central único para gerência de todo o ambiente VMWare, provendo diversas funcionalidades, como por exemplo movimentação online de máquinas virtuais entre hospedeiros (vMotion) e datastores, garantindo alta disponibilidade e tolerâncias a falhas. O VCenter é licenciado por quantidade de VCenters necessários para o gerenciamento do ambiente.
O VCenter atualmente possui três versões: Essentials, Foundation e Standard. As versões Essentials e Foundations são para ambientes pequenos e possuem limites de hospedeiros 3 e 4 respectivamente, apenas a versão Starndard não possui restrições quanto ao número de hospedeiros, mais informações podem ser obtidas através do site do fabricante (VMWare VCenter, 2019).
3.1.3. VMWare VSphere with Operations Manager (VSOM)
O VSOM é um antigo agrupamento de licenciamentos dos produtos VSphere, item 3.1.1, e VRealize Operations Manager (VROps) e parou de ser comercializado como agrupamento em 01/02/2019 (VMWare End of Availability VSOM ENT+, 2018), vendendo os mesmos produtos separadamente ou através de novos agrupamentos.
O VROps é uma ferramenta de gerenciamento unificada que armazena e correlaciona dados do ambiente de virtualização que fornece controle sobre desempenho, capacidade e configuração, com técnicas de análise preditiva que podem gerar ações proativas e automação com base em políticas. Assim como o VSphere, a cobrança do seu licenciamento é contabilizada pelo número de sockets físicos do hardware do hospedeiro e paga-se pelo suporte anual deste produto.
O VROps atualmente possui três versões: Standard, Advanced e Enterprise. A versão que vem no licenciamento VSOM é a Standard. Diferenciações entre as funcionalidades disponíveis para cada versão podem ser consultadas no manual do produto no site do fabricante (VMWare VROps, 2019).
3.1.4. VMWare Support Service
Existem várias categorias de serviço de suporte do vmware dependendo da disponibilidade de atendimento, produtos e serviços inclusos. As diferenças podem ser visualizadas no site do fabricante (VMWare Support, 2019).
3.1.5. VMWare VCloud Suite
O VMware vCloud Suite é uma solução de infraestrutura em nuvem privada com base no VMware vSphere, onde além deste também é composto pelo: VRealize Suite e é distribuído nas versões: Standard, Advanced e Enterprise, mais informações podem ser visualizadas no site do fabricante (VMWare VCloud, 2019).
3.2. Mapa de Versionamento dos Produtos VMWare
Para o ambiente da CGU, existem algumas funcionalidades técnicas que são essenciais para a manutenção da disponibilidade dos serviços virtualizados e servem que balizam a versão do produto a ser adquirida.
Produto | Versão | Requisitos Condicionantes da Versão |
VSphere | Enterprise Plus | · Distributed Resource Scheduler™ (DRS) Usage with business priorities by automatically loadbalancing across hosts (item 2.1-f). · Distributed Switch™ Centralizes provisioning, administration, and monitoring by using cluster-level network aggregation (item 2.1-g). |
VCenter | Standard | · Clusters da CGU, que são gerenciados pelo VCenter, possuem mais de 4 hospedeiros, conforme Tabela 4. |
VROps | Standard | · É a versão mais básica do produto e veio no upgrade para o licenciamento do VSOM, conforme descrito no item 1.2. |
Support Service | Production 24x7 | · Conforme requisitos de negócio, o ambiente de virtualização CGU/DF abriga quase todos os sistemas e serviços internos e externos da Organização, por isso a necessidade de um suporte do tipo produção 24x7. |
Tabela 9 – Requisitos condicionantes para escolha do versionamento dos produtos VMWare
3.3. Utilização dos Clusters VMWare da SEDE/DF e IDC/DF
O ambiente de produção do VMWare em execução nos datacenters da Sede/DF (Cluster-INTEL e Cluster-AMD) e Colocation IDC/DF (Cluster-IDC) rodam mais de 90% dos serviços e sistemas de negócio da CGU.
3.3.1. Hardware defasados e compatibilidade com versionamento para suporte
O VMWare possui um Compatibility Guide, disponível no site (VMWare Compatibility Guide, 2019), que permite a verificação da compatibilidade do hardware, neste caso dos hospedeiros, com a versão do produto suportado por eles, neste caso VSphere ESXi.
Para cada um dos três Clusters do nosso ambiente, AMD, INTEL e IDC, possuímos três tipos de hardwares diferentes o que limita a versão ESXi suportada.
3.3.2. Cluster-AMD - Dell Inc. PowerEdge M915
A Matriz de compatibilidade VMWare restringe o suporte do ESXi para este hardware apenas até a versão 6.0 U3, conforme ilustração abaixo, a versão atualmente instalada neste Cluster é 6.0.
Figura 3- VMWare Compatibility Guide ESXi x Dell PowerEdge M915
3.3.2.1. Cluster-INTEL - Dell Inc. PowerEdge M830
A Matriz de compatibilidade VMWare ainda não restringe o suporte do ESXi para este hardware, até a época deste estudo, a versão mais recente, 6.7 U2, ainda é compatível, conforme ilustração abaixo, a versão atualmente em produção neste Cluster é 6.7 U2.
Figura 4 - VMWare Compatibility Guide ESXi x Dell PowerEdge M830
3.3.2.2. Cluster-IDC - Dell Inc. PowerEdge R820
A Matrix de compatibilidade VMWare restringe o suporte do ESXi para este hardware apenas até a versão 6.5 U2, conforme ilustração abaixo, a versão atualmente em produção neste Cluster é 6.5 U2.
Figura 5- VMWare Compatibility Guide ESXi x Dell PowerEdge R820
3.3.3. Taxa de utilização de processamento
3.3.3.1. Cluster-AMD (Sede/DF)
O Cluster-AMD, devido a sua atual não compatibilidade de hardware de versão com o Cluster-INTEL (conforme explicação do item 3.3.1) e por ser composto apenas por 2 hospedeiros Dell PowerEdge M915 com 4 processadores AMD Opteron(tm) Processor 6282 SE de 2.6 GHz com 16 cores em cada processador e 256 GB de RAM, abriga somente máquinas de laboratório e ambientes de testes que não estão em produção, por isso não serão avaliadas suas taxas de utilização.
3.3.3.2. Cluster-INTEL (Sede/DF)
O Cluster-INTEL abriga a maioria dos sistemas e serviços internos da CGU e é composto 2 chassis de blades Dell com 12 blades Dell PowerEdge M830 com 4 processadores Intel Xeon CPU E5-4610 v3 de 1.70 GHz, com 10 cores em cada processador. Logo a capacidade de processamento total deste cluster é aproximadamente de 816 GHz.
Através do dashboard do VRealize Operations Manager, como demonstra a Figura 6 abaixo, podemos perceber que a utilização (MHz) de processamento do último ano e a previsão para o próximo ano permanecem constantes abaixo de 300 GHz.
Figura 6- CPU Cluster Utilization Overview and Forecast - Cluster-INTEL – Data 05/08/19
Se colocarmos dois hospedeiros em modo de manutenção, ou seja, preservando uma alta margem de disponibilidade do ambiente de produção, teríamos uma capacidade total de processamento do cluster de: 680 (GHz). Com isso em mente, podemos deduzir uma capacidade de processamento ociosa de aproximadamente 56% para os workloads que são executados nele atualmente. Observa-se também que não há tendência de curva de aumento para o próximo ano, o que demonstra uma relativa estabilidade dos workloads de processamento.
3.3.3.3. Cluster-IDC (IDC/DF)
O Cluster-IDC abriga a maioria dos sistemas e serviços externos da CGU e é composto por 5 Hospedeiros Dell PowerEdge R820 com 4 processadores Intel Xeon CPU E5-4620 v2 de 2.60 GHz, com 8 cores em cada processador. Logo a capacidade de processamento total deste cluster é aproximadamente de 416 GHz.
Através do dashboard do VRealize Operations Manager, como demonstra a Figura 7 abaixo, podemos perceber que a utilização (MHz) de processamento do último ano e a previsão para o próximo ano permanecem constantes abaixo de 250 GHz.
Figura 7- CPU Cluster Utilization Overview and Forecast - Cluster-IDC – Data 05/08/19
Se colocarmos dois hospedeiros em modo de manutenção, ou seja, preservando uma alta margem para disponibilidade do ambiente de produção, teríamos uma capacidade total de processamento do cluster de: 307 (GHz).
Com isso em mente, podemos deduzir uma capacidade de processamento ociosa de apenas 19% para os workloads que são executados nele atualmente. Observa-se também que não há tendência de curva de aumento para o próximo ano, o que demonstra uma relativa estabilidade dos workloads de processamento.
3.3.4. Taxa de utilização de memória
3.3.4.1. Cluster-AMD (Sede/DF)
Mesmas considerações do item 3.3.2.1.
3.3.4.2. Cluster-INTEL (Sede/DF)
Um hospedeiro do Cluster-INTEL, conforme visto no item 3.3.2.2, possui 512 GB de RAM cada, totalizando aproximadamente 6 TB de capacidade de memória total do cluster.
Através do dashboard do VRealize Operations Manager, como demonstra a Figura 8 abaixo, podemos perceber que a utilização (KB) de memória do último ano e a previsão para o próximo ano permanecem abaixo de 3 G.
Figura 8- Memory Cluster Utilization Overview and Forecast - Cluster-INTEL – Data 06/08/19
Se colocarmos dois hospedeiros em modo de manutenção, ou seja, preservando uma alta margem para disponibilidade do ambiente de produção, teríamos uma capacidade total de memória do cluster de: 5 TB.
Com isso em mente, podemos deduzir uma capacidade de memória ociosa de 40% para os workloads que são executados nele atualmente. Observa-se também uma leve tendência na curva de aumento para o próximo ano, o que demonstra uma relativa estabilidade dos workloads de memória.
3.3.4.3. Cluster-IDC (IDC/DF)
Um hospedeiro do Cluster-IDC, conforme visto no item 3.3.2.2, possui 512 GB de RAM cada, totalizando aproximadamente 2.5 TB de capacidade de memória total do cluster.
Através do dashboard do VRealize Operations Manager, como demonstra a Figura 9 abaixo, podemos perceber que a utilização (KB) de memória do último ano e a previsão para o próximo ano permanecem constantes abaixo de 1250M.
Figura 9- Memory Cluster Utilization Overview and Forecast - Cluster-IDC – Data 06/08/19
Se colocarmos dois hospedeiros em modo de manutenção, ou seja, preservando uma alta margem para disponibilidade do ambiente de produção, teríamos uma capacidade total de memória do cluster de: 1.5 TB.
Com isso em mente, podemos deduzir uma capacidade de memória ociosa de apenas 18% para os workloads que são executados nele atualmente. Observa-se também que há uma leve tendência de aumento na curva para o próximo ano, o que demonstra uma relativa estabilidade dos workloads de memória.
3.4. Do Uso do Direito de Atualização
A exceção dos hardwares não compatíveis, conforme demonstrado em 3.3.1, a CGU utiliza o direito de atualização dos produtos por ela adquiridos está com a última versão instalada em seu ambiente de produção:
VMWare VSphere Enterprise Plus 6.7
VMware vRealize Operations 7.0 Standard
3.5. Do Uso de Suporte
No atual contrato 27/2016, de vigência de 36 meses, o suporte é ilimitado com 24 x 7. No site do fabricante, podemos buscar um histórico de utilização até a data atual.
Severidade | Qtde. |
1- CRITICAL | 1 |
2 - HIGH | 7 |
3 - MEDIUM | 17 |
4 - LOW | 3 |
Totais | 28 |
Tabela 10 - Totais de suportes abertos com o VMWare nos últimos 36 meses
Percebemos na tabela acima que foram abertos e encerados 28 chamados de suporte. Isto equivale a um uso médio do suporte do fabricante próximo a 10 chamados/ano e com severidade média.
4. Solução do Microsoft Hyper-V
O Microsoft Hyper-V é um dos principais concorrentes de soluções de virtualização com o VMWare VSphere que em conjunto com o System Center da Microsoft, possui o System Center Virtual Machine Manager (análogo ao VCenter), Admin Center e Operations Manager (possuem funcionalidades análogas ao VROps).
4.1. Licenciamento Windows Server no ambiente de virtualização do DF (Sede e IDC)
Neste estudo, além do ambiente de virtualização com Microsoft Hyper-V das Regionais (conforme exposto no item 1.3), devemos levar em conta que no mesmo 2º Termo aditivo do contrato no 07/2017 a CGU atualmente paga pelo licenciamento das Máquinas Virtuais Windows utilizadas no ambiente do VMWare da DF (Sede e IDC).
Na época do aditivo ao contrato supracitado, a CGU/DF (Sede/DF e IDC/DF) utilizava 169 máquinas virtuais com o Sistema Operacional Windows instalado, desempenhando serviços e sistemas, como por exemplo:
Serviços de Infra: AD, DHCP, DNS, RADIUS, ADRMS, ADFS, WSUS;
Servidor de arquivos;
Servidores IIS e Bancos de dados SQL Server que suportam sistemas como: e-SIC, etc.; SharePoint que suporta sistemas como: Pró-Ética, e-SIC, CEIS-Cadastro, dentre outros; Exchange;
Skype for Business; SCCM, etc.
Estas máquinas virtuais estão hospedadas em:
5 servidores do Cluster-INTEL, que possuem 4 sockets físicos com 10 cores cada, totalizando 40 cores por servidor; 1 servidor físicos do Cluster-IDC, que possuem 4 sockets físicos com 8 cores cada, totalizando 32 cores.
Modelo do servidor | Número de sockets | Número de cores por socket | Total de cores | Pacotes de licença CIS Datacenter |
PowerEdge M830 | 4 | 10 | 40 | 20 |
PowerEdge M830 | 4 | 10 | 40 | 20 |
PowerEdge M830 | 4 | 10 | 40 | 20 |
PowerEdge M830 | 4 | 10 | 40 | 20 |
PowerEdge M830 | 4 | 10 | 40 | 20 |
PowerEdge R820 | 4 | 8 | 32 | 16 |
Total | 116 |
Tabela 11 - Cálculo do número de pacotes CIS Standard das Regionais
Obs1: Devido à alta densidade de máquinas virtuais neste cenário, o licenciamento mais adequado é o CIS Datacenter. Desta forma, para oferecer os serviços Microsoft supracitados, a CGU já paga o licenciamento Windows Datacenter equivalente a 6 hospedeiros. Porém, deve-se lembrar que com apenas o Windows Server Datacenter, não há o licenciamento das ferramentas adicionais do System Center como (Operations Manager, Virtual Machine Manager, etc.).
Produto | Part- Number | Pacotes de 2 Cores | Valor Unitário (R$) | 2019 |
Windows Server Datacenter | 9EA-00039 | 116 R$722,52 | R$83.812,84 | |
Totais | - | - | - | R$83.812,84 |
Tabela 12 - Custo do Licenciamento de Servidores Windows no DF (ambiente VMWare)
A principal diferença entre a licença Windows Server Standard (utilizada nas Regionais) para a Windows Server Datacenter (utilizada na Sede/DF e IDC/DF), é que na Datacenter não há a limitação de utilizar apenas 2 máquinas virtuais por hospedeiro licenciado. Em vez disso, pode-se instanciar quantas máquinas virtuais forem necessárias, inclusive utilizar virtualização dentro de uma máquina virtual (nested virtualization).
4.2. Integração com nuvem
O Licenciamento Windows Server atualmente também permite regras de reutilização de licenças com a nuvem da Azure:
· Cada licença de 2 núcleos do Windows Server tem direito a instâncias de até 2 núcleos no Azure. As licenças Datacenter permitem o uso simultâneo local e no Azure. As licenças Standard devem ser usadas de forma local ou no Azure, embora os clientes recebam 180 dias de direitos de uso simultâneo enquanto estão migrando os servidores.
4.3. Do Direito de Atualização Microsoft
O atual contrato n 07/2017 com a Microsoft, conforme item 1.1, opta pelas licenças do tipo subscrição com opção de licenciamento por volume EAS (Enterprise Subscription Agreement), onde estas licenças podem se beneficiar do programa Microsoft Software Assurance. Nesta modalidade, as atualizações das versões das licenças serão realizadas durante todo o período de vigência contratual. Estas atualizações de versões devem ser entendidas como fornecimento de novas versões corretivas ou evolutivas do software, mesmo em caso de mudança de designação do nome do software, devendo compreender a correção de falhas, implementação de melhorias no produto.
4.4. Do Suporte Premier Microsoft
O Suporte Premier prestado pela Microsoft, com total de 895 horas por 12 meses, é atualmente ativo na CGU de acordo com o 4º Termo Aditivo do Contrato 14/2015, vigente até 27/07/2020.
Produto | Horas | Total (12 meses) |
Suporte Premier Microsoft | 895 | R$ 513.586,83 |
Tabela 13 – Total anual do 4o Termo Aditivo Contrato de Suporte Premier Microsoft (14/2015)
O total de horas é distribuído entre suporte reativo (50 horas úteis), utilizado para eventos de falha ou indisponibilidade, suporte proativo (615 horas úteis), utilizadas para ações de melhoria, e gerenciamento de contas (230 horas), utilizada pelo fabricante para ações internas referentes ao contrato.
Como as horas pertencem a grupos de suporte distintos os valores de cada hora podem ser distintos, porém para fazermos uma estimativa do valor da hora útil média (nesta proporção utilizada pela CGU), teríamos o valor da hora útil de suporte premier, conforme tabela abaixo.
Produto
R$/Hora útil/Ano
Médio
R$772,31
Suporte Premier Microsoft
Tabela 14 - Valor da Hora anual médio do Suporte Premier Microsoft
A CGU poderá alterar o uso dessas horas proativas conforme a sua necessidade, desde que informando previamente à contratada.
As horas reativas não utilizadas até o mês anterior ao do encerramento da vigência desse contrato serão convertidas em horas proativas. Caso a equipe da CGU verifique que haverá necessidade de conversão, o Gerente Técnico da Contratada será informado, com um prazo de 120 (cento e vinte) dias antes do encerramento do contrato, e iniciara o planejamento de migração das horas reativas.
A CGU pode utilizar qualquer combinação dos serviços Premier, os serviços serão executados por hora e serão deduzidos do número total de horas adquiridas.
O suporte técnico compreenderá: Suporte Reativo:
O diagnóstico e a resolução de problemas encontrados durante o uso de qualquer produto ou solução Microsoft que compõem a Infraestrutura de Rede Local da CGU.
Suporte Proativo:
Revisão, sob demanda, da solução de Infraestrutura de Rede Local, bem como a sua arquitetura, com o intuito de identificar possíveis falhas, inconsistências da solução ou oportunidades de melhorias, utilizando ferramentas do fabricante - Risk and Health Assessement Program, e implementando ajustes e melhorias;
Apoio, sob demanda, no desenvolvimento de cenários comuns de recuperação de desastres e continuidade de serviços;
Realização, sob demanda, de mesa redonda (Rountable / Chalktalk) com Engenheiros do fabricante dos produtos (Microsoft Premier Field Engineer) e pessoal da Microsoft, com o objetivo de aprofundar os conhecimentos técnicos da equipe da CGU a respeito de determinado produto, suas funcionalidades, tendências, melhores práticas, além de fazer laboratório para testar as características técnicas
Realização de Workshops, do tipo hands-on lab, sob demanda, ministrados por Engenheiros do fabricante dos produtos (Microsoft Premier Field Engineer), baseadas nas melhores práticas do fabricante, que auxiliem na resolução e prevenção de problemas, apresentando casos comuns de falhas, de modo a preparam o pessoal técnico da Microsoft no momento de resolução de problemas internamente ou abertura de chamado, agilizando a solução dos mesmos, aumentando a disponibilidade das soluções de TI baseadas em tecnologia Microsoft;
Engenharia de Suporte Designado que estará disponível durante o horário comercial normal e deve oferecer suporte a produtos/tecnologias específicos da Microsoft selecionados pela CGU com um foco no suporte preventivo e interativo;
As áreas de foco para os serviços dos Engenharia de Suporte Designado incluem:
Serviços de Solução e Prevenção de Problemas projetados para:
Ajudar a CGU a desenvolver e implementar estratégias para fornecer suporte proativo para ajudar a prevenir incidentes futuros e aumentar a disponibilidade de suas tecnologias da Microsoft cobertas;
Ajudar a CGU a determinar a causa principal de incidentes recorrentes e fornecer recomendações a fim de evitar interrupções posteriores nas tecnologias designadas da Microsoft
Manter conhecimento profundo dos seus requisitos comerciais atuais e futuros e da configuração do seu ambiente de tecnologia da informação; Documentar, de maneira proativa, recomendações de uso dos resultados finais relacionados ao Suporte Premier como revisões da capacidade de suporte, verificações de integridade, workshops, programas de avaliação de risco, dentre outros;
Ajudar a tornar as atividades de operação e implantação consistentes com as implementações planejadas e atuais das tecnologias da Microsoft; Aprimorar as habilidades operacionais e técnicas das equipes de suporte da CGU;
Incentivar e auxiliar na criação e manutenção da documentação específica para oferecer suporte à configuração do ambiente, recuperação de desastres, topologia de rede.
Gerenciamento de conta
O Gerenciador de Fornecimento de Serviços (conhecido como “Gerente Técnico de Conta”) organiza o gerenciamento e fornecimento de serviços de Suporte Premier da Microsoft. Este Gerenciamento de Fornecimento de Serviços inclui planejamento para avaliar o atual estado de TI da CGU, criando um plano para abordar os pontos de aprimoramento e trabalhar para atingir o estado desejado das operações de TI. O Gerenciamento de Fornecimento de Serviços também inclui o monitoramento e gerenciamento de qualidade e pontualidade de outros serviços de suporte Premier.
4.5. Migração do ambiente de virtualização CGU/DF do VMWare para o Microsoft Hyper-V
Diante do cenário exposto no item 4.1, faz-se obrigatória a análise de risco, de custo e técnica para avaliar a qual a melhor alternativa entre VMWare e o Microsoft Hyper-V, para ser utilizada no ambiente da CGU/DF.
4.5.1. Análise de Ambiente Híbrido VMWare e Microsoft Hyper-V
Em um primeiro momento parece vantajoso em utilizar toda a solução disponível pelo licenciamento Windows Server Datacenter (aproximadamente 6 hospedeiros, conforme item 4.1) e migrar todo o workload de máquinas virtuais Windows para estes novos hospedeiros, liberando licenças VMWare e segregando o ambiente.
Porém, em uma análise mais detalhada, além das dificuldades de gerenciamento de duas soluções de virtualização no mesmo ambiente CGU/DF, teríamos que segregar os 2 clusters de produção (Sede e IDC) em mais 2 novos clusters, totalizando 4 clusters. Desta forma, levando em consideração que temos utilizado neste estudo a redundância de 2 hospedeiros para cada cluster para Alta Disponibilidade do ambiente de virtualização de produção, iríamos precisar de, no mínimo, mais 4 hospedeiros (dois para cada novo cluster) para garantir esta disponibilidade. Desta forma, estaríamos ampliando nosso ambiente on-premises, e consequentemente aumentando o custo de hardware e licenciamento para mantê-lo.
Além disso, as atuais licenças Windows Server Datacenter não atendem aos requisitos técnicos gerais 0.0 - “x”, “x”, “f”, “g”, “p”, “q”, “s”, etc. devido à ausência das ferramentas do System Center. Desta forma, seria necessário um upgrade no licenciamento atual para CIS Datacenter, conforme será analisado no próximo item.
4.5.2. Análise de Custo de Licenciamento Microsoft Adicional
Em vez do ambiente híbrido, a alterativa mais viável seria substituirmos todo o ambiente de virtualização do VMWare, conforme conclusão 6.1.4. Para isso, primeiro teríamos que migrar as 116 licenças Windows Server Datacenter para 116 licenças CIS Datacenter (para termos direito as ferramentas de Gerenciamento do System Center, SCVMM) e depois teríamos que ampliar este quantitativo CIS Datacenter, conforme a tabela abaixo.
Cluster | Modelo do servidor | Número de Servidores | Número de sockets | Número de cores por socket | Total de cores por Servidor | Pacotes de licença CIS Datacenter |
Cluster- INTEL | PowerEdge M830 | 5 | 4 | 10 | 40 | 100 |
Cluster- IDC | PowerEdge R820 | 4 | 4 | 8 | 32 | 64 |
Total | 164 |
Tabela 15 - Cálculo do número de pacotes CIS Datacenter adicionais para substituir o ambiente VMWare.
Agora podemos estimar o custo adicional de licenciamento Microsoft para abranger todo o ambiente atualmente licenciado pela VMWare, conforme base na Tabela 12 - Custo do Licenciamento de Servidores Windows no DF (ambiente VMWare).
Produto | Part- Number | Pacotes de 2 Cores | Valor Unitário (R$) | Total Anual |
Migração Windows Server Datacenter para CIS Data Center | 9GS-00495 | 116 | R$704,00 | R$81.664,00 |
CIS Datacenter | 9GS-00495 | 164 | R$1.426,52 | R$233.949,28 |
Total Adicional | - | - | - | R$315.613,28 |
Tabela 16 – Custo estimado com as licenças adicionais CIS Datacenter necessárias para substituir o ambiente VMWare.
4.5.3. Análise de Custo Adicional de Suporte Premier Microsoft
A licença CIS Datacenter já oferece um suporte básico aos produtos disponibilizados, porém para um suporte mais próximo a um tipo production 24x7, conforme requisitos de negócio, foi feita uma estimativa da quantidade de horas adicionais que precisariam ser adquiridas com o suporte Premier da Microsoft. De acordo com os chamados abertos no VMWare nos últimos 3 anos, conforme item 3.5, podemos classificar como reativos os chamados de severidade 1-Critical e 2-High somam 8 no total, ou seja, uma média de 3 por ano. Se colocarmos o tempo gasto pelo engenheiro de aproximadamente 12h por chamado, teríamos um acréscimo de 36 h no suporte anual premier para chamados reativos. Desta forma, podemos estimar o custo com a tabela abaixo.
Produto | Horas | R$/Hora/Ano Médio | Total/Ano |
Suporte Premier Microsoft | 36 | R$772,31 | R$27.803,20 |
Tabela 17 - Custo Adicional para Serviço de Virtualização no contrato do Suporte Premier da Microsoft
4.5.4. Análise de Esforço, Custo e Impacto para Migração
4.5.4.1. Impacto da Migração
A migração de uma solução de virtualização requer diversas manutenções no ambiente produtivo com alta taxa de indisponibilidade de sistemas, desta forma sendo necessário o trabalho fora do horário de expediente.
4.5.4.2. Esforço da Migração
A CGU precisaria alocar um analista da sua equipe de Engenharia para trabalhar de forma dedicada com o suporte proativo premier Microsoft por 160 horas (1 mês) para instalação, configuração e elaboração do procedimento operacional de migração de máquinas virtuais do ambiente de produção do VMWare para o Hyper-V.
Depois deste trabalho pronto, a CGU precisaria alocar um analista da sua Equipe de Operação para coordenar e supervisionar a Operação terceirizada na migração das 458 máquinas virtuais para o Hyper-V, por um tempo estimado de 2 meses.
4.5.4.3. Custo da Migração
O principal custo externo inerente a migração são as 160 horas necessárias do suporte premier da Microsoft, conforme definido no item 4.5.3. Desta forma, com o valor da Tabela 14, podemos estimar este custo de acordo com a tabela abaixo.
Ademais, teríamos o custo adicional da tarefa de migração operacional suporte terceirizado, conforme contrato 27/2017, para migração de aproximadamente 60 máquinas virtuais fora do horário de expediente.
Produto | Qtde. | R$/Hora/Ano Médio | Total |
Suporte Premier Microsoft | 160 h | R$772,31 | R$123.569,76 |
Suporte Terceirizado Extra | 60 VMs | - | R$ 7.800,00 |
Total | - | - | R$131.369,76 |
Tabela 18 - Custo estimado para Migração do VMWare para Hyper-V
4.5.5. Análise de Custo com Capacitação
Como o Suporte Premier da Microsoft permite a utilização de suas horas proativas para Workshops com engenheiros da Microsoft, podemos utilizar 40 horas para treinar e capacitar a equipe interna na nova solução de virtualização.
Produto | Horas | R$/Hora/Ano Médio | Total |
Suporte Premier Microsoft | 40 | R$ 573,84 | R$ 22.953,60 |
Tabela 19 - Custo do Suporte Premier para Capacitação no Hyper-V
4.5.6. Análise Requisitos Técnicos
A solução do Microsoft Hyper-V com o System Center atende a todos os principais requisitos listados no item 2, porém não atende ao requisito desejável item 2.2 “b” na parte relativa ao aumento de cpu com a máquina “online”. Este é um requisito que aumenta a disponibilidade dos sistemas, uma vez que para aumentar a cpu não há a necessidade de desligar a máquina virtual.
Em 07/2016, a CGU realizou uma Proof of Concept (Prova de conceito, PoC) com a solução do Microsoft Hyper-V e System Center (com a versão 2012 R2) para implementação de uma nuvem privada, cujo parecer final disse que a migração para a solução Microsoft Hyper-V era viável, apesar de uma perda de facilidades de gerenciamento o que acarreta em aumento no esforço operacional nas atividades diárias.
4.5.7. Análise de Riscos
Em um projeto como este, trocar a solução básica de sua infraestrutura de virtualização de todo o seu ambiente de produção, devemos elencar os principais riscos:
(a) Nova solução de virtualização não atende a contento o ambiente de produção;
(b) Ambiente de produção de virtualização a descoberto, sem suporte por meses durante a migração. Contrato com a solução do VMWare termina antes do contrato com a Microsoft;
(c) Migração gera um alto impacto na disponibilidade dos sistemas atualmente em produção.
Para mitigar os riscos acima elencados, podemos sugerir as seguintes ações respectivamente:
(a) Priorizar este projeto e utilizar horas do atual contrato premier atual para instalação do ambiente produtivo;
(b) Realizar a migração da solução com as horas de suporte premier elencadas do item acima, antes do término do contrato com a VMWare, 28/12/2019;
(c) Realizar a migração fora dos dias/horários de expediente e utilizações normais das aplicações críticas.
4.5.8. Análise de Rollback futuro
Conforme citado em 3.1, o VMWare trabalha com cobrança de “passivo”, logo vamos simular o pior caso em que seja mais vantajoso comprar uma nova licença do que pagar o passivo das antigas. Então, supondo que que estudos futuros, depois de 24 meses, recomendem a reaquisição do VMWare, calcularemos qual seria o custo com novas licenças perpétuas da solução atual.
A solução do VMWare, conforme foi contratada pela CGU nos últimos anos, segue a linha de aquisição de uma licença perpétua por socket físico do hospedeiro de seu ambiente virtualizado e o pagamento do suporte e direito de atualização do produto. Uma vez com a solução em uso, o pagamento do suporte e direto de atualização do produto é sempre presente. Logo, queremos saber apenas qual é o valor de reaquisição de novas licenças perpétuas.
Desta forma, levando em consideração o cenário descrito na conclusão 6.1.4, precisaríamos de novo licenciamento perpétuo para algo pouco abaixo de 40 sockets. Para ter esta noção de valores hoje, vamos utilizar o pago pelo nosso contrato 28/2016, conforme a Tabela 6.
Tipo | Qtde. | Valor Unitário (R$) | Totais |
Aquisição de Licenças VSphere Enterprise with Operations Management | 40 | R$18.692,95 | R$747.718,00 |
Aquisição VCenter 1 R$25.640,00 | R$25.640,00 | ||
Totais | - | - | R$773.358,00 |
Tabela 20 – Total estimado para readquirir novo licenciamento perpétuo
Obs1: O valor da aquisição do VCenter foi obtido a partir da composição de valores dos itens 3 e 7 da Ata de Registro de Preços - Ministério da Defesa Exército Brasileiro Comando do Comando Militar do Leste UASG: 160299 - Pregão Eletrônico SRP 11/2018 e 06/2018.
É importante lembrar que as licenças perpétuas VMWare de posse da CGU poderão ser utilizadas em ambientes de laboratórios e testes, mesmo sem suporte e direito de atualização.
5. Expectativas futuras e projetos em andamento na CGU
O cenário tradicional de aplicações em máquinas virtuais, armazenadas em datacenters locais, sofreu grandes evoluções nos últimos anos. O processo de desenvolvimento de aplicações utilizando os conceitos de devops e microsserviços já é realidade em muitas organizações. Outra forte tendência tecnológica refere-se à execução de aplicações e de serviços na nuvem. Neste contexto, seguem as principais iniciativas em andamento na CGU que impactam a utilização da virtualização on-premisses tradicional.
5.1. Projeto de Conteinerização e Kubernetes
A virtualização do hardware tem o benefício de permitir uma melhor utilização do hardware, possibilitando a execução de máquinas virtuais com diferentes sistemas operacionais, de maneira totalmente isolada, dentro da mesma máquina (hospedeiro), resultando numa significativa redução de custo.
Para aplicações, instalar um Sistema Operacional (S.O.) apenas para executá-las é muito custoso. De forma geral, cada aplicação possui dependências que ficam instaladas no S.O., dificultando o compartilhamento da mesma máquina para aplicações de diferentes tecnologias e versões. Diante deste problema, a solução de conteinerização criou uma camada acima do sistema operacional, isolando a aplicação em entidades chamadas “containers”, que possuem além da aplicação, bibliotecas e dependências, sendo isolados e independentes dos outros containers, permitindo uma grande densidade de aplicações que compartilham o mesmo S.O.
Com esta nova abordagem, há diversos ganhos em relação ao modelo tradicional com máquinas virtuais, como: otimização do espaço de disco (não precisa do overhead da instalação de todo o sistema operacional para cada tecnologia de desenvolvimento), menor tempo para inicialização da aplicação em container (o boot de um container é mais leve e mais rápido que um boot de um S.O. completo), melhor aproveitamento dos recursos de hardware (é possível executar no mesmo S.O./máquina várias aplicações desenvolvidas em diversas tecnologias e versões de distintas), facilidade de atualização das aplicações (pois cada container já possui as suas dependências), etc.
Com o intuito de gerenciar, escalar, orquestrar esta solução de conteinerização surgiram várias tecnologias, entre as mais comuns podemos citar: Docker Swarm, Kubernetes e Mesos. Há alguns anos, a CGU iniciou um projeto de conteinerização com a tecnologia de Kubernetes (k8s) que é uma solução open-source amplamente utilizada, projetada pelo Google e hoje mantida pela Cloud Native Computing Foundation.
A CGU hoje possui dois Clusters de Produção k8s executando sistemas como: eAud, Ativa, Monitor, Trilhas, Chatboot do E-Ouv etc., onde alguns foram reescritos para esta tecnologia e outros já estão nascendo neste novo padrão.
Cluster k8s | Hardware | S.O. | Localização |
sdp-k8s | 2 Dell Inc. PowerEdge M915 4 Máquinas Virtuais | CoreOS | DF/SEDE |
dcp-k8s | 6 Máquinas Virtuais | CoreOS | DF/IDC |
Tabela 21- Clusters de Produção de k8s na CGU
5.2. Projeto de Nuvem
No ano de 2018, a CGU fez um Estudo Técnico Preliminar para contratação de serviços em nuvem abrangendo serviços de computação (IaaS) e plataforma (PaaS). Um dos objetivos centrais era a substituição parcial ou total dos serviços atualmente hospedados em Datacenter no colocation do DF/ IDC, que hospeda os principais sistemas externos da CGU.
Com este estudo, a CGU aderiu como partícipe na licitação do pregão eletrônico nº 29/2018 do antigo Ministério do Planejamento, Desenvolvimento e Gestão (MPOG), atual Ministério da Economia (ME). O resultado do pregão gerou o contrato com a empresa integradora Embratel que, neste contrato, está prestando serviços de nuvem da AWS.
Atualmente, a CGU está em vias de assinar o contrato com o serviço de nuvem gerado deste pregão. A migração para nuvem é uma longa jornada que basicamente pode ser classificada em quatro fases: Projeto, Base, Migração e Reinvenção. Para chegar ao último estágio, reinvenção e otimização, leva-se um tempo para adquirir a maturidade Organizacional necessária em reinventar seus processos administrativos e tecnológicos com os serviços de nuvem. A tendência, com a disponibilidade de contratação de tecnologias em nuvem, é mantermos ambos ambientes, on-premises e nuvem, onde no início o seu ambiente on-premises é grande e durante os anos ele vai sendo migrado até ficar reduzido a um mínimo ainda necessário.
5.3. Projeto Colocation e Moving DataCenter
Recentemente a CGU lançou o pregão eletrônico nº 04/2019 com o intuito de garantir melhores condições da infraestrutura on-premises licitando o moving do datacenter da DF/Sede para o colocation do SERPRO. Com esta mudança, o cluster de virtualização Cluster-INTEL e Cluster-AMD irão migrar para o DF/SERPRO.
Com o cenário atual a previsão de continuidade deste projeto é que os hardwares que acomodarão os serviços e sistemas, que não forem migrados para a nuvem, irão ser unificados no colocation DF/SERPRO, ou seja, teríamos todos os clusters de virtualização no mesmo DataCenter, o que em futuras contratações de hardware permite a unificação e redução do número de hospedeiros necessários para o ambiente de virtualização.
5.4. Projeto de Contratação de Hardware
A garantia de todo o hardware da parte de processamento dos ambientes de virtualização da CGU/DF está para expirar nos próximos dois anos, conforme a linha de tempo abaixo.
Figura 10- Linha do tempo de expiração de hardware do ambiente de virtualização da CGU/DF
A contratação mínima de hardware necessária para manutenção do seu ambiente on-premises, torna-se um desafio diante das expectativas futuras e projetos demonstrados nos itens anteriores.
6. Conclusões
Este estudo contemplou diversos pontos de análise dentro do escopo do atual ambiente de virtualização on-premises da CGU/DF, os principais pontos serão destacados nas conclusões a seguir.
6.1. Redução da Capacidade de Processamento do Ambiente de Virtualização On-premises
Conforme apresentado no item 1.2, o contrato 28/2016 foi celebrado com a análise do cenário da época, no qual previa-se acomodar o crescimento da Organização expandindo o datacenter do ambiente on-premises com a aquisição de novos hospedeiros físicos e por consequência com a expansão e upgrade de licenciamentos de softwares possibilitando melhor gerenciamento e automação do ambiente de virtualização, com a aquisição do VROps através do licenciamento VSOM (item 3.1.3).
Hoje, um novo cenário se configura nesta área. Projetos recentes da CGU em kubernetes e nuvem, conforme apresentados nos itens 5.1 e 5.2 respectivamente, demonstram uma forte tendência na migração de sistemas que eram executados no ambiente virtualizado on-premises VMWare da CGU/DF para o ambiente de kubernetes (open-source) e nuvem.
Além dos projetos elencados acima, podemos constatar no estudo de perfil de uso dos workloads de processamento e memória (média da quantidade de GHz e TB realmente utilizados por todos os sistemas e serviços virtualizados) dos clusters de produção do ambiente de virtualização VMWare da CGU/DF (INTEL e IDC) no último ano (conforme apresentado nos itens 3.3.2.2, 3.3.2.3, 3.3.3.2 e 3.3.3.3) que no cluster-IDC há uma baixa margem ociosidade de processamento e memória, simulando uma falha simultânea de dois hospedeiros. Porém, no Cluster-INTEL há uma alta margem de ociosidade de processamento e memória, considerando o mesmo cenário de falha, respectivamente em 53% e 40% da capacidade total.
Com as constatações elencadas acima, percebe-se um cenário atual com perspectivas de redução da necessidade da capacidade processamento no ambiente de virtualização tradicional da CGU/DF. O Projeto de moving de datacenter (item 5.3) e compra de hardware (item 5.4) possibilitarão a unificação de clusters com
menor número de hospedeiros. Estes projetos irão corroborar esta tendência de downsizing do ambiente virtualizado on-premises.
6.1.1. Cluster-AMD
O Cluster-AMD possui 8 sockets licenciados e com suporte ativo, seus hospedeiros possuem um hardware defasado e não executam maquinas virtuais do ambiente de produção, conforme apresentado no item 3.3.2.1. Desta forma, deve-se retirar estes hospedeiros da Solução de Virtualização e utilizar estas máquinas para ampliar o cluster de kubernetes da Sede/DF.
6.1.2. Cluster-INTEL
O Cluster-INTEL possui 48 sockets licenciados e com suporte ativo, conforme apresentado no item 3.3.2.2, este hardware ainda está na matriz de compatibilidade com as versões mais recentes do ESXi, item 3.3.1.2, porém, conforme explicado nas conclusões, é seguro remover dois hospedeiros deste cluster, de forma a reduzir a sua ociosidade, e criar um novo Cluster para absorver os ambientes de laboratórios e testes do extinto Cluster-AMD, conforme conclusão 6.1.1. Deste modo, conseguiríamos não precisaremos do suporte de mais 8 sockets da solução de virtualização.
Antes do término do contrato nº 28/2016 recomenda-se atualizar para a última versão disponível o cluster de laboratório e testes supracitado, uma vez que não renovando o suporte também se perde o direito de atualização da versão do produto, porém mantem-se o direito de utilização do produto, por ser licença perpétua.
Com esta nova configuração, caso mantenha-se a Solução com o VMWare, a Coordenação de Operação deverá configurar o VM Override para o Cluster-INTEL para definir as máquinas virtuais com maior precedência para serem reiniciadas pelo VSphere HA, de acordo com a prioridade dos sistemas de produção da Organização, em caso um dos Chassi das Blades venha a cair.
6.1.3. Cluster-IDC
O Cluster-IDC possui 24 sockets licenciados, com suporte ativo e suporta todo o ambiente de produção dos sistemas externos da CGU. Conforme explicado nas conclusões, não há uma grande margem de ociosidade e ainda não foi migrado nenhum workload para a nuvem, por isso hoje, iremos renovar a Solução de Virtualização para toda a capacidade de processamento deste Cluster até a conclusão dos projetos citados nos itens 5.2, 5.3 e 5.4.
Ademais, este hardware não está mais na matriz de compatibilidade com as versões mais recentes do ESXi, item 3.3.1.3, desta forma, caso mantenha-se a Solução com o VMWare, é recomendado apenas aplicar somente updates ou pacthes de correção da versão atual, sem fazer o upgrade.
6.1.4. Estratégia de Contratação com Downsizing em Aquisições de Hardware
Diante do licenciamento por capacidade de processamento das Soluções de Virtualização apresentadas neste estudo, futuras aquisições de hardware deverão aumentar a capacidade de memória (TB) e de clock (GHz) tentando minimizar a quantidade de sockets e cores dos hospedeiros necessários para suportar o ambiente de virtualização, sempre deixando uma capacidade adicional para alta disponibilidade dos clusters de produção.
Diante do cenário atual de downsizing do ambiente on-premises, conclusões anteriores e da linha de tempo de expiração do hardware do ambiente de virtualização da CGU/DF, exibida no item 5.4, para esta contratação promoveremos uma imediata redução para 60 sockets (280 cores) e por no máximo dois anos (24 meses) de suporte. Uma vez que, a contratação de hardware de acordo com referida linha do tempo, projeto item 5.4, e a conclusão do projeto de união dos clusters, projeto do item 5.3, indicam uma nova redução do número de sockets/cores necessários para o ambiente virtualização depois deste período.
Figura 11- Expectativa de redução do número de sockets para o ambiente de virtualização da CGU/DF
6.2. Licenciamento Microsoft com direito de uso do Hyper-V x VMware
Fez-se necessária a análise do custo adicional que precisaria ser investido no licenciamento de Windows Server com a Microsoft para migrar a atual solução de virtualização da Sede/DF e do IDC/DF para o Microsoft Hyper-V com System Center. A tabela abaixo, estima este custo adicional total, conforme estimativas dos itens 4.5.3, 4.5.4.3 e 4.5.5.
Produto | Qtde. | Valor Unitário (R$) | 2020 |
Migração Windows Server Datacenter Para CIS Data Center | 116 | R$704,00 | R$81.664,00 |
Aquisição de Licenciamento adicional CIS Datacenter | 164 | R$1.426,52 | R$233.949,28 |
Horas de Suporte Premier Adicional | 36 h | R$772,31 | R$27.803,20 |
Capacitação | 40 h | R$772,31 | R$30.892,44 |
Migração | 160 h | R$772,31 | R$131.369,76 |
Total | - | - | R$505.678,68 |
Tabela 22 – Estimativa do Custo total para implantação do Hyper-V no ambiente do VMWare.
No cenário atual apresentado neste estudo, com base nos valores estimados da tabela acima, na Tabela 1 que estima o custo de manter o VSOM e na conclusão 6.1.4 (onde em 2022 pretendemos reduzir a quantidade de processamento quase pela metade) podemos estimar qual seria a diferença de custos entre as soluções para os próximos 4 anos, de acordo com a tabela e o gráfico abaixo.
Ano | VSOM | Hyper-V | Diferença de Custo |
2020 | R$427.000,00 | R$505.678,68 | -R$78.678,68 |
2021 | R$427.000,00 | R$343.416,48 | R$83.583,52 |
2022 | R$213.500,00 | R$171.708,24 | R$41.791,76 |
2023 | R$213.500,00 | R$171.708,24 | R$41.791,76 |
Totais | R$1.281.000,00 | R$1.192.511,63 | R$88.488,37 |
Tabela 23 – Diferença de custo entre as soluções para os próximos 4 anos
Figura 12 – Comparativo de Custo entre as Soluções para os próximos 4 anos.
Além do custo, é importante analisar os riscos envolvidos, conforme é demonstrado no item 4.5.7, o impacto e o esforço da migração, itens 4.5.4.1 e 4.5.4.2, e a limitação técnica do requisito desejável do Microsoft Hyper-V frente ao VMWare, identificada no item 4.5.6.
Diante do cenário exposto nesta conclusão:
a) soluções de ambiente híbridos com segregação de VMware e Hyper-V, além de tornarem mais complexo o gerenciamento e possivelmente aumentarem o custo total, não atendem ao cenário atual de downsizing do ambiente on-premises (conforme explicado no item 4.5.1 e recomendado no item 6.1.4), logo não é uma boa solução;
b) próximas contratações de soluções, que tenham como suporte do fabricante alguma dependência do hypervisor (em destaque Videoconferência e Telefonia IP), deve-se exigir, no mínimo, compatibilidade com duas soluções de virtualização com o intuito de permitir maior concorrência nos processos de contratação de soluções de virtualização, e não incorrer em “vendor lock-in”.
c) faz-se necessária a priorização do projeto de migração da solução de Telefonia IP da versão atual 7 para a versão 8.0.1, para ter suporte a solução de virtualização do Microsoft Hyper-V, conforme documentação do fabricante (AVAYA, 2019).
d) deve ser priorizada uma nova PoC com o Microsoft Hyper-V com a versão mais nova dos produtos (2019) da PoC anterior (2012 R2, citada no item 4.5.6), para emissão de novo parecer técnico acerca da solução de virtualização da Microsoft.
XXXXXX XXXXXX PAYSAN
Integrante Técnico
[ASSINATURA ELETRÔNICA]
XXXXXX XXXX XX XXXXXXXX XXXXXXXXX XXXXX
Integrante Requisitante
[ASSINATURA ELETRÔNICA]
XXXXXXXX XXXXXXXXX XX XXXXX
Diretor da Diretoria de Tecnologia da Informação
[ASSINATURA ELETRÔNICA]
Anexo I Glossário
Padrões de Interoperabilidade de Governo Eletrônico - ePing[1]
A arquitetura de Padrões de Interoperabilidade (ePing) define um conjunto mínimo de premissas, políticas e especificações técnicas que regulamentam a utilização da Tecnologia de Informação e Comunicação no Governo Federal, estabelecendo as condições de interação com os demais Poderes e esferas de governo e com a sociedade em geral.
Portaria STLI nº 92/2014: Institucionaliza os Padrões de Interoperabilidade de Governo Eletrônico - e-PING, no âmbito do Sistema de Administração dos Recursos de Informação e Informática – SISP, cria sua Coordenação, definindo a competência de seus integrantes e a forma de atualização das versões do Documento.
Modelo de Acessibilidade em Governo Eletrônico - eMag[2]
O Modelo de Acessibilidade em Governo Eletrônico (eMAG) consiste em um conjunto de recomendações a ser considerado para que o processo de acessibilidade dos sítios e portais do governo brasileiro seja conduzido de forma padronizada e de fácil implementação.
Portaria SLTI nº 03/2007: Institucionaliza o Modelo de Acessibilidade em Governo Eletrônico - e-MAG, no âmbito do Sistema de Administração dos Recursos de Informação e Informática – SISP.
Padrões Web em Governo Eletrônico - ePwg[3]
são recomendações de boas práticas agrupadas em formato de cartilhas com o objetivo de aprimorar a comunicação e o fornecimento de informações e serviços prestados por meios eletrônicos pelos órgãos do Governo Federal.
Infraestrutura de Chaves Públicas Brasileira - ICP-Brasil[4]
A Infraestrutura de Chaves Públicas Brasileira – ICP-Brasil é uma cadeia hierárquica de confiança que viabiliza a emissão de certificados digitais para identificação virtual do cidadão.
Medida Provisória nº 2.200-2/2001: Institui a Infra-Estrutura de Chaves Públicas Brasileira - ICP-Brasil, transforma o Instituto Nacional de Tecnologia da Informação em autarquia, e dá outras providências.
Modelo de Requisitos para Sistemas Informatizados de Gestão Arquivística de Documentos - e-ARQ Brasil[5]
Objetivos: Orientar a implantação da gestão arquivística de documentos arquivísticos digitais e não digitais; Fornecer especificações técnicas e funcionais, além de metadados, para orientar a aquisição e/ou a especificação e desenvolvimento de sistemas informatizados de gestão arquivística de documentos.
Anexo II
Referências
AVAYA. (03 de 2019). AVAYA. Fonte: AVAYA: xxxxx://xxxxxxxxx.xxxxx.xxx/xxx/X0/xxxxxxxxx/000000000 (SEI 1260220)
Bomgar. (28 de 08 de 2019). Bomgar. Fonte: Bomgar: xxxxx://xxx.xxxxxxxxxxx.xxx/xxxx/xxxxxxx/xxxxxx-xxxxxxx/00-0/xxxxx-x.xxx (SEI 1260381)
Cisco Meeting Management 2.5. (13 de 12 de 2018). Cisco Meeting Management 2.5. Fonte: Cisco Meeting Management 2.5: xxxxx://xxx.xxxxx.xxx/x/xxx/xx/xx/xx/xxxx/xxxxxxxxxxxx/Xxxxx-Xxxxxxx-Xxxxxxxxxx/Xxxxxxxxxxxx/Xxxxx-Xxxxxxx-Xxxxxxxxxx-0-0-Xxxxxxxxxxxx-xxx-Xxxxxxxxxxxxx- Guide.pdf (SEI 1260384)
Cisco Meeting Server Release 2.5.0. (28 de 01 de 2019). Cisco Meeting Server Release 2.5.0. Fonte: Cisco Meeting Server Release 2.5.0: xxxxx://xxx.xxxxx.xxx/x/xxx/xx/xx/xx/xxxx/xxxxxxxxxxxx/xxxxxXxxxxxxXxxxxx/Xxxxxxx_Xxxxx/Xxxxxxx-0-0/Xxxxx-Xxxxxxx-Xxxxxx-Xxxxxxx-Xxxxx-0-0-0.xxx (SEI 1260387)
CISCO Vbrick. (16 de 05 de 2016). VBrick Distributed Media Engine (DME) for Cisco TelePresence and Cisco WebEx Environments Data Sheet. Fonte: VBrick Distributed Media Engine (DME) for Cisco TelePresence and Cisco WebEx Environments Data Sheet: xxxxx://xxx.xxxxx.xxx/x/xx/xx/xxxxxxxx/xxxxxxxxxx/xxxxx/xxxxxxx-xxxxx-xxxxxxx/xxxxxxxxx-x00-000000.xxxx (SEI 1260396)
CISCO VCS Control. (11 de 2019). Cisco TelePresence VCS on Virtual. Fonte: Cisco TelePresence VCS on Virtual: xxxxx://xxx.xxxxx.xxx/x/xxx/xx/xx/xx/xxxx/xxxxxxxxxxxx/xxxxxxxxxxxxxx/xxx/xxxxxxx_xxxxx/Xxxxx-XXX-Xxxxxxx-Xxxxxxx-Xxxxxxx-Xxxxx-X0-00.xxx (SEI 1260404)
IBM Spectrum Protect® for Virtual Environments - All Requirements Doc. (03 de 07 de 2019). IBM Spectrum Protect® for Virtual Environments - All Requirements Doc. Fonte: IBM Spectrum Protect® for Virtual Environments - All Requirements Doc: xxxxx://xxx-00.xxx.xxx/xxxxxxx/xxxxxxx.xxx?xxxxxxx00000000#000 (SEI 1260411)
TREND IMSVA. (2016). TREND IMSVA. Fonte: TREND IMSVA: xxxxx://xxx.xxxxxxxxxx.xxx/xx_xx/xxxxxxxx/xxxxxxxx/xxxx-xxxxxxxxxx/xxx/xxxxx-xxx- collaboration/interscan-messaging.html# (SEI 1260418)
VMWare Compatibility Guide. (2019). Fonte: xxxxx://xxx.xxxxxx.xxx/xxxxxxxxx/xxxxxxxxxxxxx/xxxxxx.xxx
VMWare End of Availability VSOM ENT+. (21 de 11 de 2018). End of Availability of vSphere with Operations Management Enterprise Plus Edition. Fonte: xxxxx://xx.xxxxxx.xxx/x/xxxxxxx/00000 (SEI 1260423)
VMWare Support. (08 de 2019). VMWare Support. Fonte: VMWare Support: xxxxx://xxx.xxxxxx.xxx/xxxxxxx/xxxxxxxx.xxxx#xxxxxxxxxxxxxxx (SEI 1260426)
VMWare VCenter. (09 de 2019). VMWare VCenter. Fonte: VMWare VCenter: xxxxx://xxx.xxxxxx.xxx/xxxxxxx/xxx/xxxxxxxxxxxxxxxx/xxxxxx/xx/xxx/xxxxxxxx/xxxxxxx/xxxxxx-xxxxxxx-xxxx-xxxxxxx-xxxxxxxxxx.xxx (SEI 1260429)
VMWare VCloud. (08 de 2019). VMWare VCloud. Fonte: VMWare VCloud: xxxxx://xxx.xxxxxx.xxx/xxxxxxx/xxx/xxxxxxxxxxxxxxxx/xxxxxx/xx/xxx/XXxxxx- vCloud-Suite-Datasheet.pdf (SEI 1260434)
VMWare VROps. (08 de 2019). VMWare VROps. Fonte: VMWare VROps: xxxxx://xxx.xxxxxx.xxx/xxxxxxx/xxx/xxxxxxxxxxxxxxxx/xxxxxx/xx/xxx/xxxxxxxx/xXxxxxx/xxxxxx-xxxxxxxx-xxxxxxxxxx-xxxxxxxxx.xxx (SEI 1260435)
VMWare VSphere. (08 de 2019). VMWare VSphere. Fonte: VMware VSphere: xxxxx://xxx.xxxxxx.xxx/xxxxxxx/xxx/xxxxxxxxxxxxxxxx/xxxxxx/xx/xxx/xxxxxxx/xxx-xxxx-xxxxxxxxxxxxxxxxxxxxxx-xxxxx.xxx (SEI 1260438)
Documento assinado eletronicamente por XXXXXX XXXXXX PAYSAN, Auditor Federal de Finanças e Controle, em 25/09/2019, às 14:26, conforme horário oficial de Brasília, com fundamento no art. 6º, §1º, do Decreto nº 8.539, de 08 de outubro de 2015.
Documento assinado eletronicamente por XXXXXXXX XXXXXXXXX XX XXXXX, Diretor de Tecnologia da Informação, em 25/09/2019, às 14:30, conforme horário oficial de Brasília, com fundamento no art. 6º, §1º, do Decreto nº 8.539, de 08 de outubro de 2015.
Documento assinado eletronicamente por XXXXXX XXXX XX XXXXXXXX XXXXXXXXX XXXXX, Auditor Federal de Finanças e Controle, em 25/09/2019, às 14:33, conforme horário oficial de Brasília, com fundamento no art. 6º, §1º, do Decreto nº 8.539, de 08 de outubro de 2015.
CD76B180
A autenticidade deste documento pode ser conferida no site xxxxx://xxx.xxx.xxx.xx/xxxxxxxx informando o código verificador 1262580 e o código CRC