MEMBROS FUNDADORES
Guia de Contratações Públicas de Inteligência Artificial
Guia de Contratações Públicas de Inteligência Artificial
Xxxxx Xxxxxxxx
Project Lead, AI/ML, C4IR Brasil
Xxxxxx Xxxxxxxx xx Xxxxxx
Procurador do Estado de São Paulo e Government fellow, AI/ML, World Economic Forum
MEMBROS FUNDADORES
PARCEIROS INSTITUCIONAIS
O conteúdo desta publicação não reflete, necessariamente, opinião ou posicionamento dos membros do C4IR Brasil nem do Fórum Econômico Mundial
Comitê Executivo do C4IR Brasil
Presidente
Xxxxxxxx Xxxxx xx Xxxxx
Secretária de Desenvolvimento Econômico, Estado de São Paulo
Vice-Presidente
Xxxxxxxx Xxxxxxxx
Associação Brasileira da Indústria de Tecnologia para Saúde
Membros
Xxxxxxx Xxxxx
Meta
Xxxxxxxxx Xxxxxx
Qualcomm
Xxxx Xxxxxx
Agência Brasileira de Desenvolvimento Industrial, Governo Federal
Jackline Conca
Subsecretária de Inovação e Transformação Digital, Ministério da Economia, Governo Federal
Xxxxx Xxxxxxxxx
Bracell
Xxxxx Xxxxxxxx
Instituto de Pesquisas Tecnológicas, Estado de São Paulo
Xxxxxx Xxxxxx
Astrazeneca
Xxxxx Xxxxx
Secretaria de Empreendedorismo e Inovação, Ministério da Ciência, Tecnologia e Inovações, Governo Federal
Xxxx Xxxxxxxx
Eletrobras
Licença
Este material pode ser citado, adaptado e compartilhado por qualquer meio ou formato, desde que para fins não comerciais e com indicação de seus autores.
Atribuição 4.0 Internacional (CC BY 4.0)
Índice
Comitê Executivo do C4IR Brasil 3 Sobre o C4IR Brasil 6 Prefácios 7
República Federativa do Brasil 7
Estado de São Paulo .............................................................................................................................
1.1. O que é o AI Procurement in a Box? 14
1.2. Por que criar uma versão brasileira? 16
2. O estado da arte no emprego de IA no setor público no Brasil 17
2.1. Como a IA tem sido usada pelo Poder Público no Brasil? 19
2.2. Por que o setor público opta pelo desenvolvimento interno de soluções de IA? 24
3. Diretivas para contratações públicas de inteligência artificial 28
3.1. Adotar, sempre que possível, o emprego de procedimentos de contratação pública de inovação para adquirir soluções de IA 28
3.2. Avaliar os riscos e os benefícios que o emprego de IA pode trazer para a resolução do problema subjacente à contratação 34
3.3. Promover o alinhamento da contratação com os objetivos de estratégias nacionais
3.4. Incorporar todas as exigências da legislação referente à proteção de dados e boas práticas aplicáveis à solução de IA 39
3.5. Assegurar a acessibilidade, sob o ponto de vista técnico, dos dados necessários
3.6. Avaliar a qualidade, os vieses e eventuais preconceitos dos dados disponíveis 44
3.7. Constituir uma equipe diversa e multidisciplinar para acompanhar a contratação de IA 47
3.8. Incorporar ao procedimento de contratação critérios que assegurem a transparência, responsabilidade e prestação de contas sobre os algoritmos 49
3.9. Prever obrigações de transferência de conhecimento e rotinas de avaliação de riscos
da solução de IA no longo prazo 51
3.10. Garantir isonomia no tratamento e igualdade de condições aos fornecedores de soluções de IA 53
Índice
4. Estudo de caso: Hospital das Clínicas da Faculdade de Medicina da Universidade de São Paulo 58
4.1. Qual o problema que o Hospital das Clínicas pretendia resolver? 58
4.2. Quais foram as mudanças realizadas pelo Hospital das Clínicas para solucionar o problema de integração de dados? 60
4.3. Quais tecnologias foram adotadas para a integração dos bancos de dados?
Quais as principais etapas desse processo? 61
4.4. Por que a IA foi escolhida como alternativa técnica pelo HCFMUSP? 61
4.5. Quais os principais desafios, gargalos e dificuldades identificadas para o uso de
4.6. Indique quais recomendações e boas práticas a experiência do Hospital das Clínicas
gera para outros órgãos e entidades públicas 63
5. Estudo de caso: aplicação de IA na manutenção de trens e vias do
5.1. Qual o problema que o Metrô de São Paulo buscava resolver? 65
5.2. Qual foi a modalidade de contratação escolhida? Por quê? Quais as principais etapas desse processo de contratação? 67
5.3. Por que a IA foi escolhida como alternativa técnica na solução? 69
5.4. Porque adotar as diretivas do Fórum Econômico Mundial? Como as diretivas
contribuíram para este processo? 70
5.5. Como foi o processo de adaptação das diretrizes ao contexto brasileiro? 70
5.6. Quais recomendações e boas práticas o caso do Metrô de São Paulo deixa como
legado para outros órgãos e entidades públicas? 70
Apêndice: Avaliação de Impacto Algorítmico 72 Bibliografia 85
Em 2017, o Fórum Econômico Mundial inaugurou em São Francisco o Centro para a Quarta Revolução Industrial (C4IR), que se propõe a ser um espaço multissetorial para a cooperação público-privada entre governo, academia, empresas e sociedade civil, com vistas à formulação de políticas públicas e parcerias que contribuam para o desenvolvimento e aplicação de tecnologias inovadoras de maneira ética e inclusiva.
Nesse sentido, foram instalados outros Centros administrados diretamente pelo Fórum (China, Índia e Japão) e Centros Afiliados à Rede C4IR, que são estabelecidos, operados e gerenciados localmente por governos parceiros, tais como África do Sul, Arábia Saudita, Colômbia, Emirados Árabes Unidos, Israel, Ruanda, Turquia, entre outros.
O C4IR já estabeleceu parcerias com mais de vinte países e organismos interna- cionais e, além disso, conta com a colaboração de organizações transnacionais de diversos setores. A abrangência de sua rede, bem como a diversidade e relevância dos atores dela participantes, permite ao C4IR o acúmulo da massa crítica necessária para a formulação de políticas públicas capazes de facilitar e acelerar a adoção de tecnologias da quarta revolução industrial.
O C4IR Brasil é uma parceria público-privada entre o Fórum, o governo federal, o governo do Estado de São Paulo e diversos membros da iniciativa privada que se uniram para desenvolver políticas públicas em três áreas tecnológicas de grande impacto: (i) inteligência artificial e aprendizado de máquina; (ii) internet das coisas e transformação urbana; e (iii) política de dados.
Este guia é fruto do trabalho colaborativo entre a equipe do C4IR Brasil e uma vibrante comunidade de especialistas provenientes do setor público, do setor privado, da academia e da sociedade civil. Torna-se, assim, uma contribuição sobre o papel das contratações públicas na promoção da ética no emprego de soluções de inteligência artificial no setor público brasileiro.
Desejo a todos, em nome do C4IR Brasil, boa e proveitosa leitura!
Xxxxx Xxxxx Xxxx Xxxxxx
Diretor Executivo do C4IR Brasil
República Federativa do Brasil
Os últimos anos resultaram em grandes avanços para o Brasil, com diversas reformas que tornaram o ambiente de negócios nacional mais dinâmico e aprimoraram o marco legal e regulatório brasileiro no ramo da Ciência, Tecnologia e Inovação.
Como resultado, o ecossistema brasileiro - o mais ativo e diversificado na América Latina - subiu cinco posições no Global Innovation Index (GII) em 2021 (57º), em relação ao ranking de 2020 (62º) e ganhou novos instrumentos de contratação pública que facilitam a interação público-pri- vada. É o caso, por exemplo, do novo regime jurídico para a encomenda tecnológica, regida pelo Decreto 9.283/2018, e da modalidade especial de licitação prevista no Marco Legal das Startups e do Empreendedorismo Inovador (Lei Complementar 182/2021), que permite a realização de testes com soluções inovadoras para facilitar a incorporação de tecnologia no setor público.
Em meio a tantas alterações normativas, o presente Guia de Contratações Públicas de Inteligência Artificial buscou no pro- jeto AI Procurement in a Box, do Fórum Econômico Mundial, a inspiração para reunir boas práticas internacionais para contratação de IA já adaptadas ao contexto e à legislação brasileira. O objetivo é transpor as recomendações da teoria para a prática do gestor público, apresentando exemplos e instruções concretas que abrangem desde a etapa interna de planejamento até a gestão e execução contratual.
Dessa forma, o material elaborado pelo Xxxxxx xx Xxxxxx Xxxxxxxxx Xxxxxxxxxx (X0XX) xx Xxxxxx alinha-se aos objetivos da Estratégia de Governo Digital, de 2020, e da Estratégia Brasileira de Inteligência Artificial (EBIA), de 2021, favore- cendo a incorporação de critérios éticos em contratações de IA e orientando gestores públicos e fornecedores sobre seus riscos e múltiplas possibilidades, de modo a auxiliar o país a usufruir dessas tecnologias da maneira mais eficiente e justa possível.
Xxxxxxxx xx Xxxxx Xxxxx
Subsecretária de Inovação e Transformação Digital, Ministério da Economia
Xxxxx Xxxxx Xxxxxxx xx Xxxxxxxx Xxxxx
Secretário de Empreendedorismo e Inovação, Ministério da Ciência, Tecnologia e Inovações
Xxxx Xxxxxx Presidente da Agência Brasileira de Desenvolvimento Industrial
Inteligência artificial e aprendizado de máquina não são mais tecnologias do futuro. Expoentes da Quarta Revolução Industrial e largamente usadas na indústria, no comércio e no setor de serviços, o emprego dessas tecnologias por governos do mundo todo sinaliza uma transformação profunda da Administração Pública rumo à digitalização - processo já em andamento e que foi bastante acelerado pela pandemia de COVID-19.
Contudo, seja para otimizar processos internos, seja para melhorar a prestação de serviços públicos, contratar tecno- logia exige uma difícil conciliação entre o dinamismo dos processos de inovação e o rigor da legislação de compras públicas. Não é por acaso que a contratação é percebida pelos gestores brasileiros como um dos principais gargalos a superar, assumindo importância estratégica em meio a esse desafio.
O Guia de Contratações Públicas de Inteligência Artificial foi elaborado pelo Xxxxxx xx Xxxxxx Xxxxxxxxx Xxxxxxxxxx xx Xxxxxx, em parceria com a União, o Estado de São Paulo e o Fórum Econômico Mundial, consultando especialistas do setor público, do setor privado, academia e sociedade civil. O documento pretende reunir as melhores práticas internacionais sobre a contratação de IA pela Adminis- tração, garantindo a incorporação de critérios éticos nas contratações públicas que tenham por objeto o desen- volvimento ou a customização de soluções baseadas em inteligência artificial.
Em São Paulo foram realizados os dois pilotos para adaptar as diretivas do Fórum à legislação e ao contexto brasileiro. Assim, os aprendizados obtidos no Metrô de São Paulo e no Hospital das Clínicas somam-se aos pilotos já realizados no Reino Unido, na Índia, no Bahrein e nos Emirados Árabes Unidos, e representam a contribuição do Brasil para esse projeto global.
Maria Lia P. Porto Corona Procuradora Geral do Estado, Estado de São Paulo
Xxxxxxxx Xxxxx xx Xxxxx Secretária de Estado de Desenvolvimento Econômico, Estado de São Paulo
Acelerada pelo COVID-19, a Inteligência Artificial (IA) está cada vez mais presente no nosso cotidiano. Os governos, igualmente, tem percebido os benefícios que tecnologias como IA e aprendizado de maquina podem trazer para a prestação de serviços públicos. Soluções baseadas em IA, por exemplo, tem sido aplicadas a tributação, finanças, saúde e turismo, contribuindo para ampliar o acesso, a qualidade e a produtividade das atividades a cargo da Administração Pública. No entanto, essa tecnologia não é isenta de riscos, tais como vieses e discriminação, que exigem a adoção de estratégias de mitigação.
Em junho de 2020, o Fórum Econômico Mundial, em parceria com o governo do Reino Unido e uma ampla comunidade de atores internacionais, lançou o projeto AI Procurement in a Box: um guia prático para acelerar a adoção de IA em organizações do setor público. Desde sua publicação, vários pilotos foram realizados em países como Reino Unido, Emi- rados Árabes Unidos, Bahrein, Estados Unidos da América, Colômbia e Japão, por exemplo. O projeto busca auxiliar os agentes públicos a tomar decisões informadas sobre o emprego de soluções de IA, estimulando a inovação no mercado e incentivando o uso de processos mais ágeis de contratação.
Como destacado nos relatórios do AI Procurement in a Box, pretende-se que os recursos e documentos elaborados no âmbito deste projeto sejam disponibilizados publicamente, como um “documento vivo”, para incentivar a sua ampla adoção no setor público e permitir que as suas diretrizes e recomendações evoluam após futuros testes. Destarte, os principais aprendizados obtidos a partir dos pilotos realiza- dos no Brasil serão futuramente incorporados ao projeto.
O Fórum parabeniza o Centro para a Quarta Revolução Industrial do Brasil (C4IR Brasil) pelo sucesso dos projetos-
-piloto realizados junto ao Metrô de São Paulo e ao Hospital das Clínicas. Igualmente, esperamos continuar ampliando iniciativas voltadas a contratações públicas de IA, em par- ceria com o C4IR Brasil e a comunidade internacional, a fim de manter o uso ético e responsável dessas tecnologias.
Xxx Xxxxx-Butterfield Head, AI/ML, World Economic Forum
Xxxxxx Xxxxxx
Platform Curator, AI/ML, World Economic Forum
Fórum Econômico Mundial
Accelerated by COVID-19, Artificial Intelligence (AI) is incre- asingly embedded into our daily lives. Governments are more and more aware of the benefits that AI and Machine Learning can bring to public services. AI applications, for example, in tax services, finance, health, and tourism, con- tribute to wider service accessibility to citizens, increased service quality, and higher organizational productivity. Nevertheless, this technology bears risks such as bias and discrimination, which require risk mitigation mechanisms.
In June 2020, the World Economic Forum and its global multistakeholder community co-designed with the UK Government the Procurement in a Box package, a pragmatic guidebook to unlock public-sector adoption of AI. Since its publication, various pilots, use cases, and guideline adop- tions have taken place in the United Kingdom, the United Arab Emirates, the Kingdom of Bahrain, the United States of America, Colombia, and Japan, to name a few. It has helped public officials to make informed decisions about AI solutions and boost innovation by tapping into market capabilities and accommodating more agile procurement processes.
As pointed out in the Procurement in a Box white paper, these resources are available publicly as a “living document” to encourage wide adoption as well as ensure the guide- lines evolve with insights from a range of trials. Hence we’ll embed the insightful findings from the Brazilian use cases presented in this paper in our subsequent project iteration.
The Forum congratulates the Centre for the Fourth Industrial Revolution Brazil (C4IR Brazil) community on the successful pilot projects with São Paulo Metro and Hospital das Clíni- cas. We look forward to continuing to develop and extend the public procurement work on AI with C4IR Brazil and the global community to keep AI technologies as well as their use responsible and ethical.
Xxx Xxxxx-Butterfield Head, AI/ML, World Economic Forum
Xxxxxx Xxxxxx
Platform Curator, AI/ML, World Economic Forum
O campo da inteligência artificial (IA) é um dos mais fascinantes dentre as tecnologias da quarta revolução industrial. De um lado, o seu emprego pode trazer grandes benefícios na economia e no uso eficiente de recursos, tanto financeiros quanto humanos. De outro, devido à alta escalabi- lidade e à falta de transparência sobre o funcionamento destas ferramentas, o uso de tecnologias deve ser empregado com cautela e responsabilidade.
Considerando ambos esses aspectos, o Fórum Econômico Mundial desenvolveu um manual para auxiliar o setor público a contratar inteligência artificial mitigando potenciais impactos negativos:
o AI Procurement in a Box. Inspirado nesta iniciativa, o C4IR Brasil resolveu expandir o trabalho
original, adaptando-o ao contexto brasileiro. O presente Guia de Contratações Públicas de IA, portanto, visa auxiliar gestores públicos a navegar a complexa seara de contratações públicas de IA, apresentando 10 diretivas que reúnem, de forma pragmática, as principais recomendações e boas práticas internacionais:
Figura 1. Panorama das diretivas do Fórum Econômico Mundial para contratação de IA
1
10
Igualdade de tratamento dos fornecedoes
9
Transferência de conhecimento e avaliação de riscos no longo prazo
Procedimentos de contratação orientados à inovação
2
Avaliar o custo-benefício do uso de IA no setor público
3
Alinhamento com estratégias nacionais e locais de IA
8
4
Transferência do algoritimo e na tomada de decisões
7
Equipe diversa e
Incorporar a legislação e boas práticas aplicáveis
à solução
5
multidisciplinar
6
Avaliar a qualidade, viesesve preconeceitos dos dados disponíveis
Acessibilidade técnica dos dados necessários ao uso de IA
Fonte: elaboração própria.
Sumário Executivo
A adaptação do material às especificidades do contexto e da legislação brasileira foi realizado a partir de duas experiências concretas de implementação das diretivas no Brasil, que resultam em dois estudos de caso:
1. Hospital das Clínicas da Faculdade de Medicina da USP (HCFMUSP). Aqui, a aplica- ção das diretivas destaca a complexidade de alinhar uma multiplicidade de sistemas de TI, operando em áreas distintas, a padrões comuns de integração e interoperabilidade que permitam a subsequente adoção de ferramentas de IA. A experiência do HCFMUSP ressalta a necessidade de alterações institucionais, aliada a mudanças administrativas e comportamentais, para o sucesso da implementação tecnológica em um ambiente de alta complexidade no que se refere à coleta e ao tratamento de dados pessoais, como ocorre no setor de saúde.
2. Metrô de São Paulo. O caso do Metrô de São Paulo destaca os aprendizados obtidos a partir da aplicação das diretivas do Fórum a um processo de contratação pública no Bra- sil. Por meio de uma encomenda tecnológica, o Metrô busca desenvolver o Sistema de Monitoramento da Via Permanente (SMVP), o qual utiliza algoritmos de IA para detecção proativa e preditiva de danos a trilhos e trens da rede metroviária, otimizando as rotinas de manutenção e evitando interrupções desnecessárias aos passageiros. Dentre as várias lições aprendidas, destacam-se a importância da realização de estudos preliminares, com o exame técnico aprofundado do problema, do mapeamento de riscos e impactos algo- rítmicos, da estruturação de grupos multidisciplinares, com atribuições específicas, e da formação de um comitê técnico de especialistas para assessorar o Metrô de São Paulo durante o processo de contratação.
O presente Guia, fruto dessas contribuições e consolidação desses aprendizados, é formado por cinco capítulos. O primeiro corresponde à introdução. O segundo capítulo traça um panorama do emprego de IA pelo setor público no Brasil, realizando um estudo comparativo e uma revisão da literatura recente para revelar os principais desafios e oportunidades do setor. A terceira parte apresenta as dez diretivas do Fórum Econômico Mundial, situando-as no contexto brasileiro e for- necendo orientações para sua implementação no país. O quarto e o quinto capítulos dedicam-se, respectivamente, à narrativa dos estudos de caso do HCFMUSP e do Metrô de São Paulo, mos- trando como a implementação das diretivas do Fórum deu-se na prática, em projetos distintos, nessas duas organizações.
Com isso, espera-se que o presente Guia de Contratações Públicas de IA seja útil ao gestor público interessado na contratação de tecnologias disruptivas, fornecendo recomendações e orientações para que a Administração Pública brasileira possa auferir o maior benefício possível das ferramen- tas de IA com ética e responsabilidade.
Este guia reúne recomendações, diretrizes e boas práticas para realizar contratações públicas de soluções de inteligência artificial, com foco em inovação, eficiência e ética, no Brasil
É imenso o potencial que as tecnologias de inteligência artificial (IA), tais como aprendizado de máquina, redes neurais e aprendizagem profunda, apresentam para aumentar a produ- tividade do setor público, estimulando a economia e melhorando o seu desempenho em tarefas típicas de Estado. É o caso, por exemplo, do uso de atendimento virtual automatizado (“chatbots”) para expandir o atendimento a cidadãos em serviços públicos ou da aplicação de grandes dados (“big data”) para monitorar, planejar e fiscalizar a execução de políticas públicas.
Entretanto, os riscos inerentes ao emprego dessas tecnologias podem ser difíceis de prever
- principalmente em órgãos e entidades que ainda não possuem capacidades institucionais adequadas à implementação de sistemas de IA. A despeito de algumas iniciativas relevantes nessa área, os governos frequentemente sofrem as consequências da falta de recursos e de quadros qualificados para acompanhar a contratação e o desenvolvimento de soluções de IA, o que atrasa a difusão dessa tecnologia no setor público e compromete o seu emprego. Sem orientações claras sobre como garantir responsabilidade, transparência e aplicabilidade no uso ético dos algoritmos, a sua aplicação em larga escala pelos governos pode agravar riscos, provocar danos e abrir espaço para outras consequências negativas decorrentes do emprego de IA.
Fluxograma 1. O emprego do poder de compra do Estado para fomento à ética
em soluções de IA
O uso de IA é cada vez mais complexo - usuários e pessoas sem formação técnica não conseguem entender o funcionamento de algoritmos e redes neurais.
IA produz decisões automatizadas ou semi automatizadas com potencial para gerar consequências negativas, intencionais ou não, em uma escala inédita e com efeitos de difícil reversão.
O mercado, por si só, não gera os incentivos necessários ao desenvol- vimento de IA ética e responsável.
O poder de compra do Estado pode ser um incentivo para adoção de padrões no mercado (“market shaping”)
As contratações governamentais, por isso, tornam-se um locus estratégico para a coopera- ção público-privada. Os governos, em regra, não dominam os aspectos técnicos da IA e têm forte assimetria informacional em relação aos contratados no setor de TI. Os fornecedores, por sua vez, nem sempre compreendem com clareza os desafios e obstáculos inerentes aos processos de contratação pública. Esse descompasso, embora presente em contrata- ções públicas, em geral, é ainda mais crítico em se tratando do fornecimento de soluções de IA, onde o emprego de decisões total ou parcialmente automatizadas pode criar danos imprevistos, e em escala, à sociedade. Nessa linha, é importante incorporar ao processo de contratação pública elementos ligados ao uso ético de IA, à qualidade de dados disponíveis, além do respeito à legislação que tutela a proteção de dados pessoais.
Por isso, é importante que o setor público se prepare, investindo na construção de práticas responsáveis para a aquisição de IA e no desenvolvimento de centros de experiência com- partilhada e capacidades institucionais adequadas. Do mesmo modo, a existência de regras claras e transparentes sobre os processos de contratação nivelam a competição privada, permitindo que as grandes do setor de tecnologia (“big techs”) e pequenos fornecedores de IA,
como empresas iniciantes (“startups”) e PMEs, possam concorrer em igualdade de condições
1.1. O que é o AI Procurement in a Box?
O AI Procurement in a Box é um projeto do Fórum Econômico Mundial que, com base nas perspectivas de entidades de governo, setor privado, academia e sociedade civil, reúne diretrizes, recomendações e boas práticas para a contratação de soluções de inteligência artificial pelo setor público. O material é composto por cinco documentos: uma introdução geral, contendo a visão geral do projeto; as dez diretrizes para contratações públicas de IA; um conjunto de materiais de apoio prático para Servidores Públicos (AI Procurement in a Box: Workbook), um relatório sobre Desafios e Oportunidades durante a implementação das diretivas; e, por fim, um relato aprofundado dos casos de uso que serviram como pilotos para o projeto no Reino Unido.
A elaboração do AI Procurement in a Box contou, outrossim, com os aprendizados obtidos durante a implementação das diretivas do Fórum em projetos-piloto realizados no Reino Unido, nos Emirados Árabes Unidos e no Bahrein, como ilustra a tabela a seguir:
Tabela 1. Pilotos internacionais do projeto AI Procurement in a Box
País | Órgão/Entidade | Porque usar IA? |
Reino Unido | Department for Business, Energy & Industrial Strategy (DBEIS) | O DBEIS, entidade do governo britânico responsável por questões de negócios, energia e indústria, buscou contratar um sistema de IA para analisar as condições de regulação para novas empresas. O objetivo era usar por análise de dados (“big data”) para apoiar recomendações para atualizar o sistema regulatório para melhorar o ambiente de negócios e, ainda, proteger o meio- ambiente e a sociedade. |
País
Órgão/Entidade
Porque usar IA?
Reino Unido
Food Standards Agency (FSA)
A FSA é a agência que promove a regulação de alimentos e de mantimentos no Reino Unido. Para tanto, a agência buscou aplicar IA por meio de um sistema preditivo
para analisar riscos acerca da qualidade dos alimentos, possibilitando a sua mitigação de riscos sanitários.
Reino Unido
Driver & Vehicle Standards Agency (DVSA)
A DVSA, agência responsável por monitorar padrões e normas técnicas do setor automotivo, buscou usar IA para fiscalizar o cumprimento de suas diretrizes e normas técnicas. Uma abordagem baseada em dados ajudaria a DVSA a realizar inspeções inteligentes das
garagens autorizadas que realizam testes de padrões em veículos. A equipe coletou muitos dados que não podiam ser empregados de forma eficaz nas suas atividades.
India
Controller General of Patents, Designs and Trade Marks (CGPDTM)
A entidade indiana responsável pelo gerenciamento de patentes e marcas registradas buscou aplicar tecnologias como IA, blockchain e internet das coisas
(IoT) para aprimorar o seu sistema de processamento de patentes, aumentando a eficiência, a uniformidade e a consistência das decisões.
Emirados Árabes Unidos
Dubai Electricity and Water Authority (DEWA)
Em janeiro de 2017, a DEWA lançou o Agente Virtual Rammas, um atendimento virtual automatizado (chatbot) que responde às perguntas dos clientes aplicando IA. Após, a DEWA buscou atender às necessidades de acesso aos dados da gerência. A entidade criou protocolos internos de contratação de IA baseado no AI Procurement in a Box, e assim adquiriu um sistema baseado em código aberto
Bahrain
Information and eGovernment Authority (iGA)
O Reino do Bahrein desenvolveu um Portal de Habilidades de Empregabilidade para criar um repositório de informações atualizadas referente ao mercado de trabalho. Este portal poderia ser usado por futuros funcionários para tomar decisões de carreira informadas e, também, por instituições educacionais, para adequar seus programas à demanda do mercado. O portal usou IA para limpar e integrar dados de múltiplas fontes, encontrando correlações entre os dados e fazendo previsões sobre futuras tendências
e indicadores.
Fontes: World Economic Forum (2020c e 2020f, pp. 32-54).
1.2. Por que criar uma versão brasileira?
A presente versão foi adaptada pelo Xxxxxx xx Xxxxxx Xxxxxxxxx Xxxxxxxxxx xx Xxxxxx (X0XX Xxxxxx) ao contexto brasileiro, jogando luz sobre os caminhos que devem ser percorridos ao longo da implementação das diretrizes veiculadas pelo Fórum. O objetivo, aqui, é aproveitar na maior medida possível as etapas de planejamento prévio que já integram a fase prepa- ratória das contratações públicas no Brasil, evitando a multiplicação de etapas e a dilação desnecessária de burocracia.
Para tanto, o C4IR Brasil buscou adaptar as lições aprendidas no cenário internacional às particularidades da legislação brasileira, com especial atenção ao marco legal que rege as compras públicas e aos atos normativos que regulam a proteção de dados pessoais. Essa tarefa foi facilitada:
• Pela realização de dois novos pilotos no Brasil, no Hospital das Clínicas da Facul- dade de Medicina da Universidade de São Paulo (HCFMUSP) e no Metrô de São Paulo, com o intuito de demonstrar como as diretivas do AI Procurement in a Box podem ser implementadas na prática.
• Pelo apoio da Rede de Especialistas do C4IR Brasil, formado por representantes do setor público, setor privado, sociedade civil e academia, em diversas oficinas de co-criação e validação realizadas entre agosto e dezembro de 2021.
2 O estado da arte no emprego de IA no setor público no Brasil
A maior parte dos casos de uso de IA no setor público são sistemas desenvolvidos internamente, com grande protagonismo do Judiciário e órgãos de controle.
O emprego de IA no setor público, sobretudo no campo de decisões total ou parcialmente automatizadas, suscita discussões importantes sobre a governança e os limites dessa tec- nologia na implementação de políticas públicas. O potencial da tecnologia para aumentar a eficiência da Administração na análise de dados, classificação de documentos e outras tarefas repetitivas é indiscutível. Entretanto, é crescente a lista de casos concretos e evidências que destacam problemas e consequências negativas no emprego de IA por atores públicos e privados, como, por exemplo, as experiências destacadas nos repositórios “Artificial Intelli- gence Incident Database” e “Awful AI”.
Em regra, as soluções de IA realizam decisões automatizadas ou fazem recomendações, dando suporte a decisões tomadas por agentes públicos. Contudo, o algoritmo depende do conjunto de dados usado para treiná-lo. Se um conjunto de dados for enviesado de alguma forma ou não for verdadeiramente representativo da população para a qual a solução está sendo desenvolvida, o risco de propagação de discriminações e mesmo de exclusão de algu- mas pessoas é muito elevado e, por isso, precisará ser mitigado.
É o caso, por exemplo, do polêmico uso de IA na segurança pública. Um estudo recente da Deloitte (2021, pp. 130-131), aponta que tecnologias como reconhecimento facial poderiam ajudar as cidades a reduzir o crime em cerca de 30 a 40%, mas suscita importantes debates éticos decorrentes de sistemas de policiamento preditivo, identificação biométrica, sensores e câmeras corporais. Diante do elevado risco de ameaça a direitos, algumas cidades nos EUA, como São Francisco, chegaram a proibir o uso de algoritmos de reconhecimento facial pela
polícia, suscitando debates sobre os limites éticos da IA na literatura (Fontes e Perrone, 2021)
e alimentando reações da sociedade civil1.
A regulação de IA, por isso, é uma discussão sobre confiança na própria tecnologia. Nessa linha, um mapeamento realizado pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE) sobre políticas e estratégias nacionais de IA revelam que o tema é consi- derado estratégico pela maioria das nações estudadas, com aproximadamente 700 iniciativas relacionadas à governança de IA no setor público
1 Por exemplo, o Projeto de Lei nº 869/2019 do Estado de São Paulo, que obrigava a instalação de câmeras para reco- nhecimento facial em trens do Metrô e da CPTM, gerou forte reação contrária por parte da sociedade civil e restou, ao final, sendo vetado pelo Governador do Estado.
Figura 2. Estratégias e políticas nacionais de IA no setor público por número
de iniciativas
Fonte: OECD’s AI Policy Observatory (2021)
O Brasil já faz parte deste grupo. Tanto a Estratégia de Governo Digital, de 2020, quanto a Estratégia Brasileira de Inteligência Artificial (EBIA), de 2021, preveem ações para difundir o uso de IA no setor público brasileiro, como se verá adiante. A IA é uma das mais relevantes tecnologias de uso generalizado (general-purpose technologies), com impacto transversal em toda a economia (Trajtenberg, 2018) e imenso potencial para o Brasil, tal como recomendado pela OCDE em estudo dedicado, especialmente, à transformação digital do setor público (OCDE, 2018). Entretanto, a complexidade e o gigantismo inerentes à estrutura burocrática da Administração Pública mostram que o caminho é longo, e que ainda há muito por avançar.
Em paralelo, está em debate no Congresso Nacional o Projeto de Lei nº 21/2020, que pre- tende estabelecer o Marco Legal da Inteligência Artificial no Brasil. O texto foi aprovado pela Câmara dos Deputados em 29 de setembro de 2021 e deve ser votado pelo Senado em 2022. Entretanto, embora busque estabelecer princípios, direitos, deveres e instrumentos de governança para a IA para o seu uso no poder público, empresas, entidades diversas e pessoas físicas, o texto proposto é bastante vago e deixa em aberto como esses objetivos serão implementados e alcançados.
Este capítulo realiza uma revisão de literatura sobre o emprego de IA no setor público brasi- leiro, com o objetivo de compreender como a tecnologia é adquirida, como é feita na prática a sua governança e quais são os principais riscos que o atual estado da arte encerra. Esse contexto servirá de base para a adaptação das diretrizes do Fórum Econômico Mundial sobre contratações públicas de IA para o Brasil, no Capítulo 3 deste estudo.
Embora escassa, a literatura já apresenta ricas narrativas sobre o uso de IA em setores específicos no cenário brasileiro, como se verá no item 2.1. Porém, é importante registrar que, a despeito das normas de transparência e da Lei de Acesso à Informação, não é simples encontrar dados sobre a existência de contratações (findas ou andamento) ou informações
públicas que expliquem, com detalhes, os casos de uso de IA que já estão em aplicação no Brasil. Isso prejudica uma análise quantitativa do uso dessa tecnologia no contexto brasi- leiro e explica a opção, adotada neste estudo, de complementar a revisão bibliográfica com entrevistas semi-estruturadas realizadas com representantes de alguns órgãos e entidades públicas que adotaram essa tecnologia. Por sua vez, o item 2.2 discute a complexidade da decisão fazer-ou-comprar (“make-or-buy”) para aplicações de IA e traz algumas considerações relevantes sobre a insuficiência da supervisão humana (“human-in-the-loop”) na mitigação de riscos e, também, acerca da importação, pelo Brasil e outros países do Sul Global, de algo- ritmos desenvolvidos em outros países.
2.1. Como a IA tem sido usada pelo Poder Público no Brasil?
Antes de iniciar o processo de consulta pública para a elaboração da Estratégia Brasileira de Inteligência Artificial, o então Ministério da Ciência, Tecnologia e Inovações e Comunicação (MCTIC) firmou parceria com a UNESCO para a contratação de uma consultoria especializada, cujos produtos serviram de subsídio para a elaboração do documento com a sociedade. Em especial, o Produto III da consultoria foi dedicado a um estudo comparativo, realizando um amplo inventário das iniciativas e projetos em andamento relativos ao desenvolvimento ou à adoção de IA no Brasil.
A tabela a seguir relaciona alguns casos de uso de IA e tecnologias associadas no setor público brasileiro, com diversos níveis de complexidade, merecendo destaque para o protagonismo dos Tribunais e dos órgãos de controle.
Tabela 2. Casos de uso de IA no setor público nacional a partir de
TCU
Xxxxxx
TCU
O Xxxxx (Análise de Licitações e Editais) importa automaticamente editais publicados no Diário Oficial da União e no portal de compras do governo federal, analisando o seu texto e cruzando as informações dos processos com outras bases de dados, apontando indícios de fraudes e outras irregularidades aos auditores do TCU.
TCU
Alice
Xxxxxx (Monitoramento Integrado para Controle de Aquisições) é um painel de contratações públicas que reúne informações sobre licitações e contratos realizados na esfera federal, incluindo os Poderes Legislativo,
Executivo e Judiciário, além do Ministério Público. O Xxxxxx tem amplitude maior que o Xxxxx, pois inclui também contratações diretas por dispensa
e inexigibilidade de licitação. O robô permite que sejam feitas buscas rápidas por palavras-chave no objeto das contratações realizadas no âmbito do Siasg.
iniciativas selecionadas
Sofia
Sofia (Sistema de Orientação sobre Fatos e Indícios para o Auditor) é um sistema que auxilia o auditor na revisão dos textos elaborados, verificando fontes e possíveis inconsistências. O sistema correlaciona informações com outros casos concretos ou demais processos que tenham o mesmo responsável, conferindo a identificação das partes (CPF e CNPJ), registros de óbito, sanções aplicadas a responsáveis, entre outros elementos.
Xxxxxx
Sócrates
Bem-Te-Vi
Malha fina dos convênios
Sistema Aduaneiro por Aprendizado da Máquina (SISAM)
e-SUS
Atenção Básica
Conecte SUS
EB S@úde
Pasto Certo
STF
STJ
TST
CGU
RFB
Ministério da Saúde
Ministério da Saúde
Exército brasileiro
Embrapa
Desenvolvido pelo Supremo Tribunal Federal em parceria com a Universidade de Brasília (Unb), o Victor usa IA e aprendizado de máquina para reconhecimento automático de casos de repercussão geral em recursos interpostos à Corte, otimizando tarefas que seriam realizadas pelos servidores do Tribunal.
A ferramenta Xxxxxxxx usa IA para realizar a análise semântica das peças processuais que chegam ao Superior Tribunal de Justiça, facilitando a triagem de processos, identificando casos semelhantes e pesquisando jurisprudência do tribunal que possa servir como precedente para o processo em exame. O sistema também identifica o dispositivo legal questionado para propor modelos de decisão aos usuários humanos.
Desenvolvido pela Secretaria de Tecnologia da Informação e Comunicação do Tribunal Superior do Trabalho, o sistema Bem-Te-Vi usa IA para gerenciar processos judiciais, permitindo a análise automática de prazos processuais dos servidores do TST na análise de recursos e processos recebidos de cortes inferiores.
Desenvolvido pela Controladoria Geral da União, o sistema “Malha fina dos convênios” usa IA para analisar a prestação de contas apresentada em transferências voluntárias em convênios, otimizando a análise dos gestores e a fiscalização dos recursos federais repassados. O sistema apresenta uma nota de risco que afere a probabilidade de aprovação ou rejeição das contas apresentadas no Sistema de Gestão de Convênios e Contratos de Repasse (Siconv), atual Plataforma + Brasil.
O Sistema Aduaneiro por Aprendizado da Máquina (SISAM) foi desenvolvido pela Receita Federal do Brasil com base no banco de dados de Declarações de Importação com o objetivo de identificar erros, fraudes e inconsistências e, assim, impedir a evasão fiscal durante o processo de importação. O sistema usa tecnologias como o processamento de linguagem natural (PLN) para identificar erros na descrição e na classificação de mercadorias e propõe aos auditores alíquotas e valores corretos de arrecadação.
Iniciativa que busca reestruturar o Sistema de Informação da Atenção Básica (Siab), concentrando as informações das unidades de atenção básica (UBS) em um único banco de dados, de caráter nacional, acessível por meio do prontuário eletrônico do cidadão e o número do cartão SUS.
O programa integra a Estratégia de Saúde Digital, do Ministério da Saúde, e pretende modernizar o SUS integrando diferentes bancos de dados para viabilizar a implementação de IA. O projeto está atualmente em fase piloto no estado de Alagoas.
Projeto do Exército Brasileiro que busca aplicar IA aos bancos de dados de saúde militares, como o Painel de Indicadores do Sistema de Saúde do Exército (PI-SSEx), para reduzir os custos e ter sistemas mais eficientes de recursos materiais, humanos e financeiros.
O Pasto Certo é um sistema de recomendação que usa IA para facilitar o acesso a cultivares forrageiras tropicais de titularidade da Embrapa e de domínio público. O sistema usa IA para gerar recomendações de uso com base nas características de cada cultivar e calcula a quantidade de sementes necessária para a implantação da pastagem.
Fonte: elaboração própria, com base em Costa e Bastos (2020), Xxxxxxxx Xxxxx (2015), Xxxxxxxxx, Xxxxx e Dahlem (2020), Lemes e Lemos (2020), o Produto III da Consultoria da EBIA (2019), Transparência Brasil (2020), Ceweb (2021) e informações disponibilizadas na imprensa.
O papel proeminente do TCU no emprego de IA para o controle externo é destacado em estu- dos posteriores, como o de Costa e Bastos (2020), que acrescenta à tabela acima os sistemas XXXXX (Análise de Disputa em Licitações Eletrônicas), CARINA (Crawler e Analisador de Registros da Imprensa Nacional) e ÁGATA (Aplicação Geradora de Análise Textual com Aprendizado).
Outro estudo nacional que merece destaque é o relatório “Recomendações de governança: uso de inteligência artificial pelo Poder Público”, realizado pela Transparência Brasil (2020) em parceria com a Northwestern University. O estudo mapeia ferramentas de IA em uso por 44 órgãos e entidades governamentais, classificando-as conforme o tipo de público-alvo (interno ou externo) e sua utilização (com ou sem tomada de decisão). Os resultados encontram-se resumidos na seguinte tabela:
Tabela 3. Classificação de ferramentas de IA segundo uso para tomada
de decisão e público-alvo
TOMADA DE DECISÃO | SEM TOMADA DE DECISÃO | TOTAL | |
Público interno | 20 ferramentas | 16 ferramentas | 36 |
Externo | 8 ferramentas | 0 ferramentas | 8 |
Total | 28 | 16 | 44 |
Fonte: Transparência Brasil (2020, p. 7).
A análise dos casos de uso identificados pela Transparência Brasil permitiu a realização de um mapeamento dos riscos específicos associados a cada tipo de ferramenta, agrupados em três grandes categorias: (i) ferramentas para apoio à tomada de decisão direcionadas para os próprios órgãos públicos; (ii) ferramentas de decisão que interagem diretamente com o público externo, como assistentes de atendimento virtual (chatbots, p.e.); e (iii) ferra- mentas para aperfeiçoamento de processos internos, sem tomada de decisão, voltadas à simplificação de processos internos e racionalização de demandas internas à Administração (Transparência Brasil, 2020, pp. 8-13).
O primeiro grupo é o mais extenso (20 ferramentas) e também o mais sensível, pois envolve o emprego de IA em decisões que podem gerar impactos a direitos fundamentais ou afetar o acesso a políticas públicas e serviços públicos. Aqui, há o risco de que o banco de dados ou os critérios utilizados pelo algoritmo possam levar à reprodução de discriminação social pré-exis- tente, perpetuando preconceitos. Por isso, quanto maior a sensibilidade, sob o ponto de vista ético, mais intenso deve ser o grau de interpretabilidade e de explicabilidade do algoritmo.
O segundo grupo (8 ferramentas) apresenta grau moderado de risco de lesão a direitos, usualmente relacionado à reduzida inclusão digital de alguns grupos ou de restrições inde- sejadas de acesso por desconsiderar usos e costumes locais. No Brasil, o uso de assistentes de atendimento virtual automatizado (chatbots) já é uma prática relativamente comum, com exemplos no atendimento do Poupatempo, no Estado de São Paulo, e no Rio Grande do Sul, para facilitar o acesso a serviços relacionados à pandemia do Covid-19.
Por fim, o terceiro grupo (16 ferramentas) é o que envolve, relativamente, o menor grau de risco. Isso porque diz respeito especialmente à melhoria de processos administrativos internos, embora também seja necessário aprimorar a observância de protocolos de transparência.
O estudo aponta quatro recomendações prioritárias para o uso de IA no setor público:
Tabela 4. Recomendações de governança da Transparência Brasil para implementação de ferramentas de IA no setor público brasileiro
01 | Bases de dados representativas e apropriadas para o contexto | O uso de dados de treinamento viesados é uma das fontes mais recorrentes de contaminação de um algoritmo. Para eliminar/mitigar este meio de contaminação, recomenda-se investir em equipes diversas e multidisciplinares, como recomendado na Diretiva 7 do AI Procurement in a Box. |
02 | Necessidade de supervisão humana como salvaguarda para a revisão de decisões automatizadas | Inspirada na GPDR, da União Europeia, e nos Princípios de Santa Clara sobre Transparência e Accountability na Moderação de Conteúdo (2018), a supervisão humana é uma garantia importante para impedir eventuais impactos negativos de sistemas de IA. Aqui, o estudo defende uma interpretação mais ampla ao art. 20, §1º da LGPD, que confere ao titular o direito de solicitar a revisão unicamente de decisões tomadas com base em tratamento automatizado - critério que não é claro e que, por isso, deveria ter o direito do titular estendido também a outras situações de supervisão humana. |
03 | Efetiva proteção dos dados pessoais do cidadão | Como os sistemas de IA e aprendizado de máquina dependem do processamento de grandes quantidades de dados pessoais para treinamento do algoritmo, é importante fiscalizar a observância das regras previstas na LGPD para limitar a coleta e o tratamento de dados aos casos autorizados pela legislação. |
04 | Transparência e explicabilidade dos sistemas | Garantia de acesso às informações relacionadas aos algoritmos usados pelo Poder Público, entendendo quais dados são empregados, como são utilizados, e quais são as variáveis consideradas na tomada de decisão. Incentivo ao uso de códigos abertos, bancos de dados anonimizados e publicação de relatórios de impacto algorítmico são medidas que contribuem para esse objetivo. |
Fonte: Transparência Brasil (2020, pp. 17-26).
O Poder Judiciário brasileiro também se destaca pela profusão de iniciativas voltadas à aplicação de IA. Segundo o relatório “Tecnologia aplicada à gestão dos conflitos no âmbito do Poder Judiciário Brasileiro”, da Fundação Xxxxxxx Xxxxxx (2020), o Brasil tem aproximada- mente 78,7 milhões de processos judiciais em 91 tribunais, o que gera uma forte demanda pela implementação de sistemas automatizados de apoio à atividade jurisdicional. O relatório identificou 64 projetos de IA já implementados, em fase de projeto-piloto ou em desenvolvi- mento em 47 tribunais brasileiros (Fundação Xxxxxxx Xxxxxx, 2020, p. 26). Vale destacar que as ferramentas listadas, em sua imensa maioria, foram desenvolvidas pela equipe interna de TI dos tribunais, contando, em alguns casos, com parcerias com Universidades e instituições de ensino superior.
No mesmo sentido, a publicação “O Futuro da IA no Judiciário Brasileiro”, elaborada para o Conselho Nacional de Justiça pela Universidade de Columbia (2020), em parceria com o Instituto de Tecnologia e Sociedade (ITS) Rio, buscou apresentar uma estratégia de gover- nança capaz de integrar as diversas iniciativas de IA em curso no Poder Judiciário. O estudo destaca que as cortes locais se comunicam pouco com o CNJ e com outros tribunais durante o desenvolvimento de suas próprias ferramentas, o que contribui para aumentar a fragmen- tação e a complexidade. Além de maiores esforços de integração e conexão entre iniciativas semelhantes, o estudo recomenda a adoção de ferramentas de monitoramento e avaliação que assegurem o uso seguro e ético de IA pelos tribunais brasileiros, em linha com a recente Resolução CNJ nº 332, de 21 de agosto de 2020, que dispõe sobre critérios éticos e de gover- nança para produção e uso da Inteligência Artificial no Poder Judiciário.
Outra iniciativa setorial importante - e que ganhou ainda mais destaque e relevo com a pandemia de COVID-19 - é o uso de IA na saúde pública. Embora a tecnologia possa dar origem a novos métodos de tratamento e de diagnóstico, a predominância do tratamento de dados pessoais sensíveis - uma categoria especialmente protegida pela legislação (art. 5º, inciso II e 11, LGPD) - eleva consideravelmente os riscos associados ao setor. Por esse motivo, privacidade, responsabilidade, transparência e inclusão são fatores que devem ser considerados em qualquer projeto envolvendo IA na área da saúde, como será aprofundado no Capítulo 4 e no Quadro 1, abaixo.
Quadro 1. RadVid-19: o emprego de IA em uma frente de combate à pandemia
Definição dos requisitos da solução. Para garantir que a solução pudesse ser imple- mentada com sucesso, foi fundamental que a chamada pública avaliasse, sob o ponto de vista técnico, não só a empresa desenvolvedora, mas também a acurácia e a precisão do algoritmo para a detecção de casos de COVID-19.
Exploração inicial. A definição de um escopo claro no início do projeto foi fundamental para que todos os atores envolvidos tivessem clareza do problema a ser enfrentado, definido por meio de diversas reuniões com as equipes médicas e técnicas do Hospital das Clínicas.
1.
2.
O RadVid-19 foi uma iniciativa do Hospital das Clínicas da Faculdade de Medicina da Universi- dade de São Paulo (HCFMUSP) apoiada pelo Colégio Brasileiro de Radiologia (CBR), que teve a finalidade de coletar exames de Raios-X e Tomografias Computadorizadas de casos confirmados ou suspeitos de infecção pelo novo coronavírus. A plataforma criou um repositório de casos de COVID-19 no Brasil, promovendo também o emprego de algoritmos de IA para auxílio à decisão clínica, com a finalidade de tornar este diagnóstico mais rápido e preciso e, no caso de tomografia, automatizar dados quantitativos sobre o acometimento da doença.
Em parceria com o IdeiaGov, o centro de inovação aberta do Estado de São Paulo, foi publicada uma chamada pública para encontrar soluções que conseguissem atender ao desafio RadVid-19, apoiando o desenvolvimento de soluções inovadoras para diagnóstico de Covid-19 por meio de imagens de exames de Raios-X e Tomografias Computadorizadas de tórax.
A chamada pública foi organizada em sete principais etapas:
3.
Estrutura do desafio. O desafio foi estruturado em quatro etapas: (i) inscrição virtual;
(ii) disponibilização de dados para treino e teste em uma plataforma criada pelo próprio hospital, uma vez que se tratava de uma doença nova, sem bancos de dados públicos disponíveis; (iii) duas fases de teste, para conseguir captar a performance do algoritmo em duas bases diferentes e diminuir a chance de “overfitting” (i.e. situações em que o modelo é pouco generalizável, com bons resultados na base de teste, mas com desem- penho ruim em outras bases); (iv) auditoria dos algoritmos, para verificar se as soluções testadas eram realmente aquelas inscritas pelos participantes.
4.
Divulgação, lançamento e execução. Além dos meios tradicionais, a divulgação do edital foi feita por meio das redes sociais dos parceiros envolvidos no projeto, bem como por meio de listas de e-mail, notícias na imprensa e oficinas virtuais. Como resultado, a chamada pública apresentou 21 inscritos, dos quais dois foram eliminados por não cumprirem com requisitos descritos no instrumento convocatório.
5.
Seleção. Os 19 participantes remanescentes foram avaliados em duas fases, com foco no índice de performance dos algoritmos, maturidade da empresa proponente e docu- mentação do código enviado. Esses três indicadores constituíram a matriz de decisão utilizada pela Comissão de Avaliação, a qual escolheu quais participantes poderiam avançar para a fase seguinte.
6.
Piloto. Após a seleção, três proponentes passaram a fazer parte de um piloto dentro do Hospital das Clínicas, entre novembro de 2020 até abril de 2021. Durante este período, foram monitoradas as soluções em produção, considerando mais uma vez critérios relacionados à performance do algoritmo e das empresas.
7.
Celebração de Acordo de Parceria para PD&I. Ao final, as duas empresas com melhor desempenho durante o piloto celebram um Acordo de Parceria para Pesquisa, Desen- volvimento e Inovação com o Hospital das Clínicas para dar continuidade ao desenvol- vimento de suas soluções.
Trata-se de projeto extenso, iniciado em maio de 2020 e ainda em execução na data de publicação deste estudo, e que conta com a colaboração de diversos parceiros, tais como Fundação Novar- tis, Grupo Tellus, AWS, Deloitte, GE Healthcare, Siemens Healthineers, Itaú, Huawei, Petrobrás, CBR, SPR, Grupo Fleury, Hospital Sírio Libanês, Secretaria de Desenvolvimento Econômico do Estado de São Paulo e Banco Interamericano de Desenvolvimento.
Fonte: elaboração própria, a partir de informações da equipe do HCFMUSP. A chamada pública do RadVid-19 está disponível em xxxxx://xxxxxxxx.xx.xxx.xx/xxx-xxxxxxxx/xxxxx/. Acesso em 15/11/2021.
2.2. Por que o setor público opta pelo desenvolvimento interno de soluções de IA?
Os casos de uso de IA destacados na seção anterior chamam a atenção para dois pontos de destaque no cenário brasileiro. Primeiro, o notável protagonismo de Tribunais e órgãos de controle na implementação de IA no setor público. Em segundo lugar, a clara predominância de sistemas desenvolvidos internamente (in house) pelas equipes de TI da Administração, ao invés de aquisições mediante processos de contratação pública.
Este item aprofunda o segundo ponto e mostra que a prevalência de sistemas de IA desen- volvidos in house não é exclusividade do setor público brasilero. Por exemplo, o relatório “Government by Algorithm” analisou o uso de IA em 142 agências da Administração federal
dos EUA (Engstrom et al., 2020) e concluiu que mais da metade das soluções mapeadas (84 casos de uso, ou 53%) foram desenvolvidas internamente (Engstrom et al., 2020, p. 18). Mas esse diagnóstico não significa que o governo americano já possua capacidades institucionais e quadros qualificados para projetar, desenvolver, implementar, auditar e monitorar sistemas de IA. A literatura, aliás, aponta o contrário e recomenda ações de capacitação e a forma- ção de centros de competência, formados por especialistas, para o compartilhamento de conhecimentos técnicos com toda a Administração dos EUA (Xxxxxxxxxx et al., 2021, p. 35).
Figura 3. Uso de IA no governo federal americano conforme o tipo de desenvolvimento
NUMBER OF USE CASES
80
70
60
50
40
30
20
10
0
In-House Commercial Contractor
Non-Commercial Coltaboration
Data Unavailable
Fonte: Engstrom et al. (2020, p. 18).
DEVELOPER TYPE
O mesmo padrão se repete na Administração Pública brasileira, e os dados e evidências dis- poníveis até aqui convergem para um cenário semelhante ao encontrado nos EUA. Como dito acima, informações levantadas pela Transparência Brasil (2020) revelam que, entre 44 entidades pesquisadas no estudo citado acima, 33 desenvolveram internamente as suas soluções de IA. As demais foram desenvolvidas externamente, por meio da contratação de empresas terceirizadas, parcerias com universidades e instituições de pesquisa, etc.
Também no Brasil, portanto, parece seguro afirmar que a contratação pública não tem sido o veículo principal para a introdução de soluções de IA pelo governo. Embora não seja possível apontar a causa predominante para esse contexto, há vários fatores que explicam porque os desenvolvimentos in house prevalecem no setor público:
• Criticidade das informações e a segurança dos bancos de dados envolvidos, que fazem com que o desenvolvimento interno seja visto como opção com maiores níveis de controle e governança;
• Aversão a risco dos gestores, dificuldades na operacionalização do pregão e receio em aplicar procedimentos de contratação pública de inovação para o desenvol- vimento de ferramentas de IA;
• Impossibilidade de especificar ex ante as especificações técnicas, condições de desempenho e funcionalidades esperadas da solução;
• Falta de capacitação sobre IA e aprendizado de máquina nos níveis estratégicos da Administração, o que faz com que muitos projetos sejam iniciativas isoladas de servidores ou de equipes interessadas em automatização de tarefas e racio- nalização de trabalho;
• Em contratações, o fato do código-fonte ser mantido em segredo, no todo ou em parte, pelo fornecedor é fonte de preocupação do setor público com customiza- ções e manutenções futuras;
• Riscos de dependência tecnológica da Administração (lock-in) e conflitos de inte- resse envolvendo o fornecedor e outros clientes;
• Bancos de dados desorganizados, com dificuldades de acesso técnico ou inexis- tentes dificultam a implementação de projetos de caráter estruturante envolvendo IA em setores complexos e fragmentados, como na área da saúde;
Essa trilha, contudo, deixa de aproveitar o potencial que o poder de compra do Estado repre- senta para o desenvolvimento ético de IA. Com efeito, a aquisição de soluções de prateleira pode aumentar a opacidade de algoritmos, pois os quadros do setor público frequentemente não possuem o nível de capacitação necessário para acompanhar o projeto em igualdade com o fornecedor, causando um possível efeito de “terceirização” das decisões sobre o fun- cionamento do algoritmo aos empregados do contratado (Xxxxxxxx e Bamberger, 2019).
A internalização dessas preocupações no processo de contratação pública é importante porque nem sempre a supervisão humana, pelo chamado human-in-the-loop, é capaz de neutralizar possíveis riscos decorrentes do emprego de IA na tomada de decisão administrativa. Trans- parência, interpretabilidade e explicabilidade2 são aspectos essenciais, sobretudo porque os algoritmos de IA e aprendizado de máquina se tornam mais complexos na medida em que evolui o banco de dados.
A tabela a seguir exemplifica algumas das falhas que a supervisão humana pode apresen- tar para a governança de sistemas de IA, comprometendo o seu papel para a mitigação de riscos algorítmicos:
2 Neste Guia, assim como no projeto original do Fórum Econômico Mundial, os termos “interpretabilidade” e “explica- bilidade” são utilizados com bastante frequência e em alguns contextos, indistintamente. No entanto, em um ambiente acadêmico, essas duas palavras podem ter significados distintos. De acordo com Xxxxx (2019), a interpretabilidade se refere a uma ferramenta de IA que pode ser facilmente compreendida por pessoas que não o programaram (sem o conhe- cimento técnico para interpretar o algoritmo), e a explicabilidade se refere a uma ferramenta que exige um mecanismo específico para ser compreendido (XAI e avanços como o Google DeepMind), como é no caso de algoritmos de caixa preta.
Tabela 5. Problemas relacionados à supervisão humana (human-in-the-loop)
em sistemas de IA
Automation bias | A confiança excessiva nos resultados gerados pelos algoritmos pode tornar inútil a supervisão humana e a atuação do human-in-the-loop, exigindo estratégias de mitigação e mecanismos adicionais de monitoramento da solução de IA. |
Automation complacency | A preferência deliberada por “falsos positivos” ou “falsos negativos” nos outputs gerados por soluções de IA pode ser danosa sob o ponto de vista ético, exigindo justificativa adequada não só na etapa de desenvolvimento, mas também ao longo das fases de treinamento e execução. |
Compensation for known bias | A supervisão humana pode compensar em demasia os erros e vieses já percebidos nos resultados dos algoritmos, criando novas distorções que afetam o algoritmo sem efetiva correspondência nos bancos de dados. |
Fonte: Mulligan e Bamberger (2019, pp. 854-855), Xxxxxxxxxx (2021, p. 19).
Por fim, vale um comentário final sobre a importação de sistemas de IA - o que aproxima, em algum grau, o Brasil à condição de muitos países da América Latina e do Sul Global. Xxxxxxxx Xxxx (2019) chama a atenção para o fato de que muitas soluções comerciais envolvendo IA e aprendizado de máquina são desenvolvidas no Norte Global, com base em bancos de dados representativos dessas populações, mas que não são necessariamente representativos das populações de países em desenvolvimento. Essas distorções geram desafios éticos, com necessidade de customização adequada dos sistemas aos contextos locais (por exemplo, um algoritmo de reconhecimento facial treinado em fotos da população do Rio Grande do Sul não pode ser simplesmente copiado em sua implementação em Salvador), bem como suscitam preocupações voltadas a viabilizar o acesso de startups, PMEs e empresas nacio- nais em países onde o mercado de TI é menos estratificado. Ademais, certos segmentos da sociedade, como pessoas que não dispõem de acesso à internet e não possuem identidade virtual, podem ser completamente excluídas do provimento de um serviço ao qual teriam acesso em caso de atendimento não-automatizado.
Isto não quer dizer que algoritmos desenvolvidos no estrangeiro não devam ser usados no cenário brasileiro, mas mostra que conhecer as melhores práticas internacionais e reproduzi-
-las em seu contexto não é suficiente. Mbayo (2020) cita tecnologias como o Processamento
de Linguagem Natural (Natural Language Processing) como exemplo da tensão norte-sul global no uso de IA, e menciona a iniciativa do governo indiano em promover a tradução automatizada de conteúdos em inglês para os 29 idiomas nacionais da Índia. Nessa linha, também o Brasil e outros países do Sul Global precisam investir na formação de quadros qualificados e no desenvolvimento de capacidades institucionais para poder identificar riscos específicos que a IA pode apresentar em seu contexto, internalizando-os nas várias etapas do processo de contratação.
3 Diretivas para contratações públicas de inteligência artificial
O que deve ser avaliado antes, durante e após contratações públicas que tenham por objeto soluções de inteligência artificial.
No projeto AI Procurement in a Box, o Fórum Econômico Mundial elaborou um conjunto de dez diretivas que sintetizam as recomendações e as melhores práticas internacionais para contratações públicas de IA, com foco em inovação, eficiência e ética.
Essas diretivas têm por público-alvo:
• Gestores interessados no emprego de soluções e ferramentas de IA no planejamento, execução, gestão e controle de ações e políticas públicas;
• Agentes públicos com atuação nas áreas de licitações e contratações ou que necessi- tem elaborar modelos de editais, contratos e outros documentos técnicos adaptados a objetos relacionados à IA;
• Profissionais de dados (p.e., cientistas de dados, especialistas em TI) que procurem identificar potenciais riscos decorrentes do emprego de IA no setor público, analisando alternativas para sua mitigação;
• Fornecedores de soluções de IA que queiram compreender os principais entraves do processo de contratação e a alinhar suas propostas com as expectativas do setor público.
As diretivas foram enunciadas a partir de discussões com uma comunidade ampla e plural, formada por especialistas e representantes de governos, setor privado, sociedade civil e academia. Note que essas dez recomendações não pretendem resolver todos os desafios decorrentes da adoção de IA no setor público, mas buscam endereçar a discussão de uma série de considerações éticas, jurídicas e institucionais que devem ser avaliadas pela Admi- nistração antes do emprego de soluções de IA.
3.1. Adotar, sempre que possível, o emprego de procedi- mentos de contratação pública de inovação para adquirir soluções de IA
A contratação de soluções de IA guarda relação estreita, tanto na teoria quanto na prática, com procedimentos de compra pública de inovação. O emprego do poder de compra do Estado - cifra que corresponde a cerca de 12,5% do PIB brasileiro, segundo o a - para incen- tivar o desenvolvimento e a difusão de novos produtos, serviços e processos é testemunha frequente do choque entre o rigor e o formalismo das contratações públicas, de um lado, e a incerteza que caracteriza a inovação tecnológica, de outro.
Figura 4. Alternativas de contratação aplicáveis ao desenvolvimento de IA
na legislação brasileira
1
7
6
Acordos de parceria para PD&I
P&D TI
Pregão
2
Concursos de inovação (”innovation prizes”)
3
Marco Legal
4
Encomenda
5
Diálogo
Licitações “técnica e preço” ou “melhor técnica”
de Startups
tecnológica
competitivo
Fonte: elaboração própria.
Frequentemente, as contratações de IA situam-se na zona de intersecção entre os campos da Pesquisa & Desenvolvimento (P&D), onde predomina o componente da investigação cientí- fica, e da Tecnologia da Informação (TI), no qual prevalece o vetor das compras públicas em geral. Nessa fronteira, nem sempre será possível definir com exatidão todas as especificações técnicas da solução de IA a ser contratada, como preconiza a Súmula 177 do TCU. Este ponto é bastante ressaltado pela literatura de compras públicas de inovação3, segundo a qual os entes públicos devem se concentrar na definição das características funcionais daquilo que se precisa do que, propriamente, nas características técnicas do objeto pretendido4. Mudar o foco do objeto para o problema constitui um passo importante para contratações públicas de IA, estruturadas como “functional procurement” ou “problem-based acquisitions”, saírem do papel.
No Brasil, esse formato é possível em procedimentos como a encomenda tecnológica, con- curso, diálogo competitivo, procedimento de manifestação de interesse e a modalidade especial de licitação do Marco Legal de Startups, conforme ilustra a tabela a seguir:
3 Xxxxxx et al. (2006, p. 517), Xxxxx e Xxxxxxxxx (2007, p. 960), Edquist e Zabala-Iturriagagoitia (2012, p. 1766), Xxxxxxx et al. (2015, p. 13)
4 Em outras palavras, “(...) the function to be achieved should be defined, instead of defining the product to achieve it. This is a way to develop the creativity and innovativeness of the potential supplier” (XXXXXXX et al., 2015, p. 13). “We have argued that regular procurement has nothing to do with innovation; that is, it is not an innovation policy instrument” (XXXXXXX; ZABALA-ITURRIAGAGOITIA, 2012, p. 1767).
Tabela 6. Procedimentos selecionados relativos à contratação de inovação
na legislação brasileira
Procedimento
Encomenda tecnológica
Previsão legal
art. 20 da Lei nº 10.973/2004 c/c
art. 24, XXXI, Lei nº 8.666/1993 ou art. 75, V, Lei nº 14.133/2021
Como funciona?
A encomenda tecnológica é uma hipótese de dispensa de licitação que permite ao Poder Público contratar diretamente a realização de atividades de PD&I voltadas à solução de problema técnico específico ou à obtenção de produto, serviço ou processo inovador, quando o objeto envolver risco tecnológico. A encomenda permite o desenvolvimento de novas tecnologias por meio de
compras pré-comerciais, que não existem no momento da demanda, e favorece grande flexibilidade de negociação
e oportunidades de interação com fornecedores para a definição do objeto contratual. Caso bem sucedida, é permitida a contratação do mesmo fornecedor para o
fornecimento em escala do objeto da encomenda (scale up).
Concurso
art. 22, §4º e 52, Lei nº 8.666/1993
ou art. 30 e 93, §2º, Lei nº 14.133/2021
O concurso é uma modalidade de licitação voltada à escolha de trabalho técnico, científico ou artístico, mediante a instituição de prêmios ou remuneração aos vencedores.
Embora não pensado originalmente para inovação, o concurso já foi usado para projetos envolvendo TI e dados abertos. Com a Nova Lei de Licitações, foi aprimorado o tratamento dos direitos de propriedade intelectual sobre a solução vencedora, que agora podem permanecer sob a
titularidade do contratado, aumentando o interesse por essa modalidade de contratação.
Diálogo competitivo
art. 32, Lei nº 14.133/2021
O diálogo é um procedimento estruturado em fases pelo qual se permite ao Poder Público negociar com
fornecedores pré-selecionados para definir os contornos da solução buscada à luz das necessidades da Administração. Para tanto, é publicado um primeiro edital contendo os requisitos de pré-seleção e os documentos de habilitação, que são avaliados nessa etapa à luz das manifestações de interesse apresentadas pelos interessados em participar do procedimento. Na fase de diálogo, o edital tem liberdade para estruturar como será organizada a interação com os participantes até que a Administração declare encerrado o diálogo, registrando as comunicações em atas e gravações de áudio e vídeo. Encerradas as etapas de pré-seleção e
de diálogo, inicia-se uma fase competitiva para receber as propostas finais dos licitantes pré-selecionados e, assim, poder contratar a execução do objeto com o vencedor.
Procedimento de Manifestação de Interesse (PMI)
art. 81, Lei nº 14.133/2021
O PMI é um procedimento auxiliar pelo qual a Administração pode solicitar à iniciativa privada, mediante chamamento público, a realização de estudos, investigações, levantamentos e projetos de soluções inovadoras que contribuam com questões de relevância pública. O PMI pode ser restrito à participação de startups (art. 81, §4º) e pode ser uma alternativa para identificar soluções inovadoras, concebidas pelo setor privado, para os problemas enfrentados pelo Poder Público.
Procedimento | Previsão legal | Como funciona? |
A modalidade especial de licitação pretende selecionar | ||
os licitantes - startups ou não - que apresentem a melhor | ||
solução para o problema veiculado no edital, dispensada | ||
Modalidade | a descrição de especificações técnicas pela Administração. | |
especial de | art. 12 a 15, Lei | Os vencedores celebram o Contrato Público para Solução |
licitação do | Complementar | Inovadora (CPSI), que permite a realização de testes |
Marco Legal de Startups | nº 182/2021 | remunerados, em ambiente real. Caso a solução inovadora apresentada pelo proponente se revele bem-sucedida, a |
Administração pode celebrar um contrato de fornecimento, | ||
com vigência e valores limitados, com o proponente que | ||
alcançar as metas do CPSI. |
Fonte: elaboração própria.
Fora desses casos, como na aquisição de algoritmos de prateleira (off-the-shelf) e soluções de IA de menor complexidade, será necessário licitar. A realização de um procedimento competitivo não torna impossível a aquisição de IA, mas apresenta limitações jurídicas e econômicas que fragilizam os incentivos para o desenvolvimento de tecnologias emergen- tes. É o caso, por exemplo, da menor flexibilidade para alterações contratuais, do apego ao preço como critério de julgamento, da pequena margem de negociação com fornecedores, das reduzidas opções quanto à forma de remuneração e, por fim, da rigidez para alocação de direitos de propriedade intelectual.
Daí a vantagem da encomenda tecnológica, adotada recentemente pelo TCU para o desen- volvimento de um módulo de instrução processual assistida que detecte significado nas peças processuais, priorize análises com jurimetria e forneça modelos de documentos aos membros do tribunal.
A incorporação de critérios éticos para o desenvolvimento de IA centrada no ser humano em procedimentos licitatórios pode ocorrer, pragmaticamente, nas seguintes etapas: (i) na definição das características técnicas e funcionais do objeto da licitação, em conformidade com as especificações do Projeto Básico ou do Termo de Referência; (ii) pela estipulação de obrigações contratuais, cujo cumprimento será exigido do vencedor ao longo da execução contratual; (iii) pela exigência de requisitos de qualificação técnica para fins de habilitação do licitante; (iv) pela possibilidade de valoração de aspectos técnicos nos critérios de julga-
mento, especialmente como elementos de pontuação de propostas nos tipos “melhor técnica” ou “técnica e preço”, o que foi referendado pela Nova Lei de Licitações; (v) pela exigência de amostras ou realização de provas de conceito, durante o julgamento das propostas; e, por fim, (vi) pela previsão de remuneração variável ao contratado, atrelada à obtenção de resultado considerado desejável no funcionamento do algoritmo. A presença desses seis critérios nas modalidades de licitação atualmente vigentes é ilustrada pela tabela seguinte:
Tabela 7. Incorporação de critérios técnicos para contratação de IA nas fases interna e externa das licitações no Brasil, segundo características e modalidades selecionadas
Modalidades da Lei nº 8.666/1993 | Nova Lei de Licitações (Lei nº 14.133/2021) | |||||||
Pregão | Convite | Tomada de Preços | Concorrência | RDC | Lei das Estatais | Concorrência | Pregão | |
Descrição do objeto | X | X | X | X | X | X | X | X |
Obrigações contratuais | X | X | X | X | X | X | X | X |
Qualificação técnica | X | X | X | X | X | X | X | X |
Amostras ou provas de conceito | X | X | X | X | X | X | X | X |
Menor preço | X | X | X | X | X | X | X | X |
Melhor técnica ou conteúdo artístico | X | X | X | X | X | X | ||
Técnica e preço | X | X | X | X | X | X | ||
Maior retorno econômico | X | X | X | |||||
Maior desconto | X | X | X | X | ||||
Remuneração variável | X | X | X | |||||
Fonte: elaboração própria.
O pregão pode ser uma opção para a aquisição de soluções tecnológicas consolidadas no mercado ou para contratar bens e serviços de prateleira, como recomenda a jurisprudên- cia do TCU (Acórdão nº 2.471/2008-Plenário, Acórdão nº 1.274/2010-Plenário, Acórdão nº 297/2011-Plenário, p.e), o Guia de Boas Práticas em contratação de soluções de Tecnologia da Informação, do mesmo tribunal, e a Instrução Normativa SEGES/ME nº 01/2019. O pregão pode ser útil para acelerar a adoção de soluções já inseridas no mercado, contribuindo para a difusão do seu uso nas três esferas de governo. Contudo, parece incontroverso que essa modalidade - voltada justamente à contratação de “bens e serviços comuns”, i.e. aqueles que possuem padrões de desempenho e de qualidade objetivamente definidos, com base em especificações usuais de mercado (art. 1º da Lei nº 10.520/2002) - corresponde ao cenário mais limitado possível para a contratação de soluções de IA, que possuem características e padrões de desempenho muito diversificados e heterogêneos.
Diretiva 1 l Princípios
1a. O emprego de procedimentos de contratação pública de inovação favorece o desenvol- vimento conjunto de sistemas de IA e facilita a sua aquisição pela Administração.
- Os procedimentos de contratação pública de inovação favorecem a resolução de problemas concretos (“mission oriented”) e, por isso, admitem grau maior de flexibilidade para permitir o desenvolvimento ético de soluções de IA. Em alguns casos, como na encomenda tecnológica e no Marco Legal de Startups, a modalidade admite o teste da solução pelo contratante antes do seu fornecimento em maior escala, favorecendo uma sintonia fina entre a customização do sistema e as necessidades do Poder Público.
- Caso seja necessário licitar sob as modalidades tradicionais, submeter o Estudo Técnico Preliminar, o Projeto Básico ou o Termo de Referência à consulta pública pode ser uma oportunidade para reduzir a assimetria de informações, identificar requisitos e exigências polêmicas, e permitir um momento de diálogo prévio com fornecedores sobre o objeto a ser contratado. Pode, também, propiciar a par- ticipação dos fornecedores na co-criação de especificações da solução e outros elementos técnicos, aumentando a aderência da contratação futura com as expectativas do mercado.
- A realização de Provas de Conceito (PoC), quando possível, pode ser uma estratégia para mitigação de riscos, à luz do problema técnico que a contratação pública almeja resolver.
- Por vezes, um grande projeto envolvendo o uso de IA no setor público pode ser dividido em contratos menores. Essa cisão, quando viável tecnicamente e factível sob o ponto de vista da gestão contratual, atende ao princípio do parcelamento do objeto (Súmula 247 do TCU) e contribui para aumentar a base de fornecedores da Administração, especialmente startups e PMEs. Neste caso, ganha mais relevância a exigência de provas de conceito (Proof of Concept ou PoC) na escolha dos fornecedores, de modo a mitigar os potenciais riscos associados às soluções contratadas.
1b. A Administração deve dedicar mais tempo e atenção ao problema a ser resolvido do que à descrição detalhada das especificações técnicas de uma solução de IA.
- As tecnologias baseadas em IA estão se desenvolvendo rapidamente, com novas soluções sendo cons- tantemente introduzidas no mercado. Ao concentrar-se na descrição dos problemas e desafios a serem enfrentados, o Poder Público poderá avaliar com mais clareza qual tecnologia é mais apropriada, bem como perceber se o foco do projeto está em resolver a causa do problema ou apenas um sintoma.
- Para objetos muito complexos, promover oficinas e seminários abertos para discussão pública da solução de IA pode contribuir muito para guiar a Administração na elaboração do Estudo Técnico Preliminar, do Projeto Básico ou do Termo de Referência. Priorizar a inovação aberta é essencial, pois atores de contextos variados, como academia, setor privado e outros entes públicos contribuem com pontos de vista distintos sobre o mesmo problema.
- O acompanhamento da área solicitante, em conjunto com a área de compras, é muito importante e deve abranger todas as fases da contratação (planejamento, contratação e execução contratual).
- A constituição de Comitê Técnico de Especialistas é prevista para a encomenda tecnológica, mas é uma boa prática que pode auxiliar a Administração a diminuir a assimetria de informações também em outras contratações de IA.
1c. Adotar uma abordagem iterativa, fundada na repetição de um ciclo contínuo de implemen- tações, avaliações e aprendizados, para o desenvolvimento de soluções de IA no setor público.
- As soluções de IA e aprendizado de máquina diferem de outras tecnologias pela sua habilidade única de aprender com o treinamento contínuo e periódico e de se adaptar a novos conjuntos de dados, realizando classificações e elaborando modelos estatísticos para realizar previsões. Essa adaptabi- lidade precisa se refletir em graus maiores de flexibilidade contratual, seja em relação à vigência (prorrogações), seja em relação ao objeto (alterações quantitativas e qualitativas).
- O processo de contratação pública não se exaure com a assinatura do contrato. Pelo contrário: o acompanhamento e a fiscalização da execução contratual - contando, sempre que possível, com a participação de atores independentes - propiciam aprendizados de muito valor para a Administração Pública, que geralmente possui poucos quadros qualificados para monitorar o desenvolvimento e a aplicação de soluções de IA.
- A estruturação do procedimento de contratação em fases ou portões (gates) de seleção (como na encomenda, no Marco Legal de Startups ou no diálogo competitivo, p.e.) permite um melhor apro- veitamento da experiência dos fornecedores, representando também uma primeira oportunidade de conduzir avaliações de impacto algorítmico.
3.2. Avaliar os riscos e os benefícios que o emprego de IA pode trazer para a resolução do problema subjacente à contratação
Toda contratação pública parte de um problema. Identificá-lo corretamente é, ao mesmo tempo, o ponto de partida e de chegada de todo o processo administrativo, orientando desde o planejamento prévio até a gestão contratual. Identificada a necessidade da Administração, é neste momento em que ocorre a decisão make-or-buy: ou se decide pelo desenvolvimento da solução de IA pela própria organização (in house) ou pela sua obtenção junto ao mercado, mediante uma contratação pública (outsourcing).
Nesta segunda diretiva, o objetivo é saber se a IA de fato representa a melhor alternativa técnica para solucionar o problema enfrentado. Afinal, essas tecnologias envolvem riscos e geram desafios sob o ponto de vista ético e de governança de dados que precisam ser mapeados e mitigados desde as fases mais iniciais de planejamento do projeto. Entretanto, o setor público é marcado por fortes assimetrias de informação que tornam essa análise mais difícil. O custo-benefício do emprego de IA em cada caso concreto precisa ser analisado de forma ampla e plural, contando com a participação de fornecedores e da sociedade em geral.
Nesse contexto, merece destaque o Mapa de Gerenciamento de Riscos, detalhado no artigo 38 da Instrução Normativa SEGES/ME nº 01/2019, que disciplina a contratação de soluções de TI na Administração Federal. O objetivo deste documento é identificar e avaliar os principais riscos que podem comprometer a contratação, desde o planejamento prévio até a gestão contratual, indicando ações de contingência e os respectivos responsáveis pela sua implementação. O Mapa deve ser atualizado diversas vezes ao longo das fases interna e externa da contratação e, em se tratando de IA, deve considerar também riscos específicos decorrentes do emprego dessa tecnologia. Essas avaliações de risco em IA recebem o nome
de Algorithm Impact Assessment, ou Avaliação de Impacto Algorítmico (AIA) e abrangem todo o ciclo de vida da solução, desde o projeto até a implementação.
Veja, a seguir, a matriz presente no Manual de Gestão de Riscos do TCU, que combina critérios de impacto e probabilidade para classificar riscos presentes em contratações públicas em geral:
Figura 5. Mapa de Gerenciamento de Riscos (impacto x probabilidade)
AÇÕES DE GERENCIAMENTO DE RISCO | ||||
IMPACTO | Alto | 6 Considerável esforço de gerenciamento é necessário | 8 Indispensável gerenciar e monitorar riscos | 9 Indispensável extensivo gerenciamento de risco |
Médio | Riscos podem 3 ser aceitos, com monitoramento | Esforço de 5 gerenciamento é necessário | Esforço de 7 gerenciamento exigido | |
Baixo | 1 Aceitar Riscos | Aceitar, mas 2 monitorar riscos | Gerenciar e 4 monitorar riscos | |
Baixa | Média | Alta | ||
PROBABILIDADE | ||||
Fonte: Manual de Gestão de Riscos do TCU, p. 29.
O Apêndice deste documento apresenta um modelo de AIA elaborado à luz da legislação brasileira. Esse modelo foi elaborado com base no Workbook do projeto AI Procurement in a Box, do Fórum Econômico Mundial, bem como na Diretiva sobre Decisões Automatizadas, do Governo do Canadá e nas recomendações do Instituto AI Now sobre a AIA.
Diretiva 2 l Princípios
2a. Nem sempre IA será a melhor alternativa técnica para o caso concreto. Explique clara- mente no Estudo Técnico Preliminar e no Termo de Referência porque o emprego de IA foi escolhido, à luz de outras alternativas técnicas, para solucionar o problema da Administração.
- A contratação de um sistema de IA deve ser embasada na análise das alternativas tecnológicas apre- sentadas durante o planejamento da contratação. Procedimentos como a Encomenda Tecnológica, o Diálogo Competitivo e o Contrato Público para Solução Inovadora (CPSI) admitem maior flexibilidade na definição do objeto e podem justificar a incorporação de tecnologias alternativas no escopo do contrato.
- Descreva claramente no processo as diligências adotadas pela Administração para analisar o mercado e conhecer eventuais alternativas técnicas disponíveis para solucionar o problema. Isso será útil para demonstrar à fiscalização dos órgãos de controle que o órgão ou ente contratante agiu com diligência no planejamento da contratação.
- As capacidades institucionais do órgão ou ente público para a inovação precisam ser levadas em conta, bem como a existência de quadros qualificados para acompanhar uma eventual contratação pública de IA, desde o seu planejamento até a execução contratual.
- Documentar as necessidades do usuário final é importante para o sucesso da contratação, pois pos- sibilita a descrição das funcionalidades desejadas no edital, permitindo uma comunicação adequada aos fornecedores de IA.
2b. Explique no Estudo Técnico Preliminar porque os benefícios do emprego de IA superam eventuais riscos, conferindo transparência ao processo de tomada de decisão adotado pelo Poder Público.
- Com relação aos sistemas de IA, o benefício público vai além da relação custo-benefício e também inclui considerações sobre a transparência do processo de tomada de decisão, escalabilidade da solução e outros fatores que estão incluídos nestas diretrizes.
- Conduzir todo o processo de forma colaborativa, utilizando reuniões abertas, seminários e oficinas para ouvir os atores afetados pelo problema a ser solucionado pela IA.
- Realizar consultas e audiências públicas, com a participação de fornecedores e da sociedade em geral, contribui para diminuir a assimetria de informações e pode ajudar a identificar alternativas para resolver o problema enfrentado. Note que esses procedimentos são possíveis em diversos momentos da contratação.
- Publicar, sempre que não houver sigilo, a decisão que justifica a melhor alternativa e define a neces- sidade da Administração, conferindo publicidade aos critérios empregados na escolha da IA.
2c. Realizar uma avaliação inicial dos riscos e dos impactos decorrentes do uso IA ainda na fase de planejamento prévio da contratação, atualizando-a sempre que necessário ao longo do processo.
- Integrar a AIA ao Mapa de Gerenciamento de Riscos da IN SEGES/MP nº 1/2019 é importante para avaliar se, de fato, o emprego de IA atende o interesse público naquele caso concreto. A AIA deve avaliar as necessidades dos usuários e das comunidades afetadas pelo sistema, bem como os even- tuais riscos associados ao emprego da tecnologia (proteção de dados pessoais, parcialidade, viés algorítmico, p.e.), propondo ações de contingência para sua mitigação e controle. A avaliação deve ser ampla, plural e contar com a participação de múltiplos atores, públicos e privados.
- Coordenar os diversos órgãos envolvidos na contratação pública de IA desde o início (p.e., gestão de contratos, orçamento e finanças, assessoria jurídica), mantendo-os atualizados de todo o procedimento e definindo com clareza os momentos em que cada um será chamado a exercer suas atribuições.
- Conduzir uma análise comparada com outras Administrações Públicas, nacionais e no exterior, e com base na literatura acadêmica, de modo a antever potenciais problemas do emprego da tecnologia desejada, recorrendo, se for o caso, à contratação de auditorias específicas.
- A AIA é o ponto de partida para avaliar possíveis consequências danosas, intencionais ou não, decor- rentes da tecnologia. Considere que o uso de IA para tomada de decisões automatizadas ou semi-au- tomatizadas aumenta, relativamente, o grau de risco potencial associado ao sistema e pode exigir um grau maior de interação com mecanismos de revisão, supervisão humana (human-in-the-loop) e outras salvaguardas.
3.3. Promover o alinhamento da contratação com os objetivos de estratégias nacionais e locais envolvendo IA
Muitos países encontram-se atualmente no processo de elaboração de suas Estratégias Nacionais de IA. Após o pioneirismo do Canadá, que publicou a sua Pan-Canadian Artificial Intelligence Strategy em 2017, mais de cinquenta países - como Áustria, Bélgica, Cingapura, Colômbia, Espanha, Estados Unidos, Finlândia, França, Itália, México, Reino Unido, e Suíça
- publicaram planos voltados ao desenvolvimento de IA5.
A necessidade de uma estratégia nacional, com um planejamento de longo prazo e ações bem articuladas, é justificada pela posição do Brasil nas classificações internacionais sobre maturidade de IA. Em 2020, o Government AI Readiness Index, realizado pela Universidade de Oxford e pelo International Development Research Centre (IDRC), comparou 33 indicadores para medir o potencial para a implementação de IA em 172 países. O Brasil ocupava a 63º posição e o 6º lugar na América Latina, atrás de Uruguai, Chile, Colômbia, Argentina e México. O país melhorou significativamente a sua posição no ano seguinte, atingindo o 40º lugar entre 160 países no Index de 2021. Contudo, o cenário nacional permanece distante não apenas dos líderes, como EUA (1º), Cingapura (2º) e Reino Unido (3º) e Finlândia (3º), mas também de países menores e com economias bem menos expressivas que a brasileira.
O mapa abaixo ilustra a forte desigualdade entre países do norte e do sul global na matu- ridade para emprego de IA e no desenvolvimento de novas tecnologias, comprometendo avanços no setor:
Figura 6. Índice de maturidade para a adoção de IA em países selecionados
Fonte: Government AI Readiness Index (2020)
5 Para mais informações sobre o mapeamento mundial de estratégias nacionais de IA (atualizado até 2019), confira a página do Observatory of Public Sector Innovation, da OCDE, neste link: xxxxx://xxxx-xxxx.xxx/xxxxxxxx/xx/xxxxxxxxxx/ Acesso em 30/09/2021.
Com base nos Princípios da OCDE sobre Inteligência Artificial, o Brasil publicou a sua Estra- tégia Brasileira de Inteligência Artificial (EBIA), instituída pela Portaria MCTI GM nª 4.617, de 6 de abril de 2021, e alterada pela Portaria MCTI GM nº 4.979, de 13 de julho de 2021. A EBIA pretende contribuir para o desenvolvimento de uma agenda de IA no Brasil, apresentando nove eixos temáticos que estruturam as intervenções e as ações estratégicas para vencer os desafios e gargalos diagnosticados no documento. Para tanto, a elaboração do documento de referência da EBIA contou com o apoio de uma consultoria especializada, que realizou estu- dos de benchmarking nacionais e internacionais, e um amplo processo de consulta pública.
O objetivo desta terceira diretiva é promover o alinhamento dos processos de contratação pública de IA com os objetivos globais estabelecidos na EBIA (veja, a respeito, o Quadro 2 abaixo). Esse alinhamento é importante para garantir o uso estratégico do poder de compra do Estado para apoiar os esforços de desenvolvimento e implantação de IA, ajudando a difun- dir o conhecimento sobre possíveis aplicações de tecnologias emergentes no setor público.
Quadro 2. O poder de compra do Estado na Estratégia Brasileira de Inteligência Artificial (EBIA)
Algumas ações da EBIA preveem expressamente o emprego do poder de compra do Estado como forma de incentivo ao desenvolvimento de IA ética e responsável no Brasil. A lista a seguir elenca algumas medidas que se alinham a essa finalidade:
• “Estabelecer como requisito técnico em licitações que os proponentes ofereçam soluções compatíveis com a promoção de uma IA ética (por exemplo, estabelecer que soluções de tecnologia de reconhecimento facial adquiridas por órgãos públicos possuam um percentual de falso positivo abaixo de determinado limiar)”.
• “Desenvolver técnicas para identificar e tratar o risco de viés algorítmico”.
• “Mapear barreiras legais e regulatórias ao desenvolvimento de IA no Brasil e identi- ficar aspectos da legislação brasileira que possam requerer atualização, de modo a promover maior segurança jurídica para o ecossistema digital”.
• “Considerar, em licitações e contratos administrativos voltados à aquisição de produtos e serviços de Inteligência Artificial, critérios voltados não apenas à eficiência técnica, mas também relativos à incorporação de princípios éticos relacionados à transparência, à privacidade, à equidade e à não-discriminação”.
A maioria dessas ações foi incluída no eixo horizontal “Aplicação no Poder Público”, da EBIA. Aqui, além de ações voltadas à contratação pública de soluções de IA, merece destaque medi- das voltadas à promoção do uso ético de IA no setor público, intercâmbio de dados abertos e capacitação de quadros para o desenvolvimento de capacidades institucionais.
Atualmente, o Ministério de Ciência, Tecnologia e Inovações (MCTI), com o apoio das instituições públicas e privadas que integram os Subcomitês Temáticos da EBIA, está elaborando iniciativas concretas para a aplicação de cada eixo temático da Estratégia, com vistas a aprimorar a sua governança e o seu potencial para o desenvolvimento de IA no Brasil.
Fonte: Estratégia Brasileira de Inteligência Artificial.
Outra estratégia governamental que pode influenciar o uso da IA no setor público é a Estra- tégia de Governo Digital (EGD), aprovada pelo Decreto nº 10.332, de 28 de abril de 2020. A EGD é liderada pela Secretária de Governo Digital do Ministério da Economia e tem por foco expandir a digitalização da oferta de serviços públicos ao cidadão (em especial, pelo portal xxx.xx), bem como favorecer o compartilhamento de dados e a adoção de tecnologias emergentes no setor público.
O emprego de IA é citado expressamente na iniciativa 8.2 da EGD, que busca“ (...) implementar recursos de inteligência artificial em, no mínimo, 12 serviços públicos federais, até 2022.” Além disso, existem várias ações voltadas à facilitação do uso de dados para projetos de digitali- zação do governo (e-government), inclusive para IA, até o fim de 2022.
Diretiva 3 l Princípios
3a. Consultar as iniciativas governamentais relevantes, tais como estratégicas nacionais de IA, inovação e/ou estratégias industriais, e documentos de orientação de ministérios e departamentos que informam as políticas públicas sobre tecnologias emergentes.
- O alinhamento com a EBIA pode oportunizar acesso a uma ampla rede de especialistas envolvidos com a agenda de IA, bem como contribuir para a formação de uma comunidade de prática em torno do tema no Brasil. Esse acesso pode propiciar economias de escala e de escopo ao aglutinar demandas por sistemas de IA provenientes de entes públicos distintos.
- A EBIA expressamente defende a incorporação de princípios éticos relacionados à transparência, à equidade e à não-discriminação em contratações públicas, inspirando a sua adoção em editais e contratos como critérios de julgamento, especificações técnicas, pontuação em propostas técnicas e/ou obrigações contratuais, conforme o caso.
3b. Entrar em contato com órgãos e entes públicos, nas esferas federal, estadual e municipal, que já contrataram ou desenvolveram sistemas de IA ou que se dedicam à promoção dessa agenda no Brasil, estreitando laços para compartilhar experiências.
- A formação de parcerias, mesmo informais, entre instituições públicas deve ser incentivada, pois favorece a troca de experiências e o compartilhamento de conhecimentos técnicos ainda escassos no setor público.
- Associada a uma comunidade de prática, a criação de plataformas e de redes de gestores são excelentes medidas para permitir a troca de informações, experiências e melhores práticas sobre a contratação de soluções de IA no Brasil.
3.4. Incorporar todas as exigências da legislação referente à proteção de dados e boas práticas aplicáveis à solução de IA
A conformidade com as leis e regulamentos aplicáveis ao objeto da contratação é um passo importante para a estruturação do projeto. A adoção de tecnologias como IA e aprendizado de máquina no setor público pressupõe acesso e tratamento de um conjunto expressivo de dados, internos e/ou externos à organização. Daí a importância que assume a Lei Geral de Proteção de Dados Pessoais (LGPD), que regulamenta o uso, a proteção e a transferência de dados pessoais no Brasil.
Em vigor desde 18 de setembro de 2020, o texto da LGPD foi fortemente inspirado na regu- lação vigente na União Europeia, o Regulamento Geral de Proteção de Dados (GDPR, em inglês), aprovado pelo Regulamento UE nº 679/2016 do Parlamento Europeu e do Conselho. A LGPD prevê hipóteses que autorizam o tratamento de dados pessoais (“bases legais de tratamento”), bem como alguns casos em que a própria legislação não se aplica (como nos casos de “dados anonimizados” e de tratamentos realizados para finalidades voltadas a “segurança pública” ou “defesa nacional”).
Figura 7. Principais aspectos da LGPD a partir de características selecionadas
Fonte: SERPRO.
O consentimento do titular é uma dessas bases legais (art. 7º, I e art. 11, I, LGPD), mas não é a única e nem é superior às demais. Não será necessário obter autorização específica de cada titular quando o tratamento estiver enquadrado em alguma das hipóteses em que a própria lei dispensa o consentimento (art. 7º, II a X; e art. 11, II e art. 23, LGPD), observados os princípios do art. 6º6 e os deveres de informação, comunicação e transparência entre ope- rador, controlador, titulares e a Autoridade Nacional de Proteção de Dados (ANPD).
6 Especificamente: finalidade, adequação, necessidade, livre acesso, qualidade dos dados, transparência, segurança, prevenção, não discriminação, responsabilização e prestação de contas (art. 6º, LGPD).
A LGPD tem impacto no uso de IA, principalmente em algoritmos que processam dados pes- soais. De fato, eventuais riscos à proteção de dados pessoais devem ser considerados tanto nos relatórios de impacto de proteção de dados (RIPDs) previstos na LGPD (art. 10, §3º e 38), quanto nas Avaliações de Impacto Algorítmico (AIA), integrando o mapeamento de riscos da contratação. Ademais, a transferência, interoperabilidade e a necessária interface com políticas internas e externas de governança de dados pessoais torna evidente o elo entre a LGPD e a contratação de sistemas de IA, em que frequentemente o fornecedor assumirá a posição de operador de dados pessoais e o Poder Público, a de controlador.
Além da LGPD, o Brasil já possui algumas regulações setoriais relevantes para a contratação de IA em áreas específicas. Por exemplo, na área da saúde, merecem destaque a Política Nacional de Informação e Informática em Saúde (PNIIS), consolidada pela Portaria GM/ MS nº 1768, de 30 de julho de 2021, bem como a Lei nº 13.989, de 15 de abril de 2020, que autorizou a telemedicina durante a pandemia de COVID-19. Além disso, o Conselho Nacional de Justiça (CNJ) editou a Resolução CNJ nº 332, de 21 de agosto de 2020, que dispõe sobre critérios éticos e de governança para produção e uso de IA no Poder Judiciário. Segundo o ato normativo, o emprego de ferramentas de IA em decisões judiciais deve preservar igualdade, não discriminação, pluralidade e solidaridade, criando condições para eliminar ou minimizar erros de julgamento decorrentes de vieses discriminatórios de qualquer natureza.
Diretiva 4 l Princípios
4a. Realizar uma revisão completa e abrangente de toda a legislação aplicável ao objeto da contratação, incorporando ao edital ou ao contrato, conforme o caso, as medidas necessárias ao seu cumprimento pelo contratante e pelo contratado.
- Ao incorporar normas da LGPD e de regulamentações setoriais sobre coleta, tratamento, e transfe- rência de dados, indique com clareza os atos normativos que serviram de fundamento para requisitos editalícios e obrigações contratuais.
- Boas práticas e recomendações (soft law) formuladas pela academia, sociedade civil e associações empresariais também podem ser incluídas nessa revisão e influenciar positivamente na elaboração do edital.
- No caso de Estados e Municípios, devem-se analisar também eventuais atos normativos locais que estabeleçam requisitos ou procedimentos próprios para contratações públicas de TI.
4b. Avaliar o grau de sigilo apropriado para proteger adequadamente segredos industriais e informações confidenciais de licitantes e contratados, adotando também práticas de segu- rança da informação que permitam o desenvolvimento e a implantação de soluções de IA.
- A celebração de acordos de confidencialidade ou a inclusão de cláusulas de confidencialidade nos instrumentos contratuais pode ser uma medida necessária para encontrar equilíbrio entre o dever legal de transparência e a necessária proteção da privacidade dos titulares de dados pessoais, pre- vendo regras claras sobre a responsabilidade e atribuições das partes.
- Segundo a Lei de Acesso à Informação (LAI), os processos administrativos de contratação pública têm a publicidade como regra e o sigilo, como exceção (art. 2º). Mas a LAI também protege o segredo industrial, que pode ser objeto de divulgação parcial ou, em circunstâncias excepcionais, de sigilo do ato (art. 22).
3.5. Assegurar a acessibilidade, sob o ponto de vista técnico, dos dados necessários ao uso de IA
A disponibilidade e o acesso a bancos de dados relevantes é um pré-requisito importante para o desenvolvimento de qualquer solução de IA. Sem dados, a própria contratação fica prejudicada. Por isso, esta diretiva tratará dos pré-requisitos técnicos recomendados pelo Fórum Econômico Mundial para acessibilidade dos dados que alimentam o uso de IA no setor público. No Capítulo 4, essas ideias serão aprofundadas a partir da discussão de casos concretos no HCFMUSP, com recomendações pragmáticas para robustecer a governança de dados e infraestrutura de TI necessária para a aplicação de uma ferramenta de IA na Admi- nistração Pública brasileira.
No Brasil a digitalização do setor público ainda é um desafio. Apesar de avanços recentes, sobretudo na esfera federal, é preciso reconhecer que na maior parte dos Estados e Municí- pios a maior parte dos dados mantidos pelo governo ainda não se encontram digitalizados, sendo armazenados de formas muito diferentes e heterogêneas. Em 2020, o Instituto de Tecnologia e Sociedade do Rio de Janeiro (ITS-Rio) publicou o “Mapa da Informação”, que ilustra como dados pessoais básicos de cada cidadão (tais como CPF, RG, passaporte, título de eleitor, número do cartão SUS, etc.) ainda são organizados de forma caótica nas bases de dados governamentais. Esta falta de sistematização na coleta, no tratamento e no armaze- namento dos dados compromete o emprego de IA em larga escala.
Em uma contratação pública, a Administração precisa deixar claro nos documentos técnicos do edital como a hospedagem e o processamento de dados relevantes para o projeto estão sendo realizados atualmente. A depender da sensibilidade dos dados pessoais envolvidos, bem como de outros riscos éticos, de segurança e/ou de governança, pode ser que o desen- volvimento interno de uma solução customizada seja mais indicado do que a contratação de uma solução já pronta no mercado7.
Diretiva 5 l Princípios
5a. Estabelecer uma abordagem de governança de dados desde o início do processo de contratação.
- Dada a sua importância e complexidade, implementar políticas de governança de dados é pratica- mente um passo necessário antes de dar início a projetos de IA no setor público. Essa governança deve abranger todas as atividades relacionadas ao projeto envolvendo dados pessoais, tais como formas de acesso, transferência, armazenamento e adequação das bases legais de tratamento eleitas, segundo a LGPD, para cada caso concreto. Boas práticas de governança de dados também exigem a participação de uma equipe multidisciplinar, como explicado na Diretiva 7, abaixo.
- Mecanismos de governança de IA podem incluir:
7 A depender das necessidades de hospedagem e processamento dos dados, sistemas padrão de mercado (COTS) e soluções como IaaS (infrastructure as a service), SaaS (software as a service) ou PaaS (platform as a service) são alternativas a serem consideradas. Sobre essa questão, o cf World Economic Forum (2020f, p. 8).
• a criação de melhores práticas ou códigos de conduta com relação à coleta, implantação e uso de dados;
• a designação de indivíduos ou de grupos específicos dentro da organização para promover a conformidade com as regras de governança estabelecidas;
• a adoção de medidas para aumentar a conscientização interna sobre a necessidade dessa conformidade, inclusive por meio de orientações e treinamentos;
• a criação de selos e certificações, corporativos ou governamentais;
- É importante que sejam criados parâmetros para aferir a necessidade de supervisão ou intervenção humana em soluções de IA em que o resultado de uma decisão automatizada implique em alto risco de dano para o indivíduo.
5b. Avaliar se todos os dados relevantes estão disponíveis para o projeto.
- A disponibilidade efetiva dos dados necessários ao funcionamento da solução de IA deve ser avaliada logo no início do processo de contratação. Para tanto, não é necessário analisar exaustivamente todas as bases em uso na Administração Pública, mas deve-se realizar um esforço de priorização que indique qual o grau de disponibilidade das bases que são de interesse para o projeto.
- Considerar a possibilidade de integrar dados de terceiros, como fornecedores ou outras entidades públicas, quando a Administração não tiver todos os bancos de dados relevantes para o funciona- mento da solução de IA almejada. No setor público, já é muito comum a celebração de convênios, acordos de cooperação e parcerias para compartilhamento de dados, nos termos do art. 26 da LGPD. É essencial, contudo, que se assegure que estas bases de dados importadas de outros contextos sejam representativas da população nacional e local, evitando assim viés algorítmico ou riscos de exclusão.
- Se as bases de dados não estiverem disponíveis ou não puderem ser aproveitadas, pode ser necessário construí-las do zero. Para tanto, a Administração pode celebrar parcerias com ICTs e universidades, públicas e privadas, para estudar as melhores formas de coleta, tratamento, organização e governança mais adequadas ao caso concreto.
5c. Definir se será preciso compartilhar dados (pessoais ou não) com o fornecedor e quais medidas serão necessárias para a salvaguarda dos interesses da Administração ao longo do processo de contratação pública.
- Dependendo da sensibilidade dos dados envolvidos no projeto, a Administração pode optar pela realização de provas de conceito (PoC) para que os fornecedores tenham acesso a exemplos concre- tos dos dados disponíveis, no estado em que se encontram (as is), e possam realizar testes de suas soluções em ambientes próximos ao real. É importante que essa amostra seja representativa do conjunto geral de dados, sob pena de transmitir informações incorretas aos fornecedores e afetar, consequentemente, a qualidade das propostas recebidas.
- Criar e documentar condições apropriadas para compartilhamento de dados, tais como:
• Requisitos mínimos para o ambiente onde o fornecedor hospedará os dados;.
• Termos de consentimento, responsabilidade e uso, assinados pelo fornecedor, seus empregados, subcontratados e prepostos, declarando que os dados serão usados exclusivamente para desenvolvimento da solução de IA contratada pelo Poder Público;
• Data limite para eliminação de dados que vierem a ser compartilhados;
• Procedimentos de confirmação da exclusão de todos os dados compartilhados com fornecedores.
5d. Garantir, sempre que possível, a anonimização de dados pessoais.
- Há muitas técnicas de anonimização para salvaguardar a privacidade de dados pessoais. Contudo, é importante ressaltar que o gerenciamento de dados anonimizados deve ser igualmente diligente, com vistas a evitar quaisquer possibilidades de reversão e processos de re-identificação. Sob o ponto de vista técnico, os Estudos Técnicos Preliminares, Termos de Referência e Projetos Básicos devem incentivar técnicas menos intrusivas, ou que alcancem resultados semelhantes a partir de dados menos sensíveis.
5e. Confirmar que a Administração manterá acesso aos dados utilizados e produzidos pela solução contratada.
- O acesso aos dados usados e produzidos pela solução de IA é fundamental para monitorar, controlar, analisar e retificar o seu desempenho. Por isso, é importante garantir o acesso a dados brutos, proces- sados e/ou combinados pela solução, bem como a dados de terceiros e dados abertos, especialmente se houver a possibilidade de que essas bases não estejam disponíveis no longo prazo.
- Expirado o contrato, os fornecedores incumbentes podem negar-se a fornecer acesso total aos dados empregados na solução de IA ou informações relativas ao funcionamento do algoritmo. Nesse caso, o fornecedor deve justificar claramente a razão pela qual o compartilhamento deve ser restrito, indi- cando quais informações encontram-se protegidas por segredo industrial (art. 22 da Lei de Acesso à Informação) ou por direitos de propriedade intelectual. Note que as informações não confidenciais devem ser fornecidas, nos termos do contrato, evitando assim a dependência tecnológica na Admi- nistração durante o ciclo de vida da solução de IA.
3.6. Avaliar a qualidade, os vieses e eventuais preconceitos dos dados disponíveis
As limitações existentes em um banco de dados podem comprometer a confiança no emprego de IA para solucionar problemas. Com efeito, os dados que integram bases públicas e privadas podem refletir preconceitos, viéses e outras formas de discriminação e exclusão, fornecendo entrasdas (inputs) aos algoritmos que podem resultar em resultados (outputs) danosos para diversas comunidades.
Esta sexta diretiva enfoca a qualidade dos bancos de dados que alimentam a solução de IA, especialmente sob o ponto de vista ético, para evitar o enviesamento algorítmico. O diagrama abaixo, elaborado originalmente pela Deloitte, ilustra alguns exemplos de tipos diferentes de vícios que podem comprometer a imparcialidade do funcionamento de uma solução de IA:
Viés Cognitivo
Figura 8. Evitando vieses nos bancos de dados que alimentam soluções de IA
Desconhecimento Paridade Demográfica Probabilidades Equalizadas Probabilidades médias Impacto Disparado Paridade da Taxa Preditiva Equidade contrafactual Índices de Desigualdade
Medindo a imparcialidade
Viés estatístico | Viés baseado em dados |
Definição de parâmetros do estudo Hipótese estatística Detecção Avaliação de nível de educação | Amostra enviesada Exemplo contaminado Características limitadas Disparidade no tamanho da amostra |
Financiamento | Proxy (dados representativos) |
Revelação ou supressão eletiva de informações | Valores Atípicos |
Perda de informação | |
Recordação incorreta | |
Viés do Observador |
Devido às vulnerabilidades inerentes ao emprego de IA no setor público, a literatura tem recomendado que os desenvolvedores de TI criem mecanismos de supervisão humana (“human-in-the-loop”) para evitar violações de direitos fundamentais - principalmente quando os dados que alimentam o sistema já estiverem impregnados com vieses e preconceitos em seus sistemas legados.
O Brasil e os países da América Latina são mais frequentemente importadores do que desen- volvedores de soluções de IA. Contudo, quando adquirida do estrangeiro, a solução pode ter sido treinada com base em conjuntos de dados que refletem contextos étnicos e sócio-
-econômicos muito diferentes daqueles em que o algoritmo será efetivamente empregado, gerando distorções e, consequentemente, a necessidade de retreinamento do algoritmo. Essa consideração também é válida caso um Estado ou Município pretenda utilizar uma solução de IA desenvolvida por outra entidade pública de contexto muito díspar, por exemplo.
Por fim, vale lembrar que a construção de bancos de dados para treinamento de algoritmos e desenvolvimento de modelos de IA requerem quantidades expressivas de trabalho de pré-
-processamento (“pre-processing”) antes do início da fase operacional. É o caso, por exemplo,
do relato do trabalho do AI Lab, da Universidade de Brasília, voltado ao uso de IA no Poder Judiciário brasileiro. Outras estratégias denominadas em-processamento (“in-processing”) e pós-processamento (“post-processing”) podem ser consideradas, a partir de uma perspectiva mais técnica, à luz do caso concreto.
Quadro 3. Caso de Estudo: o AI Lab Splitter e o Victor (STF)
Em 2019, o Poder Judiciário brasileiro concentrou cerca de 78 milhões de processos, gerando desafios que se estendem desde o gerenciamento de arquivos físicos até a alocação de juízes e de servidores públicos em varas e comarcas. Não é por acaso que, no Brasil, os Tribunais assumiram posição de liderança no emprego de ferramentas de inteligência artificial.
No âmbito do Supremo Tribunal Federal - a Corte mais importante do país -, o AI Lab, da Uni- versidade de Brasília, foi escolhido para desenvolver uma solução de Ia, o “Victor” para auxiliar os servidores e magistrados a reconhecer recursos repetitivos e processos classificados como de repercussão geral.
Em regra, os sistemas de processo eletrônico em uso nas Cortes inferiores estão sobrecarregados de documentos escaneados, em formato PDF, com arquivos contendo vários documentos em separado. O processamento dessas informações por meio de modelos de IA tornou necessária a divisão de cada arquivo e o posterior agrupamento de conjuntos de páginas para identificar cada peça em separado. Normalmente, métodos de classificação combinado texto e imagem rendem bons resultados, porém essa abordagem resultaria em uma demanda computacional excessiva, gerando dificuldades operacionais.
Em alternativa, o AI lab criou um método novo que emprega um novo sistema de etiquetagem para obter o mesmo resultado com custos menores. A equipe construiu um novo conjunto de dados públicos, chamado AI.Lab.Splitter, destinado especificamente à tarefa de segmentação do fluxo de páginas que conta com mais de 30 mil de amostras etiquetadas.
Fonte: Xxxx, Xxxxx e Lima (2021).
Diretiva 6 l Princípios
6a. Avaliar previamente possíveis deficiências nas bases de dados que possam gerar reflexos negativos para o funcionamento da solução de IA contratada.
- Sempre que possível, deve-se incentivar o emprego de dados públicos e abertos. Em se tratando de dados revestidos de algum grau de sigilo, o edital precisa refletir os requisitos de governança de dados aplicáveis aos fornecedores do setor público, identificando responsabilidades e prevendo ações de mitigação de riscos ligados a vieses e discriminação algoritmica.
- Uma base de dados pode ser considerada adequada se atender aos critérios seguintes:
• Representatividade dos dados, ou seja, se representam adequadamente o público-alvo da solução;
• Proveniência, incluindo a forma e os motivos da coleta;
• Ausência de lacunas na qualidade dos dados (p.e, poucos valores ausentes de um determinado elemento do banco de dados);
• Inexistência de vieses presente nos dados, como riscos de preconceito e exclusão; e
• Clareza nos metadados.
6b. Destacar, no Estudo Técnico Preliminar e no edital da contratação, as limitações conhe- cidas dos bancos de dados, a fim de que os fornecedores possam propor alternativas para minimizar possíveis problemas ao longo do desenvolvimento da solução de IA.
3.7. Constituir uma equipe diversa e multidisciplinar para acompanhar a contratação de IA
Muitos países e organizações internacionais recomendam que os processos de contratação pública de IA sejam conduzidos por equipes heterogêneas e perfis multidisciplinares, pre- ferencialmente composta por representantes dos diversos órgãos envolvidos no processo de contratação (orçamento, jurídico, TI, etc). No Brasil, a Nova Lei de Licitações e Contratos apresenta preocupação renovada com a capacitação dos agentes de contratação (artigos 7º e 8º) e incorporou a jurisprudência do TCU sobre segregação de funções8.
O fomento à diversidade é importante no desenvolvimento de soluções de IA. Esse ponto é destacado pela iniciativa fAIr LAC, do Banco Interamericano de Desenvolvimento (BID), que se dedica à promoção do desenvolvimento de IA ético e responsável nos países da América Latina e do Caribe:
Figura 9. Desafios para a adoção de IA em países da América Latina
Bases de dados Desenvolvimento de Modelos
Discriminação passada Amostras não representativas para populações de interesse
Vazamento de informações Mudanças temporárias Sobre-ajuste e subajustes
Governança e Segurança
Governança e Ciberataques Penetração ilegal e IA e ataques adversos
Uso e tomada de decisões
Viés Algoritmico (saída)
Impacto diferenciado (resultados)
Conceptualização
e design
Necessidade e proporcionalidade Definição correta do problema de política pública e resposta
Interoperabilidade e transformação digital
Disponibilidade, interoperabilidade
e qualidade dos dados Falta de conhecimento técnico
Accountability
Interpretabilidade e explicabilidade Consentimento informado e
limites de privacidade Responsabilidade e prestação de contas
Impacto sistêmico
Interação humano-IA
Impactos econômicos, educacionais, e no mercado de trabalho Competição e a consolidação monopolistica de informação
8 “A segregação de funções, princípio básico de controle interno que consiste na separação de atribuições ou respon- sabilidades entre diferentes pessoas, deve possibilitar o controle das etapas do processo de pregão por setores distintos e impedir que a mesma pessoa seja responsável por mais de uma atividade sensível ao mesmo tempo”. Acórdão TCU nº 2829/2015, Plenário, Rel. Min. Xxxxx Xxxxxx.
De fato, o planejamento de uma contratação pública de IA pode ser facilitado se a Adminis- tração constituir, desde o início, uma equipe diversa e multidisciplinar encarregada do seu acompanhamento. Note que a existência de uma comissão bastante heterogênea é útil não somente para neutralizar possíveis vieses e preconceitos, mas também para agregar com- petências técnicas provenientes de perfis profissionais diversos e estratificados.
Por fim, vale destacar a ascensão da relevância das considerações de CSR (Corporate-Social-
-Responsibility), particularmente nos Estados Unidos e na Europa, comumente mensuradas por meio de indicadores ESG (Environmental, Social and Governance). Em particular, a conside- ração de “diversidade” no ambiente de trabalho é cada vez mais exigida por consumidores, funcionários e investidores, extrapolando a preocupação tão somente com a mitigação de impactos algorítmicos.
Diretiva 7 l Princípios
7a. É importante que o processo de contratação pública de IA favoreça a tomada de decisão por uma equipe diversa e multidisciplinar, acumulando diferentes perfis sócio-demográfi- cos e competências técnicas, e que seja capaz de identificar e neutralizar possíveis vieses e estereótipos.
- Uma equipe diversificada deve abranger pessoas de diferentes gêneros, idades, etnias, deficiências, orientações sexuais e outras características sócio-demográficas. Uma composição ampla e plural assegura que eventuais problemas decorrentes da solução sejam abordados de diferentes ângulos, favorecendo a sua resolução de forma ética e responsável.
- Além disso, é importante que a equipe designada pela Administração tenha clareza das atribuições e das habilidades necessárias para acompanhar a contratação, desde o planejamento até a execu- ção contratual. Para tanto, essas equipes devem preferencialmente incluir perfis com competências técnicas na área-fim em que a solução de IA será aplicada (p.e., justiça, educação, segurança pública, programas habitacionais, etc), bem como em áreas-meio, como ciência de dados, TI, contratações públicas, ética e direitos humanos.
7b. Sob o ponto de vista do fornecedor, é importante que o contratado também reúna uma equipe de desenvolvimento da solução de IA formada por perfis heterogêneos e que ostente capacitação adequada.
- Caso tenha sido exigida a comprovação de capacidade técnica-operacional como requisito de habili- tação dos licitantes em certame licitatório, a Administração deve exigir que os profissionais indicados pelo proponente sejam, de fato, os que executarão o objeto contratado.
- Similarmente, a comprovação da diversidade da equipe desenvolvedora poderá ser considerada como indício de atenção e esforço pela mitigação de potenciais vieses algorítmicos. Nesse sentido, treinamentos de diversidade, equidade e inclusão (Diversity, Equity and inclusion, DEI) para a equipe de desenvolvedores do contratado poderiam ser incluídos como obrigação contratual ou ainda ser considerado para fins de pontuação em propostas técnicas, mediante justificativa, no edital que rege a contratação (veja a Diretiva 9, item d).
3.8. Incorporar ao procedimento de contratação critérios que assegurem a transparência, responsabilidade e prestação de contas sobre os algoritmos
Superado com êxito o desafio da contratação pública da solução de IA, o acompanhamento da gestão do contrato pode ser um gargalo ainda mais sensível para a Administração. Esse monitoramento pode ser especialmente difícil em soluções consideradas “opacas” no que diz respeito ao processamento de dados e aos seus processos internos de tomada de decisão. Para isso, a literatura tem chamado a atenção para a necessidade de robustecer mecanismos de transparência e auditabilidade dos algoritmos contratados pelo Poder Público, priorizando o estabelecimento de etapas definidas e mensuráveis para o desenvolvimento da solução e também para a avaliação do seu funcionamento.
A tabela abaixo, elaborada pelo Fórum Econômico Mundial, apresenta um roteiro de per- guntas que orienta o contratante sobre a importância da explicabilidade de algoritmos em soluções de IA.
Tabela 8. Explicabilidade de algoritmos em soluções de IA
Objetivos | Perguntas orientadoras |
Descrever o funcionamento do sistema de IA para garantir que seus resultados sejam explicáveis e/ou interpretáveis | 1. Como o fornecedor aborda a ética em sua organização? 2. O fornecedor é capaz de explicar, em linguagem simples e acessível, o funcionamento do seu sistema de IA? 3. O fornecedor fornece orientações e explicações claras sobre como os resultados do processo de IA devem ser interpretados pelo público? 4. O fornecedor delineia o perfil do usuário da solução (especialista em IA, cientista de dados, consumidores e usuários de serviços públicos em geral, etc.) e requer uma validação humana da explicação apresentada? 5. O fornecedor destaca quais são os parâmetros-chave em seu modelo de IA e explica como as mudanças nesses parâmetros afetam os resultados do sistema? |
Permissão para auditar o sistema de IA por meio de auditorias independentes ou terceiros | 1. O fornecedor permite a realização de auditorias externas e independentes? No caso de uma auditoria externa não ser possível, deve ser apresentada uma justificativa. |
Garantia de que o sistema de IA é auditado de ponta a ponta | 1. O fornecedor é capaz de descrever quais informações são capturadas pelo sistema de IA e fornecer uma taxonomia para descrever o significado de tais informações? 2. O fornecedor fornece documentação adequada relacionada ao desenvolvimento e suporte do sistema de IA, tais como, por exemplo, relatórios de testes, registros e critérios de qualidade? |
Fonte: World Economic Forum (2020f, p. 24)
A incorporação de considerações éticas é importante para a regulação de novas tecnologias, particularmente esta que, além do potencial de infligir danos e de sua falta de transparência (opacidade), permite a uma escalabilidade sem precedentes. No campo da IA, o emprego de Avaliações de Impacto Algorítmico (AIA) vem sendo recomendado para destacar os even- tuais riscos decorrentes de sistemas com algum grau de tomada de decisões automatizadas, favorecendo a transparência, a interpretabilidade e a explicabilidade (quando possível) dos algoritmos utilizados em cada caso concreto.
Como já dito, o Apêndice deste estudo apresenta um modelo de AIA adaptado ao contexto brasileiro, o qual pode ser útil para auxiliar a Administração na definição de responsabilidades e atribuições para o acompanhamento da solução de IA contratada.
Diretiva 8 l Princípios
8a. Incentivar uma cultura de responsabilidade na governança em soluções de IA.
- A Administração não pode confiar cegamente em algoritmos para justificar decisões que afetam direitos fundamentais, sobretudo em face de possíveis efeitos discriminatórios causados pela IA no que diz respeito ao acesso a políticas e serviços públicos. Além de incorporar a AIA ao processo de contratação pública, é recomendável que o Poder Público realize auditorias externas independen- tes como mecanismos de fiscalização e de certificação do cumprimento de obrigações contratuais. Estas auditorias, idealmente, deveriam averiguar se as diferentes medidas usadas na avaliação de algoritmos (como falsos positivo e negativo, acurácia, p.e.) apresentam números muito díspares entre recortes sócio-demográficos diferentes.
- A responsabilidade do contratante e do contratado sobre potenciais riscos e efeitos indesejados decorrentes da solução de IA deve ser alocada conforme a matriz de riscos definida no contrato, atribuindo-se em regra à parte que tenha maiores condições de evitar a sua ocorrência ou minorar os seus efeitos, conforme o caso.
8b. Assegurar que a tomada de decisões sobre IA seja o mais transparente possível.
- A contratação deve incentivar a explicabildade dos algoritmos contratados pelo Poder Público, incen- tivando o emprego de linguagem simples para explicar o funcionamento da solução, de forma clara, ao seu público-alvo.
- A prestação de contas pode incluir a entrega de documentação específica sobre os algoritmos em uso, contendo informações sobre os dados usados para treinamento, aprendizagem supervisionada, bem como quaisquer distorções, riscos ou vieses já detectados no modelo. Este conceito, análogo a uma bula de um remédio, é retratado de forma bastante simples e direta pelo Model Cards, do Google.
8c. Explorar mecanismos para permitir a rastreabilidade, a interpretabilidade e a explicabilidade dos algoritmos, interna e externamente, para estabelecer contestabilidade à solução de IA.
- A noção de interpretabilidade liga-se à possibilidade de compreender os resultados obtidos por meio de uma ferramenta de IA sem a necessidade de conhecimentos técnicos. Em paralelo, a explicabilidade corresponde à apresentação clara dos mecanismos do modelo adotado pela solução, permitindo a rastreabilidade do resultado para uma etapa em específico. Para garantir a adesão a esses conceitos, é importante documentar os passos lógicos que a solução de IA emprega, explicando quais variáveis contribuem para cada resultado.
- Existe um trade-off entre explicabilidade e a precisão em soluções de IA. Técnicas estatísticas clássicas como “árvores de decisão” são mais simples e fáceis de se explicar, mas tem menor grau de precisão do que modelos mais complexos, como as redes neurais. Estas, por sua vez, têm poder de previsão bastante elevado, mas são consideradas “caixas pretas” em razão de sua opacidade e complexidade.
- A contestabilidade, ou seja, a possibilidade de que usuários e agentes externos possam questionar os resultados da ferramenta em caso de lesão, bem como influenciar os seus resultados no futuro, é um objetivo adicional a ser buscado. Além de flexibilidade nas cláusulas contratuais, mecanismos de governança e canais para receber e responder demandas dos usuários externos podem ser impor- tantes para garantir a aderência ética da solução de IA ao longo de todo o seu ciclo de vida.
3.9. Prever obrigações de transferência de conhecimento e rotinas de avaliação de riscos da solução de IA no longo prazo
Nem sempre é possível prever, nas fases mais iniciais do processo de contratação, como será o funcionamento efetivo de uma solução de IA. Por vezes, as suas reais consequências só se tornam evidentes durante a execução contratual, exigindo maior comunicação e intenso compartilhamento de informações entre a Administração e o fornecedor responsável pelo desenvolvimento do sistema.
Esta nona diretiva destaca que a redução da assimetria informacional não se perfaz com a entrega da solução contratada, exigindo treinamento específico e capacitação adequada nos quadros da Administração. Essa transferência de conhecimentos sobre IA para o Poder Público é importante para permitir a avaliação do algoritmo ao longo de toda a sua vida útil, mesmo após o fim da vigência do contrato.
A tabela abaixo destaca algumas considerações relevantes para estruturar um processo de transferência de conhecimento entre contratante e contratado em soluções de IA:
Tabela 9. Transferência de conhecimento e avaliações de longo prazo
em soluções de IA
Objetivos | Perguntas orientadoras |
O sistema de IA não se desviará de seu propósito original | 1. O fornecedor oferece treinamento, cartilhas e/ou manuais aos interessados? 2. A criação de materiais de treinamento faz parte do escopo contratual no desenvolvimento de sistemas de IA sob medida? |
Garantia de usabilidade para usuários que não foram previamente treinados para usar a solução | 1. O fornecedor descreve o perfil do usuário do sistema de IA, incluindo as expectativas em torno de sua capacitação e habilidades? 2. O fornecedor explica como os usuários podem ser treinados para usar e entender a solução de IA que será implementada? 3. O fornecedor elenca os pré-requisitos e as habilidades necessárias para usar o sistema de IA? |
Objetivos | Perguntas orientadoras |
Como o sistema de IA será mantido ao longo do tempo, e se terceiros poderiam ser contratados para essas atividades. | 1. O fornecedor descreve como será o processo de transferência e migração para outros sistemas de IA, desenvolvidos sob medida ou padrão de mercado (COTS)? Esse processo precisa ser detalhado por meio de: a. Métricas para garantir a integridade do sistema de IA. b. Rotinas e atividades de manutenção preventiva e corretiva. c. Contratos de manutenção e suporte. d. Adequação para suporte de terceiros. 2. O fornecedor apresenta um Acordo de Nível de Serviço, caso o sistema seja baseado em software como um serviço (SaaS)? 3. O fornecedor apresenta como deve ser a implantação em escala da sua solução de IA (por exemplo, limite de cobertura de dados, exigências mínimas de treinamento, sensibilidades de tempo de processamento do sistema, etc.)? |
Fonte: World Economic Forum (2020f, p. 28)
Diretiva 9 l Princípios
9a. Reconhecer que a aquisição de uma solução de IA implica em assumir um compromisso de longo prazo com a avaliação da ferramenta ao longo de toda a sua vida útil.
- A solução de IA precisará receber manutenção corretiva e preventiva sazonalmente para aprimorar a acurácia do modelo, mitigar potenciais vieses e monitorar o suporte, a documentação, a disponibili- dade, o versionamento e a evolução da plataforma. Vale a pena estudar antecipadamente os custos e desafios envolvidos em cada solução, avaliando também se será necessário obter apoio externo de especialistas externos à Administração para o desempenho dessas atividades.
- Considerar a implementação de uma estrutura de governança para IA integrando normas, valores e princípios que orientam os procedimentos e o fluxo de trabalho do projeto. A AIA deve ser repetida também ao longo da execução contratual, em periodicidade adequada à mutabilidade do funciona- mento do algoritmo.
9b. Prever no contrato obrigações de capacitação e treinamento que permitam a transferência de conhecimento e a redução de assimetrias informacionais entre contratante e contratado.
- A transferência de conhecimento deve ser pensada como uma fase da gestão contratual compreendendo diversas ações, de caráter pontual e/ou continuado, com o objetivo de capacitar adequadamente a equipe do contratante. O objetivo é permitir que a Administração possa usar a ferramenta por conta própria após o término da vigência do contrato. É importante que a manutenção e a auditoria da solução possam ser realizadas independentemente do fornecedor.
9c. Solicitar ao fornecedor que disponibilize informações para uso apropriado da solução de IA por não-especialistas.
- O contrato deve prever obrigações de treinamento, manutenção e suporte em quantidade suficiente para capacitar os usuários da solução, evitando usos não autorizados dentro e/ou fora da organização.
- Permitir auditoria de ponta a ponta abrangendo as fases de modelagem, treinamento, testes, veri- ficação e implementação do ciclo de vida do projeto. Isso permitirá um registro contínuo de infor- mações relevantes que podem contribuir para os objetivos de interpretabilidade e explicabilidade da solução de IA.
9d. Usar considerações éticas, sempre que possível, como critérios técnicos para avaliação de propostas.
- A realização de provas de conceito (PoC) pode servir para analisar, com base nos critérios previstos no Projeto Básico ou no Termo de Referência, critérios éticos relativos ao funcionamento da solução de IA apresentada pelo fornecedor. Os licitantes devem ser capazes de descrever o roteiro lógico de seus modelos de decisão e, também, de demonstrar o funcionamento da solução em ambiente real, apoiando-se, se for o caso, em atestados que comprovem a prévia execução de atividades de complexidade técnica semelhante àquelas exigidas no instrumento convocatório.
- Caso o procedimento de contratação pública adotado admita a avaliação de critérios técnicos, a Administração deve adotar parâmetros objetivos de pontuação e definir as métricas de desempenho mínimo que o modelo de IA deve cumprir para evitar a desclassificação da proposta. Este é um ponto que depende de grande conhecimento técnico e, por isso, é recomendável que esses critérios sejam objeto de consultas públicas e oficinas de co-criação com potenciais fornecedores ainda durante a elaboração do edital.
3.10. Garantir isonomia no tratamento e igualdade de condições aos fornecedores de soluções de IA
O envolvimento de fornecedores de soluções de IA desde as fases mais iniciais do projeto é importante não só para o engajamento de atores relevantes no mercado de TI, mas também porque reduz assimetrias de informação e alinha expectativas entre a Administração e seus potenciais contratados, aumentando a probabilidade de sucesso da contratação subsequente.
Nas contratações de TI realizadas pelo setor público, a participação de grandes empresas (big techs) costuma ser proporcionalmente superior à participação de PMEs e startups. Nesse contexto, é frequente a preocupação da Administração de evitar situações de dependência tecnológica aos seus atuais fornecedores (lock-in)9.
Ademais, o lock-in também precisa ser analisado sob o ângulo da portabilidade e da intero- perabilidade dos dados envolvidos na solução da IA. É importante garantir a migração do contrato do antigo para o atual contratado (v. Xxxxx-Xxxxxxx, Xxxxxxx, Xxxx, 2016), bem como evitar que o fornecedor incumbente aufira vantagens competitivas tão grandes que impossibilitem a atuação de entrantes no futuro.
9 A respeito, vale lembrar que a “dependência técnica, estratégica e financeira” foi um dos argumentos usados pelo Conselho Nacional de Justiça para suspender contrato celebrado entre o Tribunal de Justiça do Estado de São Paulo e a Microsoft, como evidencia o voto do relator, Cons. Xxxxxx Xxxxxxxxx Fontes, no Proc. 0002582- 36.2019.200.0000.
A seguir, o Fórum apresenta um roteiro de perguntas orientativas para auxiliar a Adminis- tração a compreender quais atribuições, dentro de um projeto de IA, devem permanecer com a sua equipe interna ou ser alocadas a um potencial contratado. Essa lista não pretende estabelecer um rol taxativo, mas serve como ponto de partida para entender como deve ser feita a divisão de responsabilidades entre o Poder Público e seus fornecedores.
Tabela 10. Critérios para especificação e avaliação de soluções de IA a partir da interação com fornecedores - pontos principais
Objetivo Questões relacionadas
Escopo
O fornecedor compreende com clareza qual o problema que a Administração pretende resolver por intermédio da contratação pública, bem como os objetivos do projeto.
1. Qual parte do problema é solucionado pela ferramenta?
2. O sistema já existe no mercado ou foi desenvolvido e
customizado sob medida para o caso concreto?
3. Quais algoritmos ou técnicas serão implementados por meio do sistema?
4. Como garantir que o sistema não se desvie de sua finalidade pretendida?
5. O sistema de IA é adequado ao conjunto de dados disponíveis?
6. Os novos dados carregados pelos usuários? Os dados são gerados por um sistema automatizado?
Consentimento e controle
O fornecedor compromete-se a obter o consentimento dos
titulares ao tratar dados pessoais para desenvolver um algoritmo, adotando mecanismos de supervisão humana sobre os resultados do modelo de decisão.
1. Como que o fornecedor pretende endereçar as preocupações éticas e legais do projeto?
2. Como garantir que o consentimento dos titulares de dados pessoais será obtido e gerido durante a vida útil da solução de IA?
3. Quais critérios serão usados para definir acesso, controle e segurança dos dados
empregados no sistema de IA?
4. Qual é o grau de supervisão humana sobre recomendações e decisões efetuadas pelo sistema?
Objetivo Questões relacionadas
Proteção de dados e
cibersegurança
O fornecedor envidará os seus melhores esforços para evitar danos, intencionais ou não, e práticas inadequadas.
1. Há clareza nos requisitos de cibersegurança do sistema e como será estruturada a proteção de dados?
2. Quais são as possíveis ameaças ao sistema de IA, considerando potenciais adversários externos e internos?
3. Quais bases de dados foram utilizadas para treinar o algoritmo?
4. Foram implantadas medidas para garantir a qualidade dos processos de coleta e tratamento de dados?
5. Os conjuntos de dados usados para treinamento foram construídos para um propósito ou foram reaproveitados?
Considerações éticas
O processo de tomada de decisão do sistema será baseado em critérios justos, transparentes e auditáveis.
1. Quais limitações foram identificadas no banco de dados do sistema?
2. Quais serão as estratégias a serem adotadas para mitigar o risco de vieses, preconceitos e exclusão?
3. Como o sistema de IA será avaliado ao longo do seu ciclo de vida para detectar eventuais riscos?
Explicabilidade do modelo de decisão
O funcionamento do sistema pode ser explicado adequadamente a seus usuários.
1. Como a equipe do contratado poderá garantir que os resultados do sistema serão explicáveis e acessíveis?
2. Qual metodologia será adotada para permitir a auditabilidade do sistema de IA, de ponta a ponta?
Gerenciamento de ciclo de vida
Está claro como será feita a manutenção do sistema de IA ao longo da sua vida útil, bem como será garantida a sua integridade a longo prazo, incorporando questões sobre a capacitação de servidores públicos e eventuais terceirizados.
1. Qual será o treinamento a ser ministrado aos usuários da solução por parte da entidade contratante?
2. Quais são os perfis profissionais (cientistas de dados, profissionais de TI, etc) necessários à manutenção e à operação do sistema?
Objetivo | Questões relacionadas | |
Interoperabilidade e outros padrões | Averiguar se a solução segue padrões específicos (locais ou internacionais) de interoperabilidade aberta e outras boas práticas relevantes de cibersegurança, portabilidade, acessibilidade e usabilidade. | 1. Explicar como o sistema de IA vai interagir com os seguintes elementos: a. Requisitos de armazenamento, acesso e processamento dos dados necessários; b. Ferramentas de monitoramento; |
c. Sistemas padrão de operações. | ||
Habilidades da equipe | O fornecedor é capaz de demonstrar que a sua equipe é diversa e detém as habilidades necessárias para o bom andamento do projeto | 1. A equipe do fornecedor reúne os requisitos de capacidade técnica e as habilidades necessárias para o cumprimento do objeto? 2. O fornecedor mostra a importância da diversidade na equipe relacionada ao desenvolvimento do sistema de IA? 3. Em caso negativo, quais medidas podem ser adotadas pelo fornecedor para aumentar a diversidade considerando disciplina profissional e elementos sócio-demográficos, mostrar ações para melhorar? |
Fonte: adaptada a partir de World Economic Forum (2020f, pp. 18-29)
Diretiva 10 l Princípios
10a. Consultar uma grande variedade de fornecedores de soluções de IA.
- Mapear todos os atores, internos e externos à Administração, envolvidos no processo de contratação, bem como potenciais fornecedores que atuem no mercado de IA e possam se interessar em desen- volver a solução buscada. O engajamento de fornecedores deve abranger tanto as grandes empresas de TI quanto startups atuantes no desenvolvimento de soluções de IA.
- Universidades e ICTs, públicas e privadas, podem colaborar com o projeto aportando conhecimento técnico, ainda escasso no setor público, na área de IA, e podem ter interesse de participar, isolada- mente ou em consórcio com eventuais fornecedores, em uma encomenda tecnológica, por exemplo.
10b. Envolver os fornecedores desde o início do projeto e interagir com frequência, de modo isonômico e impessoal, durante todo o processo de contratação.
- Realizar eventos presenciais ou virtuais logo no início da abertura do processo de contratação (“kick-
-off meeting”), com a participação de potenciais fornecedores, membros da comunidade científica
e sociedade em geral, é importante para apresentar o problema enfrentado e ajudar a identificar requisitos importantes para a contratação futura. Os eventos devem ser públicos e adequadamente divulgados ao público-alvo.
- A colaboração entre governo e indústria é vital para o sucesso da contratação pública de IA. O envolvi- mento dos fornecedores na etapa de planejamento pode ajudar a determinar o objeto da contratação e a viabilidade dos seus requisitos técnicos, aumentando a probabilidade de que o licitante vencedor atenda às necessidades da Administração a um preço competitivo. A submissão do edital e de seus anexos técnicos a consultas e audiências públicas pode render contribuições importantes para a modelagem final do instrumento convocatório e o desdobramento da fase externa da contratação.
- Para mitigar riscos que possam estar associados à competitividade do procedimento, é importante divulgar amplamente o edital e fixar prazo de apresentação de propostas suficiente para viabilizar a participação de todos os potenciais interessados.
10c. Assegurar a interoperabilidade das soluções de IA, exigindo licenças abertas ou até mesmo o uso de software livre como medidas para evitar a dependência tecnológica da Administração a seus atuais fornecedores (lock-in).
- As estratégias para evitar o lock-in igualmente contribuem para aumentar a transparência e a explica- bilidade dos algoritmos em uso no setor público. É o caso, por exemplo, da preferência por licenças abertas e gratuitas, bem como o estímulo ao emprego de software livre, dados abertos e algoritmos já postos em domínio público.
- Durante a implantação da solução de IA, é provável que os algoritmos sofram customizações ao longo do tempo ou tenham o seu funcionamento substancialmente alterado em face do advento de novos bancos de dados. O desenvolvimento de capacidades internas e formação de quadros qualificados na Administração é essencial para evitar que os sistemas de IA contratados se tornem obsoletos, garantindo a manutenção da solução de IA independentemente do seu fornecedor original.
4 Estudo de caso: Hospital das Clínicas da Faculdade de Medicina da Universidade de São Paulo
4.1. Qual o problema que o Hospital das Clínicas pretendia resolver?
Inaugurado em 1944, o Hospital das Clínicas da Faculdade de Medicina da Universidade de São Paulo (HCFMUSP) é o maior complexo hospitalar da América Latina e um dos mais impor- tantes centros brasileiros de ensino, pesquisa e assistência. O HCFMUSP é uma autarquia vinculada à Secretaria de Saúde do Estado de São Paulo, associada à Faculdade de Medicina da Universidade de São Paulo (FMUSP) e possui uma fundação de apoio (Fundação Faculdade de Medicina), que apoia as atividades da faculdade e do próprio hospital. O hospital é formado por oito institutos, dois hospitais auxiliares, 11 núcleos técnicos administrativos, bem como diversos laboratórios de investigação médica e unidades especializadas.
Atualmente, mais de 60 sistemas estão em operação no HCFMUSP. Com centros e equipes de TI diversas, e sistemas diferentes executando as mesmas tarefas, um dos maiores desafios tornou-se garantir a integração, interoperabilidade, disponibilidade e qualidade dos dados coletados e tratados no âmbito da instituição. Este problema central gera diversas repercus- sões, como ilustra a tabela a seguir:
Tabela 11. Integração de dados de saúde: reflexos para o HCFMUSP
Pesquisa
- A realização de pesquisas na área da saúde normalmente demanda grande volume de dados clínicos. As dificuldades de integração comprometem a disponibilidade dos dados e constituem um limitador para que estudos e publicações científicas de relevo sejam realizados no hospital.
- O HCFMUSP é um hospital altamente especializado, de atenção médico-hospitalar no nível terciário. O paciente é encaminhado ao HCFMUSP quando necessita realizar tratamentos de alta complexidade, retornando posteriormente ao seu serviço de origem para acompanhamento. A entrada do paciente no hospital se dá por meio da Central de Regulação de Ofertas de Serviços de Saúde (CROSS)
e da Central de Regulação de Urgências e Emergências (CRUE), que organizam o atendimento no âmbito do SUS. Todavia, devido ao tamanho do hospital e à diversidade de especialidades, nem sempre os registros de atendimentos são automatizados e integrados pelos diversos sistemas envolvidos.
Assistência
- Dificuldade de acesso a dados em volume e qualidade suficientes para o desenvolvimento de soluções de IA, bem como ausência de infraestrutura tecnológica adequada para o tratamento necessário;
Gestão
- Investimentos escassos na infraestrutura de TI no setor público, dependente de recursos orçamentários. Embora no HCFMUSP exista a possibilidade da celebração de parcerias para a execução de projetos financiados por agências de fomento, programas governamentais ou empresas privadas, os investimentos realizados são em regra direcionados a uma área específica, faltando investimentos de caráter transversal.
- Ausência de uma governança centralizada sobre a cultura de dados, o que dificulta a aplicação de políticas de uso de dados aplicáveis a toda a instituição, comprometendo a escalabilidade;
- Necessidade de geração e compartilhamento de dados de alta qualidade com os mais parceiros do hospital - grupos de pesquisa nacionais e internacionais, health techs, multinacionais, etc. de tal forma a contribuir com o desenvolvimento de soluções robustas e com o fomento do ecossistema brasileiro de inovação em saúde. Em se tratando especificamente de soluções de IA, o hospital também precisa estar preparado para receber estes sistemas no fluxo operacional, de forma que possa testá-los e utilizá-los no dia-a-dia clínico.
Pesquisa
- Apego a sistemas legados, o que torna mais complicado o emprego de modernas ferramentas de armazenamento, catalogação e processamento de dados. É percebida uma dificuldade de integração com sistemas em uso, seja em relação à governança, seja em relação à arquitetura de TI adotada.
- Existência de silos de dados, gestão não integrada e ausência de padronizações taxonômicas e metodologias consistentes de registro de estrutura de metadados;
Fonte: elaboração própria.
O problema da integração de dados não é puramente tecnológico. Também é preciso olhar de perto para a maturidade da cultura de dados da instituição, entendendo seus gargalos e oportunidades de melhoria, em consonância com as áreas chaves da Avaliação de Maturi- dade de IA em Saúde, descrita adiante neste capítulo.
Em um hospital, o ciclo dos dados é relacionado intimamente com o processo “saúde-do- ença”, que varia conforme a gravidade e a complexidade do seu quadro clínico. Cada uma dessas etapas tem a sua contraparte tecnológica, sendo refletido nas diversas ações e nos fluxos criados por cada especialidade do HCFMUSP. Entretanto, ao encaminhar um paciente ao HCFMUSP, ainda não há integração do sistema de prontuário da atenção primária com o sistema de prontuário de serviços secundários e terciários. A informação de saúde é repas- sada de maneira incompleta e dependente de relatos do usuário. Daí a necessidade de um sistema de gestão hospitalar integrado que registre as informações em um banco de dados único da jornada do paciente, seja qual for a patologia ou o processo de cuidado.
No que se refere aos recursos humanos, foi identificada no HCFMUSP uma grande dispari- dade. O hospital é formado por profissionais de diversas áreas e níveis de conhecimento, ora com plena aptidão no registro e manejamento de dados, ora com pouca desenvoltura no uso de ferramentas de TI. Além disso, ao mesmo tempo em que certos processos não tinham acesso a mão-de-obra qualificada para sua execução, outros experimentavam duplicidade de papéis, gerando dissonâncias na operação e impactos na qualidade dos dados utilizados.
Por fim, a transformação do processo assistencial em dados de saúde depende de tecnolo- gia. Aqui, são tomadas decisões sobre a arquitetura de dados, serviços de gerenciamento e armazenamento (local ou em nuvem), ferramentas de análise (analytics) utilizadas, etc. No HCFMUSP, a atual demanda de pacientes excede a oferta de médicos e a infraestrutura para atendimento, tornando-se necessário o uso de tecnologias mais avançadas para garantir o monitoramento cíclico sem perda de informações. Além disso, em função da variabilidade de processos operacionais do hospital, muitos dos sistemas legados foram criados especi- ficamente para atender às necessidades de determinada especialidade médica. Nesse con- texto, saber o que cada dado efetivamente significa pode ser um desafio, comprometendo a qualidade dos seus bancos de dados.
4.2. Quais foram as mudanças realizadas pelo Hospital das Clínicas para solucionar o problema de integração de dados?
O HCFMUSP precisou atualizar a sua estrutura organizacional para fomentar a gestão de dados integrada no âmbito da instituição. Um amplo diagnóstico de TI revelou diversos desafios à coleta e tratamento de dados no hospital, tais como: (i) falta do uso de taxonomias padronizadas que permitissem a integração e harmonização de diferentes bases de dados;
(ii) ausência de disponibilização dos dados registrados nos sistemas transacionais em um ambiente analítico; (iii) necessidade de transformação dos dados em painéis de informação, facilitando e ampliando o acesso pelos usuários. Para tanto, o hospital implantou uma Pla- taforma de Inteligência Hospitalar (PIH), que automatizou a coleta de dados, antes realizada manualmente, e ampliou a confiabilidade e disponibilidade das informações geradas pelo hospital em tempo real.
Em paralelo, as equipes do HCFMUSP passaram por três reestruturações. Em primeiro lugar, a equipe de TI do HCFMUSP foi integrada ao Núcleo Especializado em Tecnologia da Informação (NETI). Esta integração buscou ampliar o espectro de entrega de dados transformados e que demandam algoritmos de IA associados, desde a implantação de sistemas para automação e registro de eventos, armazenamento, tratativas e organização das variáveis e composição seja por uso direto ou aplicação de algoritmos para tomada de decisão e direcionamento de informações.
Em seguida, foi criada uma equipe de Inteligência e Dados (ID) com o objetivo de gerar conhe- cimento confiável e acessível, com base em evidências, para aprimorar o cuidado assistencial. A implantação da XXX fez com que os gestores compreendessem a relevância da taxonomia de dados e do registro de todas as etapas do processo assistencial, principalmente os eventos críticos, facilitando a integração dos diversos bancos de dados.
Por fim, em setembro de 2020, o Núcleo de Inovação Tecnológica do HCFMUSP inaugurou o In.lab, um laboratório especialmente dedicado à implementação de IA na saúde. O In.lab aposta na inovação aberta como estratégia para dinamizar pesquisas sobre o tema e obter equipes multidisciplinares, em consonância com a Diretiva 7, para o desenvolvimento de IA ética e responsável.
4.3. Quais tecnologias foram adotadas para a integração dos bancos de dados? Quais as principais etapas desse processo?
A padronização dos processos de tratamento dos dados no âmbito do HCFMUSP foi iniciado a partir de indicadores para prestação de contas a órgãos de controle e entidades gover- namentais. Para tanto, foi criada à época uma Planilha Única (PU), preenchida de maneira centralizada pelas unidades para posterior consolidação. Esse processo foi um marco para a instituição, mas demandava grandes esforços tanto na captura quanto na consolidação das informações, face ao volume e fragmentação dos dados de origem. Após a PU, o HC buscou construir um ponto de convergência que automatizasse o tratamento dos dados, capturan- do-os em tempo real, e simplificasse a gestão por meio de indicadores, uso de ferramentas analíticas e painéis de visualização.
Para tanto é que foi criada a PIH, mencionada em 4.2, acima. A implantação da plataforma foi responsável pelo redesenho da estrutura e das metodologias de captura da informação, de forma estruturada e padronizada. Ademais, a PIH viabilizou investimentos em infraestrutura (como a aquisição de um banco de dados analítico, e.g.) e alocação de recursos humanos (mais de 500 horas da equipe de TI para aprimorar a visualização e a integração de ferramentas e plataformas, por exemplo.
Em 2020, o HCFMUSP construiu uma base de dados dedicada a COVID-19 e conduziu uma ampla revisão de toda a modelagem da PIH, estimulando a adoção de ferramentas mais avan- çadas de análise (analytics) para diminuir o tempo de resposta assistencial e a disponibilidade de dados para pesquisas sobre a pandemia. Para tanto, o hospital planeja a criação de um data lake que automatiza o processo de anonimização de dados pessoais sensíveis por meio de um servidor HDFS (Hadoop Distributed File System) e uma chave de controle para a rastre- abilidade dos profissionais ou entidades que solicitarem acesso, atendendo assim à LGPD.
4.4. Por que a IA foi escolhida como alternativa técnica pelo HCFMUSP?
Em comparação com outros setores da economia, a saúde é historicamente um dos que possui menor índice de maturidade digital. O Industry Digitization Index, publicado pelo McKinsey Global Institute (2015), compara o índice de digitalização em diversas áreas nos Estados Unidos e classifica a saúde como o 19º dentre os 23 setores analisados. Além disso, o HCFMUSP também lida com os desafios inerentes ao setor público, que apresenta índices menores de maturidade digital em comparação com o setor privado.
Entretanto, na área da assistência, o emprego de IA apresenta diversas possibilidades que poderiam ser mais bem exploradas pelo hospital. Por exemplo, em alguns institutos já está em operação o uso de algoritmos para detecção de anomalias em eletrocardiogramas. Em outros, o trabalho com IA é feito por meio de provas de conceito (PoC’s), protótipos e testes em ambiente real, como foi o caso do sistema RadVid-19, detalhado no item 2.1, acima. Os testes permitem avaliar não apenas o modelo de IA desenvolvido, mas a própria infraestrutura tecnológica da solução, seus gargalos e possíveis pontos de evolução. As aplicações também
podem abranger indicadores de gerenciamento de fluxo de paciente - tais como análise de altas, mortalidade e permanência em UTI, por exemplo.
Há, ainda, potencial de implementação de IA na frente gerencial do complexo hospitalar, gerenciando cenários financeiros, a utilização de insumos e o uso racional de recursos na gestão da instituição. De acordo com o relatório Reimagining Global Health through Artificial Intelligence: The Roadmap to AI Maturity publicado pela Broadband Commission em parceria com a Fundação Novartis (2021) sobre o uso de IA em Saúde, foram identificadas seis áreas chaves para o emprego dessa tecnologia:
Figura 10. Seis áreas para maturidade de Inteligência artificial
Pessoas e força de trabalho
Capacitar pessoas em dados, recursos digitais e IA através de treinamento e gestão de mudança
Dados e tecnologia
Garantir conectividade; e dados interoperáveis e de qualidade para alimentar a IA
Governança e atividades regulatórias
Construir as estruturas e regulamentos necessários para maximizar as oportunidades de IA, mantendo as pessoas seguras
Design & processos
Garantir que as soluções de IA sejam centradas nas pessoas e integradas aos sistemas de saúde existentes
Parcerias e partes interessadas
Xxxxxxx e colaborar para garantir que as necessidades locais sejam atendidas
Modelos de negócios
Assegurar a sustentabilidade através de financiamento inovador, incentivos e parcerias público-privadas
Fonte: Fundação Novartis (2021)
No mais, como o HCFMUSP é também uma instituição de pesquisa, o uso de IA pode ser uma oportunidade para avançar a sua produção científica. É o caso do emprego de imagens clínicas para definição de risco cirúrgico, redução de ruído em imagens de ressonância mag- nética ou até mesmo a criação de modelos de predição de tempo de uso de salas cirúrgicas, por exemplo.
4.5. Quais os principais desafios, gargalos e dificuldades identificadas para o uso de dados na área da saúde?
O artigo 5° da LGPD qualifica como “dado pessoal sensível” aqueles referentes à saúde ou à vida sexual, bem como dados genéticos ou biométricos vinculados a uma pessoa natural. Como dado sensível, seu tratamento só é permitido em situações particulares descritas no
art. 11 da LGPD. Caso não seja possível obter o consentimento do titular, o tratamento pode se fundar em outra base legal, como a “(...) realização de estudos por órgão de pesquisa, garantida, sempre que possível, a anonimização dos dados pessoais sensíveis” (art. 11, II, “c”, LGPD) ou a “(...) tutela da saúde, exclusivamente, em procedimento realizado por profissionais de saúde, serviços de saúde ou autoridade sanitária” (art. 11, II, “f”, LGPD).
Vale lembrar que dados anonimizados - i.e. aqueles “relativos a titular de dados que não possam ser identificados, considerando a utilização de meios técnicos razoáveis e dispo- níveis na ocasião de seu tratamento” (art. 5º, III) - não são considerados dados pessoais e, portanto, estão fora do âmbito de aplicação da LGPD. Para mitigar o risco de re-identificação dos pacientes, o HCFMUSP busca seguir normas e boas práticas internacionais para evitar a reversão de dados anonimizados, como o HIPAA (Health Insurance Portability and Accoun- tability Act), dos EUA.
Por isso, o primeiro passo para realizar um projeto de IA no HCFMUSP consiste em iden- tificar quais tipos de dados serão utilizados e entender se há real necessidade de uso de dados não-anonimizados no projeto, o que aumenta os deveres e obrigações relacionados ao atendimento da LGPD. Vale destacar, aqui, a problemática da gestão do consentimento do titular, o qual pode revogar a sua autorização ou mesmo solicitar a eliminação de seus dados pessoais, o que exige a realização de mudanças nos bancos de dados que alimentam a solução de IA.
4.6. Indique quais recomendações e boas práticas a expe- riência do Hospital das Clínicas gera para outros órgãos e entidades públicas
Destacam-se, no caso de uso do HCFMUSP, as seguintes recomendações:
- Consciência institucional dos dados disponíveis: este ponto é frequentemente indicado como o maior gargalo para o desenvolvimento interno de soluções de IA. Antes de começar a desenvolver um projeto de IA ou planejar a contratação de uma solução, é importante realizar um mapeamento dos bancos de dados disponíveis e dos possíveis gargalos à sua utilização;
- Integração de equipes e sistemas: a aproximação entre as áreas de dados e de TI com as áreas-fim da instituição é primordial. Para tanto, é importante incentivar a criação de comitês e de estruturas decisórias que incentivem fluxos de trabalho conjunto entre as diversas equipes, aumentando sua integração com estruturas internas e externas. Por exemplo, a integração com a Central de Regulação de Ofertas e Serviços de Saúde (CROSS), da Secretaria de Saúde do Estado de São Paulo, tem impor- tância chave para permitir a escalabilidade das soluções de IA testadas no HCFMUSP para outros hospitais de grande porte;
- Governança de dados: a co-criação de estruturas de governança é o primeiro passo para que se possam definir rotinas e processos de tratamento de dados para a instituição como um todo, inves- tindo na automação de processos manuais que possam ser integrados à jornada digital do paciente;
- Qualificação de recursos humanos: aumentar o investimento em qualificação da equipe - se pos- sível, por meio da inovação aberta, fomentando o intercâmbio de experiência e trocas com outras instituições públicas e privadas;
- Foco no problema: é fundamental conhecer muito bem o que a instituição faz, qual o seu papel e qual será a entrega final. O diagnóstico profundo do problema permite chegar a resultados mais tangíveis e preparar as bases para o desenvolvimento de uma cultura de dados e de capacidades institucionais de inovação no âmbito de cada órgão ou entidade.
5 Estudo de caso: aplicação de IA na manutenção de trens e vias do Metrô de São Paulo
5.1. Qual o problema que o Metrô de São Paulo buscava resolver?
Em 2010, o Metrô de São Paulo foi considerado o melhor sistema de transporte sobre trilhos da América Latina pelo The Metro Awards, sendo o primeiro da região a ter uma estação equipada com portas de plataforma, sistema CBTC (Communications-Based Train Control) para sinalização e controle de trens e também trens com tecnologia 100% automática e sem condutores. Em agosto de 2015, foi eleito um dos melhores sistemas de metrô do mundo pela revista americana Business Insider, sendo o único sistema latino-americano a pertencer a essa lista.
Em condições normais, são transportados cerca de 3,7 milhões de passageiros por dia apenas nas Linhas 1 (Azul), 2 (Verde) e 3 (Vermelha). A operação comercial ocorre entre 4h40 e 0h00, restando apenas a madrugada para realizar manutenção em trens, vias e equipamentos. Isso significa que, em média, são transportados dez milhões de passageiros por quilômetro - o que torna a manutenção um aspecto crítico para o bom funcionamento do Metrô de São Paulo.
A ocorrência de falhas gera um longo tempo de interferência, causada especialmente pela necessidade de entrada da equipe de manutenção na via. Quando isso ocorre, as equipes precisam aguardar a autorização do Centro de Controle Operacional (CCO) para acessar a via - enquanto isso, a velocidade é reduzida ou a circulação dos trens é restrita, causando prejuízos à oferta de trens para a população.
Por exemplo, entre 2016 e 2020, houve um total de 1.840 minutos de interferência em razão de ruído anormal identificado pelos operadores de trem durante a passagem das composi- ções nos trilhos. A receita cessante estimada com esta restrição nesses últimos quatro anos é estimada em aproximadamente de 2 milhões de reais, prejudicando a mobilidade de apro- ximadamente 460.000 passageiros. Por isso, o Metrô vem buscando alternativas para reduzir o tempo gasto com manutenções, diminuindo as interferências em sua operação comercial.
O emprego de IA poderia ajudar o Metrô de São Paulo a otimizar essa tarefa, automatizando parte do diagnóstico de falhas e intercorrências. A tecnologia reduziria a necessidade de inspeção humana, economizando tempo e recursos atualmente destinados à inspeção das vias. Além disso, o aprendizado de máquina tornaria possível o monitoramento dos trilhos em tempo real a partir de imagens de alta definição, emitindo relatórios automatizados, atendendo falhas urgentes e priorizando atividades de manutenção.
Atualmente, a inspeção geral das vias na rede metroviária é feita a cada três dias. Com o desenvolvimento do Sistema de Monitoramento da Via Permanente (SMVP), a inspeção seria
realizada, em média, 13 vezes por dia em cada linha, aumentando a segurança no tráfego de trens e reduzindo as interferências durante a operação comercial.
O SMVP busca transformar a maior parte da inspeção geral das vias em um processo automatizado, eficiente, seguro e confiável. Além da economia significativa de recursos, o sistema também deverá diminuir a substituição prematura dos componentes da via e do material rodante (trens), gerando uma diminuição de vida útil que, em 2020, é estimada em 1,7 milhões de reais.
Figura 11. Defeitos em trilhos de sistemas metroviários a partir de
imagens selecionadas
Fonte: Metrô de São Paulo
Portanto, a ausência de um sistema de monitoramento dinâmico impacta o domínio nos processos de manutenção e a vida útil dos equipamentos. A coleta de imagens de alta reso- lução, com tratamento por IA, gerará uma base de dados que tornará possível a emissão de relatórios e a execução de ações de engenharia com mais qualidade e rapidez.
5.2. Qual foi a modalidade de contratação escolhida? Por quê? Quais as principais etapas desse processo de contratação?
Várias foram as tentativas em busca de uma solução de prateleira (off-the-shelf) que aten- desse totalmente às necessidades do Metrô de São Paulo. Todavia, os estudos de mercado não revelaram nenhum sistema capaz de atender todas as funcionalidades necessárias, principalmente no que diz respeito ao monitoramento on-line e em tempo real das vias, com grau de precisão adequado à criticidade de uma rede metroviária.
Por exemplo, a modalidade “pregão” pressupõe a existência de um produto pronto e acabado, capaz de amoldar-se ao conceito legal de bens e serviços comuns (art. 1º, Lei nº 10.520/2002). No caso, a realização de pesquisas de mercado, especificação completa ex ante e posterior pagamento não se ajusta à necessidade de desenvolvimento de novas tecnologias, consi- derando a integração inédita de hardware e software para emprego de IA e aprendizado de máquina na manutenção preditiva.
Em consulta ao Núcleo de Inovação e Tecnologia (NIT) do Metrô de São Paulo, foi identificada a oportunidade de emprego da Encomenda Tecnológica (ETEC), modalidade especial de contratação direta prevista na Lei de Inovação n° 10.973/2004 (art. 20), na Lei nº 8.666/1993 (art. 24, XXXI) e na Lei das Estatais (art. 29, XIV). Atendendo à Diretiva 1, a ETEC permite a solução de problema técnico específico ou o desenvolvimento de produto, serviço ou processo inovador envolvendo risco tecnológico, revelando-se uma alternativa para o caso do SMVP.
A elaboração do processo teve início com base no Toolkit do Marco Legal, Ciência, Tecnologia e Inovação, elaborado pela Procuradoria Geral do Estado de São Paulo. O material reúne orientações jurídicas, boas práticas e modelos de editais, contratos e outros documentos que auxiliam e respaldam instituições públicas no emprego de instrumentos da Lei de Inovação, como a Encomenda Tecnológica. Foi utilizada também a plataforma HUBTEC, desenvolvida e mantida pelo IPEA (Instituto de Pesquisa Econômica Aplicada) e pela ABDI (Agência Brasileira de Desenvolvimento Industrial), que oferece um amplo rol de materiais sobre ETEC.
A primeira etapa da contratação da ETEC corresponde à elaboração dos Estudos Prelimi- nares, concentrando todas as informações técnicas e funcionalidades disponíveis sobre o SMVP dentro do Metrô de São Paulo. Para tanto, foi também constituído um Grupo Técnico de Coordenação (GTC), composto por colaboradores de áreas estratégicas do Metrô de São Paulo, para acompanhar o processo de contratação da encomenda.
Na sequência, foi constituído um Comitê Técnico de Especialistas, composto por pesqui- sadores, especialistas e professores oriundos de Universidades, Institutos de Pesquisa e Parques Tecnológicos do Estado de São Paulo. O comitê é de constituição facultativa segundo a legislação, mas presta um papel fundamental para apoiar o contratante na análise e apre- ciação, de forma imparcial e isenta, dos documentos produzidos ao longo do processo de contratação. Dessa maneira, o Comitê agrega ainda mais conhecimento técnico-científico à equipe do projeto SMVP, reduzindo assimetrias de informação com o mercado.
O Comitê, considerando também o ineditismo do caso concreto, concluiu pela existência de risco tecnológico no projeto do SMVP. O risco tecnológico decorre da “(...) possibilidade de insucesso no desenvolvimento de solução, decorrente de processo em que o resultado é incerto em função do conhecimento técnico-científico insuficiente à época em que se decide pela realização da ação” (art. 2º, III, do Decreto Federal nº 9.283/2018), sendo o caso, por exemplo, de “(...) serviços desenvolvidos por meio de tecnologia de inteligência artificial que demandam ganho de massa crítica de informações captadas por meio do uso efetivo dos serviços por seu público alvo” (art. 52, §4º do Decreto Estadual nº 62.817/2017).
Diante disso, o Metrô de São Paulo elaborou, com base nos estudos preliminares e no mapa de riscos, um edital de chamamento público para obter a manifestação de interesse de potenciais fornecedores interessados no desenvolvimento da encomenda.
Após a análise das manifestações de interesse, o Metrô de São Paulo avançará para a etapa de negociação com potenciais parceiros, com o objetivo de definir o tipo de contrato e confir- mar requisitos de habilitação (como qualificação técnica e regularidade fiscal), cronogramas de implantação e a forma de pagamento. Prevê-se que cada um dos proponentes apresente uma PoC (Prova de Conceito), que será avaliada com apoio do Comitê Técnico de Especia- listas, observando os critérios de pontuação definidos no edital, para melhor definição do escopo da solução desejada.
A avaliação das propostas será baseada em quesitos técnicos de funcionalidade, conectividade, respeito ao cronograma, solução de eventuais problemas, experiência anterior, qualidade do projeto apresentado e aderência da proposta à necessidade do Metrô de São Paulo, con- siderando o risco tecnológico e a necessidade de esforços de pesquisa e desenvolvimento para contratar a solução buscada.
Por fim, será firmado contrato para o desenvolvimento final do SMVP e posterior implantação nas três linhas do Metrô de São Paulo (1-Azul, 2-Verde e 3-Vermelha), celebrado diretamente por dispensa de licitação, nos termos do art. 20 da Lei de Inovação, combinado com o artigo 29, XIV da Lei das Estatais. A tabela a seguir ilustra as principais etapas da implementação do SMVP ao longo da execução contratual:
Tabela 12. Níveis de TRL das principais etapas para implementação do SMVP
Fases de desenvolvimento e execução | TRL |
Desenvolvimento inicial do SMVP (interações, estudos na via, veículos, trolleys e trens) | TRL 4 |
Pagamento inicial antecipado para aquisição de equipamentos | |
Implantação do sistema (Fase 1 - testes funcional, conexão no SMA) | TRL 5 |
Implantação do sistema (Fase 2 - testes funcionais na via e testes no SMA) | TRL 6 |
Implantação do sistema (Fase 3 - testes finais) | TRL 7 |
Treinamentos (inicial, avançado, operacional e manutenção) e comissionamento final | TRL 9 |
Fonte: Metrô de São Paulo.
Em síntese, desde o início até a formalização da contratação, o processo segue as seguintes etapas:
• Estudos Preliminares;
• Mapa de Riscos, incluindo a Avaliação de Impacto Algorítmico;
• Formação do Grupo de Trabalho da contratação e do grupo técnico de coordenação;
• Constituição do Comitê de Especialistas;
• Pareceres técnicos e jurídicos;
• Publicação do Edital de Chamamento Público;
• Recebimento das Manifestações de interesse;
• Negociação com potenciais contratados;
• Escolha do contratado;
• Ratificação da Dispensa de Licitação e celebração do contrato
5.3. Por que a IA foi escolhida como alternativa técnica na solução?
Analisando casos concretos no setor metroviário, foi possível constatar que o emprego de IA poderia automatizar parcialmente algumas das ocorrências mais recorrentes na inspeção dos equipamentos da rede metroferroviária, tais como trilhos, dormentes e juntas isolantes. Embora existam soluções de hardware e software no exterior para funções análogas voltadas à manutenção preditiva, nenhuma solução disponível no mercado atenderia integralmente às necessidades do Metrô de São Paulo, que exigem a integração inédita de tecnologias existentes para o desenvolvimento da solução buscada.
Com o emprego de IA, o sistema de monitoramento deverá disparar alertas solicitando a análise humana apenas quando desvios ou falhas forem identificados, aumentando sua precisão e acurácia na medida em que o conjunto de dados e o próprio algoritmo evoluí- rem. Contudo, um grande desafio do projeto diz respeito à integração de bancos de dados e sistemas existentes para viabilizar a adoção de IA e aprendizado de máquina, com vistas a obter uma solução customizável e passível de ser integrada ao Sistema de Monitoramento de Ativos (SMA) do Metrô de São Paulo.
Estima-se que o SMVP multiplicará em aproximadamente dez vezes a quantidade de dados coletados sobre a manutenção da rede. Aliado à IA, o ineditismo do monitoramento em tempo real deverá reduzir significativamente os tempos de interferência na operação comercial do Metrô de São Paulo, reduzindo custos operacionais e melhorando a imagem e reputação da empresa perante os passageiros.
5.4. Porque adotar as diretivas do Fórum Econômico Mundial? Como as diretivas contribuíram para este processo?
As diretrizes e recomendações desenvolvidas pelo Fórum foram importantes para que o Metrô de São Paulo pudesse incorporar ao seu processo de contratação as melhores práticas internacionais sobre compras públicas de IA. Por exemplo, o chamamento público do Metrô de São Paulo é pioneiro, no Brasil, no uso de Avaliações de Impacto Algorítmico (AIA), elaborada com apoio do C4IR Brasil e integrada ao mapa de riscos da ETEC. A experiência de outros países também foi fundamental para inserir na AIA o mapeamento de possíveis riscos relativos a imagens capturadas em movimento, como no caso do SMVP.
No Brasil, ainda há carência de normas específicas acerca do tema, o que torna altamente estratégica a institucionalização de procedimentos, fluxos e rotinas embasadas em experi- ências concretas, que possam ser replicadas em outras instituições públicas, mesmo fora do setor de transporte.
5.5. Como foi o processo de adaptação das diretrizes ao contexto brasileiro?
A inexistência de experiências anteriores de emprego da ETEC no setor metroviário exigiu a formação de uma equipe multidisciplinar desde o início do processo de contratação, aten- dendo à Diretiva 7. Além de profissionais com experiências bastante variadas, a equipe reuniu representantes de várias áreas envolvidas em etapas distintas do processo de contratação (Gerência de Manutenção, Gerência Jurídica, Contratações e Compras, Núcleo de Inovação e Tecnologia), além do apoio do corpo diretivo do Metrô de São Paulo.
O contexto bastante diverso das contratações de inovação fez com que várias áreas tivessem que ser mobilizadas para viabilizar a ETEC que, até então, era inédita no âmbito da Companhia. Para tanto, além de atualizações nos regulamentos da empresa, foi necessária a elaboração de novos modelos de documentos e a revisão dos fluxos de trabalho da Gerência de Contra- tações e Compras e da Gerência Jurídica.
O C4IR Brasil ministrou uma oficina específica sobre contratações públicas de IA para capacitar as equipes do Metrô de São Paulo, bem como outros participantes externos interessados. A disposição da equipe em obter informações adicionais foi imprescindível para mobilizar todas as frentes envolvidas no processo de contratação da ETEC.
5.6. Quais recomendações e boas práticas o caso do Metrô de São Paulo deixa como legado para outros órgãos e entidades públicas?
Embora ainda em andamento, o estudo de caso do Metrô de São Paulo apresenta lições valiosas para contratações públicas de IA e contratações de inovação em geral:
1. Conhecimento profundo do problema. O projeto do SMVP é estudado há anos no âmbito da companhia, sendo embasado em dados colhidos pela Gerência de Manutenção que demons- tram porque o emprego de IA de fato atende à necessidade do Metrô de São Paulo. Portanto, o problema enfrentado pela companhia é que levou à escolha da ETEC e à adoção de IA, não
o contrário. Além disso, é importante efetuar uma profunda análise técnica dos gargalos da empresa para entender quais caminhos devem ser priorizados.
2. Existência de políticas e de estruturas internas vocacionadas à inovação. O Núcleo de Inovação e Tecnologia (NIT) foi formalizado no final de 2019 com a publicação da Política de Inovação do Metrô de São Paulo. A Política estabeleceu diretrizes para as ações institucionais de suporte à inovação, proteção de direitos de propriedade intelectual e sua transferência para a sociedade, em apoio à inserção competitiva da companhia na economia brasileira. O NIT, com o objetivo de promover a cultura de inovação na empresa, tem investido esforços na capacitação, governança, prospecção, parcerias e apoio no desenvolvimento e mensuração de iniciativas inovadoras que ofereçam soluções aos desafios e objetivos estratégicos do Metrô de São Paulo. No SMVP, o NIT atuou identificando a oportunidade inicial de se utilizar a ETEC, auxiliando na constituição do Comitê Técnico de Especialistas e viabilizando a formalização de parcerias estratégicas com universidades, institutos de pesquisa e outros atores do ecossistema de inovação, incluindo o próprio C4IR.
3. Equipe multidisciplinar e dedicada a contratações de inovação. A equipe (squad) de Con- tratações Públicas de Inovação do Metrô de São Paulo é um grupo multidisciplinar constituído em meados de 2020 com representantes do NIT, da Gerência Jurídica e da Gerência de Contra- tações e Compras. O Squad adota uma abordagem orientada a missões, buscando soluções inovadoras para os desafios enfrentados pela empresa. A integração entre áreas estratégicas desde o início do processo proporcionou segurança necessária para o avanço do processo de contratação da ETEC, até então inédito no âmbito da empresa.
4. Envolvimento ativo das instâncias decisórias e do primeiro escalão da companhia. O apoio da alta direção do Metrô de São Paulo permitiu o avanço do processo de contratação do SMVP, sendo essencial também para permitir a implementação de novos processos, fluxos e rotinas no âmbito da empresa. O alinhamento prévio realizado com o corpo diretivo, somado ao respaldo técnico-científico propiciado pelos parceiros externos, foram fatores importantes para agregar segurança à deflagração da ETEC.
5. Parcerias externas. É importante engajar parceiros externos (consultorias, universidades e órgãos de controle) com a instituição pública contratante desde o início do processo. Nessa linha, o acompanhamento da fase interna da contratação pelo C4IR Brasil, por meio de encon- tros regulares, contribuiu para oferecer subsídios e alinhar o projeto às melhores práticas internacionais para contratação de IA.
6. Constituição do Comitê Técnico de Especialistas. A constituição do Comitê Técnico de Espe- cialistas dependeu da disponibilidade de pesquisadores e professores que, de forma volun- tária, contribuíram para a análise técnica dos documentos que embasam a ETEC. No caso do SMVP, a formação do Comitê levou aproximadamente três meses. O processo demanda tempo, sobretudo para reunir candidatos com conhecimentos bastante específicos e disponibilidade suficiente para participar das reuniões. Todavia, o Comitê presta apoio fundamental na fase interna da contratação, emitindo parecer sobre a existência ou não de risco tecnológico, além de dar respaldo ao contratante na escolha do futuro contratado e ao longo do monitoramento da execução contratual.
Apêndice: Avaliação de Impacto Algorítmico
Sem uma orientação clara sobre como garantir responsabilidade, transparência e explicabilidade, o emprego de IA pode causar danos à população. Por isso, é necessário incorporar ferramentas que permitam avaliar de forma abrangente os riscos decorrentes dessa tecnologia, abrindo caminho para sua mitigação.
A Avaliação de Impacto Algorítmico (AIA) é um questionário aplicado durante o planejamento e a fase interna da contratação para avaliar riscos específicos relacionados ao emprego de IA e apren- dizado de máquina na solução a ser contratada. A AIA integra o gerenciamento de riscos e abrange todo o ciclo de vida da solução e deve ser atualizada ao longo de todo o processo de contratação, inclusive na fase de execução contratual.
A AIA permite:
• elaborar antecipadamente planos de mitigação, com medidas proporcionais ao risco de cada solução de IA;
• comunicar riscos relevantes para o sucesso do projeto ao público em geral;
• delimitar as responsabilidades do contratado, o perfil das equipes e a necessidade de capa- citação interna do contratante;
• estabelecer sistemas de monitoramento e avaliação da solução de IA durante toda a sua vida útil, haja vista que o modelo de decisão também evolui à medida que se modificam as bases, fontes e conjuntos de dados que a alimentam.
Uma das avaliações frequentemente mencionadas pela literatura é o Algorithmic Impact Assessment do governo do Canadá, que editou uma norma específica sobre o tema (Directive on Automated Decision Making). O modelo canadense compreende a avaliação de diversos riscos, classifican- do-os em quatro níveis (I a IV) conforme a pontuação obtida no questionário. A pontuação final é computada pela subtração dos fatores de mitigação, como explicado abaixo.
Para o estudo de caso do Metrô de São Paulo, o C4IR Brasil elaborou uma avaliação de impacto algorítmico com base no modelo canadense, haja vista a sua completude e elevado detalhamento. O seu uso atende ao disposto na EBIA, tornando a AIA o veículo de uma comunicação transparente entre a Administração, os fornecedores e a sociedade.
Guia de Contratações Públicas de Inteligência Artificial | 72
Apêndice: Avaliação de Impacto Algorítmico
I. IDENTIFICAÇÃO DO PROJETO E DADOS DO RESPONDENTE DA AIA
1. Detalhes do projeto
Nome do Projeto: | |||
Nome do Respondente: | Cargo: | ||
Entidade contratante: | |||
Estágio atual do Projeto: | [Desenvolvimento] ou [Implementação] | ||
Descrição: | |||
II. QUESTIONÁRIO DE AVALIAÇÃO DE POTENCIAIS RISCOS ALGORÍTMICOS DECORRENTES DO PROJETO
2. Potenciais impactos positivos da automatização | ||
Perguntas | Respostas | Pontuação |
2.1. Indique as principais razões que motivaram a automatização deste processo de tomada de decisão: | Escolha as respostas mais relevantes: a. Usar abordagens inovadoras b. O sistema está executando tarefas que humanos não poderiam realizar em um período razoável c. Baixar custos de transação de um programa existente d. Melhorar a qualidade geral das decisões; | 0 [não afeta a pontuação] |
3. Perfil de risco do projeto | ||
Perguntas | Respostas | Pontuação |
3.1. O projeto e/ou seus objetivos dizem respeito a temas de intenso debate público (p.e., questões relacionadas à privacidade e proteção de dados) ou é tema de litígios frequentes em sede administrativa ou judicial? | Sim ou Não | Sim = +3 Não = 0 |
3.2. Os usuários potenciais dos resultados do projeto encontram-se em situação de vulnerabilidade? | Sim ou Não | Sim = +3 Não = 0 |
3.3. Os impactos das decisões que podem ser realizadas pelo sistema são muito grandes? | Sim ou Não | Sim = +4 Não= 0 |
3.4. Este projeto terá grandes impactos para relações de trabalho no âmbito da entidade contratante, como redução no número de colaboradores ou redefinição de suas funções? | Sim ou Não | Sim = +3 Não= 0 |
Guia de Contratações Públicas de Inteligência Artificial | 73
Apêndice: Avaliação de Impacto Algorítmico
4. Governança do projeto | ||
Perguntas | Respostas | Pontuação |
4.1. Haverá órgão, divisão ou departamento interno na entidade contratante com atribuição para zelar sobre a governança da solução desenvolvida? | Sim ou Não | Sim = +2 Não= 0 |
4.2. Caso a solução proposta impacte diretamente indivíduos, a equipe interna de desenvolvimento será composta por um grupo diverso de pessoas em termos de raça, gênero e orientação, dentre outros critérios sócio-demográficos10? | Sim, Não ou Não se Aplica | Sim = 0 Não= +2 Não se Aplica=0 |
5. Sobre o Sistema | ||
Perguntas | Respostas | Pontuação |
5.1. Indique as principais características do sistema a ser desenvolvido: | a. Reconhecimento de imagens e objetos: análise de grandes conjuntos de dados para automatizar reconhecimento, classificação e contexto associados a uma imagem ou objeto; b. Análise de texto e fala: análise de grandes conjuntos de dados para reconhecer, processar e marcar texto, fala, voz e fazer recomendações com base na marcação; c. Avaliação de riscos: análise de grandes conjuntos de dados para identificar padrões e recomendar condutas ou, em alguns casos, realizar ações específicas; d. Geração de conteúdo: análise de grandes conjuntos de dados para categorizar, processar, classificar, personalizar e gerar conteúdo específico para contextos específicos; e. Otimização de processos e automação de fluxo de trabalho: análise de grandes conjuntos de dados para identificar anomalias e padrões (clusters), bem como para prever resultados ou formas de otimizar e automatizar fluxos de trabalho específicos f. Outro (por favor, especifique): | 0 [não afeta a pontuação] |
10 Questão 4.2 com redação adaptada pelos autores ao contexto brasileiro, não constando do modelo de AIA originalmente adotado pelo Canadá.
Guia de Contratações Públicas de Inteligência Artificial | 74
Apêndice: Avaliação de Impacto Algorítmico
6. Sobre o Algoritmo | ||
Perguntas | Respostas | Pontuação |
6.1. O algoritmo será protegido por direitos de propriedade intelectual ou será mantido em segredo industrial? | Sim ou Não | Sim = +3 Não= 0 |
6.2. O modelo de decisão do algoritmo será difícil de interpretar ou explicar. | Sim ou Não | Sim = +3 Não= 0 |
7. Sobre a Decisão | ||
Perguntas | Respostas | Pontuação |
7.1. A decisão pertence a qual das seguintes categorias? | Escolha as respostas mais relevantes: a. Serviços relacionados à saúde; b. Interesses econômicos (subsídios e contribuições, benefícios fiscais, cobrança de dívidas) c. Assistência social (por exemplo: reivindicações por invalidez, programas de auxílio a pessoas de baixa renda, etc) d. Acesso e mobilidade (autorizações de segurança, passagens de fronteira) e. Licenciamento e emissão de autorizações f. Outros (especificar): | +1 para cada elemento (máx. 6 pontos) |
8. Avaliação de impactos | ||
Perguntas | Respostas | Pontuação |
8.1. O sistema automatizado será usado exclusivamente para auxiliar na tomada de decisões a cargo de órgão ou autoridade competente? | Sim ou Não | Sim = +1 Não= 0 |
8.2. Os resultados do sistema automatizado substituirão decisões que seriam tomadas por seres humanos? | Sim ou Não | Sim = +3 Não= 0 |
8.3. O sistema automatizado substituirá as decisões humanas que envolvem uma apreciação ou escolha discricionária? | Sim ou Não | Sim = +4 Não= 0 |
8.3.1. Em caso positivo, descreva que tipo de decisão será automatizada. | [...] | |
8.4. No âmbito da entidade contratante, o sistema automatizado será usado por algum órgão, departamento ou seção diferente daquele que promove o seu desenvolvimento? | Sim ou Não | Sim = +4 Não= 0 |
Guia de Contratações Públicas de Inteligência Artificial | 75
Apêndice: Avaliação de Impacto Algorítmico
8.5. Os impactos decorrentes da decisão automatizada serão reversíveis? | a. Reversíveis; b. Provavelmente reversíveis; c. Difíceis de reverter; d. Permanentes. | a. +1 b. +2 c. +3 d. +4 |
8.6. Quanto tempo durarão os impactos da decisão automatizada? | a. Impactos que provavelmente serão breves; b. Alguns impactos podem durar alguns meses, enquanto outros podem durar mais tempo; c. Impactos podem durar anos; d. Perpétuo; | a. +1 b. +2 c. +3 d. +4 |
8.6.1. Descreva os impactos resultantes da decisão de acordo com a opção selecionada acima. | [...] | |
8.7. A decisão automatizada terá impactos sobre direitos e/ou liberdades individuais? | a. Pouco ou sem impacto; b. Impactos moderados; c. Alto impacto; d. Impacto muito alto; | a. +1 b. +2 c. +3 d. +4 |
8.7.1. Descreva os impactos resultantes da decisão de acordo com a opção selecionada acima. | [...] | |
8.8. A decisão automatizada terá impactos sobre a saúde e o bem-estar da população? | a. Pouco ou sem impacto; b. Impactos moderados; c. Alto impacto; d. Impacto muito alto; | a. +1 b. +2 c. +3 d. +4 |
8.8.1. Descreva os impactos resultantes da decisão de acordo com a opção selecionada acima. | [...] | |
8.9. A decisão automatizada terá impactos socioeconômicos de indivíduos? | a. Pouco ou sem impacto; b. Impactos moderados; c. Alto impacto; d. Impacto muito alto; | a. +1 b. +2 c. +3 d. +4 |
8.9.1. Descreva os impactos resultantes da decisão de acordo com a opção selecionada acima. | [...] | |
8.10. A decisão automatizada poderá provocar impactos ambientais? | a. Pouco ou sem impacto; b. Impactos moderados; c. Alto impacto; d. Impacto muito alto; | a. +1 b. +2 c. +3 d. +4 |
8.10.1. Descreva os impactos resultantes da decisão de acordo com a opção selecionada acima. | [...] | |
Guia de Contratações Públicas de Inteligência Artificial | 76
Apêndice: Avaliação de Impacto Algorítmico
9. Sobre os dados | ||
A. Fontes de dados | ||
Perguntas | Respostas | Pontuação |
9.1. O sistema usará dados pessoais como dados de entrada (input data) para a realizar decisões automatizadas? | Sim ou Não | Sim = +4 Não= 0 |
9.1.1 Se sim, o uso de dados pessoais será limitado somente às finalidades do programa ou serviço? | Sim, Não, ou Não se aplica | Sim = 0 Não= +4 Não se aplica =0 |
9.1.2 O dado pessoal será utilizado pelo sistema para tomada de decisões que afetam diretamente os mesmos indivíduos? | Sim, Não, ou Não se aplica | Sim = +2 Não= 0 Não se aplica =0 |
9.1.3 A maneira na qual o sistema utilizará dados pessoais é consistente com as normas estabelecidas pela LGPD e outras regulações setoriais relevantes à área de atuação do sistema? | Sim, Não, ou Não se aplica | Sim = 0 Não= +1 Não se aplica =0 |
9.2. Os dados de entrada (input data) correspondem a informações classificadas como sigilosas, segundo a Lei de Acesso à Informação (Lei nº 12.517/2011) | a. Não, tratam-se de informações abertas, públicas, não sujeitas a sigilo; b. Xxx, tratam-se de dados pessoais; c. Sim, tratam-se de informações classificadas no grau “reservado”; d. Xxx, tratam-se de informações classificadas no grau “secreto”; e. Xxx, tratam-se de informações classificadas no grau “ultrassecreto”. | a. 0 b. +2 c. +3 d. +4 e. +5 |
9.3. Quem é o titular das informações que integram os dados de entrada do sistema? | a. Dados abertos e/ou informações públicas; b. Governo federal; c. Governos estaduais, distrital e/ou municipais; d. Iniciativa privada ou sociedade civil; | a. +1 b. +2 c. +3 d. +4 |
9.4. O sistema usará dados de várias bases de dados ou fontes diferentes? | Sim ou Não | Sim = +4 Não= 0 |
9.5. O sistema exigirá dados de entrada de dispositivos conectados à internet ou a redes de telefonia? (Internet das coisas, sensores, p.e.) | Sim ou Não | Sim = +4 Não= 0 |
Guia de Contratações Públicas de Inteligência Artificial | 77
Apêndice: Avaliação de Impacto Algorítmico
9.6. Haverá interface entre o sistema a ser desenvolvido e outros sistemas de TI? | Sim ou Não | Sim = +4 Não= 0 |
9.7. Quem coletou os dados e informações necessários para treinar o sistema? | a. A própria entidade contratante; b. Órgãos ou entidades federais; c. Órgãos ou entidades estaduais, distritais e/ou municipais; d. Governos estrangeiros; e. Pessoas físicas ou jurídicas de direito privado, nacionais ou estrangeiras; | a. +1 b. +2 c. +3 d. +4 e. +5 |
9.8. Quem coletou os dados de entrada usados pelo sistema? | a. A própria entidade contratante; b. Órgãos ou entidades federais; c. Órgãos ou entidades estaduais, distritais e/ou municipais; d. Governos estrangeiros; e. Pessoas físicas ou jurídicas de direito privado, nacionais ou estrangeiras; | a. +1 b. +2 c. +3 d. +4 e. +5 |
B. Tipos de dados | ||
Perguntas | Respostas | Pontuação |
9.9. Será necessária a análise de dados não estruturados para apresentar recomendações ou tomar decisões? | Sim ou Não | 0 [não afeta a pontuação] |
9.9.1. Se sim, quais tipos de dados não estruturados? | Selecione todas as opções aplicáveis: a. Arquivos de áudio ou texto; b. Imagens e vídeos; | a. +2 b. +4 |
III. QUESTIONÁRIO RELATIVO A MEDIDAS PARA ELIMINAR, REDUZIR OU MITIGAR RISCOS ALGORÍTMICOS
10. Consultas | ||
Perguntas | Respostas | Pontuação |
10.1. Foram consultados os órgãos e departamentos internos que sejam relevantes, no âmbito da entidade contratante, para o projeto? | Sim ou Não | Sim= +1 Não= 0 |
10.1.1. Se sim, quais? | Selecione todas as opções aplicáveis: • Direção, Administração e Planejamento; • Assessoramento jurídico; • Tecnologia da informação; • Comunicações; • Área responsável pelo Acesso à Infor- mação e Proteção de Dados Pessoais (DPO); • Relacionamento com os usuários; • Outros (especificar). | 0 [não afeta a pontuação] |
Guia de Contratações Públicas de Inteligência Artificial | 78
Apêndice: Avaliação de Impacto Algorítmico
10.2. Foram realizadas consultas a fornecedores e entidades externas à entidade contratante (Academia, sociedade civil, setor privado, etc) que possam ter interesse no projeto? | Sim ou Não | Sim= +1 Não= 0 |
10.2.1. Se sim, quais? (indique todas as alternativas aplicáveis) | Selecione todas as opções aplicáveis: • Sociedade civil; • Academia; • Setor privado; | 0 [não afeta a pontuação] |
11. Mitigação de riscos: Qualidade dos dados | ||
Perguntas | Respostas | Pontuação |
11.1. Existem rotinas e/ou processos (como balancear a representatividade de grupos minoritários) em vigor para testar conjuntos de dados contra vieses, preconceitos e outros resultados inesperados no pré-processamento do algoritmo (p.e., experiência na aplicação de protocolos ou outras ferramentas de avaliação)? | Sim ou Não | Sim= +2 Não= 0 |
11.1.1. Esta informação está disponível publicamente? | Sim ou Não | Sim= +1 Não= 0 |
11.2. A entidade contratante possui algum processo interno para documentar como problemas relativos à qualidade de dados devem ser resolvidos durante o desenvolvimento da solução? | Sim ou Não | Sim= +1 Não= 0 |
11.2.1. Esta informação está disponível publicamente? | Sim ou Não | Sim= +1 Não= 0 |
11.3. Os dados pessoais necessários ao desenvolvimento e ao treinamento do sistema foram avaliados no que diz respeito às características sócio-demográficas que refletem, especialmente dados pessoais sensíveis (gênero, raça, orientação sexual, p.e.)? | Sim ou Não | Sim= +1 Não= 0 |
11.3.1. Esta informação está disponível publicamente? | Sim ou Não | Sim= +1 Não= 0 |
11.4. Foi atribuída, no âmbito da entidade contratante, competências ou responsabilidades específicas sobre o projeto e seu desenvolvimento, treinamento, manutenção e melhoria? | Sim ou Não | Sim= +2 Não= 0 |
Guia de Contratações Públicas de Inteligência Artificial | 79
Apêndice: Avaliação de Impacto Algorítmico
11.5. A entidade contratante possui algum processo interno para evitar que dados desatualizados ou não confiáveis sejam considerados pelo sistema na tomada de decisões automatizadas? | Sim ou Não | Sim= +2 Não= 0 |
11.5.1. Esta informação está disponível publicamente? | Sim ou Não | Sim= +1 Não= 0 |
11.6. Os dados utilizados para o desenvolvimento e/ou treinamento do sistema encontram-se publicados no Portal da Transparência ou sítio eletrônico equivalente? | Sim ou Não | Sim= +2 Não= 0 |
11.7. Caso o algoritmo originalmente tenha sido desenvolvido fora do Brasil, ou para um contexto distinto do proposto, dados relevantes locais foram providenciados para retreiná-lo?11 | Sim, Não ou Não se Aplica | Sim= +1 Não= 0 Não se Aplica= 0 |
12. Mitigação de Riscos: Auditabilidade do sistema e procedimentos de revisão ou impugnação de decisões automatizadas | ||
Perguntas | Respostas | Pontuação |
12.1. O sistema possui etapas de auditoria que permitam identificar a autoridade competente responsável pela decisão? | Sim ou Não | Sim= +1 Não= 0 |
12.2. O sistema fornece um mapa de auditoria que registra todas as recomendações ou decisões tomadas pelo sistema? | Sim ou Não | Sim= +2 Não= 0 |
12.3. Todos os principais critérios de decisão são identificáveis neste mapa de auditoria? | Sim ou Não | Sim= +2 Não= 0 |
12.4. Os principais critérios de decisão adotados pelo modelo lógico de decisão do sistema estão lastreados na legislação pertinente? | Sim ou Não | Sim= +1 Não= 0 |
12.5. A entidade contratante manterá registro atualizado detalhando todas as mudanças feitas ao modelo e ao sistema? | Sim ou Não | Sim= +2 Não= 0 |
11 Questão 11.7 com redação adaptada pelos autores ao contexto brasileiro, não constando do modelo de AIA originalmente adotado pelo Canadá.
Guia de Contratações Públicas de Inteligência Artificial | 80
Apêndice: Avaliação de Impacto Algorítmico
12.6. O mapa de auditoria do sistema indicará todos os critérios de decisão adotados pelo sistema? | Sim ou Não | Sim= +1 Não= 0 |
12.7. O mapa de auditoria gerado pelo sistema poderá ser usado para gerar notificações sobre a decisão (incluindo uma exposição de motivos ou outra motivação, p.e.) quando necessário? | Sim ou Não | Sim= +1 Não= 0 |
12.8. O mapa de auditoria identifica precisamente qual versão do sistema foi usada em cada decisão? | Sim ou Não | Sim= +2 Não= 0 |
12.9. O mapa de auditoria mostra quem é a autoridade competente para cada tipo de decisão? | Sim ou Não | Sim= +1 Não= 0 |
12.10. O sistema é capaz de fornecer justificativas e motivação para as suas decisões ou recomendações caso solicitado? | Sim ou Não | Sim= +2 Não= 0 |
12.11. Existe um processo interno para conceder, monitorar e revogar permissões de acesso ao sistema? | Sim ou Não | Sim= +1 Não= 0 |
12.12. Existe algum procedimento para receber comentários, sugestões ou devolutivas (feedback) por parte dos usuários do sistema? | Sim ou Não | Sim= +1 Não= 0 |
12.13. Existe um processo recursal ou meio de impugnação para que eventuais interessados possam pleitear a revisão da decisão? | Sim ou Não | Sim= +2 Não= 0 |
12.14. O sistema permite a revisão e/ou a anulação por seres humanos das decisões automatizadas realizadas do sistema? | Sim ou Não | Sim= +2 Não= 0 |
12.15. Existe algum registro de decisões automatizadas que sejam substituídas, anuladas ou revistas por seres humanos? | Sim ou Não | Sim= +1 Não= 0 |
12.16. O mapa de auditoria do sistema permite o controle de mudanças para registrar modificações na operação ou no desempenho do sistema? | Sim ou Não | Sim= +2 Não= 0 |
12.17. O sistema prevê uma etapa de verificação dos seus resultados na fase de pós-processamento para calibração do seu modelo de decisão?12 | Sim ou Não | Sim= +1 Não= 0 |
12 Questão 12.17 com redação adaptada pelos autores ao contexto brasileiro, não constando do modelo de AIA originalmente adotado pelo Canadá.
Guia de Contratações Públicas de Inteligência Artificial | 81
Apêndice: Avaliação de Impacto Algorítmico
12.18. Caso a solução proposta impacte diretamente indivíduos, a equipe responsável pelo seu monitoramento de desempenho é composta por um grupo diverso de pessoas em termos de raça, gênero e orientação, dentre outros critérios sócio-demográficos?13 | Sim, Não ou Não se Aplica | Sim= +1 Não= 0 Não se Aplica= 0 |
13. Mitigação de riscos : Privacidade e Proteção de Dados | ||
Perguntas | Respostas | Pontuação |
13.1. Se o seu sistema envolve o uso de dados pessoais, a entidade contratante elaborou um Relatório de Impacto à Proteção de Dados Pessoais segundo as regras da LGPD? | Sim ou Não | Sim= +1 Não= 0 |
13.2. O projeto buscou, desde as suas etapas iniciais de concepção e provas de conceito, projetar e desenvolver mecanismos que garantam a segurança e a proteção de dados pessoais? | Sim ou Não | Sim= +1 Não= 0 |
13.3. Os dados e informações pessoais são usados em sistema fechado (i.e., sem conexão com a Internet, Intranet ou quaisquer outros sistemas)? | Sim ou Não | Sim= +1 Não= 0 |
13.4. Caso haja transferência ou compartilhamento de dados pessoais, foi celebrado acordo estabelecendo as obrigações das partes e as salvaguardas apropriadas, segundo a LGPD? | Sim ou Não | Sim= +1 Não= 0 |
IV. RESULTADOS DA AVALIAÇÃO DE IMPACTO ALGORÍTMICO
O questionário principal da AIA divide-se em duas áreas: análise de riscos (item II, subitens 2 a 9) e medidas de mitigação (item III, subitens 10 a 13). Cada área contém perguntas cujas respostas contribuem para o cálculo da pontuação máxima do subitem em questão.
O valor atribuído a cada pergunta é ponderado com base no potencial de impacto bruto da temática abordada e sua mitigação, assim contribuindo para a pontuação total. A pontuação do impacto bruto mede os riscos da automação, enquanto a pontuação de mitigação mede como os riscos da automação serão gerenciados
13 Questão 12.18 com redação adaptada pelos autores ao contexto brasileiro, não constando do modelo de AIA originalmente adotado pelo Canadá.
Guia de Contratações Públicas de Inteligência Artificial | 82
Apêndice: Avaliação de Impacto Algorítmico
Área: Análise de Riscos | Número de Perguntas | Pontuação Máxima |
Projeto 1. Descrição do Projeto 2. Impactos positivos 3. Perfil de risco 4. Governança do projeto | 13 | 16 |
5. Sistema | 1 | 0 |
6. Algoritmo | 2 | 6 |
7. Decisão | 1 | 6 |
8. Impacto | 16 | 36 |
9. Dados | 13 | 44 |
SUBTOTAL A (Pontuação de Impacto Bruto) | 46 | 108 |
Área: Mitigação | Número de Perguntas | Pontuação Máxima |
10. Consultas | 2 | 2 |
11, 12 e 13. Mitigação de Riscos | 33 | 45 |
SUBTOTAL B (Pontuação de Mitigação): | 35 | 47 |
A PONTUAÇÃO TOTAL da AIA é determinada da seguinte forma:
a. Se a pontuação de mitigação for inferior a 80% da máxima pontuação possível na área (ou seja, 80% de 47, i.e, menor que 38)14, a pontuação total da AIA será igual à pontuação do impacto bruto; caso contrário,
b. Se a pontuação de mitigação for igual ou superior a 80% da máxima pontuação possível na área (ou seja, maior que ou igual a 38), 15% da pontuação de impacto bruto será deduzida para computar a pontuação total.
Expressada em porcentagem, a pontuação total da AIA corresponde a uma faixa correspondente a quatro níveis de impacto, conforme a tabela abaixo. O nível de impacto é determinado pela porcen- tagem da pontuação total em relação à máxima pontuação possível de impacto bruto (108 pontos).
14 Arredondando-se para o número inteiro imediatamente superior.
Guia de Contratações Públicas de Inteligência Artificial | 83
Apêndice: Avaliação de Impacto Algorítmico
Nível de Impacto | Definição | Porcentagem de Pontuação |
Nível I | Baixo | 0% a 25% |
Nível II | Moderado | 26% a 50% |
Nível III | Alto | 51% a 75% |
Nivel IV | Muito alto | 76% a 100% |
Guia de Contratações Públicas de Inteligência Artificial | 84
XXXX, X. AI and the Global South: Designing for Other Worlds. Rochester, NY: Social Science Research Network, 9 jun. 2019. Disponível em: <xxxxx://xxxxxx.xxxx.xxx/xxxxxxxxx0000000>. Acesso em: 23 fev. 2022.
XXXXXXXXX, X. Xxxxx,Xxxxxx, Xxxxx, Xxxxx, Xxxxxx e Xxxxx:: o uso da inteligência artificial pelo Tribunal de Contas da União. Controle Externo - Revista do Tribunal de Contas do Estado de Goiás, v. 2, n. 3, 22 dez. 2020.
BRASIL. Estratégia Brasileira de Inteligência Artificial. Portaria MCTI no 4.617, 6 abr. 2021. Disponível em: <xxxxx://xxx.xxx.xx/xxxx/xx-xx/xxxxxxxxx-x-xxxx/xxxxxxxxxxxxxxxxxxxx/ inteligencia-artificial>. Acesso em: 23 fev. 2022
BRASIL. Estratégia de Governo Digital 2020-2022 — Português (Brasil). Decreto no 10.332, 29 abr. 2020. Disponível em: <xxxxx://xxx.xxx.xx/xxxxxxxxxxxxxx/xx-xx/XXX0000>. Acesso em: 23 fev. 2022
XXXX, X. X.; XX XXXXX, N. C.; XXXX, J. A. S. Leveraging effectiveness and efficiency in Page Stream Deep Segmentation. Engineering Applications of Artificial Intelligence, v. 105, out. 2021.
XXXXXX, X; XXXXX, X.; XXXXXXXX’, V.; SPAGNOLO, X.; XXXXX, X. “Procuring Innovations”. In: XXXXXXX,
N.; XXXX, X.; SPAGNOLO, X. (Ed.). Handbook of procurement. Cambridge (UK): Cambridge University Press, 2006. pp. 483-529.
XXXXXX, X. et al. Responsible and Widespread Adoption of Artificial Intelligence in Latin America and the Caribbean: fAIr LAC. [s.l.] XXX, xxx. 2020. Disponível em: <xxxxx://xxxxxxxxxxxx. xxxx.xxx/xxxxxxxxxxxx/xxxxxxx/xxxxxxxx/xXXx-XXX-Xxxxxxxxxxx-xxx-Xxxxxxxxxx-Xxxxxxxx-xx- Artificial-Intelligence-in-Latin-America-and-the-Caribbean.pdf>. Acesso em: 23 fev. 2022.
CEWEB. Catálogo de Uso de Inteligência Artificial por Órgãos Governamentais. Disponível em:
<xxxxx://xxxxxxxxxx.xxxxx.xxx/>. Acesso em: 23 fev. 2022.
DELOITTE. Transparency and Responsibility in Artificial Intelligence. . [s.l.] Deloitte, 2019. Disponível em: <xxxxx://xxx0.xxxxxxxx.xxx/xxxxxxx/xxx/Xxxxxxxx/xx/Xxxxxxxxx/xxxxxxxxx/ deloitte-nl-innovation-bringing-transparency-and-ethics-into-ai.pdf>. Acesso em: 23 fev. 2022.
DELOITTE. Surveillance and Predictive Policing Through AI. Disponível em: <xxxxx://xxx0. xxxxxxxx.xxx/xxxxxx/xx/xxxxx/xxxxxx-xxxxxx/xxxxxxxx/xxxxx-xxxxxx-xxxx-x-xxxxxxx/xxxxxxxxxxxx- and-predictive-policing-through-ai.html>. Acesso em: 23 fev. 2022.
XXXXX, X.; XXXXXXXXX, X. “Public procurement and innovation – resurrecting the demand side”.
Research Policy. n. 36, 2007.
XXXXXXX, X.; ZABALA-ITURRIAGAGOITIA, J. M. “Public Procurement for Innovation as mission-oriented innovation policy”. Research Policy. n. 41, 2012, pp. 1757-1769.
XXXXXXX, X.; XXXXXXXX, N. S.; XXXXXX-XXXXXXXXXXXXXX, X. X. x XXXXX, X. (ed.) Public procurement
of innovation. Cheltenham (UK)/ Northampton (MA): Xxxxxx Xxxxx, 2015.
XXXXXXXX, X. X. xx al. Government by Algorithm: Artificial Intelligence in Federal Administrative Agencies. . In: THE ADMINISTRATIVE CONFERENCE OF THE UNITED STATES. fev. 2020. Disponível
em: <xxxxx://xxx-xxx.xxx.xxxxxxxx.xxx/xx-xxxxxxx/xxxxxxx/0000/00/XXXX-XX-Xxxxxx.xxx>. Acesso em: 23 fev. 2022.
XXXXXX, X.; XXXXXXX, X. Ethics of surveillance: harnessing the use of live facial recognition technologies in public spaces for law enforcement. [s.l.] echnical University of Munich Munich Center for Technology in Society Institute for Ethics in Artificial Intelligence, dez. 2021. Disponível em: <xxxxx://xxxx.xxxx.xxx.xx/xx-xxxxxxx/xxxxxxx/0000/00/XxxxxxxxXxxxx_Xxxxxxxx_Xxxxxx-0. pdf>. Acesso em: 23 fev. 2022.
XXXXX, X. X. Como as robôs Xxxxx, Xxxxx e Xxxxxx ajudam o TCU a caçar irregularidades em licitações
| Tecnologia | G1. Xxxxx.xxx, 18 mar. 2018.
GOUVERNEMENT OF CANADA. Directive on Automated Decision-Making. Disponível em: <https:// xxx.xxx-xxx.xx.xx/xxx/xxx-xxx.xxxx?xxx00000>. Acesso em: 23 fev. 2022.
GOUVERNEMENT OF CANADA. Algorithmic Impact Assessment Tool. guidance. Disponível em: <xxxxx://xxx.xxxxxx.xx/xx/xxxxxxxxxx/xxxxxx/xxxxxxx-xxxxxxxxxx/xxxxxxx-xxxxxxxxxx- innovations/responsible-use-ai/algorithmic-impact-assessment.html>. Acesso em: 23 fev. 2022.
INSTITUTO DE TECNOLOGIA E SOCIEDADE (ITS-RIO). Portal Mapa da Informação. Disponível em:
<xxxxx://xxxxxxxxxxxxxxxx.xxx.xx/>. Acesso em: 23 fev. 2022.
XXXXXXXX XXXXX, J. E. D. S. Inteligência Artificial no Sistema de Seleção Aduaneira por Aprendizado de Máquina. . In: SECRETARIA DA RECEITA FEDERAL DO BRASIL – 14o PRÊMIO RFB.
2015. Disponível em: <xxxxx://xxxxxxxxxxx.xxxx.xxx.xx/xxxxxxxxx/0/0000/0/0%X0%XX%00xxxxx%00 do%2014%C2%BA%20Premio%20RFB.pdf>. Acesso em: 23 fev. 2022.
XXXXXXXX, X. X. xx al. The Future of AI in the Brazilian Judicial System. ITS-Rio, Columbia University, maio 2020. Disponível em: <xxxxx://xxxxxx.xxx/xx-xxxxxxx/xxxxxxx/0000/00/XXXX-Xxxxxxxx-Xxx- Future-of-AI-in-the-Brazilian-Judicial-System-1.pdf>. Acesso em: 23 fev. 2022.
XXXXX, M. M.; XXXXX, A. N. L. E. O uso da inteligência artificial na saúde pela Administração Pública brasileira. Cadernos Ibero-Americanos de Direito Sanitário, v. 9, n. 3, p. 166–182, 29 set. 2020.
XXXXX, X. Data and Power: AI and Development in the Global South. Disponível em: <https:// xxx.xxxxxxxxxxxxxx.xxx/xxxxxxxx/0000/00/0/xxxx-xxx-xxxxx-xx-xxx-xxxxxxxxxxx-xx-xxx-xxxxxx- south>. Acesso em: 23 fev. 2022.
XXXXXXXX, X. X.; XXXXXXXXX, K. A. Procurement as Policy: Administrative Process for Machine Learning: Berkeley Technology Law Journal. [s.l.] University of California Berkeley, 2019. Disponível em: <xxxxx://xxx.xxx/00.00000/X00XX00000>. Acesso em: 23 fev. 2022
ORGANIZAÇÃO PARA COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO (OECD/OCDE).. Digital
Government Review of Brazil: Towards the Digital Transformation of the Public Sector. [s.l.] XXXX, 0000.
ORGANIZAÇÃO PARA COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO (OECD/OCDE). The OECD
Artificial Intelligence (AI) Principles. Disponível em: <xxxxx://xxxx.xx/xx/xx-xxxxxxxxxx>. Acesso em: 23 fev. 2022.
ORGANIZAÇÃO PARA COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO (OECD/OCDE). AI Strategies
& Public Sector Components. Observatory of Public Sector Innovation, [s.d.]. Disponível em:
<xxxxx://xxxx-xxxx.xxx/xxxxxxxx/xx/xxxxxxxxxx/>. Acesso em: 23 fev. 2022
ORGANIZAÇÃO PARA COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO (OECD/OCDE). AI’s live
repository of over 260 AI strategies & policies - XXXX.XX. Disponível em: <xxxxx://xxxx.xx/xx/ dashboards>. Acesso em: 23 fev. 2022.
XXXXX-XXXXXXX, X.; XXXXXXX, X.; XXXX, X. Critical analysis of vendor lock-in and its impact on cloud computing migration: a business perspective. Journal of Cloud Computing, x. 0, x. 0, x. 0, 00 xxx. 2016.
XXXXXXX, D. et al. Algorithmic Impact Assessments: A Practical Framework for Public Agency Accountability. [s.l.] AI Now Institute, abr. 2018. Disponível em: <xxxxx://xxxxxxxxxxxxxx.xxx/ aiareport2018.pdf>. Acesso em: 23 fev. 2022.
XXXXXXX, X. X.; XXXXXX XXXXXX, X. TD 2476 - O Mercado de Compras Governamentais Brasileiro (2006-2017): mensuração e análise. [s.l.] IPEA, maio 2019. Disponível em: <xxxxx://xxx.xxxx.xxx. br/portal/index.php?option=com_content&id=34850>. Acesso em: 23 fev. 2022.
XXXXXXXXXX, D. S. Acquiring Ethical AI. Rochester, NY: Social Science Research Network, 1 nov. 2021. Disponível em: <xxxxx://xxxxxx.xxxx.xxx/xxxxxxxxx0000000>. Acesso em: 23 fev. 2022.
XXXXX, X.; XXXXX, X. Why Are We Using Black Box Models in AI When We Don’t Need To? A Lesson From an Explainable AI Competition. Harvard Data Science Review, x. 0, x. 0, 00 xxx. 0000.
XXXXXXX, X. X. Inteligência Artificial: Tecnologia aplicada à gestão dos conflitos no âmbito do poder judiciário brasileiro. FGV Conhecimento: Centro de Inovação, Administração e Pesquisa no Judiciário, 2020. Disponível em: <xxxxx://xxxxx.xxx.xx/xxxxx/xxxxx.xxx.xx/xxxxx/xxxxxxx_x_xxxxxxxxx_ ia_1afase.pdf>. Acesso em: 23 fev. 2022.
XXXXXXX, X.; XXXXXXXX, X.; XXXXXXXXXXX, X. Government AI Readiness Index. Oxford Insights, 2020. Disponível em: <xxxxx://xxxxxx0.xxxxxxxxxxx.xxx/xxxxxx/00x0x00x0x0x0x000000000x/x/0x 7747f29ca3c20ecb598f7c/1601653137399/AI+Readiness+Report.pdf>. Acesso em: 23 fev. 2022.
XXXXXXXXXXX, X. AI as the next GPT: a Political-Economy Perspective: Working Paper Series. [s.l.] National Bureau of Economic Research, jan. 2018. Disponível em: <xxxxx://xxx.xxxx.xxx/ papers/w24245>. Acesso em: 23 fev. 2022.
TRANSPARÊNCIA BRASIL. Recomendações de Governança: Uso de Inteligência Artificial pelo Poder Público, fev. 2020. Disponível em: <xxxxx://xxx.xxxxxxxxxxxxx.xxx.xx/xxxxxxxxx/xxxxxxxxxxx/ Recomendacoes_Governanca_Uso_IA_PoderPublico.pdf>. Acesso em: 23 fev. 2022.
TRIBUNAL DE CONTAS DA UNIÃO (TCU). Manual de Gestão de Riscos do TCU. . [s.l.] TCU, 2020. Disponível em: <xxxxx://xxxxxx.xxx.xxx.xx/xxxxxxxxxxxx-xxxxxxxxxx-x-xxxxxx/xxxxxx-xx-xxxxxx/ manual-de-gestao-de-riscos/>. Acesso em: 23 fev. 2022
TRIBUNAL DE CONTAS DA UNIÃO (TCU). Guia de boas práticas em contratação de soluções de tecnologia da informação. TCU, 2012. Disponível em: <xxxxx://xxx.xxxxxx.xxx/xxx?xxxxxxx:// xxxxxx.xxx.xxx.xx/xxxxx/xxxxxx/xxxx/xxxxXxxxxxxx.xxx?xxxxXx%0X0X0000X00X0X000X000X0X00000X- 79D2&sa=D&source=docs&ust=1645663344412890&usg=AOvVaw3TC_48KB9rzkxUkw7NvIgO>. Acesso em: 23 fev. 2022
TRIBUNAL DE CONTAS DA UNIÃO (TCU). TCU lança edital inédito para contratação por Encomenda Tecnológica | Portal TCU. Disponível em: <xxxxx://xxxxxx.xxx.xxx.xx/xxxxxxxx/xxxxxxxx/xxx-xxxxx- edital-inedito-para-contratacao-por-encomenda-tecnologica.htm>. Acesso em: 23 fev. 2022.
WORKING GROUP ON DIGITAL AND AI IN HEALTH. Reimagining Global Health through Artificial Intelligence: The Roadmap to AI Maturity. [s.l.] Broadband Commission, Novartis Foundation, set. 2020. Disponível em: <xxxxx://xxx.xxxxxxxxxxxxxxxxxxx.xxx/xx-xxxxxxx/xxxxxxx/0000/00/ WGAIinHealth_Report2020.pdf>. Acesso em: 23 fev. 2022.
Referências do Projeto AI Procurement in a Box
WORLD ECONOMIC FORUM. AI Procurement in a Box: Unlocking Public Sector AI. [s.l.] WEF, 11 jun. 2020a. Disponível em: <xxxxx://xxx.xxxxxxx.xxx/xxxxxxx/xx-xxxxxxxxxxx-xx-x-xxx/xxxxxxx- overview/>. Acesso em: 23 fev. 2022.
WORLD ECONOMIC FORUM. AI Procurement in a Box: AI Procurement Guidelines: Unlocking Public Sector AI. [s.l.] WEF, 11 jun. 2020b. Disponível em: <xxxxx://xxx.xxxxxxx.xxx/xxxxxxx/ ai-procurement-in-a-box/ai-government-procurement-guidelines/>. Acesso em: 23 fev. 2022.
WORLD ECONOMIC FORUM. AI Procurement in a Box: Case Study UK: Unlocking Public Sector AI. [s.l.] WEF, 11 jun. 2020c. Disponível em: <xxxxx://xxx.xxxxxxx.xxx/xxxxxxx/xx-xxxxxxxxxxx- in-a-box/pilot-case-studies/>. Acesso em: 23 fev. 2022.
WORLD ECONOMIC FORUM. AI Procurement in a Box: Challenges and Opportunities: Unlocking Public Sector AI. [s.l.] WEF, 11 jun. 2020d. Disponível em: <xxxxx://xxx.xxxxxxx.xxx/xxxxxxx/ ai-procurement-in-a-box/challenges-and-opportunities-during-implementation/>. Acesso em: 23 fev. 2022.
WORLD ECONOMIC FORUM. AI Procurement in a Box: Overview: Unlocking Public Sector AI. [s.l.] WEF, 11 jun. 2020e. Disponível em: <xxxxx://xxx.xxxxxxx.xxx/xxxxxxx/xx-xxxxxxxxxxx-xx-x-xxx/>. Acesso em: 23 fev. 2022.
WORLD ECONOMIC FORUM. AI Procurement in a Box: Workbook: Unlocking Public Sector AI. [s.l.] WEF, 11 jun. 2020f. Disponível em: <xxxxx://xxx.xxxxxxx.xxx/xxxxxxx/xx-xxxxxxxxxxx-xx-x-xxx/ workbook/>. Acesso em: 23 fev. 2022.
Notícias e páginas da internet:
Abastecido por inteligência artificial, chatbot em sites do governo responderá dúvidas sobre coronavírus. Disponível em: <xxxxx://xxxxxx.xx.xxx.xx/xxxxxxxxxx-xxx-xxxxxxxxxxxx-xxxxxxxxxx- chatbot-em-sites-do-governo-respondera-duvidas-sobre-coronavirus>. Acesso em: 23 fev. 2022.
Architectural Rationale. Disponível em: <xxxxx://xxxxxxxxxxxxxxxx.xx/xxxxx_xxxx>. Acesso em: 23 fev. 2022.
Atendente virtual do Poupatempo é destaque em evento de TI. Disponível em: <xxxxx://xxx. xxxxxxxx.xx.xxx.xx/xxxxxxxxxx/xxxxxxxxx-xxxxxxx-xxxxxxxxxx-x-xxxxxxxx-xx-xxxxxx-xx-xx/>. Acesso em: 23 fev. 2022.
DeepMind - What if solving one problem could unlock solutions to thousands more? Disponível em: <xxxxx://xxxxxxxx.xxx/>. Acesso em: 23 fev. 2022.
Desafios SAÚDE. Ideiagov, [s.d.]. Disponível em: <xxxxx://xxxxxxxx.xx.xxx.xx/xxx-xxxxxxxx/xxxxx/>. Acesso em: 23 fev. 2022
HUBTEC - Escritório Virtual de Apoio as ETECS. Disponível em: <xxxxx://xxxxxx.xxxx.xxx.xx/>. Acesso em: 23 fev. 2022.
Metrô é eleito o melhor serviço de transporte de São Paulo. Disponível em: <xxxxx://xxx. xxxxxxxx.xx.xxx.xx/xxxxxxx-xxxxxxxx/xxxxxxxx/xxxxx-xxx-xxxxxx-x-xxxxxx-xxxxxxxxxx-xx-xx/>. Acesso em: 23 fev. 2022.
O que muda com a LGPD — LGPD - Lei Geral de Proteção de Dados Pessoais | Serpro. Disponível em: <xxxxx://xxx.xxxxxx.xxx.xx/xxxx/xxxx/x-xxxx/x-xxx-xxxx-xxx-x-xxxx>. Acesso em: 23 fev. 2022.
Produtos da Consultoria em Inteligência Artificial. Disponível em: <xxxxx://xxxxxx.xxxxx.xxx. br/mctic/opencms/inovacao/paginas/politicasDigitais/Inteligencia/Consultoria.html>. Acesso em: 23 fev. 2022.
Pan-Canadian AI Strategy. Disponível em: <xxxxx://xxxxx.xx/xx/>. Acesso em: 23 fev. 2022.
Santa Clara Principles on Transparency and Accountability in Content Moderation. Disponível em: <xxxxx://xxxxxxxxxxxxxxxxxxxx.xxx/xxxxxx/xxxxx-xxxxx-XX.xxx>. Acesso em: 23 fev. 2022.
This graphic compares the best public transportation systems around the world. Disponível em:
<xxxxx://xxx.xxxxxxxxxxxxxxx.xxx/xxxx-xxxxxx-xxxxxxxxxxxxxx-xxxxxxx-xxxxxx-xxx-xxxxx-0000-0>. Acesso em: 23 fev. 2022.
Uso de Inteligência Artificial em Exames de Imagem - Ideiagov, 1 jul. 2020. Disponível em: <https:// xxxxxxxx.xx.xxx.xx/xxxxxxxx/xxxxxxxxxxx-xxxxxxx-xx-xxxxxxx-xx-xxxxxxxxxx-xxxxxxxxxxxxxxx-x- raio-x-de-torax/>. Acesso em: 23 fev. 2022
Autores principais
Xxxxx Xxxxxxxx
Project Lead, AI/ML, C4IR Brasil
Xxxxxx Xxxxxxxx xx Xxxxxx Xxxxxxxxxx do Estado de São Paulo e Government fellow, AI/ML, World Economic Forum
C4IR Brasil
Xxxx Xxxxx
Project Lead, Internet das Coisas e Transformação Urbana, C4IR Brasil
Xxxxxx Xxxx Xxxxxxxx Xxxxx
Analista Sênior, AI/ML, C4IR Brasil
Xxxxxxx Xxxx
Analista Sênior, Política de Dados, C4IR Brasil
Xxxxx Xxxxxx
Diretor Executivo, C4IR Brasil
Metrô de São Paulo
Xxxxxx Xxxxxxxx
Coordenador do Núcleo de Inovação e Tecnologia
Aparecida Xxxxxx Xxxxxxx
Assessora na Diretoria de Operações
Xxxxxx Xxxxxxxxx Xxxxxx Xxxxxxx Coordenador de Estudos e Planejamento da Manutenção de Equipamentos de
Via Permanente, Veículos Auxiliares, Estruturas e Instalações Civis
Xxxxx Xxxxxxxx Xxxxxx
Analista na Coordenadoria de Contratação de Obras, Sistemas e Serviços Técnicos
Xxxxxx Xxxxxxxx Xxxxx Xxxxxx
Assessor no Núcleo de Inovação e Tecnologia
Xxxxx Xxxxxxxx Xxxxxxxxx Coordenadora de Licitações de Obras, Serviços e Sistemas Financiados por
Organismos Internacionais e Nacionais
Xxxxx Xxxxx Xxxxxx
Analista no Núcleo de Inovação e Tecnologia
Xxxxxxx Xxxxxxxx
Coordenador Jurídico de Licitações, Novos Negócios e Assuntos Gerais
Xxxxxx Xxxxxxx Xxxxxx Rezende Engenheiro na Coordenadoria de Estudos e Planejamento da Manutenção de Equipamentos de Via Permanente, Veículos
Auxiliares, Estruturas e Instalações Civis
Xxxxxxx Xxxxxx
Assessora na Diretoria de Assuntos Corporativos
Xxxxxx das Chagas
Engenheiro Especializado na Coordenadoria de Estudos e Planejamento da Manutenção de Equipamentos de Via Permanente, Veículos Auxiliares, Estruturas e Instalações Civis
Hospital das Clínicas da Faculdade de Medicina da USP
Prof. Dr. Xxxxxxxx Xxxxx Xxxxx Presidente do Conselho de Inovação do InovaHC (Núcleo de Inovação Tecnológica
do Hospital das Clínicas da FMUSP)
Xxxxx Xxxxxxx Xxxx
Chief Innovation Officer no InovaHC
Agradecimentos
Xxxxx Xxxxxxx Xxxxx Xxxxxx Gerente do Laboratório de Inteligência Artificial - InLab do InovaHC
Xxxxxxx Xxxxxxxx Xxxxx
Gerente de dados do Laboratório de Inteligência Artificial - InLab do InovaHC
Xxxxxxx Xxxxxxxx Xxxxxxxxxxx
Assessora Jurídica do InovaHC
Xxxxxx Xxxxxxx Junior
Chief Information Officer do Hospital das Clínicas da FMUSP
Xxxxxxx Xxxxxxxxx Xxxxxxxx
Gerente Corporativa de Inteligência e Dados do Hospital das Clínicas da FMUSP
Agradecimentos
Xxxxxxx Xxxx
Gerente Técnico da Seção de Inteligência Artificial e Analytics, Instituto de Pesquisas Tecnológicas (IPT)
Xxx Xxxxxxxx da Motta Kohlitz
Líder de Políticas Públicas, AWS Brasil
Xxx Xxxxxxx Xxxxxx
AWS Institute
Xxxx Xxxx Xxxx Xxxxx
Auditor Federal de Controle Externo e Assessor de Ministro, Tribunal de Contas da União
Xxxxxx Xxxxxxx Xxxxx Xxxx
Gerente do BNDES Garagem
Xxxxxx Xxxx Pintarelli
Procuradora do Estado Assessora, Procuradoria Geral do Estado de São Paulo
Xxxxxx Xxxxxxx
Diretora, Instituto de Tecnologia e Sociedade (ITS Rio)
Xxxxxxxxx Xxxxxxx
Head, Direito e Tecnologia, e GovTech, Instituto de Tecnologia e Sociedade (ITS Rio)
Xxxxxxx Xxxxxxx Xxxxx Xxxx
Engenheira do BNDES Garagem
Xxxxx Xxxx
Tech Policy Advisor, Credo AI
Xxxxxx Emediato de Azambuja Coordenadora Geral de Transformação Digital, Ministério de Ciência, Tecnologia e Inovações
Xxxxx xx Xxxxx
Partner, Deloitte Brazil
Xxxxx Xxxxx
Project Specialist, Artificial Intelligence and Machine Learning Platform, World Economic Forum
Xxxxxxx Xxxxxxx
Subprocuradora Geral do Estado da Consultoria, Procuradoria Geral do Estado de São Paulo
Fabrício Braz
Professor Associado da Universidade de Brasília e Coordenador do AI Lab
Xxxxx Xxx
Coordenador dos Programas de Ciências Naturais e Ciências Humanas e Sociais da UNESCO no Brasil
Felipe Massami Maruyama Diretor de Operações, IdeiaGov/Impact Hub
Agradecimentos
Xxxxxxx Xxxxxxxxx
Coordenador de Inovação Aberta, IdeiaGov/Impact Hub
Xxxxxxxxx Xxxxx xx Xxxxxxxxxx Xxxxxxxxx
CEO do BrazilLAB
Xxxxxx Xxxxx
Analista de Comunicação e Marketing Sênior IdeiaGov/Impact Hub
Xxxxx Xxxxxx
Coordenador de Economia 4.0 da Subsecretaria de Inovação e Transformação Digital do Ministério da Economia.
Xxxxxxxxx Xxxxx Denti
Partner, Deloitte Brazil
Xxxxxxxx Xxxx
Diretor de Acesso e Saúde Urbana, Fundação Novartis
Xxxx Xxxxxxx Xxxxxxx Xxxxxxx Diretor de Ciência, Tecnologia e Inovação Digital, Ministério de Ciência, Tecnologia
e Inovações
Xxxxxxx Xxxxx
Diretora de Operações, Transparência Brasil
Xxxxxx Xxxxxxx Xxxxx
Analista de Ciência e Tecnologia, Ministério de Ciência, Tecnologia e Inovações
Xxxxx Xxxxx
Oficial de Projetos dos Programas de Ciências Humanas e Sociais (SHS) e Comunicação e Informação (CI) da UNESCO no Brasil
Xxxx Xxxxxxx
Coordenadora de Comunicação e Marketing Impact Hub São Paulo / IdeiaGov
Xxxxxxx Xxxxxxxx
Designer Visual, Grupo Tellus
Xxxxxx Xxxxx Xxxxxxxxxxxx
Partner, Deloitte Brazil
Xxxxxxx Xxxxxxxx
Coordenadora de Projetos do Instituto Tellus
Xxxxxxx Xxxxxxxx
Consultora Sênior, Instituto Tellus
Xxxxxx Xxxxxx xxx Xxxxxx Xxxxxxxx
Administradora do BNDES Garagem
Xxxxx Xxxxxxx
Lead, C4IR Network and Partnerships, World Economic Forum
Xxxxxx Xxxxxxxx xx Xxxxx
Fellow do C4IR Brasil e Presidente do Conselho de Administração do Instituto de Pesquisas Tecnológicas (IPT)
Priscila do Nascimento Costa Líder de Projetos de Tecnologia, Instituto Tellus
Xxxxxx xxx Xxxxxx Xxxxxxxxxx Especialista em Contratações de Nuvem, AWS Brasil
Xxxxxxxx Xxxxxxxxxx Xxxxx Superintendente de Diretrizes e Inovação na Gestão Logística e Patrimonial na Secretaria de Estado de Planejamento e Gestão de Minas Gerais
Xxxx Xxxxxx
Executiva de Projetos, Fundação Novartis
Guia de Contratações Públicas de Inteligência Artificial, 2022