MINUTA DE EDITAL DE CONCORRÊNCIA, OBJETIVANDO A CONTRATAÇÃO DE SERVIÇOS DE EXECUÇÃO E GERENCIAMENTO DE AÇÕES PEDAGÓGICAS VOLTADAS AO AUMENTO NA APROVAÇÃO E DIMINUIÇÃO DA EVASÃO ESCOLAR, SEM REDUÇÃO DA APRENDIZAGEM, DOS ALUNOS DA REDE ESTADUAL DE...
MINUTA DE EDITAL DE CONCORRÊNCIA, OBJETIVANDO A CONTRATAÇÃO DE SERVIÇOS DE EXECUÇÃO E GERENCIAMENTO DE AÇÕES PEDAGÓGICAS VOLTADAS AO AUMENTO NA APROVAÇÃO E DIMINUIÇÃO DA EVASÃO ESCOLAR, SEM REDUÇÃO DA APRENDIZAGEM, DOS ALUNOS DA REDE ESTADUAL DE ENSINO MÉDIO
CONCORRÊNCIA N º /
PROCESSO N º /
DATA DE REALIZAÇÃO DA SESSÃO PÚBLICA:
HORÁRIO: a partir das horas LOCAL:
/ /
O (A) Senhor(a) Coordenadora da Coordenadoria de Gestão da Educação Básica – CGEB, usando a competência atribuída pelo Decreto Estadual nº 57.947/2012, torna público que se acha aberta nesta Unidade, sita na Xxx Xxxx Xxxxxxx, xx 0000 - Xxxxxxxx, Xxx Xxxxx - XX, 00000-000, licitação na modalidade CONCORRÊNCIA, do tipo MENOR PREÇO –
Processo nº / , objetivando a execução de serviços não continuados, sob o regime
de EMPREITADA POR PREÇO GLOBAL, que será regida pela Lei federal nº 8.666/1993 e Lei estadual nº 6.544/1989, com alterações posteriores.
As propostas deverão obedecer às especificações deste instrumento convocatório e seus anexos, que dele fazem parte integrante.
Os envelopes contendo as propostas e os documentos de habilitação, acompanhados da declaração de pleno atendimento aos requisitos de habilitação e da declaração de microempresa, empresa de pequeno porte ou cooperativa, serão recebidos em sessão pública que será realizada no dia, horário e local acima indicados, sendo conduzida pela Comissão Julgadora de Licitação.
1. DO OBJETO
1.1. A presente licitação tem por objeto a contratação de serviços de execução e gerenciamento de ações pedagógicas voltadas ao aumento na aprovação e diminuição da evasão escolar, sem redução da aprendizagem, dos alunos da rede estadual de ensino médio, conforme as especificações técnicas constantes dos Anexos que integram este Edital.
1.2. A contratação será efetivada sob o regime de empreitada por preço GLOBAL, e sua execução será fiscalizada e gerenciada pelo Contratante ou por pessoa jurídica por ele indicada.
1.3. O valor total estimado para a execução do objeto deste certame é de R$ 17.774.400,00 (dezessete milhões, setecentos e setenta e quatro mil e quatrocentos reais). Os quantitativos e respectivos valores unitários estão referidos no orçamento detalhado constante do Adendo B ao Termo de Referência (Anexo I) deste Edital.
2. DA PARTICIPAÇÃO
2.1. Poderão participar do certame todos as pessoas jurídicas, com ou sem finalidade lucrativa, interessadas em contratar com a Administração Estadual que atuem em atividade econômica compatível com o objeto e que preencherem as condições e os requisitos estabelecidos neste Edital e na legislação aplicável.
2.2. Não será admitida a participação, neste certame licitatório, de pessoas jurídicas:
a) Que estejam com o direito de licitar e contratar temporariamente suspenso, ou que tenham sido impedidas de licitar e contratar com a Administração Pública estadual, direta e indireta,
com base no artigo 87, inciso III, da Lei federal nº 8.666/1993, e artigo 73, inciso II, da Lei federal nº 13.019/2014;
b) Que tenham sido declaradas inidôneas pela Administração Pública federal, estadual ou municipal, nos termos do artigo 87, inciso IV, da Lei federal nº 8.666/1993, e artigo 73, inciso III, da Lei federal nº 13.019/2014;
c) Que possuam vínculos de natureza técnica, comercial, econômica, financeira ou trabalhista com a autoridade competente, o subscritor do Edital ou algum dos membros comissão de licitação, nos termos do artigo 9º da Lei federal nº 8.666/1993;
d) Que não tenham representação legal no Brasil com poderes expressos para receber citação
e responder administrativamente ou judicialmente;
e) Que tenham sido proibidas pelo Plenário do CADE de participar de licitações promovidas pela Administração Pública federal, estadual, municipal, direta e indireta, em virtude de prática de infração à ordem econômica, nos termos do artigo 38, inciso II, da Lei federal n° 12.529/2011;
f) Que estejam proibidas de contratar com a Administração Pública em virtude de sanção restritiva de direito decorrente de infração administrativa ambiental, nos termos do art. 72, § 8°, inciso V, da Lei federal n° 9.605/1998;
g) Que tenham sido proibidas de contratar com o Poder Público em razão de condenação por ato de improbidade administrativa, nos termos do artigo 12 da Lei federal nº 8.429/1992;
h) Que tenham sido declaradas inidôneas para contratar com a Administração Pública pelo Plenário do Tribunal de Contas do Estado de São Paulo, nos termos do artigo 108, da Lei Complementar estadual nº 709/1993;
i) Que tenham sido suspensas temporariamente, impedidas ou declaradas inidôneas para licitar ou contratar com a Administração Pública estadual, direta e indireta, por desobediência à Lei de Acesso à Informação, nos termos do artigo 33, incisos IV e V, da Lei federal nº 12.527/2011 e do artigo 74, incisos IV e V, do Decreto estadual nº 58.052/2012.
2.3. A licitante responde integralmente por todos os atos praticados no certame licitatório, por seus representantes devidamente credenciados.
3. DA FORMA DE APRESENTAÇÃO DA DECLARAÇÃO DE PLENO ATENDIMENTO AOS REQUISITOS DE HABILITAÇÃO, DA PROPOSTA E DOS DOCUMENTOS DE HABILITAÇÃO.
3.1. Os licitantes deverão apresentar fora dos envelopes n°s 1 e 2, indicados no item 3.2, a declaração de pleno atendimento aos requisitos de habilitação de acordo com modelo estabelecido no Anexo III.1 e a declaração de microempresa, empresa de pequeno porte ou cooperativa, Anexo III.4 e III.5 deste Edital.
3.2. A proposta e os documentos para habilitação deverão ser apresentados, separadamente, em 02 envelopes fechados e indevassáveis, contendo em sua parte externa, além do nome da proponente, os seguintes dizeres:
“Envelope nº 1 – Proposta Concorrência nº / Processo nº / ”
“Envelope nº 2 – Habilitação
Concorrência nº /
Processo nº / ”
3.3. A proposta deverá ser elaborada em papel timbrado da pessoa jurídica e redigida em língua portuguesa, salvo quanto às expressões técnicas de uso corrente, com suas páginas numeradas sequencialmente, sem rasuras, emendas, borrões ou entrelinhas e ser datada e assinada pelo representante legal da licitante ou procurador, juntando-se cópia do instrumento de procuração.
3.4. Os documentos necessários à habilitação deverão ser apresentados em original, por qualquer processo de cópia autenticada por tabelião de notas ou cópia acompanhada do original para autenticação por membro da Comissão Julgadora de Licitação.
4. DO CONTEÚDO DO ENVELOPE Nº 1 – “PROPOSTA”
4.1. A proposta de preço deverá conter os seguintes elementos:
a) Nome, endereço, CNPJ e Inscrição estadual e municipal do licitante;
b) Número do processo e número desta Concorrência;
c) Descrição de forma clara e sucinta do objeto da presente licitação, em conformidade com as especificações técnicas do Anexo I desta Concorrência;
d) Preços unitários e preço total para a execução do objeto, em moeda corrente nacional, em algarismos e por extenso, apurado à data de sua apresentação, sem inclusão de qualquer encargo financeiro ou previsão inflacionária.
4.1.1. Os preços incluem todas as despesas diretas ou indiretas e as margens de lucro da Contratada, que se refiram ao objeto descrito e caracterizado no Termo de Referência e seus complementos, tais como: materiais e mão de obra; serviços de terceiros, aplicados AO OBJETO ou em atividade de apoio; locações de máquinas e equipamentos, ou de imóveis e instalações auxiliares; consumo de água, energia e telecomunicações; seguros legal ou contratualmente exigidos; encargos sociais e trabalhistas; impostos e taxas incidentes sobre a atividade econômica ou O SERVIÇO em si; multas aplicadas pela inobservância de normas e regulamentos; alojamentos e alimentação; vestuário e ferramentas; depreciações e amortizações; despesas administrativas e de escritório; testes laboratoriais ou outros exigíveis por norma técnica etc.
4.1.2. Xxxxx xx xxxxxxxx xx xxxxxxxx xx xx xxxxxx 00 (xxxxxxxx) dias.
4.2. A proposta de preço deverá ser acompanhada dos seguintes documentos, assinados pelo representante legal da licitante:
a) Planilha conforme modelo constante do Anexo II.1, preenchida em todos os itens, com seus respectivos preços unitários e global, grafados em moeda corrente nacional, com no máximo duas casas decimais.
b) demonstrativo da composição do BDI, conforme Anexo II.2;
c) demonstrativo dos encargos sociais, a ser elaborado pela Contratada;
d) modelo de declaração de elaboração independente de proposta, nos termos do Anexo III.3
4.2.1. A fim de agilizar a conferência dos valores apresentados, os documentos referidos na alínea “a” do item 4.2 deverão também ser apresentados em formato eletrônico (“.xls” ou compatível), copiados em mídia gravável ou regravável (CD-R ou CD-RW).
5. DO CONTEÚDO DO ENVELOPE Nº 2 – “HABILITAÇÃO”
5.1. O envelope nº 2 – “Habilitação” deverá conter os documentos a seguir relacionados, os quais dizem respeito à:
5.1.1 HABILITAÇÃO JURÍDICA:
a) Registro empresarial na Junta Comercial, no caso de empresário individual ou Empresa Individual de Responsabilidade Limitada - EIRELI;
b) Ato constitutivo, estatuto ou contrato social atualizado e registrado na Junta Comercial, em se tratando de sociedade empresária ou cooperativa, devendo o estatuto, no caso das cooperativas, estar adequado à Lei Federal nº 12.690/2012;
c) Documentos de eleição ou designação dos atuais administradores, tratando-se de sociedades empresárias ou cooperativas;
d) Ato constitutivo atualizado e registrado no Registro Civil de Xxxxxxx Xxxxxxxxx, tratando-se de sociedade não empresária, acompanhado de prova da diretoria em exercício;
e) Decreto de autorização, tratando-se de sociedade empresária estrangeira em funcionamento no País, e ato de registro ou autorização para funcionamento expedido pelo órgão competente, quando a atividade assim o exigir;
f) Registro perante a entidade estadual da Organização das Cooperativas Brasileiras, em se tratando de sociedade cooperativa;
5.1.2. REGULARIDADE FISCAL E TRABALHISTA
a) Prova de inscrição no Cadastro Nacional de Pessoas Jurídicas, do Ministério da Fazenda (CNPJ);
b) Prova de inscrição no Cadastro de Contribuintes Estadual e Municipal, relativo à sede ou domicilio da licitante, pertinente ao seu ramo de atividade e compatível com o objeto do certame;
c) Certificado de regularidade do Fundo de Garantia por Tempo de Serviço (CRF - FGTS);
d) Certidão negativa, ou positiva com efeitos de negativa, de débitos trabalhistas (CNDT);
e) Certidão negativa, ou positiva com efeitos de negativa, de Débitos relativos a Créditos Tributários Federais e à Dívida Ativa da União;
f) Certidão de regularidade de débitos tributários com a Fazenda Estadual;
g) Certidão emitida pela Fazenda Municipal da sede ou domicílio da licitante que comprove a regularidade de débitos tributários relativos ao Imposto sobre Serviços de Qualquer Natureza – ISSQN;
5.1.3. QUALIFICAÇÃO ECONÔMICO-FINANCEIRA
a) Certidão negativa de falência, recuperação judicial ou extrajudicial, expedida pelo distribuidor da sede da pessoa jurídica ou do domicílio do empresário individual;
a.1) Se a licitante for cooperativa ou sociedade não empresária, a certidão mencionada na
alínea “a” deverá ser substituída por certidão negativa de ações de insolvência civil.
a.2) Caso o licitante esteja em recuperação judicial ou extrajudicial, deverá ser comprovado o acolhimento do plano de recuperação judicial ou a homologação do plano de recuperação extrajudicial, conforme o caso.
b) Comprovação de patrimônio líquido mínimo de R$ 1.777.440,00 (um milhão, setecentos e setenta e sete mil, quatrocentos e quarenta reais), por meio da apresentação do balanço patrimonial e demonstrações contábeis do último exercício social, já exigíveis e apresentados na forma da lei, vedada a substituição por balancetes ou balanços provisórios, podendo ser atualizados por índices oficiais quando encerrados há mais de 3 (três) meses da data da apresentação da proposta.
b.1) no caso de empresa constituída há menos de ano, admite-se a apresentação de balanço patrimonial e demonstrações contábeis referentes ao período de existência da sociedade;
b.2) as sociedades por ações deverão apresentar as demonstrações contábeis publicadas na Imprensa Oficial, de acordo com a legislação pertinente.
5.1.4. DECLARAÇÕES E OUTRAS COMPROVAÇÕES
a) Declaração subscrita por representante legal da licitante, em conformidade com o modelo constante do Anexo III.2, atestando que:
a.1) se encontra em situação regular perante o Ministério do Trabalho no que se refere a observância do disposto no inciso XXXIII do artigo 7º da Constituição Federal, na forma do Decreto Estadual nº. 42.911/1998;
a.2) inexiste impedimento legal para licitar ou contratar com a Administração, inclusive em virtude das disposições da Lei Estadual nº 10.218/1999;
a.3) cumpre as normas relativas à saúde e segurança do trabalho, nos termos do artigo 117, parágrafo único, da Constituição Estadual;
b) Em se tratando de microempresa ou de empresa de pequeno porte, declaração subscrita por representante legal da licitante, em conformidade com o modelo constante do Anexo III.4 (fora do envelope – cf. item 3.1), declarando seu enquadramento nos critérios previstos no artigo 3º
da Lei Complementar Federal n° 123/2006, bem como sua não inclusão nas vedações previstas no mesmo diploma legal.
c) Em se tratando de cooperativa que preencha as condições estabelecidas no art. 34, da Lei Federal nº 11.488/2007, declaração subscrita por representante legal da licitante, em conformidade com o modelo constante do Anexo III.5 (fora do envelope – cf. item 3.1), declarando que seu estatuto foi adequado à Lei Federal nº 12.690/2012 e que aufere Receita Bruta até o limite definido no inciso II do caput do art. 3º da Lei Complementar Federal n° 123/2006.
d) Além das declarações exigidas nas alíneas “c” e “d” do item 5.1.4, a comprovação da condição de microempresa, de empresa de pequeno porte ou de cooperativa que preencha as condições estabelecidas no art. 34, da Lei Federal nº 11.488/2007, deverá ser realizada da seguinte forma:
d.1) Se sociedade empresária, pela apresentação de certidão expedida pela Junta Comercial competente;
d.2) Se sociedade simples, pela apresentação da “Certidão de Breve Relato de Registro de Enquadramento de Microempresa ou Empresa de Pequeno Porte”, expedida pelo Cartório de Registro de Pessoas Jurídicas;
d.3) Se sociedade cooperativa, pela Demonstração do Resultado do Exercício ou documento equivalente que comprove Receita Bruta até o limite definido no inciso II do caput do art. 3º da Lei Complementar Federal n° 123/2006.
5.1.5. QUALIFICAÇÃO TÉCNICA
5.1.5.1. A proponente deverá apresentar atestado(s) de bom desempenho anterior na gestão de serviços educacionais na educação básica que tenham envolvido 5.400 (cinco mil e quatrocentos)1 alunos.
5.1.5.1.1. O(s) atestado(s) a que se refere o item anterior deverá(ão) ser fornecido(s) por pessoas jurídicas de direito público ou privado, bem como especificar em seu objeto necessariamente os tipos de serviços realizados, com indicações das quantidades e prazo contratual, datas de início e término e local da prestação dos serviços.
5.1.5.1.1.1. A comprovação a que se refere o item 5.1.5.1.1 poderá ser efetuada pelo somatório das quantidades realizadas em tantos contratos quanto dispuser o licitante.
5.1.5.1.2. O(s) atestado(s) deverá(ão) conter a identificação da pessoa jurídica emitente bem como o nome, o cargo do signatário e telefone para contato.
5.1.5.2. A visita técnica será facultativa e possui por objetivo verificar as condições locais, avaliar a quantidade e a natureza dos trabalhos, materiais e equipamentos necessários à realização do objeto da contratação, permitindo aos interessados colher as informações e subsídios que julgarem necessários para a elaboração da sua proposta, de acordo com o que o próprio interessado julgar conveniente, não cabendo à Administração nenhuma responsabilidade em função de insuficiência dos dados levantados por ocasião da visita técnica.
5.1.5.2.1. Poderão ser feitas tantas visitas técnicas quanto cada interessado considerar necessário. Cada visita deverá ser agendada diretamente nas unidades escolares em que serão realizadas as intervenções pedagógicas, nos endereços de e-mail, telefones e responsáveis constantes da relação anexa (Adendo C do Anexo I – Termo de Referência).
5.1.5.2.2. Competirá a cada interessado, quando da visita técnica, fazer-se acompanhar dos técnicos e especialistas que entender suficientes para colher as informações necessárias à elaboração da sua proposta.
5.1.5.2.3. As prospecções, investigações técnicas, ou quaisquer outros procedimentos que impliquem interferências no local em que serão prestados os serviços deverão ser previamente informadas e autorizadas pela Administração.
1 Quantidade correspondente a 50% (cinquenta por cento) dos 12.000 (doze mil) alunos estimados a integrarem a coorte, sobre a qual se descontou 10% (dez por cento), a título de margem de erro.
5.1.5.2.4. A proponente não poderá pleitear, em hipótese alguma, modificações nos preços, prazos ou condições ajustadas, tampouco alegar quaisquer prejuízos ou reivindicar quaisquer benefícios sob a invocação de insuficiência de dados ou informações sobre o local em que serão executados os serviços, bem como a facultatividade da visita técnica.
5.2. DISPOSIÇÕES GERAIS DA HABILITAÇÃO
5.2.1. Poderão participar do certame todos os interessados em contratar com a Administração Estadual que estejam registrados no CAUFESP, que atuem em atividade econômica compatível com o seu objeto, sejam detentores de senha para participar de procedimentos eletrônicos e tenham credenciado os seus representantes na forma estabelecida no regulamento que disciplina a inscrição no referido Cadastro.
5.2.1.1. O registro no CAUFESP, o credenciamento dos representantes que atuarão em nome da licitante no sistema de pregão eletrônico e a senha de acesso deverão ser obtidos anteriormente à abertura da sessão pública e autorizam a participação em qualquer pregão eletrônico realizado por intermédio do Sistema BEC/SP.
5.2.1.2. O registro no CAUFESP é gratuito. As informações a respeito das condições exigidas e dos procedimentos a serem cumpridos para a inscrição no Cadastro, para o credenciamento de representantes e para a obtenção de senha de acesso estão disponíveis no endereço eletrônico xxx.xxx.xx.xxx.xx.
5.2.3. A comissão de licitação, a seu critério, poderá diligenciar para esclarecer dúvidas ou confirmar o teor das declarações solicitadas no item 5.1.4 deste Edital e das comprovações de qualificação econômico-financeira e de qualificação técnica, aplicando-se, em caso de falsidade, as sanções penais e administrativas pertinentes.
5.2.4. Caso o objeto contratual venha a ser cumprido por filial da licitante, os documentos exigidos referentes à regularidade fiscal e trabalhista deverão ser apresentados tanto pela matriz quanto pelo estabelecimento que executará o objeto do contrato.
6. DA SESSÃO PÚBLICA DE RECEBIMENTO DOS DOCUMENTOS E ABERTURA DOS ENVELOPES Nº 1 – “PROPOSTA”
6.1. Na data e no horário indicados no preâmbulo deste Edital, em sessão pública e durante tempo mínimo de 02 (duas) horas e 30 (trinta) minutos, a partir da respectiva abertura, a Comissão Julgadora receberá as declarações a que se refere o item 3.1 mais os envelopes contendo as propostas e os documentos de habilitação e, na sequência, procederá à abertura dos envelopes nº 1 – “Proposta”, sendo que estes envelopes, após verificados e rubricados pela Comissão e licitantes presentes, serão juntados ao respectivo processo.
6.1.1. As sessões do presente certame ocorrerão na sede da Secretaria Estadual da Educação, situada na Xxxxx xx Xxxxxxxxx, xx 00, xxxx 000, Xxxxxxxxx, Xxx Xxxxx – SP.
6.1.2. Os envelopes n° 2 – “Habilitação”, após rubricados pela Comissão Julgadora da Licitação e licitantes presentes, ficarão fechados e inviolados sob a guarda da Comissão, até as respectivas aberturas em sessão pública.
6.2. A licitante poderá apresentar-se ao ato por seu representante legal ou por pessoa devidamente credenciada, mediante procuração com poderes específicos para intervir no processo licitatório, inclusive para interpor recursos ou desistir de sua interposição.
6.3. Os representantes das proponentes deverão identificar-se exibindo a Carteira de Identidade, acompanhada do contrato social da licitante e do instrumento de procuração, quando for o caso, para que sejam verificados os poderes do outorgante e do mandatário.
6.4. É vedada a representação de mais de uma licitante por uma mesma pessoa.
6.5. A entrega dos envelopes configura a aceitação de todas as normas e condições estabelecidas nesta Concorrência, bem como implica a obrigatoriedade de manter todas as condições de habilitação e qualificação exigidas para a contratação, obrigando-se a licitante a declarar, sob as penas da lei, a superveniência de fato impeditivo a participação, quando for o caso.
6.6. Iniciada a abertura do primeiro envelope nº 1 – “Proposta”, estará encerrada a possibilidade de admissão de novos participantes no certame.
7. DA ANÁLISE E JULGAMENTO DAS PROPOSTAS E DA HABILITAÇÃO
7.1. As propostas de preço serão verificadas quanto à exatidão das operações aritméticas apresentadas, que conduziram ao valor total orçado, procedendo-se às correções correspondentes nos casos de eventuais erros encontrados, tomando-se como corretos os preços unitários. As correções efetuadas serão consideradas para a apuração do valor final da proposta.
7.2. A análise das propostas visará ao atendimento das condições estabelecidas nesta Concorrência, sendo desclassificada a proposta que:
a) Estiver em desacordo com qualquer das exigências estabelecidas neste Edital;
b) Apresentar preços unitários ou total simbólicos, irrisórios ou de valor zero, incompatíveis com os preços dos insumos ou salários de mercado, ou que se revelar manifestamente inexequível, nos termos do artigo 48, inciso II, da Lei federal n° 8.666/1993;
c) Apresentar valor total que supere o referencial exposto no item 1.3 deste Edital.
7.2.1. A Comissão Julgadora poderá a qualquer momento solicitar aos licitantes a composição de preços unitários dos serviços e/ou de materiais/equipamentos, bem como os demais esclarecimentos que julgar necessários.
7.3. Não será considerada para fins de julgamento da proposta:
a) Oferta de vantagem não prevista neste instrumento convocatório e nem preço e/ou vantagem baseados nas ofertas dos demais licitantes;
b) Oferta de prazo ou condições diferentes dos fixados nesta Concorrência.
7.4. O julgamento das propostas será efetuado pela Comissão Julgadora de Licitação, que elaborará a lista de classificação das propostas, observada a ordem crescente dos preços apresentados.
7.4.1. No caso de empate entre duas ou mais propostas, far-se-á a classificação por sorteio público na mesma sessão, ou em dia e horário a ser comunicado aos licitantes pelo Diário Oficial do Estado de São Paulo (DOE), na forma estatuída no artigo 45, §2º, da Lei federal nº 8.666/1993.
7.5. Com base na classificação de que trata o item 7.4 será assegurada às licitantes microempresas e empresas de pequeno porte, assim como as cooperativas que preencham as condições estabelecidas no artigo 34, da Lei federal n° 11.488/2007, preferência à contratação, observadas as seguintes regras:
7.5.1. A microempresa, empresa de pequeno porte ou cooperativa, nos moldes indicados no item 7.5, detentora da proposta de menor valor, dentre aquelas cujos valores sejam iguais ou superiores até 10% (dez por cento) ao valor da proposta melhor classificada, será convocada para que apresente preço inferior ao da melhor classificada.
7.5.2. A convocação recairá sobre a licitante vencedora de sorteio, no caso de haver propostas empatadas, nas condições do item 7.5.1.
7.5.3. O exercício do direito de que trata o item 7.5.1 ocorrerá na própria sessão pública de julgamento das propostas, no prazo de 10 (dez) minutos contados da convocação, sob pena de preclusão. Não ocorrendo o julgamento em sessão pública, ou na ausência de representante legal ou procurador da licitante que preencha as condições indicadas no item
7.5.1 na mesma sessão, o exercício do referido direito ocorrerá em nova sessão pública, a ser realizada em prazo não inferior a 02 (dois) dias úteis, para a qual serão convocadas todas as licitantes em condições de exercê-lo, mediante publicação no DOE.
7.5.3.1. Não havendo a apresentação de novo preço inferior ao da proposta melhor classificada, por parte da licitante que preencha as condições do item 7.5.1, as demais microempresas, empresas de pequeno porte e cooperativas, nos moldes indicados no item 7.5, cujos valores das propostas se enquadrem nas mesmas condições, poderão exercer o
direito de preferência, respeitada a ordem de classificação, observados os procedimentos previstos no item 7.5.3.
7.5.4. O não comparecimento à nova sessão pública de que trata o item 7.5.3 ensejará a preclusão do direito de preferência da licitante faltante.
7.5.5. Caso a detentora da melhor oferta, de acordo com a classificação de que trata o item 7.4, seja microempresa, empresa de pequeno porte ou cooperativa, nos moldes indicados no item 7.5, não será assegurado o direito de preferência.
7.6. Havendo o exercício do direito de preferência a que alude o item 7.5, será elaborada nova lista de classificação nos moldes do item 7.4 e considerando o referido exercício.
7.7. Na hipótese de desclassificação de todas as propostas, a Administração poderá proceder conforme faculta o §3º do artigo 48 da Lei federal nº 8.666/1993 e parágrafo único do artigo 43 da Lei estadual n° 6.544/1989, marcando-se nova data para sessão de abertura dos envelopes, mediante publicação no DOE.
7.8. Os envelopes n° 2 – “Habilitação” das licitantes que tiveram propostas desclassificadas
serão devolvidos fechados, desde que não tenha havido recurso ou após sua denegação.
7.9. Não se admitirá desistência de proposta, salvo por motivo justo decorrente de fato superveniente e aceito pela Comissão Julgadora da Licitação.
7.10. Após o julgamento das propostas, a Comissão Julgadora da Licitação, a partir do exame dos documentos indicados no item 5 deste Edital, efetuará o julgamento da habilitação.
7.11. Serão abertos os envelopes nº 2 – “Habilitação” dos licitantes cujas propostas ocupem os
três primeiros lugares da classificação, com a observância das seguintes situações:
a) em seguida à classificação das propostas, na mesma sessão pública, a critério da Comissão Julgadora, se todos os licitantes desistirem da interposição do recurso em face do julgamento das propostas.
b) em data previamente divulgada no DOE, nos demais casos.
7.12. Respeitada a ordem de classificação e o previsto no item 7.11, serão abertos tantos envelopes n° 2 – “Habilitação” de licitantes classificadas, quantos forem as inabilitadas com base no julgamento de que trata o item 7.10.
7.13. Admitir-se-á o saneamento de falhas relativas aos documentos de habilitação, desde que, a critério da Comissão Julgadora da Licitação, esse saneamento possa ser concretizado no prazo máximo de 3 (três) dias, sob pena de inabilitação e aplicação das sanções cabíveis.
7.14. Para habilitação de microempresas e empresas de pequeno porte, assim como de cooperativas que preencham as condições estabelecidas no artigo 34 da Lei federal n° 11.488/2007, não será exigida a comprovação de regularidade fiscal, mas será obrigatória a apresentação dos documentos indicados no item 5.1.2 deste Edital, ainda que os mesmos veiculem restrições impeditivas à referida comprovação.
7.14.1. A licitante habilitada nas condições do item 7.14, deverá comprovar sua regularidade fiscal, decaindo do direito à contratação se não o fizer, sem prejuízo da aplicação das sanções previstas no artigo 81, da Lei federal n° 8.666/1993.
7.14.2. A comprovação de que trata o item 7.14.1 deverá ser efetuada mediante apresentação das competentes certidões negativas de débitos, ou positivas com efeito de negativa, no prazo de 5 (cinco) dias úteis, nos termos da Lei Complementar nº 147/2014, contado a partir do momento em que a licitante for declarada vencedora do certame, prorrogável por igual período, a critério da Administração.
7.15. Na hipótese de inabilitação de todos os licitantes, poderá proceder-se consoante faculta o §3º do artigo 48, da Lei federal nº 8.666/1993, marcando-se nova data para abertura dos envelopes contendo a documentação, mediante publicação no DOE.
7.16. Será considerada vencedora do certame a licitante que, observadas todas as condições da presente licitação, tiver oferecido o menor preço e sido habilitada.
7.17. A adjudicação será feita pela totalidade do objeto desta licitação.
7.18. Se a vencedora do certame for licitante que exerceu o direito de preferência de que trata o item 7.5, deverá apresentar, no prazo de 02 (dois) dias úteis contado da data de adjudicação
do objeto, os novos preços unitários e total para a contratação, a partir do valor total final obtido no certame.
7.18.1. Esses novos preços serão apresentados em nova planilha, nos moldes do Anexo II.1 deste Edital, a ser entregue diretamente na sede da Secretaria Estadual da Educação, situada na Xxxxx xx Xxxxxxxxx, xx 00, xxxx 000, Xxxxxxxxx, Xxx Xxxxx – SP.
7.18.2. Na hipótese de não cumprimento da obrigação estabelecida no item 7.18, no prazo ali mesmo assinalado, os preços unitários finais válidos para a contratação serão apurados pelo Contratante, com a aplicação do percentual que retrate a redução obtida entre o valor total oferecido na proposta inicial e o valor total final obtido no certame, indistintamente, sobre cada um dos preços unitários ofertados na referida proposta.
8. DO PRAZO, CONDIÇÕES E ENTREGA DO OBJETO DA LICITAÇÃO
8.1. O objeto desta licitação deverá ser executado e concluído em 54 (cinquenta e quatro meses), contados a partir da data da ordem de início dos serviços, conforme as condições estabelecidas neste Edital e em seus anexos.
8.2. O objeto desta licitação deverá ser executado nas 61 (sessenta e uma) unidades escolares identificadas no Termo de Referência anexo a este Edital, correndo por conta da Contratada as despesas de seguros, transporte, tributos, encargos trabalhistas e previdenciários decorrentes da execução do objeto do contrato.
8.3. Todos os projetos executivos e legais elaborados pela Contratada deverão ser aprovados pelo Contratante. O desenvolvimento dos serviços obedecerá ao programa de ação, a ser apresentado pela Contratada, e aceito pelo Contratante, após a assinatura do contrato.
9. DA FISCALIZAÇÃO E VISTORIAS
9.1. Serão realizadas vistorias pelo Contratante ou prepostos devidamente qualificados, que terão por objetivo: a avaliação da qualidade e do andamento dos serviços prestados, nos termos previstos no Anexo V (Minuta de contrato).
9.2. Todas as vistorias deverão ser acompanhadas por representante da Contratada.
10. DAS MEDIÇÕES
10.1. As medições para faturamento deverão ser feitas pelo avaliador independente nos termos do Adendo A ao Termo de Referência (Anexo I) e serão instruídas com o respectivo relatório, que deverá apontar:
a) o número de alunos aprovados, de uma série para a seguinte, na coorte analisado;
b) qual a meta atingida pela Contratada, de acordo com a Tabela 4 do Termo de Referência anexo a este instrumento convocatório.
10.2. Serão medidos apenas os serviços ou as parcelas dos serviços executados e concluídos conforme o disposto nos documentos que integram o presente Edital e seus anexos.
10.3. As medições serão registradas e serão acompanhadas de elementos elucidativos adequados, comprovante de matrícula e histórico escolar de alunos, avaliações oficiais etc.
10.4. As medições serão acompanhadas por representantes do Contratante e da Contratada, sendo que eventuais divergências serão sanadas pelo avaliador independente.
11. DO PAGAMENTO E DO REAJUSTE DE PREÇOS
11.1. Os pagamentos referentes à execução dos serviços serão efetuados em conformidade com o atingimento das metas apontadas no Anexo I (Termo de Referência), atestadas pelo avaliador independente, correspondendo às etapas concluídas do cronograma, de acordo com as regras da Cláusula Décima do Contrato (Anexo V).
11.2. Os pagamentos serão efetuados no prazo de 30 (trinta) dias, contados a partir da elaboração do relatório do avaliador independente, observando-se para as respectivas realizações, o procedimento e as demais condições e prazos estabelecidos na minuta de termo de contrato, que constitui anexo integrante deste ato convocatório.
11.3. Havendo atraso no pagamento, sobre o valor devido incidirá correção monetária nos termos do artigo 74 da Lei estadual nº 6.544/1989, bem como juros moratórios, estes a razão de 0,5% (meio por cento) ao mês, calculados “pro rata tempore”, em relação ao atraso verificado.
11.4. O pagamento será feito mediante crédito aberto em conta corrente em nome da Contratada no Banco do Brasil S/A.
11.5. Os preços serão reajustados pelo índice IPC-FIPE - Índice de Preços ao Consumidor, nos termos do Decreto estadual nº 48.326/2003, contados a partir do mês da apresentação da proposta, conforme Decreto estadual n° 45.113/2000.
11.6. Constitui condição para a realização dos pagamentos a inexistência de registros em nome da Contratada no “Cadastro Informativo dos Créditos não Quitados de Órgãos e Entidades Estaduais do Estado de São Paulo – CADIN ESTADUAL”, o qual deverá ser consultado por ocasião da realização de cada pagamento. Esta condição será considerada cumprida se a devedora comprovar que os respectivos registros se encontram suspensos, nos termos do artigo 8º, §§1º e 2º da Lei estadual nº 12.799/2008.
12. DA CONTRATAÇÃO
12.1. A contratação decorrente desta licitação será formalizada mediante celebração de termo de contrato, cuja respectiva minuta constitui o Anexo V do presente ato convocatório.
12.1.1. Se, por ocasião da formalização do contrato, as certidões de regularidade de débitos para com o Sistema de Seguridade Social (INSS), o Fundo de Garantia por Tempo de Serviço (FGTS) , a Justiça do Trabalho (certidão negativa de débitos trabalhistas) a Fazenda Nacional (certidão conjunta negativa de débitos relativos a tributos federais e dívida ativa da União), estiverem com os prazos de validade vencidos, o órgão licitante verificará a situação por meio eletrônico hábil de informações, certificando nos autos do processo a regularidade e anexando os documentos passíveis de obtenção por tais meios, salvo impossibilidade devidamente justificada.
12.1.1.1. Se não for possível atualizar os documentos referidos no item 12.1.1 por meio eletrônico hábil de informações, a adjudicatária será notificada para, no prazo de 02 (dois) dias úteis, comprovar a sua situação de regularidade mediante a apresentação das certidões respectivas com prazos de validade em plena vigência, sob pena de a contratação não se realizar.
12.1.2. Constitui ainda condição para a celebração do contrato, a inexistência de registros em nome da adjudicatária no “Cadastro Informativo dos Créditos não Quitados de Órgãos e Entidades Estaduais do Estado de São Paulo – CADIN ESTADUAL”, o qual deverá ser consultado por ocasião da respectiva celebração. Esta condição será considerada cumprida se a devedora comprovar que os respectivos registros se encontram suspensos, nos termos do artigo 8º, §§ 1º e 2º. da Lei Estadual nº 12.799/2008.
12.1.3. O “Sistema Eletrônico de Aplicação e Registro de Sanções Administrativas – e- Sanções”, no endereço xxx.xxxxxxxx.xx.xxx.xx, e o “Cadastro Nacional de Empresas Inidôneas e Suspensas – CEIS”, no endereço xxxx://xxx.xxxxxxxxxxxxxxxxxxx.xxx.xx/xxxx, deverão ser consultados previamente à celebração da contratação.
12.1.4. Constituem, igualmente, condições para a celebração do contrato:
a) a indicação de gestor encarregado de representar a adjudicatária com exclusividade perante o Contratante, caso se trate de sociedade cooperativa;
b) a apresentação do(s) documento(s) que a adjudicatária, à época do certame licitatório, houver se comprometido a exibir antes da celebração do contrato por meio de declaração específica.
12.2. A adjudicatária deverá, no prazo de 5 (cinco) dias corridos contados da data da convocação, comparecer na sede da Secretaria Estadual da Educação, situada na Xxxxx xx Xxxxxxxxx, xx 00, xxxx 000, Xxxxxxxxx, Xxx Xxxxx – SP, das 8:00 às 17:00 para assinatura do
termo de contrato. O prazo para assinatura poderá ser prorrogado por igual período por solicitação justificada do interessado e aceita pela Administração.
12.3. As demais licitantes classificadas serão convocadas, de acordo com a ordem classificatória do julgamento das propostas, com vistas à celebração do contrato, quando a adjudicatária:
12.3.1. Deixar de comprovar sua regularidade fiscal, nos moldes do item 4.1.2, ou na hipótese de invalidação do ato de habilitação;
12.3.2. For convocada dentro do prazo de validade de sua proposta e não apresentar a situação regular de que tratam os itens 12.1.1 a 12.1.4 deste Edital.
12.3.3. Recusar-se a assinar o contrato ou não comparecer no horário e local indicados para a sua assinatura;
12.3.4. For proibida de participar desta licitação, nos termos do item 2.2 deste Edital;
12.4. A convocação a que se refere o item 12.3 deste Edital será realizada em prazo não inferior a 03 (três) dias úteis contados da publicação do aviso no DOE.
12.4.1. Aplica-se à nova convocação e à análise dos requisitos para a celebração do contrato com a nova licitante convocada o disposto nos itens 12.1.1 a 12.1.4, 12.3 e 15 deste Edital.
12.5. O não cumprimento da obrigação estabelecida no item 12.2, ou a não apresentação dos documentos indicados nos itens 7.14, 12.1.1 a 12.1.4, nos prazos indicados nos referidos itens, caracteriza o descumprimento total da obrigação assumida, nos termos do artigo 81, da Lei federal nº 8.666/1993 e artigo 79, da Lei estadual nº 6.544/1989, sujeitando a adjudicatária às penalidades legalmente estabelecidas e à aplicação de multa, observado o disposto na Resolução SEE nº 33/2003.
12.6. Em se tratando de sociedade cooperativa, o contrato administrativo será imediatamente rescindido na hipótese de caracterização superveniente da prestação de trabalho nas condições a que alude o §1º do artigo 1º do Decreto estadual nº 55.938/2010, com redação dada pelo Decreto estadual nº 57.159/2011.
13. DAS SANÇÕES PARA O CASO DE INADIMPLEMENTO
13.1. Se a Contratada inadimplir as obrigações assumidas, no todo ou em parte, ficará sujeita às sanções previstas nos artigos 86 e 87, da Lei federal nº 8.666/1993, artigos 80 e 81, da Lei estadual nº 6.544/1989, de acordo com o estipulado na Resolução SEE nº 33/2003, no que couber.
13.2. A licitante que ensejar o retardamento do certame, não mantiver a proposta ou fizer declaração falsa, inclusive aquela prevista no inciso I, do artigo 40, da Lei estadual n° 6.544/1989, com a redação dada pela Lei estadual n° 13.121/2008, garantido o direito prévio de citação e ampla defesa, poderá ficar impedida de licitar e contratar com a Administração Direta e Indireta do Estado de São Paulo, pelo prazo de até 5 (cinco) anos, enquanto perdurarem os motivos determinantes da punição ou até que seja promovida a reabilitação perante a própria autoridade que aplicou a penalidade, sem prejuízo da aplicação das demais sanções previstas neste Edital e no termo de contrato e das demais cominações legais.
13.3. Sem prejuízo da aplicação das sanções indicadas nos itens 13.1 e 13.2, o descumprimento das obrigações previstas nos incisos I, II e III do artigo 9° do Decreto estadual n° 53.047/2008, sujeitará à Contratada a aplicação da sanção administrativa de proibição de contratar com a Administração Pública, estabelecida no artigo 72, parágrafo oitavo, inciso V, da Lei federal n° 9.605/1998, observadas as normas legais e regulamentares pertinentes a referida sanção, independentemente de sua responsabilização na esfera criminal.
13.4. As multas são autônomas e a aplicação de uma não exclui a de outra.
13.5. O Contratante poderá descontar das faturas os valores correspondentes às multas que eventualmente lhe forem aplicadas por descumprimento de obrigações estabelecidas neste Edital, seus anexos ou no termo de contrato.
13.6. A prática de atos que atentem contra o patrimônio público nacional ou estrangeiro, contra princípios da administração pública, ou que de qualquer forma venham a constituir fraude ou corrupção, durante a licitação ou ao longo da execução do contrato, será objeto de instauração de processo administrativo de responsabilização nos termos da Lei Federal nº 12.846/2013 e do Decreto Estadual nº 60.106/2014, sem prejuízo da aplicação das sanções administrativas previstas nos artigos 87 e 88 da Lei Federal nº 8.666/1993, e no artigo 7º da Lei Federal nº 10.520/2002.
14 DO RECEBIMENTO DO OBJETO
14.1. Nos termos da alínea “b” do inciso I do artigo 73 e inciso II do artigo 74 da Lei Federal nº 8.666/1993, os serviços serão recebidos definitivamente pelo Contratante, por comissão ou servidor para tanto designado, dispensado o recebimento provisório, no prazo de 30 (trinta) dias da entrega do relatório final pelo avaliador independente.
14.2. Uma vez verificada a execução satisfatória dos serviços, observado o teor do relatório final do avaliador independente, o objeto será recebido pelo Contratante, mediante lavratura de recibo.
14.3. A aceitação dos serviços atesta o cumprimento das exigências contratuais, mas não afasta a responsabilidade técnica ou civil da Contratada, que permanece regida pela legislação pertinente.
14.4. Em caso de atingimento parcial das metas relativas às taxas de aprovação e de aprendizagem, conforme definidas no Termo de Referência, o Contratante poderá aceitar os serviços, mas fará constar no correspondente recibo o referido desempenho da Contratada.
15. DOS RECURSOS
15.1. Dos atos praticados pela Administração nas diversas fases desta licitação caberão os recursos previstos nos artigos 109 e seguintes da Lei federal nº 8.666/1993, dirigidos à autoridade competente, por intermédio da que praticou o ato recorrido, que deverão ser protocolados na sede da Secretaria Estadual da Educação, situada na Praça da República, nº 53, sala 140, República, São Paulo – SP, no horário das 8:00 às 17:00 horas, no prazo de 05 (cinco) dias úteis, a contar da intimação daquele ato ou da lavratura da ata.
16. DAS DISPOSIÇÕES FINAIS
16.1. Não será exigida a prestação de garantia para a contratação resultante desta licitação.
16.2. Para fruição dos benefícios previstos nos itens 7.12 e 7.13 a qualidade de microempresa e empresa de pequeno porte deverá estar expressa nos documentos indicados no item 5.1.1, alíneas “a”, “b” e “d”. Para a fruição dos mesmos benefícios a cooperativa que preencha as condições fixadas no artigo 34 da Lei federal n° 11.488/2007 deverá apresentar, juntamente com os envelopes nºs 1 e 2 e fora deles, declaração sob as penas da lei, firmada por representante legal, de acordo com o modelo estabelecido no Anexo III.5 deste Edital.
16.3. Os casos omissos da presente Concorrência serão solucionados pela Comissão Julgadora de Licitação.
16.4. Os pedidos de esclarecimentos relativos a esta licitação deverão ser encaminhados até o dia , pelo e-mail ou mediante protocolo na sede da Secretaria Estadual da Educação, situada na Praça da República, nº 53, sala 140, República, São Paulo – SP, no horário das 8:00 às 17:00 horas
16.4.1. Os pedidos de esclarecimentos não suspendem os prazos previstos neste Edital.
16.4.2. A Comissão Julgadora de Licitação responderá, por escrito, a todos os pedidos de esclarecimento encaminhados, publicando as respectivas respostas no DOE, com no mínimo 2 (dois) dias de antecedência à data da sessão pública de recebimento dos documentos e abertura dos envelopes de habilitação.
16.5. A publicidade dos atos pertinentes a esta licitação será efetuada mediante publicação no DOE.
16.6. O presente Edital será publicado em resumo no DOE e em jornal de grande circulação e poderá ser consultado, pelos interessados, no site xxx.x-xxxxxxxxxxxxxxx.xxx.xx.
16.7. Para dirimir quaisquer questões decorrentes da licitação, não resolvidas na esfera administrativa, será competente o foro da Comarca da Capital do Estado de São Paulo.
17. DOS ANEXOS
17.1. Integram o presente Edital:
Anexo I - Termo de Referência
Adendo A - Estudo Técnico para o Plano de Medição de Impacto;
Adendo B – Orçamento Detalhado do Projeto;
Adendo C – Lista de Escolas Participantes.
Anexo II – Modelo de Proposta Comercial;
Anexo II.1 - Modelo de Planilha de Preços Unitários e Totais;
Anexo II.2 - Demonstrativo da composição do BDI;
Anexo III – Modelos de Declarações Anexo IV – Resolução SEE-33/2003 Anexo V - Minuta do contrato
Anexo VI – Modelo de Termo de Ciência e Notificação ao TCE/SP
Anexo VII – Modelo de Atestado de Vistoria Técnica
(Local e data)
(nome, cargo e assinatura do subscritor do edital)
ANEXO I
TERMO DE REFERÊNCIA
GLOSSÁRIO
Avaliador Independente: organização externa, responsável pela coleta de dados fornecidos pela SEE e avaliação do atingimento das metas estabelecidas pelo projeto. Nesse sentido, caber-lhe-á emitir relatórios de avaliação, que servirão para balizar os correspondentes pagamentos da Secretaria Estadual da Educação.
Coorte: Em termos estatísticos, o “coorte” é o grupo de sujeitos que possuem uma característica em comum. Como por exemplo, estudantes da primeira série do ensino médio em regiões vulneráveis. Dentro do projeto, definiu-se o “coorte” de 12.000 alunos que receberão as intervenções e estudam em escolas com características em comum.
Grupo de tratamento: grupo de escolas selecionadas que receberão as intervenções.
Grupo de controle: grupo de escolas selecionadas que não receberão as intervenções. A evolução destas escolas será acompanhada para entender o quanto as escolas do grupo de tratamento melhoraram em relação ao grupo de controle. Tal grupo tem como objetivo demonstrar o que teria acontecido com as escolas do grupo de tratamento, caso elas não tivessem recebido nenhuma intervenção.
Intervenções: são serviços técnicos e atividades especializadas que serão implementadas nas escolas com o intuito de diminuir a reprovação e a evasão, consequentemente melhorando a aprendizagem.
Investidores: são pessoas físicas ou jurídicas interessadas em investir no Contrato de Impacto Social. Esses investimentos serão os recursos necessários para que o Provedor Master possa implementar as ações contratadas.
Provedor Master: também denominado como “Contratada”, responsável pelo gerenciamento das intervenções nas escolas, podendo subcontratar outras organizações para realizar as intervenções.
Pareamento: o método de pareamento busca construir um grupo de controle semelhante ao grupo de tratamento, tendo como base um conjunto de características dos grupos. No contexto deste projeto, cada escola do grupo de tratamento teria um par no grupo de controle, que representa o resultado que ela teria obtido caso não recebesse as intervenções. Assim, busca- se isolar os resultados das intervenções nas escolas.
1. OBJETO
O objeto do Contrato de Impacto Social (CIS) é o gerenciamento e a execução de ações pedagógicas voltadas à melhora nos resultados de fluxo2, sem redução da aprendizagem, dos alunos da rede estadual de ensino médio a partir da prestação de serviços técnicos especializados (“intervenções”). As intervenções devem envolver atividades de engajamento das famílias no cotidiano escolar dos filhos, bem como suporte para motivar o aluno nos estudos, interligando tais ações com a gestão escolar. O CIS não gera custo inicial para a Secretaria da Educação, pois permite que as intervenções sejam financiadas por investidores privados, que podem vir a ser recompensados se o impacto social contratualizado for alcançado.
2 Entende-se por melhoria nos resultados de fluxo o aumento na aprovação e diminuição da reprovação e evasão escolar.
2. OBJETIVOS
2.1. OBJETIVO GERAL
Fortalecer as condições para que estudantes de escolas estaduais de ensino médio (escolhidas conforme critério indicado neste documento), localizadas em regiões vulneráveis da Região Metropolitana de São Paulo, completem o ciclo de aprendizagem do ensino médio com bom desempenho e no período esperado (três anos).
2.2. OBJETIVOS ESPECÍFICOS
2.2.1. Introduzir um modelo inovador na rede estadual de ensino, envolvendo atividades especializadas de apoio aos alunos e às famílias, que sejam interligadas à gestão escolar, objetivando melhores resultados de fluxo com boa aprendizagem no ensino médio.
2.2.2. Potencializar resultados obtidos com recursos já empregados pela Secretaria da Educação na rede estadual de ensino médio.
2.2.3. Testar a eficácia de uma ferramenta inovadora, o CIS, já utilizado em diversos países, para atrair capital privado para projetos de impacto na área de educação e possibilitar a contratação de prestadores de serviços com base em metas e resultados mensuráveis.
3. JUSTIFICATIVA
A educação apresenta-se como um dos mais importantes investimentos para o desenvolvimento econômico e social de um país. Apesar dos avanços em direção à universalização da educação e ao aumento da aprendizagem dos alunos, dentre todas as etapas da educação básica, é possível afirmar que o Ensino Médio se apresenta como a mais crítica. Nele verificam-se altos índices de abandono, reprovação e defasagem idade-série em todo o país.
Atualmente, o Ensino Médio da Rede Pública Brasileira apresenta uma taxa de reprovação de 13,1%. Além disso, 17% dos jovens de 15 a 17 anos encontram-se fora da escola. Em relação à qualidade, os resultados do IDEB são ainda mais críticos. As avaliações realizadas nos anos de 2011, 2013 e 2015 mostram uma estagnação dos resultados, permanecendo com o índice de 3,7, ao passo que a meta de 2015 era de 4,3.
No âmbito do Estado de São Paulo, 87,2% dos jovens entre 15 a 17 anos estão matriculados na escola em qualquer nível de ensino, dos quais 75,8% estão em idade correta para o ensino médio, o que demonstra a necessidade de sejam estipuladas políticas específicas para permitir uma relação ainda melhor entre a idade e a série de matrícula do aluno.
Em relação ao desempenho, o resultado do ensino médio tem ficado abaixo do observado no ciclo fundamental I e II do Estado de São Paulo. O ensino médio paulista apresenta taxas de reprovação mais altas e índices de aprendizagem aquém das metas estabelecidas pelo Governo do Estado de São Paulo e pela Secretaria Estadual da Educação para 2030. Essas metas, estipuladas pelo IDESP, preveem que as escolas de ensino médio atinjam a média 5,0 em uma escala de 0 a 10. Em 2016, no entanto, o índice do IDESP para o ensino médio foi de 2,3.
Tendo em vista o objetivo da Secretaria da Educação (SEE) de melhoria contínua na qualidade da aprendizagem, o Contrato de Impacto Social (CIS) apresenta-se como um importante mecanismo para a garantia da eficiência e eficácia da utilização de recursos públicos.
O CIS tem o objetivo de viabilizar investimentos de impacto social. A ideia básica por trás de investimentos dessa natureza é simples: criar estímulos econômicos para que o mercado invista em atividades com potencial de gerar ganhos sociais relevantes e que, ao mesmo tempo, sejam capazes de gerar retorno financeiro para os investidores. Quem cria o estímulo é a administração pública, que celebra contrato com agente privado que se responsabilizará pelo serviço com impacto social. O contrato, por sua vez, prevê pagamentos estatais, condicionados ao atingimento de metas de resultados pelo contratado: trata-se de contrato de metas,
totalmente dependente da performance do contratado. É a segurança nessa estrutura contratual que poderá estimular o investimento privado em negócio de natureza social. Vale anotar que referido investimento não é a fundo perdido; trata-se de alternativa de direcionamento de recursos privados a projetos sociais.
No plano internacional, essa estrutura contratual tem recebido o nome de Social Impact Bond (SIB). Na sua origem o SIB envolve uma relação contratual pública para fomentar o mercado privado a realizar intervenções em áreas sociais específicas por sua conta e risco. Ela admite flexibilidade na definição da intervenção para, diante dos resultados obtidos, viabilizar eventuais adaptações nas atividades sociais prestadas.
O CIS parte da premissa de que as intervenções poderão simultaneamente gerar:
1. Impacto social positivo (isto é, aprimoramento de atividades e serviços sociais de alguma forma já prestados pelo Estado);
2. Retorno financeiro ao investidor privado que suporta financeiramente a atuação do contratado (o investidor depende do sucesso na intervenção social para obter retorno financeiro, o que justifica que o contrato autorize o investidor a ter alguma governança sobre a atividade sob responsabilidade do contratado);
3. Economia ao poder público (que poderá ter custos reduzidos em caso de sucesso de intervenções sociais e melhor eficiência de gastos no setor).
Portanto, CIS pode ser traduzido como sendo um contrato de metas sociais, as quais necessariamente estão atreladas à obtenção de certo impacto (resultado) social previamente fixado no instrumento, celebrado entre o poder público e a iniciativa privada, com as características acima listadas. Não equivale a um contrato de financiamento, nem é título de renda fixa, apesar de seu nome internacional assim sugerir (bond). É um contrato de prestação de serviços de resultado social. Seus recebíveis podem servir de lastro na captação de recursos financeiros. Além disso, há ainda duas outras características típicas do CIS: o contratado tem flexibilidade na execução das ações; e o risco de as metas não serem atingidas pelo contratado são assumidas integralmente por ele e pelo investidor.
Um dos principais objetivos da SEE por meio deste projeto é atingir resultados positivos na prestação de serviços de qualidade à população e, ao mesmo tempo, garantir eficiência e eficácia no uso dos recursos humanos e financeiros do Estado. Para isso, é necessário encontrar mecanismos que permitam a prestação de serviços com impacto mensurável e comprovável sobre esse objetivo.
O CIS funciona a partir do pagamento por resultado pré-estabelecido. Para alcançar tal resultado, permite alguma flexibilidade para as ações executadas pela contratada, e, ao mesmo tempo, maior rigor no controle do resultado de fato alcançado. Também permite que sejam feitas análises custo-benefício mais precisas, permitindo mais organização e clareza sobre o impacto das intervenções na eficiência dos gastos da Secretaria Estadual da Educação na área educacional.
Além disso, traz vantagem financeira ao Estado e à Secretaria da Educação, pois só haverá dispêndio de recursos públicos se os resultados pretendidos forem alcançados. As intervenções são custeadas por investidores privados, que assumem o risco financeiro e só recebem retorno pelo investimento caso as metas de impacto social sejam inequivocamente atingidas e validadas pelo avaliador independente ao final do projeto.
4. PÚBLICO-ALVO
O público-alvo do projeto é composto de estudantes de ensino médio regular de escolas estaduais em áreas de vulnerabilidade na região metropolitana da cidade São Paulo. De um grupo de 122 escolas, metade (61) será selecionada para receber as intervenções (“grupo de tratamento”), ao passo que a outra metade (61) será utilizada como grupo de comparação (“grupo de controle”). O processo de seleção das escolas é feito a partir do método exposto no Adendo A a este Termo de Referência).
Destaca-se que a divisão das escolas em grupos de “tratamento” e “controle” permitirá a medição do real impacto das intervenções nas escolas que a receberam, possibilitando condicionar o pagamento aos resultados delas decorrentes.
5. METODOLOGIA
As intervenções a serem implementadas pela Contratada deverão seguir dois eixos complementares: (1) ações com foco em famílias, com objetivo de engajar e envolver a família no cotidiano escolar dos filhos e (2) ações com foco em alunos, com objetivo de engajar e motivar os alunos a permanecerem na escola e perceberem seus benefícios de longo prazo. Essas ações deverão ser integradas ao planejamento e gestão da escola, em sintonia com a metodologia adotada pela SEE.
Em cada eixo de intervenção, devem-se considerar os requisitos mínimos para a ação, a serem realizados em todas as escolas do grupo de tratamento. O item a seguir detalha essa metodologia.
6. ESPECIFICAÇÕES TÉCNICAS DOS SERVIÇOS
A Contratada deverá elaborar um programa de ação abrangendo dois eixos:
● Eixo Família, focando no engajamento das famílias no cotidiano escolar, e
● Xxxx Xxxxx, focando na realização de atividades de suporte aos alunos. Adicionalmente, esses dois eixos de intervenções deverão ser plenamente integrados ao planejamento pedagógico e à gestão da escola, em sintonia com as diretrizes adotadas pela SEE e ao projeto Método de Melhoria de Resultados (MMR), programa de gestão da aprendizagem cujo objetivo é a melhoria da aprendizagem através da metodologia do PDCA para organização do planejamento estratégico nas escolas da rede estadual.
As atividades são listadas abaixo e sua realização ao longo do tempo é apresentada no Quadro 1.
Ações com foco em famílias
As ações no Eixo Família têm como principal objetivo engajar e envolver a família no cotidiano escolar dos filhos. Para tal, devem ser realizadas duas ações centrais: 1) criação de uma equipe responsável para se relacionar com a família; 2) utilização de canais de comunicação entre escola e família.
6.1. Requisitos obrigatórios para as ações com foco em famílias
As seguintes atividades são requisitos obrigatórios a serem realizados:
6.1.1. Fornecer e implantar um canal direto de comunicação com as famílias. A comunicação deve focar nos seguintes aspectos:
6.1.1.1. Orientações para o engajamento dos pais na vida escolar do aluno (por exemplo, dicas para estabelecer uma rotina de estudo com os filhos).
6.1.1.2. Informações sobre atividades realizadas na escola, tais como reuniões de pais, atividades extracurriculares, feiras de ciências e demais atividades.
6.1.1.3. Informações de acompanhamento dos resultados escolares dos filhos (por exemplo, seu desempenho em provas e trabalhos).
6.1.1.4. As ações de comunicação com as famílias não devem colocar ênfase excessiva no controle dos alunos (por exemplo, apenas focalizar alunos com problemas de frequência ou baixo rendimento), mas sim prover informações e orientação para a comunidade de pais e alunos de forma mais ampla.
6.1.2. Definir equipes de profissionais especializados para tratar de assuntos relacionados às famílias nas escolas:
6.1.2.1. As equipes deverão conter profissionais especializados em pedagogia e gestão escolar.
6.1.2.2. As equipes responsáveis deverão receber formações e treinamentos para responder às necessidades das famílias, da equipe e do contexto escolar.
Essas atividades poderão incluir, entre outros temas: boas práticas para o atendimento individual dos pais; estratégias de acolhimento dos alunos e pais nos horários de entrada e saída da escola; formação sobre temas transversais para enfrentar os problemas da juventude (por exemplo, drogas e sexualidade); mecanismos de monitoramento de frequência e desempenho dos alunos; a importância da família no processo educativo.
6.1.2.3. As equipes deverão construir uma agenda positiva de engajamento com os pais, que englobe ações como: reuniões periódicas para participação dos pais no cotidiano escolar e valorização da sua atuação, envolvimento da família e comunidade na construção do Projeto Político Pedagógico da escola; envolvimento dos pais em conselhos escolares e associações de pais e mestres.
6.1.2.4. As ações conduzidas pelas equipes devem ter caráter formativo para a família, provendo informações e orientação sobre mecanismos de acompanhamento da vida escolar dos filhos em casa – como, por exemplo, formas de acompanhar a rotina de estudo e propiciar um espaço de estudo dentro de casa.
6.1.2.5. As equipes deverão elaborar um cronograma de ações a serem realizadas ao longo do ano letivo em conjunto com a equipe escolar para tratar de assuntos relacionados ao desempenho dos alunos, ações conjuntas para melhorar o processo de aprendizagem e o envolvimento dos alunos e das famílias nas atividades da escola, e demais temas que surgirem de acordo com o contexto escolar.
6.1.2.6. As equipes deverão estabelecer um plano para disseminação das informações de ações realizadas na escola e comunicação com as famílias.
6.1.2.7. As equipes deverão trabalhar com a direção da escola para garantir que o programa seja totalmente aceito, adotado e incorporado pela escola.
Em casos cuja escola já tenha programas no eixo das famílias (como o Programa Escola da Família e o Sistema de Proteção Escolar), as ações previstas devem ser estabelecidas de forma a complementar e aumentar a eficácia dessas iniciativas. Adicionalmente, nas escolas em que existe o chamado Professor Mediador, será preciso integrá-lo à equipe da escola que irá tratar com a família, como uma das figuras chaves para esse contato.
Ações com foco em alunos
As ações realizadas nesse eixo têm como objetivo engajar e motivar os alunos a permanecerem nas escolas e entenderem a importância do aprendizado. Para tal, propõe-se o desenvolvimento de dois principais aspectos: 1) construção de um projeto de vida e preparação para a carreira; 2) suporte à escola para identificação de alunos com defasagem no aprendizado.
6.2. Requisitos obrigatórios para ações com foco em alunos
As seguintes atividades são requisitos obrigatórios a serem realizados:
6.2.1. A equipe deverá realizar ações de apoio aos alunos para a construção de um projeto de vida e carreira, de forma a motivá-los para sua permanência e engajamento na escola. Deve-se desenvolver ferramentas de estímulo à construção do projeto de vida do aluno de forma complementar a atividades pedagógicas e extracurriculares.
6.2.2. A equipe deverá realizar a mediação pedagógica entre as atividades realizadas e os conhecimentos aprendidos na sala de aula.
6.2.2.1. Se identificados alunos que precisam de apoio curricular específico devido a problemas de rendimento em determinadas matérias, a equipe
deverá informar a direção da escola para que sejam estabelecidas ações de reforço de conteúdo ou de apoio ao processo de aprendizagem e também direcionar esses alunos para os profissionais da escola que melhor poderão oferecer suporte a eles.
6.2.2.2. Mecanismos para acompanhar e apoiar os alunos devem ser definidos e implementados para a escola como um todo, evitando que os alunos com menor rendimento ou com maior chance de repetência e evasão sejam estigmatizados. Esses alunos devem ser acolhidos e estimulados a se desenvolver, da mesma forma que outros alunos já engajados nas atividades da escola.
6.2.3. A equipe deverá promover e apoiar atividades desenvolvimento do protagonismo juvenil, que poderá ser feito por meio das seguintes atividades:
6.2.3.1. Organizar oficinas, realizar atividades que permitam aos jovens o desenvolvimento de competências e habilidades tais como: autoconfiança; responsabilidade; autonomia; cooperação; curiosidade; resiliência.
6.2.3.2. Trabalhar com temas que afetam diretamente a realidade dos jovens, tais como: sexualidade; riscos do uso de drogas; política; cultura.
6.2.3.3. Possibilitar o envolvimento dos jovens em atividades que se proponham a solução de problemas reais, a partir, por exemplo, do engajamento em grêmios escolares, da escolha de representantes de salas.
6.2.4. Em casos cuja escola já tenha programas no eixo individual do aluno, as ações previstas devem ser estabelecidas de forma a complementar e aumentar a eficácia dessas iniciativas.
As atividades nesse eixo não devem competir com as atividades curriculares.
Interligação com o planejamento escolar
As ações nos eixos de família e aluno serão interligadas ao planejamento escolar de forma a garantir sinergia com as atividades gerais da escola, potencializando, dessa forma, as iniciativas já realizadas pela direção e professores, com ou sem apoio de entidades privadas.
6.3. Requisitos obrigatórios para a ação de interligação com o planejamento escolar
Para garantir que as ações nos eixos de família e aluno sejam efetivamente interligadas ao planejamento escolar, a Contratada deverá, obrigatoriamente, observar o seguinte:
6.3.1. Todas as escolas deverão receber a ação de uma equipe do provedor de serviço responsável por gerenciar e coordenar as atividades e alocar profissionais para contatos com famílias e alunos, incluindo ações de apoio individual aos alunos. O tamanho das equipes deve ser estabelecido de acordo com a distribuição geográfica e o número de alunos das escolas recebendo a intervenção e a capacidade técnica dos profissionais em atender o público-alvo definido.
6.3.2. Durante o período de planejamento escolar, logo antes do ingresso do primeiro grupo de alunos que serão observados no programa, a equipe deverá auxiliar a gestão da escola a incluir no seu Projeto Político Pedagógico as atividades previstas nos eixos família e aluno. Essas ações devem ser interligadas a outras atividades complementares já realizadas nas escolas – como por exemplo, o programa Escola da Família, as reuniões periódicas de pais, feira de ciências e feira das profissões.
6.3.3. A equipe deverá auxiliar a direção da escola nas atividades de coordenação e integração das ações a serem realizadas no CIS seguindo a metodologia descrita pelo Programa Método de Melhoria de Resultado (MMR) ou similar existente na escola:
6.3.3.1. As ações propostas pelo CIS não devem substituir o que já está sendo realizado pelo programa MMR. Deve-se seguir a metodologia de
planejamento adotada pela SEE e os processos já estabelecidos pela metodologia.
6.3.3.2. As intervenções propostas e executadas devem atuar no fortalecimento do uso da metodologia MMR nas escolas e seu acoplamento às intervenções previstas nos eixos família e aluno.
6.3.4. Em linha com os processos previstos pelo MMR, a equipe deverá realizar o monitoramento e acompanhamento das atividades previstas no CIS ao longo do ano letivo das ações implementadas.
6.3.5. A equipe deverá elaborar ações contínuas de comunicação e criação de vínculo entre provedores de serviço e membros das escolas e da SEE. Exemplos de algumas possíveis atividades incluem:
6.3.5.1. Realizar entrevistas/conversas com diretores e professores para identificação de problemas locais a cada escola.
6.3.5.2. Estruturar, junto à SEE, workshops com as diretorias e escolas para mostrar a importância das intervenções em nível de família e aluno e seu acoplamento ao processo de planejamento e gestão escolar.
6.3.6. As ações propostas pelo CIS devem partir de um diálogo conjunto com a direção de forma complementar às ações previstas no Projeto Político Pedagógico.
7. CRONOGRAMA DO PROJETO
7.1. O cronograma do projeto, conforme detalhado abaixo no Quadro 1, foi definido em três partes principais, que serão desenvolvidas para cada um dos 4 primeiros anos: (i) planejamento das ações; (ii) implementação das ações; e (iii) monitoramento e avaliação das ações.
7.1.1.A fase de planejamento consiste no contato com as escolas e seus profissionais, levantamentos de dados para a compreensão das necessidades de cada uma das escolas que compõem o Grupo de Tratamento, coordenação das ações a serem implementadas com as ações já existentes nas escolas e revisão das ações de acordo com os resultados do ano anterior.
7.1.2.A fase de implementação consiste no treinamento das equipes envolvidas e na execução das ações alinhadas com as escolas.
7.1.3.A fase de monitoramento e, posteriormente, de avaliação consiste no acompanhamento contínuo das atividades realizadas e da mensuração de sua eficácia.
7.2. Encerrado o ciclo letivo ao término do ano 4, o período de vigência contratual restante servirá para a conclusão das atividades do avaliador independente, com a consequente elaboração de Relatório Final, que será utilizado para balizar o pagamento da remuneração final do projeto.
Quadro 1. Síntese das principais atividades a serem realizadas e seu período de execução
PRÉ- OPERACIONAL - AÇÕES DE PLANEJAMENTO (MARÇO - JULHO): | |||
Ano 1 | Entregar, para a SEE, proposta de atividades e o cronograma de trabalho para as 61 escolas, que deverá ser aprovado pela SEE | ||
Realizar reunião de apresentação das atividades e do cronograma de trabalho para as 61 escolas | |||
AÇÕES DE IMPLEMENTAÇÃO - PERÍODO PRE-OPERACIONAL (AGOSTO - NOVEMBRO): | |||
Estabelecer uma equipe especializada para tratar dos assuntos relacionados às famílias e aos alunos, integrando ao Projeto Político Pedagógico (PPP) | |||
Realizar atividades de treinamento e formação das equipes que irão trabalhar com a população-alvo | |||
Realizar ações de comunicação e criação de vínculo entre provedores de serviços, membros de todas escolas e da SEE | |||
Fornecer e implantar canais/componentes diretos de comunicação com as famílias | |||
Definir plano de integração das Ações do CIS com o programa MMR. | |||
AÇÕES DE MONITORAMENTO - PERÍODO PRE-OPERACIONAL (AGOSTO - DEZEMBRO): | |||
Monitoramento e avaliação contínuo das atividades, métricas operacionais e resultados intermediários para informar a implementação do programa no ano seguinte | |||
Entre novembro e dezembro elaborar relatório a ser entregue para a SEE com sugestões de implementação para o ano seguinte |
AÇÕES DE PLANEJAMENTO (FEVEREIRO - MARÇO): | |||
Ano 2 | Planejar e obter aprovação da SEE sobre as atividades e o o cronograma de trabalho a ser utilizado | ||
Realizar ações de comunicação e criação de vínculo entre provedores de serviço, membros das escolas e da SEE | |||
Incluir as atividades previstas nos eixos da família e aluno no Projeto Político Pedagógico | |||
Integrar as ações do CIS com o MMR | |||
AÇÕES DE IMPLEMENTAÇÃO (MARÇO - NOVEMBRO): | |||
Estabelecer uma equipe especializada para tratar dos assuntos relacionados às famílias e aos alunos | |||
Realizar atividades de treinamento e formação das equipes | |||
Estabelecer reuniões períódicas da equipe e acompanhar o desempenho dos alunos e o envolvimento da família nas atividades escolares | |||
Fornecer e implantar canais/componentes diretos de comunicação com as famílias | |||
Criação de uma agenda positiva com os pais, com reuniões periódicas para participação dos pais no cotidiano escolar | |||
AÇÕES DE MONITORAMENTO (MARÇO - DEZEMBRO): | |||
Monitoramento e avaliação contínuo das atividades, métricas operacionais e resultados intermediários para informar a implementação do programa no ano seguinte | |||
Entre novembro e dezembro elaborar relatório a ser entregue para a SEE com sugestões de implementação para o ano seguinte |
AÇÕES DE PLANEJAMENTO (FEVEREIRO - MARÇO): | |||
Ano 3 | Rever as atividades e resultados obtidos no ano anterior com o CIS | ||
Realizar novo planejamento para a coorte, à luz dos resultados obtidos | |||
Revisar e aprimorar continuadamente o PPP à luz das atividades previstas no CIS | |||
AÇÕES DE IMPLEMENTAÇÃO ( MARÇO - NOVEMBRO): | |||
Realizar novas atividades de treinamento e formação das equipes, à luz dos aprendizados do CIS no ano anterior | |||
Realizar reuniões periódicas da equipe e acompanhar o desempenho dos alunos e o envolvimento da família nas atividades escolares | |||
Dar continuidade à comunicação da escolas com a família | |||
Dar continuidades às ações do estabelecimento da agenda positiva com os pais | |||
Dar prosseguimento às ações para a construção de um projeto de vida e protagonismo juvenil | |||
AÇÕES DE MONITORAMENTO (MARÇO - DEZEMBRO): | |||
Monitoramento e avaliação contínuo das atividades, métricas operacionais e resultados intermediários para informar a implementação do programa no ano seguinte | |||
Entre novembro e dezembro elaborar relatório a ser entregue para a SEE com sugestões de implementação para o ano seguinte |
AÇÕES DE PLANEJAMENTO (FEVEREIRO - MARÇO): | |||
Ano 4 | Rever as atividades e resultados obtidos no ano anterior com o CIS | ||
Realizar novo planejamento para a coorte, à luz dos resultados obtidos | |||
Revisar e aprimorar continuadamente o PPP à luz das atividades previstas no CIS | |||
AÇÕES DE IMPLEMENTAÇÃO ( MARÇO - NOVEMBRO): | |||
Realizar novas atividades de treinamento e formação das equipes, à luz dos aprendizados do CIS no ano anterior | |||
Realizar reuniões periódicas da equipe e acompanhar o desempenho dos alunos e o envolvimento da família nas atividades escolares | |||
Dar continuidade à comunicação da escolas com a família | |||
Dar continuidades às ações do estabelecimento da agenda positiva com os pais | |||
Dar prosseguimento às ações para a construção de um projeto de vida e protagonismo juvenil | |||
AÇÕES DE MONITORAMENTO (MARÇO - DEZEMBRO): | |||
Monitoramento e avaliação contínuo das atividades, métricas operacionais e resultados finais para a elaboração de Relatório Final sobre o projeto | |||
Entre novembro e dezembro elaborar Relatório Final a ser entregue para a SEE com sugestões de implementação e possível expansão do projeto | |||
Ao final do período letivo o avaliador independente deverá realizar a avalição de impacto |
8. ORÇAMENTO DO PROJETO
A construção da estrutura de custos necessária se baseia na criação de dois grupos de ações, aquelas com (i) foco em famílias, e aquelas com (ii) foco em alunos; ambos os grupos de ações devendo estar em sintonia com o planejamento pedagógico e de gestão escolar. Além disso, a estrutura de custos considerou um gerenciador central para coordenar o programa como um todo.
Para a construção do orçamento do projeto foram consideradas as seguintes premissas:
a. No tocante ao fluxo de desembolsos, ainda que os custos estejam fortemente concentrados nos anos de realização de intervenções sobre a coorte (isto é, anos 2, 3 e 4), foram estimados, para o ano 1, os custos com as ações de mobilização (“período pré-operacional”) para o projeto, já descritas no Quadro 1, que envolvem toda a estrutura de pessoal do projeto, com exceção dos Supervisores Pedagógicos e Educadores.
b. Encargos trabalhistas foram considerados na faixa de 70% sobre os valores salariais3.
c. Custos de Recrutamento e Seleção foram considerados somente sobre o item Intervenção Famílias + Alunos, justamente por concentrarem a grande massa de profissionais alocados no projeto. Foi considerado, no ano 1, um percentual de 2% sobre o Custo de Pessoal do ano 2, bem como um percentual de 0,33% sobre o Custo de Pessoal dos anos 2 a 4, nos próprios anos.
d. A categoria de Outros Custos englobam materiais ou serviços necessários à operacionalização do projeto, que incluem: custos de envio de mensagens SMS; custos de elaboração, diagramação, revisão ortográfica e impressão de material gráfico; custos de treinamento; custos de postagem; de deslocamento; custos de estrutura de tecnologia de informação, cobrindo aquisição de equipamentos e softwares; custos de telefonia fixa, móvel e internet; espaço físico, incluindo aluguel, condomínio, limpeza, energia elétrica e manutenção; e custos diversos, que incluem material de consumo e escritório.
A estrutura organizacional sugerida para a execução das intervenções pode ser vista na Figura
1. Essa estrutura é sugestiva, pensada para fins de orçamentação, à luz dos tipos de ações esperadas no projeto, podendo ser propostas estruturas alternativas pela Contratada, desde que aceita pela SEE. Em qualquer caso, a Contratada não será remunerada pela sua estrutura, mas pelo atingimento de metas que tragam economia para a Secretaria da Educação.
3 Foram considerados: Férias + 1/3 de Férias (11,11%), 13º Salário (8,33%), FGTS (8%), PIS (1%), INSS (25,5%), reincidência de [FGTS + PIS + INSS] sobre [Férias + 1/3 de Férias + 13º Salário], Vale-transporte e contribuição ao sistema S.
Figura 1. Estrutura organizacional de referência para execução das intervenções4
O subgrupo indicado por Coordenação do Projeto (Diretor do Projeto + Analista de Xxxxxx + Assistente) representa o provedor master propriamente dito (Contratada), que executará o gerenciamento das ações. Esta atividade não é passível de subcontratação. As demais atividades nas escolas poderão ser subcontratadas de outros provedores. Esta coordenação engloba as especificações mostradas acima no item 6 deste Termo de Referência.
Já o subgrupo Intervenção Famílias 1 (Componente de Comunicação com as Famílias) representa um serviço especializado para possibilitar a comunicação com as famílias, podendo ou não, ser de cunho tecnológico, englobando parte das especificações mostradas no item 6.1 deste Termo de Referência
Por fim, o subgrupo indicado como Intervenção Famílias 2 + Alunos (demais grupos do organograma) será responsável pelas intervenções descritas acima no item 6.1, bem como aquelas descritas no item 6.2.
A partir da estrutura mostrada anteriormente, foi possível orçar a estrutura geral de custos para a execução do projeto, a qual pode ser vista na Tabela 1 abaixo:
4 A componente de Intervenção Tecnológica aqui mostrada teve por objetivo o processo de orçamentação, por tender a ser mais econômica. Entretanto, vale lembrar que o item 6.1.1 deste Termo de Referência apresenta redação menos restritiva: “Xxxxxxxx e implantar um canal direto de comunicação com as famílias.".
Tabela 1. Orçamento Geral do Projeto
Os custos foram levantados e calculados na data-base de setembro de 2017. Assim, o valor do custo total demonstrado na Tabela 1 (R$ 17.774.400,00) será o valor de referência para o preço global do projeto. No Adendo B a este Termo de Referência, encontra-se uma descrição detalhada do orçamento aqui apresentado (Tabelas X0, X0, X0, X0, X0, X0 e B7).
9. CRITÉRIOS DE DESEMPENHO E ACEITAÇÃO DO SERVIÇO
O Adendo A apresenta um plano detalhado de definição de indicadores e medição de impacto, com fórmulas e exemplos de cálculo. Em linhas gerais, são estabelecidos indicadores intermediários e finais ligados ao objetivo do CIS de fazer com que os alunos do ensino médio completem adequadamente seu ciclo de aprendizagem, conforme detalhado a seguir. Logo, o controle do desempenho dos serviços prestados será feito por meio dos resultados almejados pelo projeto, dadas as necessidades da população-alvo. Esses indicadores são também definidos de forma objetiva como forma de estabelecer metas para o pagamento dos provedores de serviço de acordo com os resultados obtidos.
9.1. Indicadores de desempenho
As métricas e metas a serem acompanhadas pelo CIS se dividem em dois grupos:
9.1.1. indicadores relativos ao fluxo escolar (aprovação, reprovação, evasão e conclusão do ensino médio) e
9.1.2. indicadores relativos ao aprendizado do aluno ao longo do ensino médio.
Os indicadores de desempenho se dividem em indicadores finais e indicadores intermediários, os quais são pautados em análises estatísticas, conforme detalhamento no Adendo A deste Termo de Referência, a partir de dados da SEE. Os indicadores finais serão utilizados para balizar os pagamentos referentes à conclusão do ensino médio de alunos da coorte acompanhado pelo CIS ao final de três anos. Os indicadores intermediários serão utilizados para balizar pagamentos referentes à evolução da coorte acompanhado pelo CIS ao longo do ensino médio. A despeito de tais métricas, o provedor de serviço poderá utilizar outros indicadores para fins gerenciais, não relacionados a pagamentos e definidas conjuntamente com o investidor, para realizar o acompanhamento das atividades da intervenção.
Os indicadores de fluxo, intermediários e finais, são complementares e refletem o andamento dos alunos acompanhados pelo CIS com relação à aprovação e conclusão do ensino médio no período esperado (três anos). Para fins de compreensão, definiu-se a combinação coorte- escola, para cada escola, como o conjunto de alunos que estava matriculado na 1ª série do ensino médio da escola em questão no primeiro ano de atuação do CIS.
Os indicadores de aprendizagem, intermediários e finais, buscam garantir a manutenção de um nível de aprendizagem mínimo aos alunos de escolas que recebem as intervenções do CIS. Para fins de remuneração da Contratada pela Secretaria Estadual da Educação, a previsão de metas de desempenho tem a função de garantir que a passagem de ano (indicador de fluxo) aconteça com efetivo aprendizado, ou seja, que a Contratada não esteja executando ações para passar os alunos que não estejam aprendendo de ano.
9.2. Metas
As Tabelas 2 e 3 apresentam as metas para os indicadores de desempenho relativos ao fluxo escolar e à aprendizagem, respectivamente, sempre comparando o desempenho no grupo de tratamento em relação ao grupo de controle.
Tabela 2. Metas para indicadores de fluxo.
Momento de análise | Descrição da meta | Uso da meta | |
Indicador intermediário | Primeiro semestre do ano 3 do CIS. | Aumento de 5% na proporção de alunos da coorte que são aprovados da 1ª para a 2ª série do EM e se rematrícula na mesma escola no ano seguinte. | Critério mínimo para pagamento intermediário 1 |
Primeiro semestre do ano 4 do CIS. | Aumento de 5% na proporção de alunos da coorte que são aprovados da 2ª para a 3ª série do EM e se rematrícula na mesma escola no ano seguinte (incluindo alunos da coorte que reprovaram na 1ª série, mas são aprovados para a 2ª série). | Critério mínimo para pagamento intermediário 2 | |
Indicador final | Primeiro semestre do ano 5 do CIS. | Aumento de 7% na proporção de alunos da coorte que conclui o ensino médio em três anos após o início do acompanhamento da coorte. | Critério mínimo para pagamento final |
Tabela 3. Metas para indicadores de aprendizagem.
Momento de análise | Descrição da meta | Uso da meta | |
Indicador intermediário | Primeiro semestre do ano 3 do CIS. | Ausência de diferença entre rendimento ajustado dos alunos da coorte de escolas de tratamento e controle na primeira AAP da 2ª série do ensino médio (prova de matemática e português). | Critério mínimo para pagamento intermediário 1 |
Primeiro semestre do ano 4 do CIS. | Idem acima, considerando primeira AAP da 3ª série do ensino médio (prova de matemática e português). | Critério mínimo para pagamento intermediário 2 | |
Indicador final | Primeiro semestre do ano 5 do CIS. | Ausência de diferença entre rendimento ajustado dos alunos da coorte de escolas de tratamento e controle no SARESP (ou outro exame padronizado negociado entre Secretaria Estadual da Educação e prestador de serviço) nas provas de matemática e português. | Critério mínimo para pagamento final |
9.3. PAGAMENTOS
Dados esses indicadores de impacto, o Adendo A descreve os pagamentos sujeitos a metas pré-estabelecidas. Se os resultados forem atingidos, a Secretaria Estadual da Educação deverá realizar os seguintes pagamentos:
9.3.1. 25% do pagamento total caso as metas de desempenho intermediário da 1ª para a 2ª, série sejam atingidas.
9.3.2. 25% do pagamento total caso as metas de desempenho intermediário da 2ª para a 3ª, série sejam atingidas
9.3.3. 50% do pagamento total caso os provedores atinjam a metas final de desempenho, após a conclusão do ensino médio;
Esses são também os valores máximos de pagamento pela Secretaria da Educação, não havendo possibilidade de negociação para atender a eventuais considerações de reequilíbrio econômico-financeiro.
Para que a Secretaria Estadual da Educação realize o pagamento do valor global do contrato, os provedores de serviço devem atingir as metas intermediárias e finais conforme propostas nas Tabelas 2 e 3. Para avaliação de todas as metas, sugere-se que sejam feitos testes de significância estatística para assegurar que os pagamentos realizados estão associados ao efetivo cumprimento das metas. Pagamentos intermediários e finais por fluxo exigem que, no mínimo, o impacto do CIS nos níveis de aprendizagem de escolas do grupo de tratamento em comparação com o grupo de controle não seja negativo e estatisticamente diferente de zero, de forma a mitigar incentivos para aprovar alunos que de outra forma repetiriam por insuficiência de desempenho em aprendizagem (detalhes dos indicadores de aprendizagem no item 2 do Adendo A deste Termo de Referência; detalhes do método de estimação do impacto do CIS no item 3 do Adendo A).
Caso o provedor atinja resultados abaixo dessas metas, serão feitos pagamentos menores de acordo com o resultado obtido, até um determinado nível mínimo de desempenho. Por exemplo, conforme exposto na Tabela 4.
Tabela 4. PLANO DE PAGAMENTO5
Importante destacar que, na ausência de instrumentos para verificação dos indicadores
METAS E PAGAMENTOS Meta
PAGAMENTOS INTERMEDIÁRIOS POR FLUXO
Aumento da taxa de aprovação
Parcela do pagamento total
Valor estimado do pagamento em R$ milhares
da 1a para a 2a série | 2,00% ou | abaixo | 0,00% | R$ 0,00 |
2,00% | até | 10,00% | R$ 1.777,44 | |
2,99% | ||||
3,00% | até | 15,00% | R$ 2.666,16 | |
3,99% | ||||
4,00% | até | 20,00% | R$ 3.554,88 | |
4,99% | ||||
5,0% ou acima Aumento da taxa de aprovação | 25,00% | R$ 4.443,60 | ||
da 2a para a 3a série 2,00% ou abaixo | 0,00% | R$ 0,00 | ||
2,00% | até | 10,00% | R$ 1.777,44 | |
2,99% | ||||
3,00% | até | 15,00% | R$ 2.666,16 | |
3,99% | ||||
4,00% | até | 20,00% | R$ 3.554,88 | |
4,99% | ||||
5,0% ou acima PAGAMENTO FINAL POR FLUXO | 25,00% | R$ 4.443,60 | ||
Aumento da taxa de aprovação final na 3a série 2,00% ou abaixo | 0,00% | R$ 0,00 | ||
2,00% | até | 5,00% | R$ 888,72 | |
2,99% | ||||
3,00% | até | 10,00% | R$ 1.777,44 | |
3,99% | ||||
4,00% | até | 20,00% | R$ 2.666,16 | |
4,99% | ||||
5,00% | até | 30,00% | R$ 3.554,88 | |
5,99% | ||||
6,00% | até | 40,00% | R$ 4.443,60 | |
6,99% |
7,00% ou acima 50,00% R$ 8.887,20
relacionados à aprendizagem (prova AAP e SARESP, por exemplo) deverão ser definidas, em conjunto pelas partes, outras avaliações que possibilitem a mensuração dos dados necessários para o pagamento.
5 Caso os provedores atinjam um impacto de 3,2% no indicador intermediário (ao invés de 5%), receberão 15% (ao invés de 25%) do custo total. Caso o impacto seja inferior a 2%, não haverá pagamento da parcela intermediária.
10. PLANO DE MONITORAMENTO
As atividades realizadas serão monitoradas visando tanto a mensuração das métricas propostas no item 9, como a aderência contratual dos serviços prestados. Após o início das intervenções, o monitoramento será realizado por avaliador independente e deverá ocorrer de maneira periódica para verificar anualmente o desempenho do projeto com relação às metas intermediárias. Dessa maneira, ocorrerão, ao menos, três verificações: a) no primeiro semestre do ano 3, relativas aos indicadores intermediários de fluxo e aprendizagem; b) no primeiro semestre do ano 4, também relativas aos indicadores intermediários de fluxo e aprendizagem; e c) no primeiro semestre do ano 5, relativo aos indicadores finais de fluxo e aprendizagem. Para detalhamento sobre o cronograma de atividades, ver Adendo A deste Termo de Referência.
O monitoramento quantitativo e análise dos indicadores de resultado (ver item 9 e Adendo A) será feito a partir das informações administrativas relativas ao rendimento e rematrícula dos alunos, constantes do sistema da SEE, e das notas em exames padronizados ou já realizados pela SEE — no caso da AAP para indicadores intermediários, ou demais exames padronizados para o desempenho ao final do ensino médio (como SARESP, também organizado pela SEE). As informações pertinentes aos indicadores de resultado, tanto de fluxo como de aprendizagem, são produzidas pela SEE, que deverá disponibilizá-las para o avaliador de impacto. Para as demais informações necessárias ao processo de monitoramento, serão utilizados dados públicos retirados diretamente de fontes do Ministério da Educação, do Instituto Nacional de Estudos e Pesquisas Educacionais Xxxxxx Xxxxxxxx e de outras fontes necessárias para atender os critérios do plano de medição disposto no Adendo A.
As avaliações periódicas, realizadas pelo avaliador independente, deverão ser disponibilizadas à Secretaria Estadual da Educação, Contratada e investidores, para a sua verificação a fim de atestar o desenvolvimento do serviço prestado ao longo do período. Após verificação da Secretaria Estadual da Educação, tais avaliações deverão ser disponibilizadas publicamente para a sociedade geral. Conforme descrito no item 9, a impossibilidade de cômputo de qualquer indicador de resultado implicará em redefinição de uma nova forma de avaliação em comum acordo entre Secretaria Estadual da Educação e prestador de serviço.
11. DO LOCAL E DA EXECUÇÃO DOS SERVIÇOS
Os serviços serão realizados nas escolas de ensino médio regular da região metropolitana de São Paulo, conforme descrito no item 4 deste Termo de Referência. Dada a necessidade de garantir confiabilidade de que o impacto aferido foi resultado das intervenções realizadas pela Contratada, foram definidas 61 escolas que receberão as atividades de intervenção (“escolas tratadas”) e 61 escolas que servirão como grupo de comparação (“escolas de controle”), escolhidas dentre o grupo de 357 escolas definidas no estudo técnico (lista abaixo). As escolas tratadas e as de controle foram definidas por meio de sorteio dentre o grupo que se voluntariou a receber as intervenções previstas no projeto. O sorteio utilizou uma metodologia de “aleatorização com escolas pareadas”. Essa metodologia se baseou em quatro passos para garantir que as escolas tratadas sejam comparáveis em características observáveis e não observáveis às escolas de controle, dando confiabilidade estatística à estimação de impacto do CIS. O primeiro passo envolveu a estimação de um modelo de previsão do principal indicador final de fluxo do CIS, a taxa de conclusão de uma coorte do ensino médio em três anos e na mesma escola de entrada no ensino médio. Utilizando informações administrativas sobre as escolas referentes aos anos anteriores à implantação do CIS, relativas a valores da taxa de conclusão, níveis de aprendizado no desempenho no SARESP e características físicas (infraestrutura, por exemplo) e socioeconômicas (número de alunos no período noturno, por exemplo), estimou-se um modelo de previsão da referida taxa de conclusão.
O segundo passo envolveu a utilização dos dados do ano de 2016 para a análise de aleatorização visando prever a taxa de conclusão em três anos do total de escolas da população-alvo para a próxima coorte de entrada no ensino médio (como exemplo, utilizou-se o número total de 122 escolas, sendo 61 escolas tratadas e 61 escolas de controle). O terceiro
passo utilizou os valores previstos de todas as escolas da população alvo, conforme o segundo passo, empregando-os para criar uma lista ordenada, de modo crescente na taxa de conclusão prevista, das escolas da população alvo. A partir dessa lista, criam-se 61 pares de escolas do seguinte modo: a primeira e segunda escola (com as menores taxas previstas) formam o primeiro par, a terceira e quarta escola formam o segundo par, e assim sucessivamente até as escolas nas posições 121 e 122 formarem o último par (de número 61). Finalmente, em cada um dos 61 pares de escolas, sorteou-se uma escola para receber a intervenção do CIS, enquanto a escola restante entra no grupo de controle. Detalhes sobre o processo de pareamento estão no item 3.1 do Adendo A deste Termo de Referência.
Lista total das escolas, das quais 61 serão escolhidas para compor Grupo de Controle e 61 o
Grupo de Tratamento encontram-se no Adendo C deste Termo de Referência.
12. DA DEFINIÇÃO E SELEÇÃO DO AVALIADOR INDEPENDENTE
O avaliador independente é uma instituição que terá como função analisar os indicadores e resultados seguindo a metodologia descrita no Adendo A, a partir de dados disponibilizados pela Secretaria Estadual da Educação. As avaliações serão anuais e deverão seguir o cronograma do Quadro A2 (cf. item 3 do Adendo A). Os relatórios do avaliador independente devem apresentar o impacto das intervenções realizadas a partir da comparação dos resultados do grupo de tratamento com o grupo de controle, além de demonstrar os efeitos heterogêneos da avaliação, conforme metodologia descrita no Adendo A. Tais relatórios deverão ser disponibilizados para a sociedade geral, ressalvadas as informações sigilosas por força de Lei. O avaliador independente não poderá apresentar nenhum viés de seleção e ter relação com nenhuma das partes envolvidas. Assim, uma organização internacional com renomada reputação irá realizar a seleção do responsável para referida avaliação independente, que deverá apresentar qualificações mínimas, quais sejam: experiência prévia com a realização de estudos de avaliação de impacto de políticas públicas, empresas ou organizações; experiência prévia na utilização de técnicas de avaliação por meio de desenhos experimentais (randomized controlled trials); domínio de métodos econométricos para realizar os testes estatísticos descritos no Adendo A.
ADENDO A AO TERMO DE REFERÊNCIA
ESTUDO TÉCNICO PARA O PLANO DE MEDIÇÃO DE IMPACTO
AVALIAÇÃO DE IMPACTO DO CONTRATO DE IMPACTO SOCIAL (CIS) NO ENSINO MÉDIO DA REDE ESTADUAL PAULISTA
1. DESENHO DA AVALIAÇÃO E DEFINIÇÃO DA COORTE DE INTERVENÇÃO
Deve-se utilizar como linha de base as características da última coorte formado na escola cujas informações estão disponíveis previamente ao início do CIS e dados das escolas no ano imediatamente anterior ao início do programa.6 A partir da definição de linha de base, haverá acompanhamento de uma coorte de alunos que entram na 1ª série do ensino médio no primeiro ano do projeto. A coorte é acompanhada periodicamente ao longo de três anos, sendo a última avaliação realizada ao longo do quinto ano do projeto CIS, totalizando três anos de projeto e um semestre a mais de avaliação. Deste modo, o projeto implicará em coleta e análise de dados por um período de três anos, desde a entrada da coorte acompanhada (ano 2), até sua saída prevista (ano 4).
Uma vez que um aluno entra em um coorte no ensino médio em uma escola específica, sua atribuição será sempre a essa combinação coorte-escola. Por exemplo, alunos entrantes na 1ª série do ensino médio regular no ano 2 e em alguma escola da população-alvo pertencem à coorte analisado, já alunos entrantes na 1ª série do ensino médio regular no ano 2 de intervenção ou alunos entrantes em alguma escola da população-alvo apenas nos anos 3 ou 4 do projeto não são contabilizados para o cálculo dos indicadores de desempenho. Este desenho implica que estudantes que entram em uma escola da população-alvo diretamente na 2ª ou 3ª série do ensino médio ou reprovados de anos anteriores ao CIS, afetados pela intervenção no nível da escola, não serão considerados na análise do CIS.7 A Figura A1 exemplifica o fluxo de projeto em uma escola (seja de controle ou tratamento) e indica uma linha do tempo do projeto.
Especificamente, conforme detalhado nos próximos itens deste Estudo, pretende-se comparar a coorte de escolas tratadas com a coorte de escolas do grupo de controle em um critério central: a proporção de alunos de cada coorte que conclui o ensino médio no período adequado (três anos) e dentro da mesma escola. Adicionalmente, para garantir que os alunos formados tenham nível de aprendizado satisfatório, será também avaliado o seu desempenho em provas padronizadas ao longo dos anos de implantação do projeto.
6 Estatísticas de auto-correlação mostraram que as variáveis selecionadas no item 2 deste Estudo são estáveis ao longo dos anos (auto-correlação superiores a 0.8).
7 No entanto, dados administrativos da SEE mostram que a proporção de alunos que entram nas escolas da população- alvo ao longo do ensino médio na 2ª e/ou 3ª séries do ensino médio é de menos de 3%, assim como a taxa de saída de alunos de uma escola da população-alvo exemplificada a outra escola fora desse grupo.
GOVERNO DO ESTADO DE SÃO PAULO SECRETARIA DE ESTADO DA EDUCAÇÃO COORDENADORIA DE GESTÃO DA EDUCAÇÃO BÁSICA
Rua Xxxx Xxxxxxx, 1546 – Perdizes – XXX 00000-000 – São Paulo – SP
Figura A1. Fluxo esperado do Contrato de Impacto Social em ensino médio no Estado de São Paulo.
2. INDICADORES DE IMPACTO
Dado o objetivo proposto, as métricas e metas a serem acompanhadas pelo CIS foram divididas em dois grupos: indicadores relativos ao fluxo escolar (aprovação, reprovação, evasão e conclusão do ensino médio) e indicadores relativos ao aprendizado do aluno ao longo do ensino médio. Ademais, devido ao tempo de implantação do projeto, foram elencados indicadores finais e intermediários, os últimos para verificação do andamento do projeto ao longo dos anos. Todas as informações concernentes às métricas propostas podem ser retiradas dos dados administrativos da Secretaria de Educação e não implicam custos adicionais de coleta. Além disso, são indicadores objetivos e externamente validáveis, logo com baixo grau de potencial manipulação por atores atuando diretamente ou que se beneficiariam de resultados obtidos no CIS.
2.1. Indicadores finais
Os indicadores finais são utilizados para balizar parcelas da remuneração aos investidores pagas ao final do ciclo de três anos para os alunos do ensino médio. Estes indicadores são computados no primeiro semestre após o ano esperado de formatura da coorte analisado (ano 5). Demais pagamentos seriam relativos ao cumprimento de metas associadas aos indicadores intermediários.
2.1.1. Fluxo escolar
Em linha com o objetivo de potencializar a probabilidade de conclusão no ensino médio em tempo adequado, definiu-se, para cada coorte em cada escola (de controle e tratamento), o seguinte indicador de fluxo escolar como a métrica principal do CIS:
● Indicador final de fluxo (𝐹𝐹𝑒): para cada grupo de alunos na 1ª série do ensino médio na escola 𝑒 no ano 𝑡 (primeiro ano do CIS), 𝐹𝐹𝑒 representa a proporção destes alunos concluem o ensino médio em tempo adequado (três anos) ao final do ano 𝑡 + 2 . Este indicador é calculado no nível da escola.8
2.1.2. Aprendizagem
Além de incorporar o fluxo escolar como critério de pagamento, o intuito do CIS requer adicionar um indicador final com relação ao aprendizado dos alunos formados. Como métrica final de aprendizagem, definiu-se um indicador alinhado com as prioridades da Secretaria de Educação, os quais podem utilizar um exame padronizado no nível estadual (SARESP)9 ou outro exame a ser definido conjuntamente entre Secretaria Estadual da Educação e o contratado.
● Indicador final de aprendizagem (𝐴𝐹𝑒 ):10 para escola 𝑒 e para a coorte com entrada no ensino médio em no ano t (primeiro ano do CIS), 𝐴𝐹𝑒 é a proporção, frente a um grupo base definido abaixo, de alunos da coorte acompanhados da escola 𝑒 que realizou o exame padronizado definido entre Secretaria Estadual da Educação e investidor como base de desempenho (por exemplo, SARESP) na 3ª série do ensino médio no ano 𝑡 + 2
8 Um aluno conclui o ensino médio regular quando ele é aprovado em todas as matérias da grade curricular da 3ª série do ensino médio e possui frequência mínima nas classes. A verificação se dá pela consulta do sistema administrativo da Secretaria de Educação do Estado de São Paulo, o qual apresenta a informação sobre a aprovação do aluno. Cabe às escolas individuais definir a aprovação, ou não, do aluno de uma série à outra.
9 O SARESP é um exame padronizado anual aplicado pela Secretaria de Educação do Estado de São Paulo desde 2007, cujo objetivo é produzir um diagnóstico da situação da escolaridade paulista. Alunos do 3º, 5º, 7º e 9º anos do Ensino Fundamental e 3ª série do Ensino Médio são avaliados em provas de Língua Portuguesa, Matemática, Ciências Humanas, Ciências da Natureza e Redação. No entanto, como apenas as provas de Língua Portuguesa e Matemática são aplicadas anualmente, sugerimos a utilização do rendimento médio das escolas nessas duas matérias. 10 Caso fatores alheios ao projeto impeçam o uso do exame do SARESP para o cálculo do indicador de aprendizagem, deve ser definido qual será o plano de contingência para uso de um novo indicador de aprendizagem.
e obteve notas equivalentes ou superiores ao que a Secretaria de Educação julga como nível de desempenho básico. Este indicador é calculado separadamente para os exames de língua portuguesa e matemática. Para adequar o cômputo deste índice a uma intervenção pautada em coortes e de modo a evitar incentivos perversos aos agentes interessados no CIS, estipulam-se os seguintes critérios para o cálculo deste indicador:
o O cálculo do indicador final de aprendizagem considerará apenas alunos que entraram na 1ª série do ensino médio junto à coorte acompanhado no primeiro ano do CIS. Isto é, alunos que entraram no ensino médio nas escolas de tratamento ou controle na 2ª ou 3ª série do ensino médio, ou que entraram nas escolas da população-alvo no quarto ou quinto ano do CIS serão desconsiderados;
o Dentro do grupo de alunos atendendo ao primeiro critério, o grupo base de alunos considerado para o cômputo do indicador final de aprendizagem ao final do ano t+2 para a escola e será dado pelo total de alunos na coorte da escola e com entrada no ensino médio no ano t.
o Para o ano de avaliação do indicador final de aprendizagem, será considerado a nota dos alunos do grupo base nos exames de língua portuguesa e matemática da 3ª série do ensino médio do SARESP. Dentre o grupo base de alunos, será atribuída nota zero (0) como desempenho em algum dos exames nos seguintes casos:
▪ Caso o aluno não possua nota válida, segundo os dados administrativos da Secretaria de Educação, para uma ou ambos os exames do SARESP considerados para este indicador (língua portuguesa ou matemática), lhe será atribuída nota zero (0) ao exame sem nota válida;
▪ Caso o aluno não tenha se matriculado em alguma série do ensino médio após o início do CIS e até o ano t+2, sua nota em ambos os exames (língua portuguesa e matemática) será considerada como zero (0);
▪ Caso o aluno da escola e tenha, após sua entrada na escola e, se matriculado e/ou cursado algum ano do ensino médio em outra escola, sua nota em ambos os exames (língua portuguesa e matemática) será considerada como zero (0).
▪ Caso o aluno da coorte acompanhado esteja fora do fluxo regular, ou seja, reprovou ao menos um dos anos e encontra-se matriculado na 1ª ou 2ª séries enquanto seus pares estão na 3ª série, sua nota será considerada como zero naquele ano.
Justifica-se este indicador e seus ajustes a seguir. Primeiro, a verificação da proporção de alunos que terminam o ensino médio com nível, no mínimo, básico em português e/ou matemática enfoca o auxílio do CIS em aumentar o padrão mínimo de alunos formado no ensino médio e se adequa à política educacional do Estado de São Paulo e da Secretaria Estadual da Educação. Segundo, atribuir nota zero e ainda considerar alunos que evadem, mudam de escola ou estão ausentes no exame do SARESP no ano em que deveriam estar realizando evita que alunos com menor desempenho esperado sejam desincentivados a realizar a prova, assim como desincentiva a “expulsão” de alunos com maiores dificuldades acadêmicas. Ademais, este ajuste compensa o ganho esperado nas escolas de controle decorrentes de somente alunos inicialmente com maior facilidade acadêmica chegarem à 3ª série do EM, enquanto na escola tratada até alunos com maiores dificuldades poderiam realizar o SARESP devido ao CIS. Para compensar estes casos, atribuiu-se zero aos alunos que não realizam o exame do SARESP por haverem reprovado.
2.1.3. Condições para pagamento final
A partir das métricas acima indicadas, a condição para o pagamento final aos investidores de impacto é indicada abaixo. O pagamento será crescente com a magnitude estimada de impacto do CIS, até um teto de pagamento máximo. Ao longo do texto, utilizou-se o termo impacto para nos referir à estimativa de impacto (medida conforme item 3, abaixo, deste Termo de Referência) e que reflete a diferença entre os resultados medidos nas escolas tratadas e de controle, para cada indicador examinado.
O pagamento final será crescente com a magnitude estimada de impacto, até um teto máximo de pagamento. A existência de um pagamento mínimo será condicionado a três regras que devem ser mutualmente atendidas: (1) o impacto estimado do CIS sobre o indicador final de fluxo na coorte de alunos nas escolas tratadas, 𝐹𝐹𝑒, deve ser de, no
mínimo, 𝑥𝑚𝑖𝑛 pontos percentuais (por exemplo, 𝑥𝑓 = 7% indica que a taxa de conclusão
𝑓
nas escolas tratadas é 7 pontos percentuais acima das escolas de controle); (2) o
impacto, como diferença entre tratados e controle, deve ser estatisticamente diferente de zero a um nível de significância de 5% (conforme item 3 abaixo); e (3) será preciso que o impacto estimado do CIS sobre o indicador final de aprendizagem, 𝐴𝐹𝑒, na coorte de alunos nas escolas tratadas seja, ou estatisticamente igual a zero, ou
estatisticamente maior que zero (ambos a um nível de significância de 5%).
Os três critérios acima são necessários e suficientes para existência de um pagamento final mínimo.
A condição de aprendizagem no pagamento final mínimo reduz incentivos em aprovar alunos com menor rendimento somente para atingir a meta de fluxo (conclusão).
2.2. Indicadores intermediários
De modo a acompanhar a evolução do projeto e potencialmente aumentar a atratividade do CIS aos investidores sociais, definiram-se indicadores de resultados intermediários ao fluxo escolar e à aprendizagem. No entanto, o pagamento intermediário se refere a avanços apenas no indicador de fluxo, sendo o indicador de aprendizagem um balizador para evitar a precarização sistemática da qualidade do ensino nas escolas tratadas.
2.2.1. Fluxo escolar
Como métrica intermediária para o fluxo escolar, definiu-se:
● Indicador intermediário de fluxo (𝐹𝐼𝑒): Proporção de alunos da coorte acompanhada que são aprovados para a próxima série do ensino médio e se rematriculam nesta
mesma escola no ano seguinte. A análise é feita separadamente para a passagem entre o primeiro e segundo ano do CIS e passagem entre o segundo e terceiro ano do CIS. Para o cômputo do índice, consideram-se todos os alunos da coorte, independente da série em que se encontram ou se já evadiram/mudaram de escola.
O Quadro A1 fornece um exemplo da diferença de cálculo entre indicadores intermediário e final de fluxo para a coorte de uma escola ao longo dos anos de intervenção.
GOVERNO DO ESTADO DE SÃO PAULO SECRETARIA DE ESTADO DA EDUCAÇÃO COORDENADORIA DE GESTÃO DA EDUCAÇÃO BÁSICA
Rua Xxxx Xxxxxxx, 1546 – Perdizes – XXX 00000-000 – São Paulo – SP
Quadro A1. Exemplo de cálculo de indicadores de fluxo para uma escola hipotética para a coorte.
Ano 2 | Ano 3 | Ano 4 | Ano 5 | ||
Mapeamento dos alunos | 1ª série EM | 100 | 15 | 5 | - |
2ª série EM | - | 80 | 5 AP na 1EM + 5 RE na 2EM = 10 | 2 AP na 1EM + 3 RE na 2EM = 5 | |
3ª série EM | - | - | 75 | 4 AP na 2EM + 2 RE na 3EM = 6 | |
Evasão ou Mudança de escola | - | 5 | 5 | 9 | |
Conclusão | - | - | - | 70 | |
Indicadores de fluxo | 𝐹𝐼𝑒,𝑐,1 | - | 80/100=0,8 | (75+5)/100 = 0,0 | - |
XXx,x,0 | - | - | - | 00/000 = 0,7 |
GOVERNO DO ESTADO DE SÃO PAULO
SECRETARIA DE ESTADO DA EDUCAÇÃO
COORDENADORIA DE GESTÃO DA EDUCAÇÃO BÁSICA
Rua Xxxx Xxxxxxx, 1546 – Perdizes – XXX 00000-000 – São Paulo – SP
O Quadro A1 ilustra um caso em que em uma escola, 100 alunos entraram na 1ª série do ensino médio no ano 2, ou seja, a coorte acompanhado. No ano 3, 80 destes alunos foram para a 2ª série do ensino médio nesta mesma escola, 15 foram reprovados e permaneceram nesta escola e 5 evadiram ou mudaram de escola. Neste caso, o indicador intermediário de fluxo do ano 2 ao ano 3 será de 80/100 = 0,8. No início do ano 4, verificou-se que 75 alunos da coorte 1 se matricularam na 3ª série do ensino médio nesta escola, 10 na 2ª série do ensino médio e mais 5 evadiram ou mudaram de escola. No entanto, dos 10 matriculados na 2ª série, 5 vieram aprovados da 1ª série do ensino médio e 5 foram reprovados na 2ª série no ano anterior e se rematricularam. Neste caso, o indicador intermediário da coorte acompanhado no ano início do ano 4 levaria em consideração todos os alunos aprovados da coorte 1 e que se rematricularam na mesma escola no ano seguinte, ou seja, (75+5/100) = 0,8. Finalmente, no começo do ano 5, verificou-se que 70 alunos da coorte 1 concluíram a 3ª série do ensino médio, gerando um indicador final de fluxo para a coorte acompanhado para esta escola de 70/100 = 0,7.
2.2.2. Aprendizagem
Como indicador intermediário de aprendizagem, definiu-se:
● Indicador intermediário de aprendizagem (𝐴𝐼𝑒): Nota média anual por escola no exame AAP (Avaliação de Aprendizagem em Processo) aplicada no primeiro semestre
do ano seguinte ao término de cada série para as matérias de português e matemática. A medição é feita separadamente para exames de português e matemática e considera apenas alunos da coorte acompanhado. A coorte será avaliado duas vezes de acordo com o indicador intermediário de aprendizagem: no primeiro semestre do segundo ano do ensino médio e no primeiro semestre do terceiro ano do ensino médio. Tais provas são aplicadas em fevereiro, no início do ano letivo. Assim como no cálculo de 𝐴𝐹𝑒, atribui-
se nota zero caso haja ausência no dia da prova implica atribuição de nota zero ao aluno
ausente.
A Avaliação de Aprendizagem em Processo (AAP) é um exame de abrangência estadual aplicado desde 2011 pela Secretaria de Educação. Inicialmente, este exame era aplicado aos alunos da rede estadual do 6º ano do Ensino Fundamental a 1ª série do Ensino Médio, contudo, desde 2013 ele é aplicado a todas as séries do Ensino Médio. As provas da AAP abrangem conteúdo das matrizes curriculares de língua portuguesa e matemática, além de redação. O objetivo desta avaliação é subsidiar um acompanhamento individualizado dos alunos da rede pública ao longo do processo de ensino, de modo que o exame é aplicado duas vezes ao longo do ano letivo, em fevereiro (1º semestre) e agosto (2º semestre). Efetivamente, a AAP é uma prova de conhecimento acumulado, na qual se espera do aluno, além dos conhecimentos novos apreendidos na sua respectiva série, mas sim a base de conhecimento das séries passadas. Em particular, propomos utilizar os resultados dos exames aplicados no primeiro semestre do ano letivo para avaliar o rendimento dos alunos ao longo do ano anterior.
2.2.3. Condições para pagamento intermediário
A partir das métricas acima, as condições para o pagamento intermediário aos investidores de impacto é, para os anos 3, 4 e 5 do projeto:
O pagamento intermediário será condicionado ao atendimento mútuo de três critérios: (1) o impacto do CIS no indicador intermediário de fluxo (𝐹𝐼𝑒) (potencialmente ponderada pelo tamanho da escola, conforme método delineado no item 3 abaixo) deve ser maior ou igual a uma meta 𝑥𝐼,𝑠, onde s representa a série analisada (1ª ou 2ª série do ensino médio); (2) o impacto sobre o fluxo (𝐹𝐼𝑒) deve ser ou estatisticamente igual à zero ou estatisticamente maior que zero a um nível de significância de 5%; e (3) será preciso que o impacto estimado do CIS no indicador intermediário de aprendizagem (𝐴𝐼𝑒) seja ou estatisticamente igual a zero ou estatisticamente maior que que zero a um nível de significância estatística de 5%.
GOVERNO DO ESTADO DE SÃO PAULO SECRETARIA DE ESTADO DA EDUCAÇÃO COORDENADORIA DE GESTÃO DA EDUCAÇÃO BÁSICA
Rua Xxxx Xxxxxxx, 1546 – Perdizes – XXX 00000-000 – São Paulo – SP
3. IDENTIFICAÇÃO DE IMPACTO: ATIVIDADES E ESTRATÉGIA
Para facilitar a exposição da estratégia de mensuração e identificação de impacto, o Quadro A2 expõe um cronograma proposto das atividades do avaliador independente e identifica os itens descrevendo tais atividades. Nesse sentido, saliente-se que os itens deste Estudo não indicados no Quadro (itens 1, 3.1, 3.2, 3.3.1 e 3.4) servem especialmente para demonstrar como o modelo estatístico de avaliação de impacto foi construído. Referem-se a atividades que deverão ser concluídas antes do início da execução do CIS (ex: coleta de dados das variáveis de linha de base; realização do pareamento; aleatorização e definição de grupos de tratamento e controle; verificação de balanceamento entre grupos de tratamento e controle). Portanto, a execução de tais atividades, não indicadas no Quadro A2, não é de responsabilidade do avaliador independente.
Quadro A2. Cronograma da avaliação de impacto.
Ano 1 | Ano 2 | Ano 3 | Ano 4 | Ano 5 | |||||||||||||
Trim. | Trim. | Trim. | Trim. | Trim. | |||||||||||||
Item do documento | Atividade | 3 | 4 | 1 | 2 | 3 | 4 | 1 | 2 | 3 | 4 | 1 | 2 | 3 | 4 | 1 | 2 |
- | Coleta de dados sobre os alunos da coorte | ||||||||||||||||
Item 3.3.2 | Definição dos pesos de cada par | ||||||||||||||||
Itens 2.2 e 3.3.2 | Mensuração do impacto sobre o indicador intermediário de fluxo | ||||||||||||||||
Itens 2.2 e 3.3.2 | Mensuração do impacto sobre o indicador intermediário de aprendizagem | ||||||||||||||||
Itens 2.1 e 3.3.2 | Mensuração do impacto sobre o indicador final de fluxo | ||||||||||||||||
Itens 2.1 e 3.3.2 | Mensuração do impacto sobre o indicador final de aprendizagem (ano 3) |
3.1. Aleatorização controlando por heterogeneidade de escola: método do pareamento
Como método para controle das potenciais diferenças entre escolas tratadas e de controle e aumento do poder estatístico, deve-se utilizar a aleatorização por pareamento de escolas. Este processo consiste em, inicialmente, aplicar algum método para conectar duas escolas que sejam similares em suas características observáveis. Após, em cada par de escolas uma escola das escolas é sorteada para receber a intervenção (escola tratada) e a outra não receberia a intervenção e seria utilizada como base de comparação da ausência de programa (escola controle).
A aleatorização de escolas que recebem ou não recebem a intervenção (escolas tratadas e de controle, respectivamente) é realizada para diminuir diferenças sistemáticas entre escolas tratadas e escolas controle, as últimas sendo um ponto de referência para aferimento do impacto da intervenção. Esse método de seleção aleatorizada de escolas permite “filtrar” o efeito de outros fatores que podem levar a mudanças nos indicadores de interesse do CIS e que não estejam relacionados ao fato da escola receber a intervenção. Adicionalmente, o pareamento tem o intuito de diminuir a probabilidade de que uma atribuição aleatória de escolas a grupos de tratamento ou controle gerem grupos desbalanceados em características observáveis que possam afetar os indicadores de resultado.
No momento da aleatorização, deve-se realizar procedimento a partir das informações da coorte com formatura prevista no ano imediatamente anterior ao CIS e informações da escola em anos anteriores.
Neste documento, definiu-se um método e testou-se o método com os resultados com um pareamento a partir da predição de 𝐹𝐹𝑒 para a coorte de alunos com entrada no ano de 2013, alcançando resultados com erro de predição similar ou menor que os outros métodos testados.
O método de pareamento proposto segue os seguintes passos:
Passo 1: Estimar um modelo de previsão da taxa de conclusão para uma coorte da população-alvo.
Se o CIS tem início esperado no ano t, com entrada da coorte c, estima-se um modelo de previsão de 𝐹𝐹𝑒. Esta previsão deve se basear em um modelo com informações de coortes com formatura prevista prévia ao CIS, de modo que a variável a ser explicada
pelo modelo é a taxa de conclusão de cada escola para a coorte com entrada no ano t- 3 e com formatura prevista no ensino médio em t-1. Este modelo é estimado por meio do método de mínimos quadrados ordinários, no qual a variável explicada é 𝐹𝐹𝑒.
Como existe uma diferença de três anos entre o início do projeto e a observação da taxa de conclusão da primeira coorte do CIS, as variáveis explicativas do modelo devem ser defasadas em, no mínimo, três anos ou mais. Selecionam-se variáveis explicativas de três grupos: (1) correspondentes ao fluxo de alunos de cada escola; (2) correspondentes ao aprendizado dos alunos de cada escola; e (3) demais características da escola. No grupo 1, utiliza-se a última taxa de conclusão observada antes da coorte analisado
𝑒
entrar no ensino médio, referente à coorte com entrada em t-6 e formatura prevista para t-4, isto é, 𝐹𝐹∗. No grupo 2, todas as variáveis se referem a ao período t-4, sendo elas: as notas médias nos exames de língua portuguesa e matemática no SARESP de cada
escola para o período t-4, os desvios-padrão dessas notas e as proporções de alunos com notas abaixo do básico em língua portuguesa e em matemática. No grupo 3, há diversas variáveis das escolas da população-alvo, como número de matrículas no ensino médio e proporção de alunos em turmas noturnas. Uma lista completa das variáveis a serem utilizadas no processo de pareamento está disponível na tabelas A4.
Passo 2: Prever a taxa de conclusão para a primeira coorte do CIS.
A partir dos coeficientes calculados no passo 1, utilizar as informações observadas no ano t-1 para prever o principal indicador do CIS para a primeira coorte após o início do CIS, 𝐹̂𝐹𝑒, isto é, a taxa de conclusão do ensino médio em três anos para a coorte com
entrada no ensino médio em t e formatura prevista em t+2.
Passo 3: Formação dos pares de escolas.
As escolas da população-alvo serão ordenadas em uma lista crescente nos valores de
𝐹̂𝐹𝑒. Após o ordenamento, a 1ª escola e a 2ª escola da lista ordenada (com os dois valores mais baixos de 𝐹̂𝐹𝑒) formam o primeiro par; a 3ª e 4ª escolas formam o segundo par, e assim sucessivamente até a formação do último par, aquele com as duas escolas com os maiores valores de 𝐹̂𝐹𝑒.
Em particular, nosso exemplo adota o ano de início do CIS como t = 2013. Deste modo, o modelo é estimado tendo a variável dependente o indicador de fluxo para a coorte com formatura prevista em t-1=2012 e entrada em t-3=2010. A coorte utilizado como variável explicativa tem entrada em t-6=2007 e conclusão em t-4=2009. As informações da escolas para estimação se referem ao ano t-4 = 2009. A partir do modelo estimado, a previsão utiliza os coeficientes e as informações da escola referentes ao ano imediatamente anterior ao CIS de exemplo (t-1=2012) e à coorte com formatura imediatamente anterior ao CIS (entrada em t-3=2010 e conclusão em t-1=2012). Essas
informações são utilizadas para calcular 𝐹̂𝐹𝑒 para cada escola e para a coorte com
entrada em t=2013 e conclusão prevista em t+2=2015.
A Tabela A3 apresenta os coeficientes estimados para o modelo11 do passo 1 e variáveis explicativas consideradas. 12 A partir dos coeficientes estimados e apresentados na referida tabela (coluna “coef.”), passa-se aos passos 2 e 3. Ao final deste processo, as 122 escolas de nossa população-alvo exemplificada ficam segmentadas em 61 pares.
11 Diversas combinações de variáveis explicativas e formatos funcionais foram utilizados para a previsão. A escolha do modelo representado pela Tabela A3 foi aquele que exibiu menor desvio absoluto médio entre
as taxas estimadas (FFe,c,2015) e taxas efetivamente observadas para a coorte com entrada em 2013 (FFe,c,2015). O menor desvio absoluto médio observado foi de 8.3%.
12 As variáveis independentes do modelo referentes se mostraram estáveis ao longo dos anos (coeficientes de autocorrelação (defasados em um ano) médios de aproximadamente 0.9).
Tabela A3. Coeficientes estimados para previsão de taxa de conclusão.
Xxxxxxxx explicada Taxa de conclusão do ensino médio em 3 anos (coorte de 2010 - analisado em 2012)
Variáveis explicativas Coef. Desvio-Padrão p-valor
Taxa de conclusão do ensino médio em 3 anos na mesma escola (coorte de 2007)
0,252 0,110 0,025
IDESP (2009) 0,313 0,058 0,000
-0,005 | 0,003 | 0,141 |
0,000 | 0,003 | 0,954 |
Nota média na prova de matemática do SARESP (3ª série do ensino médio, 2009)
Nota média na prova de português do SARESP (3ª
série do ensino médio, 2009) | |||
Desvio-padrão médio na nota da prova de | |||
matemática do SARESP (3ª série do ensino médio, | -0,001 | 0,003 | 0,633 |
2009) | |||
Desvio-padrão médio na nota da prova de | |||
português do SARESP (3ª série do ensino médio, | 0,001 | 0,002 | 0,660 |
2009) | |||
Proporção de alunos com nota abaixo da básica na | |||
prova de português do SARESP (3ª série do | 0,323 | 0,248 | 0,197 |
ensino médio, 2009) | |||
Proporção de alunos com nota abaixo da básica na | |||
prova de matemática do SARESP (3ª série do | 0,118 | 0,293 | 0,687 |
ensino médio, 2009) |
-0,027 | 0,026 | 0,307 |
0,116 | 0,122 | 0,344 |
-0,044 | 0,069 | 0,524 |
0,970 | 0,474 | 0,044 |
-0,940 | 0,471 | 0,049 |
log(número de alunos no ensino médio regular) (2009)
Xxxxx/Professor para o ensino médio regular (2009)
Proporção de alunos não brancos no ensino médio regular (2009)
Proporção de alunos do ensino médio regular cursando no turno noturno (2009)
Proporção de turmas do ensino médio regular no
turno noturno (2009) | |||
Possui sala de leitura e/ou biblioteca (2009) | 0,020 | 0,025 | 0,421 |
Possui sala de diretor (2009) | -0,003 | 0,047 | 0,944 |
Possui sala de professor (2009) | -0,032 | 0,064 | 0,621 |
Possui laboratório de informática (2009) | 0,003 | 0,049 | 0,947 |
Possui laboratório de ciências (2009) | 0,000 | 0,020 | 0,994 |
IPVS da região = 5 | -0,001 | 0,019 | 0,946 |
Constante | 1,289 | 1,234 | 0,299 |
Observações: 110. Proporção da variação da taxa de conclusão explicada pelo modelo: 55% (R2 = 0.55). Este valor implica o quanto da variação em taxa de conclusão em três anos e na mesma escola é explicada pelo nosso modelo.
A Figura A2 compara 𝐹̂𝐹𝑒 (previsto) e 𝐹𝐹𝑒 (observado) para a coorte com entrada em 2013. O erro da taxa de conclusão prevista e da taxa de conclusão posteriormente
observada para a coorte de 2013 é diferente de zero e positivamente associada com a taxa efetivamente observada: a predição a partir do modelo subestima a taxa real de pares com taxas maiores e superestima a taxa real de pares com taxas menores. Apesar de haver esta tendência, esta regularidade não gera problemas para o processo de pareamento, uma vez que escolas superestimadas/subestimadas (com taxas menores/maiores) sofrerão o mesmo tipo de erro de estimação, de modo que escolas com taxas de conclusão “menores” continuarão a ser pareadas com demais escolas com taxas observadas baixa (e o mesmo válido para escola com taxas de conclusão altas).
Figura A2. Análise do erro de previsão da taxa de conclusão em três anos na mesma escola
Ademais, a Figura A3 mostra que, ainda que haja diferença absoluta entre as taxas observadas entre escolas de um mesmo par (painel A), diferenças entre tais escolas acontecem ao longo de toda a distribuição de taxas de conclusão, não sendo concentradas em um grupo de escolas (painel B). Assim, há ausência de correlação entre erros de predição e a posição do par no ordenamento da taxa de conclusão esperada. A partir da aleatorização tais erros seriam distribuídos de modo estatisticamente indistinto entre grupos de tratamento e controle, evitando viés estatístico na relação entre resultados esperados do impacto do CIS.
Figura A3. Desvio absoluto intra-par na taxa de conclusão em três anos na mesma escola (coorte de 2013).
(A) Frequência da diferença absoluta intra-par.
(B) Diferença absoluta e posição do par no ranking de taxa de conclusão prévia.
3.2. Variáveis para verificação de balanceamento e estatística descritiva
A Tabela A4 apresenta uma estatística descritiva das 122 escolas de nossa população- alvo exemplificada.
Tabela A4. Estatística descritiva da população-alvo exemplo.
Tipo | Variaveis | padrão | observações | |||
Contínua | Taxa de conclusão no EM em 3 anos na mesma escola | 56,9% | 11,9% | 20,4% | 84,7% | 122 |
Contínua | (coorte de 2013) IDESP da escola (2015) | 1,794 | 0,592 | 0,450 | 4,150 | 118 |
Média Desvio
Mínimo Máximo Número de
Contínua Nota média em matemática no SARESP (2015)
Contínua Nota média em português no SARESP (2015)
Desvio-padrão médio da
271,837 12,544 231,94
0
0 | 0 | |||
40,068 | 4,209 | 30,884 | 62,149 | 118 |
260,271 16,119 185,03
311,81
0
311,43
117
117
Contínua
Contínua
nota em matemática no SARESP (intra-escola) (2015)
46,176 | 4,520 | 35,138 | 64,420 | 117 |
52,8% | 12,5% | 17,0% | 78,0% | 117 |
Desvio-padrão médio da nota em português no SARESP (intra-escola) (2015)
Contínua Proporção de alunos com nota abaixo do básico em
Contínua
Contínua
matemática no SARESP (2013)
41,1% | 12,8% | 5,0% | 86,0% | 117 |
521 | 267 | 158 | 1780 | 122 |
0,472 | 0,095 | 0,259 | 0,738 | 122 |
69,1% | 9,2% | 48,9% | 85,9% | 122 |
54,3% | 26,1% | 0,0% | 100,0% | 122 |
54,6% | 25,9% | 0,0% | 100,0% | 122 |
88,5% | 32,0% | 0,000 | 1,000 | 122 |
96,7% | 17,9% | 0,000 | 1,000 | 122 |
98,4% | 12,8% | 0,000 | 1,000 | 122 |
97,5% | 15,6% | 0,000 | 1,000 | 122 |
34,4% | 47,7% | 0,000 | 1,000 | 122 |
46,7% | 50,1% | 0,000 | 1,000 | 122 |
85,2% | 35,6% | 0,000 | 1,000 | 122 |
Proporção de alunos com nota abaixo do básico em português no SARESP (2013)
Número de alunos matriculados no ensino médio regular (2015)
Xxxxxxxx Xxxxx/Professor no ensino médio regular (2015)
Proporção de alunos não
Contínua
Contínua
Contínua
brancos no ensino médio regular (2015)
Proporção de alunos cursando o ensino médio regular no período noturno (2015)
Proporção de turmas noturnas no ensino médio regular (2015)
Binária Possui biblioteca/sala de leitura (2015)
Binária Possui sala de diretor (2015)
Binária Possui sala de professores (2015)
Binária Possui laboratório de informática (2015)
Binária Possui laboratório de ciências (2015)
Binária Está em região de IPVS = 5 Binária Possui algum projeto da
SEE (2015)
Utilizaram-se as mesmas variáveis para o processo de pareamento (ver Tabela A3) e para uma variável adicional: a existência de projetos da SEE na escola. Notou-se que tais variáveis incorporam aspectos de fluxo (taxa de conclusão), aprendizagem (variáveis relativas ao SARESP), e fatores estruturais e socioeconômicos das escolas (turmas noturnas, presença de laboratórios, proporção de alunos não brancos, etc.).
As variáveis das Tabelas A3 e A4 ou refletem o impacto do projeto ou devem afetar os indicadores de resultado, de modo independente da intervenção, e, portanto, o avaliador deve verificar o balanceamento delas entre grupos de tratamento e controle, isto é, não deve haver diferenças estatísticas no nível de tais variáveis entre escolas tratadas e escolas controle.
A verificação de balanceamento ocorre após a aleatorização de escolas em grupos de tratamento e controle. O avaliador deve utilizar o teste-t de student de comparação de médias para verificar se a média das variáveis contínuas independentes (conforme marcadas na Tabela A4) são estatisticamente distintas de zero entre grupos de
tratamento e controle a um nível de significância de 5%. Similarmente, o avaliador deve utilizar o teste exato de Xxxxxx para verificar se há diferença estatística na ocorrência de variáveis binárias (Tabela A4) entre grupos de tratamento e controle (também a um nível de significância de 5%).
Além da significância estatística, uma diferença será considerada de magnitude significativa caso a diferença absoluta de médias entre os grupos de tratamento e controle seja maior do que 25% do desvio-padrão observado para a respectiva variável, conforme mensurada na linha de base. Por exemplo, suponha que a nota média em matemática do SARESP na linha de base do grupo de tratamento seja 278 e a do grupo de controle seja 276 pontos. Como o desvio padrão na linha de base desta variável é 12 pontos (ver Tabela A4) e (278-276)/12 = 2/12 = 1/6 < 1/4, esta diferença não será considerada como magnitude significativa.13
Caso haja alguma variável independente com diferença estatisticamente significativa e de magnitude significativa entre grupos de tratamento e controle, conforme os parágrafos acima, o modo de correção utilizado para a estimativa do impacto será a inclusão desta variável (com seu valor de linha de base) no modelo de regressão utilizado para cômputo do impacto do CIS (cf. item 3.3 abaixo). Este modo de correção não elimina o desbalanceamento, mas filtra o efeito da variável desbalanceada no impacto calculado do CIS, de modo que não haveria viés na estimativa do impacto.
3.3. Tamanho amostral, poder estatístico e estimação do impacto
Devido à intervenção e à aleatorização serem realizadas no nível da escola e o resultado de interesse do CIS (conclusão do ensino médio em três anos e na mesma escola) ser uma variável coletada no nível do aluno, a verificação do impacto do CIS deve utilizar métodos que considerem a influência que o aluno (indivíduo) cursando em uma determinada escola (cluster) recebe da intervenção proposta e a influência que ele próprio exerce sobre outros alunos da mesma escola. Deste modo, a determinação do tamanho amostral necessário e o método para mensuração do impacto do CIS devem se pautar nas técnicas de Cluster Randomized Control Trials (cRCT).14
Existem dois grupos de métodos para considerar a correlação de resultados entre indivíduos de um mesmo cluster. O mais simples se pauta em utilizar uma medida sumária (proporção de alunos que concluem o ensino médio em três anos na escola em questão) como variável de resultado de interesse do CIS. Nesse caso, a variação da medida sumária já incorpora tanto a variação entre indivíduos de um mesmo cluster como a variação entre clusters distintos, conforme apresentado no próximo item. As técnicas utilizadas tanto para determinação do tamanho amostral como para mensuração de impacto são simplificadas ao considerarem que o indivíduo de interesse é o próprio cluster.15 O segundo grupo de métodos se pauta em análises no nível
13 Definir a diferença entre grupos de controle e tratamento como de magnitude significativa quando for acima de 25% do desvio-padrão da variável em questão é derivado do padrão adotado de “efeito significativo” pelo “What Works Clearinghouse”, uma instituição de pesquisa voltada à análise de impacto de programas voltados à educação. (xxxxx://xxx.xx.xxx/xxxx/xxx/Xxxx/xxxxxxxxxxxxxxxxxx/xxx_xxxxxxxxxx_x0_0_xxxxxxxxx_xxxxxxxx.xxx). 14 “Xxxxx, X. X., & Xxxxxxx, L. H. (2009). Cluster Randomised Trials. Boca Raton, Florida: Xxxxxxx & HallCRC”; “Xxxxxxxx, M. J., & Xxxxxxx, S. J. (2014). How to design, analyse and report cluster randomised trials in medicine and health related research. Jonh Wiley & Sons (Vol. 1).”
15 “Xxxxxxxx, X. X., & Xxxxxxx, S. J. (2014). How to design, analyse and report cluster randomised trials in medicine and health related research. Jonh Wiley & Sons (Vol. 1).” (p. 53).
indivíduo e modela explicitamente a relação entre indivíduos de um mesmo cluster. Para facilitar a comunicação dos resultados e características da avaliação para os múltiplos stakeholders do projeto, tanto na esfera pública como privada, deve-se utilizar uma medida sumária no nível do cluster, isto é, a escola.16
Esse item apresentará o resultado da análise do poder estatístico do método seguindo a população-alvo exemplo de 122 escolas (61 no grupo de escolas tratadas e 61 no grupo de escolas controle) conforme apresentada anteriormente. Ademais, utiliza-se o método de mínimos quadrados ordinários, ponderado pelo tamanho do par, para verificação de impacto do CIS, o qual leva em conta o método de aleatorização com pareamento para controle de heterogeneidade das escolas.17 Reitera-se que o exercício considera um CIS fictício a ser iniciado em 2013, o que justifica o uso de informações de alunos de 2007 a 2012 na análise de definição do tamanho amostral e poder estatístico.
3.3.1. Modelo estatístico básico
Nesta análise, por questões expositivas, assumiu-se um modelo de probabilidade linear com efeitos aleatórios para o caso de variável dependente binária (conclusão do curso ou não) ou um modelo linear com efeitos aleatórios para casos de variável dependente contínua (notas em exames padronizados).18 Ademais, considerou-se a análise para apenas uma coorte, de modo que o subscrito c foi otimido sem perda de generalidade. A relação entra a variável dependente (𝑦𝑒𝑖) é uma função do tratamento pelo programa
(𝑇𝑒) é representada por
𝑦𝑒𝑖 = 𝛼 + 𝛽𝑇𝑒 + 𝜂𝑒𝑖 = 𝛼 + 𝛽𝑇𝑒 + 𝑢𝑒 + 𝜖𝑒𝑖.
(Equação 1)
Considerou-se que 𝑇𝑒 é uma variável indicadora que recebe 1 quando o cluster e recebe a intervenção. Os termos 𝑢𝑒 e 𝜖𝑒𝑖 representam, respectivamente, o efeito aleatório do cluster e afetando todos os indivíduos deste cluster e um termo de erro aleatório não
correlacionado entre indivíduos. Assumiu-se distribuição normal para os termos de erro:
𝑢
𝑒𝑖
𝜖
𝑒𝑖
𝑢
𝜖
𝑒𝑖
𝑢𝑒~𝑁(0, 𝜎2), 𝑒 ~𝑁(0, 𝜎2) e 𝜂 ~𝑁(0, 𝜎2 + 𝜎2). A média de 𝑦 no grupo de controle é
dada por α e o efeito médio do programa é representado por β.
16 Capítulos 10 e 12 de “Xxxxx, X. X., & Xxxxxxx, X. X. (2009). Cluster Randomised Trials. Boca Raton, Florida: Xxxxxxx & HallCRC” e 5 e 6 de “Xxxxxxxx, M. J., & Xxxxxxx, S. J. (2014). How to design, analyse and report cluster randomised trials in medicine and health related research. Jonh Wiley & Sons (Vol. 1).”
17 Demais métodos como teste-t, teste-t pareado e regressão linear simples foram considerados e descartados por motivos como: ausência de consideração do tamanho das escolas (número de alunos afetados) e poder estatístico reduzido. Analisamos a possibilidade de utilizar este método no item 3.3.1, onde verifica-se que a principal variável de interesse é contínua e segue uma distribuição normal. Ademais, a aleatorização permite estimar o efeito não-viesado do projeto (ao menos para a primeira coorte) via mínimos quadrados ordinários.
18 Poderíamos assumir um modelo de probabilidade a partir da distribuição erro do tipo I (modelo de probabilidade logística), o que complicaria a intuição da análise para variáveis sumárias no nível do cluster. Efetivamente, nossa escolha não altera nossa análise.
No caso em que se deseja avaliar o efeito da intervenção a partir da análise de uma medida sumária no nível do cluster, como a proporção de indivíduos com 𝑦𝑒𝑖 = 1 ou a média de 𝑦𝑒𝑖 no cluster e, é possível escrever
𝑚𝑒
𝑦 = 𝛼 + 𝛽𝑇 + 𝑢 + ∑ 𝜖𝑒𝑖 , = 𝛼 + 𝛽𝑇 + 𝜂∗
𝑒 𝑒
𝑒
𝑖=1
𝑚𝑒
𝑒 𝑒
onde 𝑦𝑒 = ∑𝑚𝑒
(Equação 2)
𝑖=1
𝑦𝑒𝑖/𝑚𝑒 representa a proporção de indivíduos no cluster e com o
resultado esperado (ou nota média do cluster j), 𝑚𝑒 é o número total de indivíduos no
cluster e, 𝜂∗~𝑁(0, 𝜎2 + 𝜎2/𝑚 ), de modo que tanto a variância entre os clusters como
𝑒 𝑢 𝜖 𝑒
dentro dos clusters são consideradas em análises pautadas em medidas sumárias. Ademais, se o número de indivíduos em cada cluster for diferente, há presença de heterocedasticidade, a qual deve ser levada em consideração na estimação dos efeitos da intervenção a partir do uso da matriz de variância e covariância de Huber-White (robusta a heterocedasticidade). No entanto, se o número de indivíduos em cada cluster for relativamente similar (𝑚𝑗 ≈ 𝑚), é possível assumir que a variância da métrica de
interesse para todos os clusters é igual (𝜎2 ≈ 𝜎2) e 𝜂 ~𝑁(0, 𝜎2), isto é, o erro seria
𝑒 𝑒
homocedástico. Para fins de teste de poder e escolha de método de avaliação de impacto, considerou-se um método que assume que a diferença de tamanho entre os cluster é negligenciável e outro que leva em consideração o tamanho da escola para cômputo do efeito de tratamento.
O principal pressuposto por trás da equação 2 e que permite o método proposto a seguir é que a variável de interesse segue uma distribuição normal. Em particular, para o caso de 𝑦𝑒𝑖 binário, assumindo que a ocorrência de “sucesso” no nível do indivíduo (formatura em três anos na mesma escola) segue uma distribuição Bernoulli e a ocorrência de
diversos indivíduos no nível do cluster segue uma distribuição binomial, utilizou-se a aproximação de uma binomial por uma distribuição normal (dado número suficiente de indivíduos). Efetivamente, a Figura A4 evidencia que o indicador de resultado central do CIS, a proporção de alunos formados em três anos e que não mudaram de escola para a coorte de alunos de 2013 (𝐹𝐹𝑒,2013) segue, aproximadamente, uma distribuição normal. Testes de normalidade (Kolmogorov-Smirnov, Shapiro-Wilk, e curtose- obliquidade) não rejeitaram a hipótese nula da distribuição de 𝐹𝐹𝑒,2013 seguir uma distribuição normal.
Figura A4. Proporção de alunos formados no EM em três anos nas escolas-alvo e na mesma escola de entrada para a coorte de 2013 (𝐹𝐹𝑒).
4
3
Densidade
2
1
0
2 4 6 80% 10
Taxa de conclusão em três anos na mesma escola de entrada
3.3.2. Poder estatístico e tamanho mínimo amostral para aleatorização com medidas sumárias no nível do cluster
Em análises utilizando medidas sumárias da cluster (escola), consideram-se os clusters como nível de aleatorização, tratamento e de interesse. Isto é, as escolas são os “indivíduos” de interesse da análise. Uma vez que clusters foram aleatorizados e utilizou-se uma variável contínua com distribuição normal como variável de interesse, é possível utilizar estatísticas baseadas na distribuição-t para a verificação de efeito da intervenção em nossa amostra.19
Os indicadores de fluxo e desempenho apresentados no item 2 deste Estudo, o principal sendo 𝐹𝐹𝑒, acompanhado por 𝐴𝐹𝑒, 𝐹𝐼𝑒 e 𝐴𝐼𝑒, surgem como medidas sumárias no nível do cluster e, a partir deles, seria possível extrair um indicador de impacto a partir da diferença entre escolas de tratamento e controle.
19 Caso o tamanho dos clusters seja muito diferente, de modo que a variância não seja a mesma entre os clusters, é possível utilizar um método de ponderação (“Hemming, K., Xxxxxxx, A. J., Xxxxx, X. X., Xxxxx, X., & Xxxxxxx, R. J. (2011). Sample size calculations for cluster randomised controlled trials with a fixed number of clusters. BMC Medical Research Methodology, 11, 102”).
Outro modo de reescrever os índices de impacto como variáveis de interesse para as análises estatísticas é definir, para cada escola e:
𝑚𝑒
𝑦𝑒 = ∑ 𝑦𝑒𝑖/𝑚𝑒,
𝑖=1
(Equação 3)
onde 𝑦𝑒𝑖 é uma variável medida no nível estudante i que entrou no ensino médio na escola e para a coorte acompanhado. Para cada um dos índices, o Quadro A3 descreve qual a variável representa a variável no nível do estudante e qual a medida sumária
analisada para pautar os pagamentos do CIS.
Quadro A3. Descrição dos indicadores de resultados finais e intermediários.
Indicador | Descrição do indicador como variável sumária no nível escola | Descrição da variável no nível estudante |
𝐹𝐹𝑒 | Proporção de alunos da escola e (da coorte acompanhado) que se formaram em três anos e na mesma escola e. | Recebe valor 1 se o aluno i entrou na 1ª série do ensino médio na escola e na coorte c e concluiu o ensino médio em três anos (no ano t) e na mesma escola e; e 0, caso contrário. |
𝐴𝐹𝑒 | Proporção de alunos da escola e da coorte acompanhado que obtém nível de desempenho considerado como básico no exame padronizado definido pelo contrato do CIS (por exemplo, SARESP) na 3ª série do EM. Este indicador é calculado separadamente para matérias de português e matemática. | Recebe valor 1 se o aluno i que pertence à coorte acompanhado obteve nota básica ou superior nos exames padronizados da 3ª série do EM (calculado separadamente para português e matemática); e 0, caso contrário (inclusive caso o aluno não tenha realizado a prova). |
𝐹𝐼𝑒 | Proporção de alunos da escola e (da coorte acompanhada) que foram aprovados de um ano do ensino médio ao outro e se rematricularam na mesma escola no ano seguinte. | Recebe valor 1 se o aluno i na escola e (da coorte acompanhado) foi aprovado na série na qual se encontra no ano t e se matriculou na mesma escola no ano seguinte (t+1); e 0, caso contrário. |
𝐴𝐼𝑒 | Nota média da escola e, (considerando alunos da coorte acompanhado) no exame AAP. Este índice é calculado separadamente para as provas de matemática e português. | Nota do aluno i da escola e (considerando alunos da coorte acompanhado) no exame AAP do primeiro semestre de cada série do EM. Recebe 0 se o aluno estava matriculado nesta série no início do ano, mas não realizou a prova. Este índice é calculado separadamente para as provas de matemática e português. |
No entanto, realizar a análise de impacto do CIS apenas com os indicadores definidos pelo Quadro A3 como variáveis dependentes da equação (4) implicaria desconsiderar o tamanho do cluster (escola) como variável relevante de impacto do CIS. Fazê-lo poderia gerar incentivos adversos ao provedor de serviço, uma vez que aumentos na taxa de conclusão, por exemplo, em escolas tratadas com menor número de alunos (com relação ao seu par) implicariam em mesmo ganho relativo na meta final do que um aumento na taxa para escolas grandes. Deste modo, seria possível que o provedor de serviço transferisse esforços às escolas menores para alavancar a meta (taxa de conclusão), mas levando a um impacto social absoluto (número de estudantes auxiliados) menor.
Para evitar problemas decorrentes da variabilidade de tamanho das escolas (a qual existe, conforme apresentado na Tabela A4), poderia imputar um peso diferente para cada escola, proporcional ao número de alunos desta escola frente à coorte total, de modo a atribuir maior peso àquelas escolas com maior número de alunos. Todavia, dado que o método de pareamento escolhido para realização da análise e que é possível a existência de pares nos quais escolas de tratamento e controle diferem no número de alunos, inserir pesos diferentes nos indicadores para cada escola implicaria imputar, por desenho, diferenças em nas variáveis de interesse dentro dos pares.
A alternativa selecionada é o uso de pesos proporcionais ao número total de alunos dentro de um par, isto é, cada escola de um par possuirá um peso 𝑤𝑝 fixo no par para a coorte analisada (mas variável entre pares) equivalente à média de alunos da coorte acompanhada (arredondado para o próximo número inteiro). Por exemplo, caso um par seja composto por uma escola controle com 300 alunos para a coorte acompanhada e a escola tratada possua 225 alunos acompanhados, ambas as escolas receberão ao longo do CIS um peso equivalente a 263 (=(300+225)/2, arredondado para cima). Deste modo, asseguramos que escolas de um mesmo par possuem o mesmo peso e ponderamos cada escola pela diferença de alunos (a mais ou a menos) que a soma de seu par possui frente ao esperado caso todos os pares possuíssem o mesmo número de alunos.
A partir da caracterização inicial do modelo estatístico básico, foi realizada a análise de poder estatístico/tamanho amostral mínimo para o método de avaliação de impacto sugerido, assim como o método em si, para embasar a verificação de efeito do CIS.
Concentra-se os exercícios de poder estatístico no indicador 𝐹𝐹𝑒, dado o objetivo central do projeto estar atrelado ao fluxo escolar, o qual seria suportado pelo desempenho
escolar. Ao longo das análises, assumiu-se que, na ausência da intervenção, o grupo de escolas de controle permaneceria com os indicadores fixos e iguais ao período anterior ao projeto. Adicionalmente, assumiu-se que a intervenção não afetará a variância dos resultados entre as escolas (assumida como igual à variância empírica observada no período pré-tratamento entre todas as escolas da população-alvo),20 mas
apenas alterará sua média. Apesar de o foco ser o caso 𝐹𝐹𝑒, o cômputo de todos os indicadores de impacto deve seguir os mesmos critérios, isto é, o mesmo método será aplicado para cada indicador de impacto (Quadro A3).21
20 Simulações de aumento da variância, mas com efeito comum a todas as escolas, não alteraram os resultados qualitativos da análise de poder estatístico.
21 Apesar da população de estudantes que compõe o índice final de aprendizagem ser diferente da população que compõe o índice de fluxo, optou-se por manter os mesmos pesos iniciais.
Considere 𝑌𝑒𝑝 como o indicador de interesse para a escola e, alocada no par p.22 O método escolhido leva em consideração a presença de efeitos fixos de cada par e utiliza a última observação pré-CIS da variável dependente de interesse para aumentar o poder estatístico da análise de impacto. A variável sumária de interesse é representada como uma extensão da equação 3:
𝑒𝑝
𝑃−1
𝑌𝑒𝑝 = 𝛼 + 𝛽𝑇𝑒 + 𝜃𝑌𝑒𝑝,𝑝𝑟é + ∑
𝑝
(Equação 4)
𝛿𝑝𝑍𝑒𝑝 + 𝜂∗ ,
onde 𝜂∗ ~𝑁(0, 𝜎∗2); 𝑍
é uma variável indicadora que recebe 1 se a escola e está no
𝑒𝑝 𝑒𝑝
par p, e zero caso contrário, 𝛿𝑝 captura o efeito fixo do par p, havendo inserção de P-1
efeitos fixos e da variável dependente correspondente ao última coorte com formatura esperada antes do CIS (𝑌𝑒𝑝𝑐,𝑝𝑟é). O impacto do projeto é capturado pela valor estimado de 𝛽 por mínimos quadrados ordinários, 𝛽̂. Uma fraqueza desse método é que a inserção exaustiva de efeitos fixos de par leva à redução de graus de liberdade na
estimação de (8) por mínimos quadrados ordinários. Desse modo, um número alto de clusters é necessário para que a inferência estatística seja confiável devido aos reduzidos graus de liberdade.
Para considerar a heterogeneidade nos tamanhos da escola, conforme anteriormente mencionado, foi realizada uma análise que atribuiu a todos os elementos da equação
(4) um peso proporcional ao tamanho relativo de cada par. Isto é, estimar-se-ia a seguinte equação:
𝑃−1
𝑌𝑒𝑝(√𝑤𝑝) = 𝛼(√𝑤𝑝) + 𝛽𝑇𝑒(√𝑤𝑝) + 𝜃𝑌𝑒𝑝,𝑝𝑟é(√𝑤𝑝) + ∑
𝑒𝑝
𝑝
𝛿𝑝𝑍𝑒𝑝(√𝑤𝑝) + 𝜂∗∗
(Equação 5)
onde 𝑤𝑝 é o peso do par p (média de alunos do primeira coorte a ser analisado) e
𝜂∗∗ ~𝑁(0, 𝑤 𝜎∗2). Efetivamente, a equação 5 equivale a assumir que todos os
𝑒𝑝 𝑝
estudantes de um par provêm de uma população de mesmo tamanho (dentro do par), mas que pode variar entre diferentes pares.
O método de verificação de impacto é a estimação da equação 5 pelo método de mínimos quadrados ordinários, sendo o valor estimado de 𝛽, 𝛽̂, interpretado como o efeito do projeto nas escolas tratadas. Desse modo, 𝛽̂ é o indicador de resultado do CIS, sob o qual as metas de pagamento se referem. Por exemplo, uma das metas poderia ser aumentar a taxa de conclusão em 10%, a qual seria atingida caso 𝛽̂ ≥ 0,1. A
verificação da significância estatística segue os moldes tradicionais de verificação via
teste-t: se o p-valor de 𝛽̂ (sob hipótese nula de 𝛽̂ = 0) for menor que 0,05 e a estimação pontual de 𝛽̂ for maior que o impacto almejado (xf no caso de nosso indicador principal), o critério de pagamento relativo à significância estatística seria satisfeito.
Caso houvesse desbalanceamento nas características das escolas de acordo com o item 3.2 deste Estudo, tais características seriam inseridas como variáveis explicativas
22 Além dos métodos mostrados neste documento, a equipe técnica realizou estudos de métodos de testes de comparação de médias simples e pareadas. No entanto, estes se mostraram com menor poder estatístico e tiveram seus resultados omitidos neste relatório.
na estimação da equação 5. Este método apresenta a fragilidade de reduzir graus de liberdade na estimação do efeito do projeto, o que leva a uma maior variabilidade na estimação. No nosso caso, se todas as 122 escolas participarem do projeto, a estimação da equação 5 por mínimos quadrados ordinários contaria com 59 graus de liberdade.23 No pior, e improvável, cenário de desbalanceamento em mais de 5 variáveis explicativas, a estimação ainda contaria com 54 graus de liberdade (cada variável explicativa adicional reduz um grau de liberdade). Desde modo, deve-se adicionar variáveis explicativas não balanceadas na estimação da equação 5, caso seja verificado desbalanceamento nelas ex ante.
A Figura A5 apresenta a análise de poder do teste considerando que todas as 122 escolas são a população-alvo do CIS, sendo 61 escolas tratadas e 61 escolas de controle.
O painel (A) da Figura mostra uma simulação de poder estatístico do método proposto (estimação por mínimos quadrados ponderados pelo peso do par) para diversos níveis de impacto absoluto do CIS (diretamente em 𝑌𝑒𝑝 = 𝐹𝐹𝑒).24 Efetivamente, para que o teste seja capaz de capturar com probabilidade de 80% um efeito de aumento absoluto na taxa de conclusão em três anos (e na mesma escola), é necessário que o efeito esperado do CIS seja de, no mínimo, 5%. Isto é, para que o método possua um poder estatístico de 80%, deve-se esperar um efeito médio mínimo de 5% no indicador de resultado de fluxo.25
Deste modo, o tamanho de população-alvo de 61 pares de escolas (122 escolas) é adequado para se capturar efeitos de, no mínimo, 5% no indicador central de fluxo. Já o painel (B) mostra a distribuição do efeito estimado pelo método quando o efeito “real” sobre as escolas tratadas é de 5% na taxa de conclusão não ponderada. O gráfico mostra que o método, efetivamente, em médio aponta o efeito de 5%, apesar de haver casos de estimativas acima e abaixo do impacto “real”, decorrentes tanto da impossibilidade de realizar um pareamento perfeito e da inserção de pesos diferentes para os pares. O Quadro A4 apresenta o método como o avaliador deverá reportar o impacto calculado do projeto, para cada coorte e para cada indicador de impacto.
23 Os graus de liberdade se dão pela fórmula n – k – 1 = 122-62-1=59, onde n é o número de observações (122), k é o número de parâmetros estimados associados às variáveis independentes (60+2=62) e 1 representa a estimação do intercepto.
24 Dado um número fixo de 61 pares, conforme o item 2 deste Estudo, simularam-se 100 aleatorizações para cada nível de efeito e realizou-se o teste estatístico para verificar se o método de avaliação era capaz de verificar um efeito estatisticamente diferente de zero. O poder reportado é a proporção de aleatorizações com as quais o teste foi capaz de verificar um efeito maior que zero.
25 Simulações sem a ponderação pelo tamanho do par geraram resultados similares aos reportados neste documento.
Figura A5. Simulação do poder estatístico considerando a amostra de escolas completa (122 escolas), aleatorização com pareamento (61 pares) e estimação por mínimos quadrados ordinários, ponderando pelo tamanho do par.
(A) Poder estatístico para diversos níveis de impacto.
(B) Distribuição do efeito estimado para um aumento de 5% na taxa de conclusão.
Quadro A4. Tabela exemplo para verificação do impacto do CIS sobre indicador final de fluxo.
Painel 1 – Indicador no nível da escola para coorte c (1, 2 ou 3) | |||
Código do par | Peso do par (𝑤𝑝) | Indicador escola tratada (𝐹𝐹𝑇) 𝑒 | Indicador escola controle (𝐹𝐹𝐶) 𝑒 |
1 | 350 | 65,1% | 62,0% |
2 | 250 | 70,6% | 64,5% |
... | ... | ... | ... |
61 | 500 | 84,5% | 74,8% |
Painel 2 – Impacto do projeto, parâmetros estimados e significância estatística | |||
Parâmetro | Valor estimado | Desvio-padrão | p-valor |
𝛽̂ | 0,068 (6,8%) | 0,0016 | 0,000xx |
𝜃̂ | ... | ... | ... |
𝜌̂2 | ... | ... | ... |
𝜌̂3 | ... | ... | ... |
... | ... | ... | ... |
𝜌̂61 | ... | ... | ... |
𝛼̂ | ... | ... | ... |
Painel 3 – Atendimento a critérios de pagamento | |||
Critérios de fluxo | Atendimento | Critérios de desempenho | Atendimento |
Critério mínimo: 𝛽̂ ≥ 𝑥𝑓 | SIM/NÃO | Critério mínimo: Impacto sobre 𝐴𝐹𝑒 ≥ 0 | A VERIFICAR |
Critério mínimo: 𝛽̂ > 0 com 5% de significância | SIM/NÃO | Critério de bônus: Impacto sobre 𝐴𝐹𝑒 ≥ 𝑦𝑓 e > 0 com 5% de significância | A VERIFICAR |
Ademais, para facilitar a compreensão dos resultados, o avaliador de impacto deveria construir a Figura A4 para todos os indicadores. Esta representação gráfica envolve estimação da equação 5, abaixo
𝑒𝑝
𝑃−1
𝑌𝑒𝑝(√𝑤𝑝) = 𝛼 + 𝜃𝑌𝑒𝑝,𝑝𝑟é(√𝑤𝑝) + ∑
𝑝
(Equação 6)
𝛿𝑝𝑍𝑒𝑝(√𝑤𝑝) + 𝜂∗∗∗
𝑒𝑝
isto é, a equação 5 sem a adição do termo indicador de tratamento. Neste caso, todo o efeito do tratamento seria capturado no termo de erro, 𝜂∗∗∗. Caso o CIS não tivesse
𝑒𝑝
impacto, espera-se que a distribuição de tais erros seria a mesma entre escolas tratadas e de controle. A Figura A6 analisa o número de pares nos quais a o erro estimado, 𝜂̂∗∗∗ ,
implicado pela estimação da equação 6, é maior na escola tratada do que na escola de controle. Sob aleatorização, na hipótese nula de que o CIS não gerou resultados, espera-se que a probabilidade do erro de uma escola de tratamento ser maior do que a de controle é 50%, ou seja, aleatória. Caso os pares apresentem erros sistematicamente
maiores nas escolas tratadas do que nas escolas de controle (𝜂̂∗∗∗𝑇 > 𝜂̂∗∗∗𝐶 ), atribui-se
𝑒𝑝 𝑒𝑝
essa diferença ao CIS. Em outras palavras, quanto maior o número de pares nos quais a escola tratada apresenta desempenho não explicado “superior” ao da escola de controle, menor a probabilidade do tratamento haver gerado efeito zero. Por exemplo, caso o desempenho da escola tratada for superior à escola controle em 41 pares, conforme a Figura A6, a probabilidade de isso acontecer em um cenário que o CIS gera efeito zero é muito pequena: a probabilidade desta situação acontecer é menor do que 5% caso se encontra ao menos 37 pares nesta situação dentre 61 pares tratados. Neste caso, há indícios de que o CIS influenciou positivamente o indicador de impacto no grupo de escolas tratadas. A Figura A6 representa um caso em que 41 dos 61 pares as escolas tratadas obtiveram indicadores de impacto maiores do que as escolas de controle. Como indicado no gráfico, este número está na região “verde” do gráfico e implica que a probabilidade de o programa não ter impacto positivo é menor do que 5%.
Figura A6. Representação gráfica do efeito do programa.
Conforme indicado no cronograma de avaliação, a aplicação do método de verificação de impacto sobre indicadores finais deve ocorrer ao final e ao longo do primeiro semestre após o ano 3 do projeto. Efetivamente, toda a análise deste item deve ser reproduzida considerando como variável dependente o indicador de aprendizado final (𝐴𝐹𝑒). O padrão da análise segue conforme descrito nos métodos acima, mas se
concentra no caso de o efeito ser estatisticamente maior ou não diferente de zero (conforme teste-t a um nível de significância de 0,05) para critério mínimo de pagamento e estatisticamente maior que zero para pagamento de bônus.
3.4. Exemplo de Aleatorização e Verificação de Balanceamento
A partir do descrito no item anterior e do método de estimação proposto, considera-se a uma população-alvo do CIS que consista em 61 escolas tratadas e 61 escolas do grupo de controle. Simulou-se uma aleatorização pareada com todas as escolas de nossa população-alvo (122 escolas), de acordo com o critério explanado no item 3.1 deste Estudo, e exemplificou-se o teste de balanceamento da amostra a partir das variáveis explicativas apresentadas no item 3.2. A Tabela A5, abaixo, apresenta um caso de teste de balanceamento de médias e na distribuição das variáveis independentes que podem influenciar nas variáveis de interesse.
Conforme exemplificado, o teste de balanceamento difere entre variáveis contínuas e binárias. O balanceamento é testado a partir do teste-t de student para variáveis contínuas, enquanto o teste exato de Xxxxxx é utilizado para variáveis binárias. Nota que apenas três variáveis se mostram estatisticamente diferentes entre grupos de tratamento e controle a nível de significância de 5% (aquelas com p-valor abaixo de 0,05). No entanto, em nenhuma delas a diferença entre grupos de tratamento e controle é maior do que 25% do valor do desvio-padrão da variável original na linha de base, conforme definido anteriormente. Deste modo, não haveria magnitude significativa e o avaliador não deveria inserir tais variáveis como explicativas ao estimar o modelo de verificação de impacto (equação 5). Caso houvesse diferença estatisticamente significativa com magnitude significativa, o processo de ajuste não envolveria outra aleatorização, mas sim consideração desta variável no modelo de estimação do impacto do CIS ao inseri-la como uma variável explicativa adicional na estimação, por mínimos quadrados ordinários, da equação (5).
Tabela A5. Balanceamento de médias e distribuição de características das escolas.
controle) | tratamento) | ||
Taxa de conclusão no EM em 3 anos na mesma escola (coorte de 2013) | 0,581 | 0,557 | 0,286 |
IDESP da escola (2015) | 1,736 | 1,856 | 0,272 |
Nota média em matemática no SARESP (2015) | 270,455 | 273,343 | 0,215 Teste-t |
Nota média em português no SARESP (2015) | 260,294 | 263,514 | 0,037 de |
Desvio-padrão médio da nota em matemática no SARESP (intra-escola) (2015) | 40,451 | 39,659 | 0,309 ção de médias |
Desvio-padrão médio da nota em português no SARESP (intra-escola) (2015) | 46,672 | 45,636 | 0,217 |
Proporção de alunos com nota abaixo do básico em matemática no SARESP (2013) | 43,5% | 38,6% | 0,040 |
Variáveis
Média (grupo de
Média (grupo de
p-valor
Teste utilizado
compara
Proporção de alunos com nota abaixo do básico em português no SARESP (2013) | 54,1% | 51,3% | 0,223 | |
Número de alunos matriculados no ensino médio regular (2015) | 509,426 | 533,393 | 0,622 | |
Xxxxx/Professor no ensino médio regular (2015) | 0,483 | 0,461 | 0,201 | |
Proporção de alunos não brancos no ensino médio regular (2015) | 68,9% | 69,3% | 0,796 | |
Proporção de alunos cursando o ensino médio regular no período noturno (2015) | 57,2% | 51,4% | 0,224 | |
Proporção de turmas noturnas no ensino médio regular (2015) | 57,4% | 51,8% | 0,229 | |
Possui biblioteca/sala de leitura (2015) | 0,902 | 0,869 | 0,896 | |
Possui sala de diretor (2015) | 98% | 95% | 0,898 | |
Possui sala de professores (2015) | 100% | 97% | 0,899 | Teste |
Possui laboratório de informática (2015) | 97% | 98% | 1,000 | exato de |
Possui laboratório de ciências (2015) | 34% | 34% | 1,000 | Fisher |
Está em região de IPVS = 5 | 51% | 43% | 0,632 | |
Possui algum projeto da SEE (2015) | 85% | 85% | 1,000 |
Há que se considerar também que em várias escolas já existem programas e intervenções sendo realizados. Por exemplo, Programa Escola da Família (para aproximar a família ao contexto escolar, abrindo a escola aos fins de semana a comunidade local), Programa Ensino Integral, Quem Falta Faz Falta (de acompanhamento de alunos com alta taxa de absenteísmo), Programa MMR (a ser implantado em 2017, relacionado com a melhora de gestão escolar). Uma alternativa seria direcionar o foco do CIS para escolas que não tem nenhum programa em curso. Entretanto, as análises indicam que a maior parte das escolas têm pelo menos um programa, e vários desses programas podem ser expandidos ao longo da implantação do CIS. Assim, decidiu-se que seja feita a aleatorização com base em todas as escolas da população-alvo, como apontado acima, e que posteriormente a existência de intervenções em curso também seja considerada no teste de balanceamento.
A título de exemplo, na Tabela A6 apresenta-se o teste de balanceamento envolvendo a análise dos vários programas da SEE. Devido à natureza do dado de existência ou ausência de programas, realiza-se um teste de Fisher para verificar se há diferença significativa na incidência de programas da SEE entre escolas de tratamento e controle. Apresenta-se os resultados para cinco programas que atuais da Secretaria de Educação que estão presentes em alguma escola da população alvo. Conforme observado, a proporção de escolar em cada grupo (de controle ou de tratamento) não difere estatisticamente (teste de Fisher acima de 0.05, pelo critério de significância usual).
Tabela A6. Balanceamento de médias da presença de programas educacionais nas escolas da população alvo.
Variáveis Média das escolas | Média das escolas | Teste de | ||
de controle | tratadas | Fisher | ||
Escola da Família | 0,61 | 0,59 | 1,00 | |
MMR | 0,26 | 0,30 | 0,85 | |
Professor Mediador (2016) | 0,70 | 0,67 | 0,89 | |
Programa de Ensino Integral | 0,02 | 0,02 | 1,00 | |
Projeto Prosseguir | 0,05 | 0,03 | 1,00 |
ADENDO B AO TERMO DE REFERÊNCIA
ORÇAMENTO DETALHADO DO PROJETO
(data-base de setembro de 2017)
Tabela B1. Orçamento Geral do Projeto (idem à Tabela 1, item 8, do Termo de Referência)
Tabela B2. Orçamento de Coordenação das Ações
Tabela B3. Orçamento das intervenções com foco em família (em caso de utilização de ferramentas tecnológicas)
Tabela B4. Orçamento da intervenção com foco em família (Equipe responsável para tratar a família) e com foco em alunos
Tabela B5. Quantidade e custos unitários para a coordenação das intervenções.
Tabela B6. Quantidade e custos unitários para a intervenção com foco em família (em caso de uso de ferramentas tecnológicas).
Tabela B7. Quantidades e custos unitários para a intervenção com foco em família (equipe responsável para tratar a família) e com foco em alunos.
ADENDO C AO TERMO DE REFERÊNCIA
LISTA DE ESCOLAS PARTICIPANTES
(a ser completado antes da publicação do Edital)
ANEXO II
MODELO DE PROPOSTA COMERCIAL
CONCORRÊNCIA N º /
PROCESSO N º /
OBJETO:
À Comissão Especial de Licitação,
A pessoa jurídica (firma/denominação, endereço da sede/filial, CNPJ, Inscrição Estadual e Municipal, se houver), por intermédio do representante legal que esta subscreve, após ter analisado minuciosamente todo o conteúdo do Edital e seus anexos e ter tomado conhecimento do local e de todas as condições e obrigações para a execução do objeto, PROPÕE executar o objeto licitado sob sua integral responsabilidade pelo valor total de R$ (valor por extenso), já computado o BDI, resultante da aplicação dos preços ofertados aos itens constantes da Planilha Orçamentária anexa e que constitui parte indissociável desta proposta comercial.
Esta proposta é válida pelo prazo mínimo de 60 (sessenta) dias a partir desta
data.
(local e data)
(Nome/assinatura do representante legal)
(OBS: Este documento deverá ser redigido em papel timbrado da licitante)
ANEXO II.1
MODELO DE PLANILHA DE PREÇOS UNITÁRIOS E TOTAIS
Valores em milhares de R$ | |||||||
CUSTOS ANUAIS | TOTAL | ||||||
ANO 0 | ANO 1 | ANO 2 | ANO 3 | ANO 4 | |||
CUSTOS DE PESSOAL OPERACIONAL | - | ||||||
Salários | - | ||||||
Encargos Trabalhistas (70%) | - | ||||||
Recrutamento e Seleção | - | ||||||
INTERVENÇÕES + COORDENAÇÃO | OUTROS CUSTOS OPERACIONAIS | - | |||||
Custo de evio de mensagens | - | ||||||
Material Gráfico | - | ||||||
Treinamento | - | ||||||
Postagem | - | ||||||
Deslocamento | - | ||||||
TI | - | ||||||
CUSTO DE PESSOAL DE SUPORTE | - | ||||||
Salários | - | ||||||
Encargos Trabalhistas (70%) | - | ||||||
Recrutamento e Seleção | - | ||||||
OUTROS CUSTOS | - | ||||||
TI | - | ||||||
Telefonia fixa, móvel e internet | - | ||||||
Espaço Físico | - | ||||||
Diversos | - | ||||||
SUBTOTAL 1 | - | ||||||
Taxa de administração | - | ||||||
SUBTOTAL 2 | - | ||||||
Impostos (ISS, PIS e COFINS: 14,25%) | - | ||||||
TOTAL INTERVENÇÕES + COORDENAÇÃO | - | ||||||
OUTROS CUSTOS | Despesa Financeira | ||||||
CUSTO TOTAL DO PROJETO CIS |
ANEXO II.2 DEMONSTRATIVO DA COMPOSIÇÃO DO BDI
CONCORRÊNCIA N º /
PROCESSO N º /
Detalhamento dos Itens para a execução da obra, informando o percentual em até 2 (duas) casas decimais:
TAXA REPRESENTATIVA DO LUCRO | |
1. Lucro estimado (L) | % |
PARCELAS RELATIVAS A DESPESAS DE RATEIO DA ADMINISTRAÇÃO CENTRAL | |
1. Administração Central (AC) | % |
PARCELAS RELATIVAS ÀS DESPESAS FINANCEIRAS | |
1. Despesas Financeiras (DF) | % |
PARCELAS RELATIVAS A SEGUROS, RISCOS E GARANTIAS DE SERVIÇO | |
1. Seguros (S) | % |
2. Garantias (G) | % |
3. Riscos (R) | % |
Sub Total Seguros + Riscos + Garantias | % |
PARCELAS RELATIVAS À INCIDÊNCIA DE IMPOSTOS | |
1. Imposto Sobre Serviços – ISS | % |
2. Impostos que incidem sobre o faturamento – PIS | % |
3. Impostos que incidem sobre o faturamento – COFINS | % |
4. Contribuição previdenciária (conforme a Lei nº 12.844/2013) | % |
Sub Total Impostos (I) | % |
Considerando os percentuais acima e aplicando-se a fórmula abaixo, tem-se
BDI adotado na proposta (Acórdão TCU-Plenário nº 2622/2013) | % |
Observações:
• OBS1: O Egrégio Tribunal de Contas da União determina a exclusão no BDI das parcelas relativas ao Imposto de Renda (IR) e Contribuição Social Sobre o Xxxxx Xxxxxxx (CSLL) – Acórdão nº 1.595/06 (DOU de 01/09/2006).
• OBS2: Na aferição do ISS deverá ser observada a Legislação Municipal, considerando a questão da base de cálculo, a alíquota (entre 2% e 5%) e a real incidência do tributo.
(local e data)
(Nome/assinatura do representante legal)
(OBS: Este documento deverá ser redigido em papel timbrado da licitante)
ANEXO III MODELOS DE DECLARAÇÕES
ANEXO III.1
DECLARAÇÃO DE PLENO CUMPRIMENTO DOS REQUISITOS DE HABILITAÇÃO (FORA DOS ENVELOPES)
CONCORRÊNCIA N º /
PROCESSO N º /
OBJETO:
À Comissão Especial de Licitação,
Eu (nome e identificação completa),
representante legal da pessoa jurídica (firma/denominação, endereço da sede/filial, CNPJ, Inscrição Estadual e Municipal, se houver), interessada em participar do procedimento licitatório acima referenciado, DECLARO, sob as penas da lei, nos termos do inciso I do artigo 40, da Lei nº 6.544/89, na redação que lhe foi dada pela Lei nº 13.121 de 7 de julho de 2008, que a licitante cumpre plenamente os requisitos de habilitação exigidos no instrumento convocatório.
(local e data)
(Nome/assinatura do representante legal)
(OBS: Este documento deverá ser redigido em papel timbrado da licitante)
ANEXO III.2
MODELO A QUE SE REFERE O ITEM 4.1.4.1. DO EDITAL
(em papel timbrado da licitante)
Nome completo:
RG nº: nº:
CPF
DECLARO, sob as penas da Lei, que o licitante (nome
empresarial), interessado em participar da Concorrência nº
/ :
/ , Processo n°
a) está em situação regular perante o Ministério do Trabalho no que se refere a observância do disposto no inciso XXXIII do artigo 7.º da Constituição Federal, na forma do Decreto Estadual nº. 42.911/1998;
b) não possui impedimento legal para licitar ou contratar com a Administração, inclusive em virtude das disposições da Lei Estadual n° 10.218/1999; e
c) atende às normas de saúde e segurança do trabalho, nos termos do parágrafo único do artigo 117 da Constituição Estadual.
(Local e data).
(Nome/assinatura do representante legal)
ANEXO III.3
DECLARAÇÃO DE ELABORAÇÃO INDEPENDENTE DE PROPOSTA E ATUAÇÃO CONFORME AO MARCO LEGAL ANTICORRUPÇÃO
(em papel timbrado da licitante)
Xx, , portador do RG nº e
do CPF nº , representante legal do licitante
(nome empresarial), interessado em participar da
Concorrência nº
/ , Processo n°
/ , DECLARO, sob as penas da Lei,
especialmente o artigo 299 do Código Penal Brasileiro, que:
a) a proposta apresentada foi elaborada de maneira independente e o seu conteúdo não foi, no todo ou em parte, direta ou indiretamente, informado ou discutido com qualquer outro licitante ou interessado, em potencial ou de fato, no presente procedimento licitatório;
b) a intenção de apresentar a proposta não foi informada ou discutida com qualquer outro licitante ou interessado, em potencial ou de fato, no presente procedimento licitatório;
c) o licitante não tentou, por qualquer meio ou por qualquer pessoa, influir na decisão de qualquer outro licitante ou interessado, em potencial ou de fato, no presente procedimento licitatório;
d) o conteúdo da proposta apresentada não será, no todo ou em parte, direta ou indiretamente, comunicado ou discutido com qualquer outro licitante ou interessado, em potencial ou de fato, no presente procedimento licitatório antes da adjudicação do objeto;
e) o conteúdo da proposta apresentada não foi, no todo ou em parte, informado, discutido ou recebido de qualquer integrante relacionado, direta ou indiretamente, ao órgão licitante antes da abertura oficial das propostas; e
f) o representante legal do licitante está plenamente ciente do teor e da extensão desta declaração e que detém plenos poderes e informações para firmá-la.
DECLARO, ainda, que a pessoa jurídica que represento conduz seus negócios de forma a coibir fraudes, corrupção e a prática de quaisquer outros atos lesivos à Administração Pública, nacional ou estrangeira, em atendimento à Lei Federal nº 12.846/ 2013 e ao Decreto Estadual nº 60.106/2014, tais como:
I – prometer, oferecer ou dar, direta ou indiretamente, vantagem indevida a agente público, ou a terceira pessoa a ele relacionada;
II – comprovadamente, financiar, custear, patrocinar ou de qualquer modo subvencionar a prática dos atos ilícitos previstos em Lei;
III – comprovadamente, utilizar-se de interposta pessoa física ou jurídica para ocultar ou dissimular seus reais interesses ou a identidade dos beneficiários dos atos praticados;
IV – no tocante a licitações e contratos:
a) frustrar ou fraudar, mediante ajuste, combinação ou qualquer outro expediente, o caráter competitivo de procedimento licitatório público;
b) impedir, perturbar ou fraudar a realização de qualquer ato de procedimento licitatório público;
c) afastar ou procurar afastar licitante, por meio de fraude ou oferecimento de vantagem de qualquer tipo;
d) fraudar licitação pública ou contrato dela decorrente;
e) criar, de modo fraudulento ou irregular, pessoa jurídica para participar de licitação pública ou celebrar contrato administrativo;
f) obter vantagem ou benefício indevido, de modo fraudulento, de modificações ou prorrogações de contratos
celebrados com a administração pública, sem autorização em lei, no ato convocatório da licitação pública ou nos
respectivos instrumentos contratuais; ou
g) manipular ou fraudar o equilíbrio econômico-financeiro dos contratos celebrados com a administração pública;
V – dificultar atividade de investigação ou fiscalização de órgãos, entidades ou agentes públicos, ou intervir em sua atuação, inclusive no âmbito das agências reguladoras e dos órgãos de fiscalização do sistema financeiro nacional.
(Local e data).
(Nome/assinatura do representante legal)
ANEXO III.4
DECLARAÇÃO PARA MICROEMPRESA, EMPRESA DE PEQUENO PORTE OU COOPERATIVA ENQUADRADA NO ART. 34 DA LEI FEDERAL Nº 11.488/2007 (FORA DOS ENVELOPES)
CONCORRÊNCIA N º /
PROCESSO N º /
OBJETO:
À Comissão Especial de Licitação,
Xx, , portador do RG nº e
do CPF nº , representante legal do licitante
(nome empresarial), interessado em participar do certame licitatório acima referenciado, DECLARO, sob as penas da Lei, o seu enquadramento na condição de Microempresa ou Empresa de Pequeno Porte, nos critérios previstos no artigo 3º da Lei Complementar Federal n° 123/2006, bem como sua não inclusão nas vedações previstas no mesmo diploma legal.
(local e data)
(Nome/assinatura do representante legal)
(OBS: Este documento deverá ser redigido em papel timbrado da licitante)
ANEXO III.5
DECLARAÇÃO DE ENQUADRAMENTO COMO COOPERATIVA QUE PREENCHA AS CONDIÇÕES ESTABELECIDAS NO ART. 34, DA LEI FEDERAL Nº 11.488/2007 (FORA DOS ENVELOPES)
ATENÇÃO: ESTA DECLARAÇÃO DEVE SER APRESENTADA APENAS POR LICITANTES QUE SEJAM COOPERATIVAS, NOS TERMOS DO ITEM 4.1.4.4. DO EDITAL.
Xx, , portador do RG nº e
do CPF nº , representante legal do licitante
(nome empresarial), interessado em participar da Concorrência nº / , Processo n° / , DECLARO, sob as penas da Lei, que:
a) O Estatuto Social da cooperativa encontra-se adequado à Lei Federal nº 12.690/2012;
b) A cooperativa aufere Receita Bruta até o limite definido no inciso II do caput do art. 3º da Lei Complementar Federal n° 123/2006, a ser comprovado mediante Demonstração do Resultado do Exercício ou documento equivalente;
(Local e data).
(Nome/assinatura do representante legal) (em papel timbrado da licitante)
ANEXO IV RESOLUÇÃO SEE Nº 33, DE 01 DE ABRIL DE 2003
Dispõe sobre a aplicação das sanções administrativas previstas nas Leis Federal nº 8.666/93 e Estadual nº 6.544/89, no âmbito da Secretaria de Estado da Educação
O Secretário da Educação, nos termos dos artigos 2º e 3º do Decreto nº 31.138, de 09/01/90, resolve:
Artigo 1º - A aplicação das sanções de natureza pecuniária e restritivas de direitos, a que se referem os artigos 86 e 87 da Lei Federal nº 8.666, de 21/06/93 e alterações, e os artigos 79, 80 e 81 da Lei Estadual nº 6.544, de 22/11/89, obedecerá às normas estabelecidas nesta resolução.
Artigo 2º - As sanções deverão ser aplicadas após regular processo administrativo ficando assegurado o prazo regulamentar do contraditório e da ampla defesa.
§ 1º - Configurado o descumprimento da obrigação contratual, será o contratado notificado da infração e da penalidade correspondente, para, no prazo de cinco dias úteis, apresentar defesa prévia.
§ 2º - Recebida a defesa, a autoridade competente deverá manifestar-se, motivadamente, sobre o acolhimento ou rejeição das razões apresentadas, para concluir pela imposição ou não da penalidade.
Artigo 3º - A inexecução total ou parcial dos contratos administrativos, bem como a execução irregular ou com atraso injustificado, com garantia da defesa prévia, será passível das seguintes sanções:
I - advertência;
II – multa de mora;
III - suspensão temporária de participação em licitação e impedimento de contratar com a Administração, por prazo não superior a dois anos.
Artigo 4º - A multa prevista no inciso II do artigo anterior, será:
a) - de 10% (dez por cento) do valor global do contrato, no caso de inexecução total da obrigação;
b) - de 10% (dez por cento) do valor, referente à parte da obrigação contratual não cumprida, no caso de inexecução parcial da obrigação;
c) - de 0,03% (três centésimos por cento) ao dia, no caso de atraso no cumprimento dos prazos estipulados.
Artigo 5º - A suspensão temporária do direito de licitar e impedimento de contratar com a Administração prevista no artigo 3º, inciso III desta resolução, destina-se a punir a reincidência em faltas que impliquem a rescisão unilateral do contrato.
Artigo 6º - As disposições desta resolução aplicam-se, também, aos Contratos e/ou Notas de Empenhos decorrentes de dispensa ou inexigibilidade de licitação.
Artigo 7º - As normas estabelecidas nesta resolução deverão obrigatoriamente integrar, por cópia, todos os instrumentos convocatórios das licitações, bem como todos os contratos firmados.
Artigo 8º - Esta resolução entrará em vigor na data de sua publicação, apenas para os procedimentos licitatórios iniciados a partir desta data, ficando revogada a Resolução SE 316, de 15/12/89.
ANEXO V MINUTA DE CONTRATO
PROCESSO CONCORRÊNCIA nº / CONTRATO
CONTRATO CELEBRADO ENTRE O ESTADO DE SÃO PAULO, POR INTERMÉDIO DE SUA SECRETARIA DE EDUCAÇÃO E [NOME CONTRATADA], TENDO POR OBJETO O GERENCIAMENTO E A EXECUÇÃO DE AÇÕES PEDAGÓGICAS.
O ESTADO DE SÃO PAULO, por intermédio de sua SECRETARIA DE EDUCAÇÃO, inscrita no CNPJ/MF sob o nº 46.384.111/0001-40, com sede na Xxxxx xx Xxxxxxxxx, xx 00, Xxxxxx, Xxx Xxxxx-XX, doravante designado “CONTRATANTE”, neste ato representada pelo Secretário de Educação, Xxxx Xxxxxx Xxxxxx, brasileiro, separado, jurista, portador do RG nº 3.467.476 e inscrito no CPF/MF sob o nº 000.000.000-00, e [NOME CONTRATADA], inscrita no CNPJ sob nº , com sede , a seguir denominada “CONTRATADA”, neste ato representada pelo
, portador do RG nº e inscrito no CPF nº , denominadas em conjunto como “PARTES”, em face da adjudicação efetuada na Concorrência nº , celebram o presente CONTRATO, sujeitando-se às disposições previstas na Lei Federal nº 8.666/1993, Lei Estadual nº 6.544/1989, e demais normas regulamentares aplicáveis à espécie, mediante as seguintes cláusulas e condições que reciprocamente outorgam e aceitam:
CLÁUSULA PRIMEIRA - DO OBJETO
1.1. O presente Contrato de prestação de serviços tem como objeto o gerenciamento e a execução de ações pedagógicas voltadas ao aumento na aprovação e diminuição da evasão escolas, sem redução da aprendizagem, dos alunos da rede estadual de ensino médio, conforme detalhamento e especificações técnicas constantes do Termo de Referência (Anexo I), do programa de ação da CONTRATADA e demais documentos constantes do processo administrativo em epígrafe, que constituem anexos ao presente Contrato.
1.1.1. As ações pedagógicas a que se refere o “caput” desta cláusula constam do programa de ação a ser apresentado pela CONTRATADA no período Pré-Operacional, definido na cláusula segunda abaixo, devendo estar em sintonia com o planejamento pedagógico e a gestão das unidades escolares aplicados na Rede Estadual de Ensino e ser aceito pelo CONTRATANTE.
1.1.2. O regime de execução deste Contrato é o de empreitada por preço global.
CLÁUSULA SEGUNDA – DAS CONDIÇÕES DE EXECUÇÃO DOS SERVIÇOS
2.1. Os serviços serão executados de acordo com as especificações técnicas constantes no Termo de Referência e na proposta da CONTRATADA.
2.2. Os serviços serão executados em duas etapas, compreendendo os seguintes períodos: Pré-Operacional e Operacional.
2.2.1. O período Pré-Operacional iniciar-se-á com a assinatura do CONTRATO e terá por objetivo a definição do programa de ação da CONTRATADA e a execução de ações de mobilização em favor da implementação do objeto deste CONTRATO.
2.2.1.1. No período Pré-Operacional, serão desenvolvidas as atividades previstas no ano 1, do Quadro 1, do item 7 do Termo de Referência (Anexo I).
2.2.2. O Período Operacional iniciar-se-á no ano 2 do CONTRATO e terá por objetivo a implementação das ações descritas no plano de ação da CONTRATADA, conforme as
atividades previstas nos anos 2 a 4, descritos no Quadro 1 do item 7 do Termo de Referência (Anexo I).
2.3. A aceitação do programa de ação pelo CONTRATANTE não representa a assunção de riscos ou responsabilidade desta pela execução das atividades pela CONTRATADA.
CLÁUSULA TERCEIRA – DO PRAZO
3.1. O prazo de execução deste Contrato é de 54 (cinqüenta e quatro) meses, a contar da sua assinatura, a partir da qual a CONTRATADA estará autorizada a iniciar a prestação dos serviços, em conformidade com o seu programa de ação e o Termo de Referência.
3.1.1. As etapas e o cronograma de execução do Contrato deverão seguir o quanto estipulado no Termo de Referência, no programa de ação da CONTRATADA e nos demais documentos constantes do processo administrativo em epígrafe, todos considerados como anexos ao presente Contrato.
3.1.2. O prazo mencionado no “caput” desta cláusula poderá ser prorrogado nas hipóteses previstas no §1º do artigo 57 da Lei nº 8.666/1993, mediante termo de aditamento, atendido o estabelecido no §2º do referido dispositivo legal.
3.1.3. Não obstante o prazo estipulado no “caput” desta cláusula, a vigência nos exercícios subsequentes ao da celebração do Contrato estará sujeita à condição resolutiva, consubstanciada na inexistência de recursos aprovados nas respectivas Leis Orçamentárias de cada exercício para atender às respectivas despesas.
3.1.4. Ocorrendo a resolução do Contrato, com base na condição estipulada no parágrafo anterior, a CONTRATADA não terá direito a qualquer espécie de indenização.
CLÁUSULA QUARTA - DAS OBRIGAÇÕES E DAS RESPONSABILIDADES DA CONTRATADA
4.1. À CONTRATADA, cabe:
I - zelar pela fiel execução deste Contrato, utilizando-se de todos os recursos materiais e humanos necessários;
II – executar as ações listadas no Termo de Referência, especialmente em seu item 6, de modo a garantir que as metas fixadas para os indicadores de desempenho sejam atingidas;
III – atuar em todas as escolas do grupo de tratamento – selecionadas conforme Termo de Referência –, prestando serviços para todos os seus alunos e respectivas famílias, com isonomia e sem distinções de qualquer natureza;
IV – garantir a capacidade técnica e a contratação de profissionais qualificados para a prestação dos serviços, apresentando, sempre que requisitado pelo CONTRATANTE, tais qualificações;
V – acompanhar a execução das ações, responsabilizando-se pela regularidade técnica e disciplinar da atuação da equipe técnica alocada;
VI – garantir que todos os integrantes das equipes técnicas estejam autorizados a trabalhar no ambiente escolar e com os alunos-alvo, substituindo, em 5 (cinco) dias úteis, aquele cuja permanência nos serviços for julgada inconveniente, conforme solicitação justificada do CONTRATANTE;
VII – fornecer qualquer tipo de equipamento ou material necessário para a prestação dos serviços, inclusive os que serão distribuídos aos alunos e suas famílias, identificando-os em todos os casos, de forma a não serem confundidos com similares de propriedade do CONTRATANTE;
VIII – manter os bens e equipamentos necessários à realização dos serviços em perfeitas condições de uso, cuidando para que os eventuais equipamentos elétricos sejam dotados de sistema de proteção, de modo a evitar danos na rede elétrica;
IX - cumprir as disposições legais e regulamentares municipais, estaduais e federais que interfiram na execução dos serviços;
X - manter, durante toda a execução do Contrato, em compatibilidade com as obrigações assumidas, todas as condições de habilitação e qualificação exigidas no procedimento licitatório mencionado no preâmbulo deste instrumento;
XI – designar responsável pelos contatos com o CONTRATANTE;
XII - dar ciência imediata e por escrito ao CONTRATANTE de qualquer anormalidade que verificar na execução dos serviços;
XIII - prestar ao CONTRATANTE, por escrito, os esclarecimentos solicitados e atender prontamente as reclamações sobre seus serviços;
XIV - responder por quaisquer danos, perdas ou prejuízos causados diretamente ao CONTRATANTE ou a terceiros decorrentes da execução do Contrato, não excluindo ou reduzindo essa responsabilidade a fiscalização do CONTRATANTE em seu acompanhamento;
XV - responder pelos encargos trabalhistas, previdenciários, fiscais, comerciais e tributários, resultantes da execução deste Contrato, nos termos do artigo 71 da Lei Federal n° 8.666/1993;
XVI - manter seus profissionais identificados por meio de crachá com fotografia recente; XVII - arcar com despesas decorrentes de infrações de qualquer natureza praticadas por seus empregados durante a execução dos serviços, ainda que no recinto da sede do CONTRATANTE;
XVIII - apresentar, quando exigido pelo CONTRATANTE, os comprovantes de pagamentos de salários, quitação de suas obrigações trabalhistas e previdenciárias, relativas aos seus empregados, que prestam ou tenham prestado serviços objeto do presente Contrato;
XIX - obedecer às normas e rotinas do CONTRATANTE, em especial as que disserem respeito à segurança, à guarda, à manutenção e à integridade das informações existentes ou geradas durante a execução dos serviços;
XX - implantar, de forma adequada, a planificação, execução e supervisão permanente dos serviços, de maneira a não interferir nas atividades do CONTRATANTE, respeitando suas normas de conduta;
XXI - guardar sigilo em relação às informações ou documentos de que venha a tomar conhecimento considerados sigilosos, nos termos da Lei, ou cuja divulgação não tenha sido autorizada pelo CONTRATANTE, respondendo, administrativa, civil e criminalmente por sua indevida divulgação e incorreta ou inadequada utilização;
XXII – submeter ao CONTRATANTE relatórios trimestrais sobre a prestação dos serviços, relatando as ações realizadas, eventuais problemas verificados e medidas de correção, o desempenho dos respectivos alunos de acordo com os dados da Secretaria Escolar Digital e qualquer fato relevante sobre a execução contratual.
4.2. As atividades desempenhadas pela CONTRATADA poderão ser submetidas a auditoria em qualquer momento do Contrato, conforme estipulado no Termo de Referência, com a finalidade de garantir que ela esteja cumprindo os regulamentos e as especificações deste instrumento e seus anexos.
4.3. À CONTRATADA é vedado:
I - oferecer, dar ou se comprometer a dar a quem quer que seja, tampouco aceitar ou se comprometer a aceitar de quem quer que seja, por conta própria ou por intermédio de outrem, qualquer pagamento, doação, compensação, vantagens financeiras ou benefícios de qualquer espécie relacionados de forma direta ou indireta ao objeto deste Contrato, o que deve ser observado, ainda, pelos seus prepostos, colaboradores e subcontratados;
II – atuar dentro das salas de aula durante o horário letivo ou ministrar aulas que sejam da grade curricular do Estado, a menos que haja expresso consentimento da direção da escola;
III – que seus profissionais exerçam funções de segurança ou inspeção dos alunos no ambiente escolar;
IV – que seus profissionais interfiram diretamente em aspectos pedagógicos e de gestão escolar, a menos que haja expresso consentimento da direção da escola, hipótese em que tal atuação deverá ocorrer de forma relacionada com as ações e objetivos deste Contrato;
V – que seus profissionais exerçam função estranha a este Contrato ou sem consentimento da respectiva escola.
4.4. Em atendimento à Lei Federal nº 12.846/2013 e ao Decreto Estadual nº 60.106/2014, a CONTRATADA se compromete a conduzir os seus negócios de forma a coibir fraudes, corrupção e quaisquer outros atos lesivos à Administração Pública, nacional ou estrangeira, abstendo-se de práticas como as seguintes:
I – prometer, oferecer ou dar, direta ou indiretamente, vantagem indevida a agente público, ou a terceira pessoa a ele relacionada;
II – comprovadamente, financiar, custear, patrocinar ou de qualquer modo subvencionar a prática dos atos ilícitos previstos em Lei;
III – comprovadamente, utilizar-se de interposta pessoa física ou jurídica para ocultar ou dissimular seus reais interesses ou a identidade dos beneficiários dos atos praticados; IV – no tocante a licitações e contratos:
a) frustrar ou fraudar, mediante ajuste, combinação ou qualquer outro expediente, o caráter competitivo de procedimento licitatório público;
b) impedir, perturbar ou fraudar a realização de qualquer ato de procedimento licitatório público;
c) afastar ou procurar afastar licitante, por meio de fraude ou oferecimento de vantagem de qualquer tipo;
d) fraudar licitação pública ou contrato dela decorrente;
e) criar, de modo fraudulento ou irregular, pessoa jurídica para participar de licitação pública ou celebrar contrato administrativo;
f) obter vantagem ou benefício indevido, de modo fraudulento, de modificações ou prorrogações de contratos celebrados com a administração pública, sem autorização em lei, no ato convocatório da licitação pública ou nos respectivos instrumentos contratuais; ou
g) manipular ou fraudar o equilíbrio econômico-financeiro dos contratos celebrados com a administração pública;
V – dificultar atividade de investigação ou fiscalização de órgãos, entidades ou agentes públicos, ou intervir em sua atuação, inclusive no âmbito das agências reguladoras e dos órgãos de fiscalização do sistema financeiro nacional.
4.5. O descumprimento das obrigações previstas nos parágrafo terceiro e quarto desta cláusula poderá submeter a CONTRATADA à rescisão unilateral do Contrato, a critério do CONTRATANTE, sem prejuízo da aplicação das sanções penais e administrativas cabíveis e, também, da instauração do processo administrativo de responsabilização de que tratam a Lei Federal nº 12.846/2013 e o Decreto Estadual nº 60.106/2014, sem prejuízo do disposto nas cláusulas décima segunda e décima terceira.
CLÁUSULA QUINTA – DAS OBRIGAÇÕES E DAS RESPONSABILIDADES DO CONTRATANTE
5.1. Ao CONTRATANTE cabe:
I - exercer a fiscalização dos serviços, designando servidor responsável pelo acompanhamento da execução contratual e, ainda, pelos contatos com a CONTRATADA;
II - fornecer à CONTRATADA todos os dados e informações necessários à execução do objeto do Contrato, inclusive os dados de desempenho dos alunos constantes na Secretaria Escolar Digital;
III - efetuar os pagamentos devidos, de acordo com o estabelecido neste ajuste;
IV - permitir aos técnicos e profissionais apontados pela CONTRATADA o acesso às áreas físicas envolvidas na execução deste Contrato, observadas as normas de segurança e eventuais restrições de horário;
V – comunicar aos professores, supervisores de ensino e equipe interna das escolas do grupo de tratamento sobre as atividades a serem desenvolvidas no âmbito deste Contrato;
VI – garantir que as escolas do grupo de tratamento realizem reuniões periódicas com a respectiva equipe da CONTRATADA, para o acompanhamento e envolvimento com o serviço prestado, informando eventuais problemas e sugerindo ações para alunos que venham a necessitar de reforço escolar;
VII – garantir que cada escola do grupo de tratamento designe uma sala ou espaço equivalente para a realização das ações de que trata este Contrato;
VIII – garantir que ao menos uma pessoa de cada escola do grupo de tratamento sirva como intermediador das ações a serem realizadas junto às famílias dos alunos;
IX – garantir que cada escola do grupo de tratamento designe uma pessoa de apoio à equipe da CONTRATADA;
X – garantir que as equipes da CONTRATADA tenham acesso a dados dos alunos das escolas do grupo de tratamento relativos à frequência e desempenho acadêmico, além de outras informações que sejam relevantes para a prestação do serviço;
XI – informar à CONTRATADA eventuais interrupções ou mudanças nas formas de avaliação da aprendizagem dos alunos (AAP e SARESP);
XII – fornecer ao avaliador independente os dados necessários à realização das atividades de monitoramento;
XIII - reportar ao avaliador independente eventuais mudanças nos indicadores de desempenho decorrentes de indisponibilidade de dados, alteração dos exames
padronizados para a medição de aprendizagem (AAP e SARESP) ou outros motivos correlatos.
5.1.1. Nas hipóteses de que tratam os incisos XI e XIII do “caput” desta cláusula, as PARTES, em conjunto com o avaliador independente, deverão estabelecer mecanismos similares de avaliação, observadas as metas fixadas no Termo de Referência.
CLÁUSULA SEXTA - DA FISCALIZAÇÃO DOS SERVIÇOS
6.1. O CONTRATANTE exercerá a fiscalização dos serviços contratados, de modo a assegurar o efetivo cumprimento das obrigações ajustadas, podendo se valer de auditoria ou fiscalização externa contratada para esta finalidade.
6.1.1. A fiscalização não exclui e nem reduz a integral responsabilidade da CONTRATADA, mesmo perante terceiros, por quaisquer irregularidades constatadas na prestação dos serviços, inclusive quando resultantes de utilização de pessoal inadequado ou sem a qualificação técnica necessária, inexistindo, em qualquer hipótese, corresponsabilidade por parte do CONTRATANTE.
6.1.2. A ausência de comunicação, por parte do CONTRATANTE, referente a irregularidades ou falhas, não exime a CONTRATADA do regular cumprimento das obrigações previstas neste Contrato e nos seus anexos.
CLAUSULA SÉTIMA – DOS RECURSOS ORÇAMENTÁRIOS
7.1. As despesas decorrentes desta contratação não onerarão o orçamento do presente exercício.
7.1.1. No(s) exercício(s) seguinte(s), correrão à conta dos recursos próprios para atender às despesas da mesma natureza, cuja alocação será feita no início de cada exercício financeiro.
CLÁUSULA OITAVA – DO RECEBIMENTO DO OBJETO
8.1. O objeto deste CONTRATO será recebido definitivamente – dispensado o recebimento provisório (art. 74, II, da Lei Federal nº 8.666/1993) –, no prazo de trinta
xxxx após a entrega do relatório final elaborado pelo avaliador independente, no último exercício financeiro no qual o CONTRATO terá vigência.
8.1.1. Uma vez verificada a execução satisfatória dos serviços, observado o teor do relatório final do avaliador independente, o objeto será recebido pelo CONTRATANTE mediante lavratura de recibo.
8.2. A aceitação dos serviços atesta o cumprimento das exigências contratuais, mas não afasta a responsabilidade técnica ou civil da CONTRATADA, que permanece regida pela legislação pertinente.
8.3. Em caso de atingimento parcial das metas relativas às taxas de aprovação e de aprendizagem, conforme definidas no Termo de Referência, o CONTRATANTE poderá aceitar os serviços, mas fará constar no correspondente recibo o referido desempenho da CONTRATADA.
CLÁUSULA NONA – DO VALOR DO CONTRATO
9.1. O presente Contrato possui o valor total de R$ , correspondente ao preço global da proposta da CONTRATADA no procedimento licitatório Concorrência nº , representativo do montante máximo de sua remuneração, em caso de cumprimento integral das correspondentes metas e condicionantes.
9.1.1. O valor total será reajustado pela variação do IPC-FIPE - Índice de Preços ao Consumidor, nos termos do Decreto nº 48.326/2003, contado a partir do mês da apresentação da proposta pela CONTRATADA no procedimento licitatório.
9.1.2. A remuneração devida à CONTRATADA será apurada pelo avaliador independente e paga em conformidade com a cláusula décima deste ajuste e de acordo com os parâmetros estabelecidos no Termo de Referência.
9.1.3. No valor total indicado no “caput” estão inclusos todos os custos e despesas diretos e indiretos que a CONTRATADA, na elaboração de seu programa de ação, contabilizou como necessários ao cumprimento total das metas e condicionantes do
ajuste, sendo ela integralmente responsável por eventuais equívocos e inexistindo, a esse respeito, direito ao reequilíbrio econômico-financeiro do Contrato.
9.1.4. Caso a CONTRATADA seja optante pelo Simples Nacional e, por causa superveniente à contratação, perca as condições de enquadramento como microempresa ou empresa de pequeno porte ou, ainda, torne-se impedida de beneficiar- se desse regime tributário diferenciado por incorrer em alguma das vedações previstas na Lei Complementar Federal nº 123/2006, não poderá deixar de cumprir as obrigações avençadas perante a Administração, tampouco requerer o reequilíbrio econômico- financeiro, com base na alegação de que a sua proposta levou em consideração as vantagens daquele regime tributário diferenciado.
CLÁUSULA DÉCIMA – DOS PAGAMENTOS
10.1. Os pagamentos serão efetuados em 30 (trinta) dias após a entrega dos relatórios do avaliador independente, observados os seguintes valores:
I – até 25% (vinte e cinco por cento) do valor total, para a primeira parcela, referente aos resultados obtidos no ano 02 de que trata o Quadro 1 do item 7 do Termo de Referência; II – até 25% (vinte e cinco por cento) do valor total, para a segunda parcela, referente aos resultados obtidos no ano 03 de que trata o Quadro 1 do item 7 do Termo de Referência;
III – até 50% (cinquenta por cento) do valor total, para a terceira parcela, referente aos resultados obtidos no ano 04 de que trata o Quadro 1 do item 7 do Termo de Referência.
10.1.1. O relatório do avaliador independente levará em consideração o monitoramento quantitativo e análise dos indicadores de resultado, conforme item 9 do Termo de Referência, (Anexo I) será feito a partir das informações administrativas relativas ao rendimento e rematrícula dos alunos, constantes do sistema do CONTRATANTE, bem como das notas em exames padronizados por ela realizados.
10.1.1.1. Para os fins do presente CONTRATO, serão considerados os seguintes exames padronizados para os fins de avaliação dos resultados:
10.1.1.1.1.Avaliação de Aprendizagem em Processo (AAP) para as avaliações intermediárias.
10.1.1.1.2. Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp) para a avaliação final do ensino médio.
10.1.1.2. As informações pertinentes aos indicadores de resultado, tanto de fluxo como de aprendizagem, são produzidas pela SEE, que deverá disponibilizá-las para o avaliador independente. Para as demais informações necessárias ao processo de monitoramento, serão utilizados dados públicos retirados diretamente de fontes do Ministério da Educação, do Instituto Nacional de Estudos e Pesquisas Educacionais Xxxxxx Xxxxxxxx e de outras fontes necessárias para atender os critérios do plano de medição disposto no Termo de Referência (Anexo I).
10.1.1.3. Na impossibilidade de cômputo de qualquer indicador de resultado, haverá redefinição de uma nova forma de avaliação em comum acordo entre CONTRATANTE e CONTRATADA.
10.1.2 - O pagamento variará, para cada parcela, de acordo com o atingimento da correspondente meta (cf. tabelas abaixo), aferido por meio dos indicadores e condicionantes previstos no Termo de Referência.
PRIMEIRA PARCELA: Diferença entre as taxas de aprovação da 1ª para a 2ª série nas escolas do grupo de tratamento e nas escolas do grupo de controle, sempre em favor daquelas, calculada conforme Termo de Referência. | |
Meta | Pagamento (porcentagem do valor total) |
1,99% ou abaixo | 0,00% |
2,00% até 2,99% | 10,00% |
3,00% até 3,99% | 15,00% |
4,00% até 4,99% | 20,00% |
5,0% ou acima | 25,00% |
(Pagamento sujeito aos condicionantes do Termo de Referência)
SEGUNDA PARCELA: Diferença entre as taxas de aprovação da 2ª para a 3ª série nas escolas do grupo de tratamento e nas escolas do grupo de controle, sempre em favor daquelas, calculada conforme Termo de Referência. | |
Meta | Pagamento (porcentagem do valor total) |
1,99% ou abaixo | 0,00% |
2,00% até 2,99% | 10,00% |
3,00% até 3,99% | 15,00% |
4,00% até 4,99% | 20,00% |
5,0% ou acima | 25,00% |
(Pagamento sujeito aos condicionantes do Termo de Referência)
TERCEIRA PARCELA: Diferença entre as taxas de aprovação final na 3ª série nas escolas do grupo de tratamento e nas escolas do grupo de controle, sempre em favor daquelas, calculada conforme Termo de Referência. | |
Meta | Pagamento (porcentagem do valor total) |
1,99% ou abaixo | 0,00% |
2,00% até 2,99% | 5,00% |
3,00% até 3,99% | 10,00% |
4,00% até 4,99% | 20,00% |
5,00% até 5,99% | 30,00% |
6,00% até 6,99% | 40,00% |
7,00% ou acima | 50,00% |
(Pagamento sujeito aos condicionantes do Termo de Referência)
10.1.3. Os pagamentos serão realizados mediante depósito na conta corrente bancária em nome da CONTRATADA no Banco do Brasil S/A, conta nº , Agência nº
.
10.1.4. Havendo atraso nos pagamentos, incidirá correção monetária sobre o valor devido na forma da legislação aplicável, bem como juros moratórios, a razão de 0,5% (meio por cento) ao mês, calculados “pró-rata tempore”, em relação ao atraso verificado.
10.1.5. Constitui condição para a realização dos pagamentos a inexistência de registros em nome da CONTRATADA no “Cadastro Informativo dos Créditos não Quitados de Órgãos e Entidades Estaduais – CADIN ESTADUAL”, o qual deverá ser consultado por ocasião da realização de cada pagamento. O cumprimento desta condição poderá se dar pela comprovação, pela CONTRATADA, de que os registros estão suspensos, nos termos do artigo 8º da Lei Estadual nº 12.799/2008.
10.1.6. O CONTRATANTE poderá, por ocasião do pagamento, efetuar a retenção de tributos determinada por lei, ainda que não haja indicação de retenção na nota fiscal apresentada ou que se refira a retenções não realizadas em meses anteriores.
10.1.7. O recolhimento do Imposto sobre Serviços de Qualquer Natureza – ISSQN deverá ser feito em consonância com o artigo 3º e demais disposições da Lei Complementar Federal nº 116/2003, e respeitando as seguintes determinações:
I - Quando da celebração do Contrato, a CONTRATADA deverá indicar a legislação municipal aplicável aos serviços por ela prestados, relativamente ao ISSQN, esclarecendo, expressamente, sobre a eventual necessidade de retenção do tributo, pelo tomador dos serviços;
II - Caso se mostre exigível, à luz da legislação municipal, a retenção do ISSQN pelo tomador dos serviços:
a) O CONTRATANTE, na qualidade de responsável tributário, deverá reter a quantia correspondente do valor da nota-fiscal, fatura, recibo ou documento de cobrança equivalente apresentada e recolher a respectiva importância em nome da CONTRATADA no prazo previsto na legislação municipal.
b) Para tanto, a CONTRATADA deverá destacar o valor da retenção, a título de “RETENÇÃO PARA O ISS” ao emitir a nota fiscal, fatura, recibo ou documento de cobrança equivalente. Considera-se preço do serviço a receita bruta a ele correspondente, sem nenhuma dedução.
III - Caso, por outro lado, não haja previsão de retenção do ISSQN pelo tomador dos serviços:
a) A CONTRATADA deverá apresentar declaração da Municipalidade competente com a indicação de sua data-limite de recolhimento ou, se for o caso, da condição de isenção;
b) Mensalmente a CONTRATADA deverá apresentar comprovante de recolhimento do ISSQN por meio de cópias autenticadas das guias correspondentes ao serviço executado e deverá estar referenciado à data de emissão da nota fiscal, fatura ou documento de cobrança equivalente;
c) Caso, por ocasião da apresentação da nota fiscal, da xxxxxx ou do documento de cobrança equivalente, não haja decorrido o prazo legal para recolhimento do ISSQN, poderão ser apresentadas cópias das guias de recolhimento referentes ao mês imediatamente anterior, devendo a CONTRATADA apresentar a documentação devida quando do vencimento do prazo legal para o recolhimento.
d) a não apresentação dessas comprovações assegura ao CONTRATANTE o direito de sustar o pagamento respectivo e/ou os pagamentos seguintes.
10.1.8. Nos termos do artigo 31 da Lei Federal nº 8.212/1991 e do artigo 118, X, da Instrução Normativa MPS/RFB nº 971/2009, o CONTRATANTE deverá efetuar a retenção de 11% (onze por cento) do valor bruto da nota fiscal, fatura, recibo ou documento de cobrança equivalente, obrigando-se a recolher a importância retida, em nome da CONTRATADA, até o dia 20 (vinte) do mês subsequente ao da emissão do respectivo documento de cobrança ou, se não houver expediente bancário naquele dia, até o dia útil imediatamente anterior.
I - Quando da emissão da nota fiscal, fatura, recibo ou documento de cobrança equivalente, a CONTRATADA deverá destacar o valor da retenção, a título de “RETENÇÃO PARA A SEGURIDADE SOCIAL”, sendo que:
a) poderão ser deduzidos da base de cálculo da retenção, os valores dos custos de fornecimento incorridos pela CONTRATADA a título de vale-transporte e de vale- refeição, nos termos da legislação própria. Tais parcelas deverão estar discriminadas no documento de cobrança.
b) a falta de destaque do valor da retenção no documento de cobrança impossibilitará a CONTRATADA de efetuar sua compensação perante o INSS, ficando a critério do CONTRATANTE proceder à retenção e ao recolhimento devidos sobre o valor bruto do documento de cobrança, ou, em alternativa, devolvê-lo à CONTRATADA.
II – O CONTRATANTE emitirá uma GPS – Guia da Previdência Social específica para cada estabelecimento da CONTRATADA. Na hipótese de emissão, no mesmo mês, de mais de um documento de cobrança pela CONTRATADA, o CONTRATANTE se reserva o direito de consolidar o recolhimento dos valores retidos em uma Única Guia por estabelecimento.
III - Quando da apresentação do documento de cobrança, a CONTRATADA deverá elaborar e entregar ao CONTRATANTE os seguintes documentos:
a) cópia da folha de pagamento específica para os serviços realizados sob o Contrato, identificando o número deste, a Unidade que o administra, relacionando respectivamente todos os segurados colocados à disposição desta e informando:
• nome dos segurados;
• cargo ou função;
• remuneração discriminando separadamente as parcelas sujeitas ou não à incidência das contribuições previdenciárias;
• descontos legais;
• quantidade de quotas e valor pago à título de salário-família;
• totalização por rubrica e geral;
• resumo geral consolidado da folha de pagamento; e
b) demonstrativo mensal assinado por seu representante legal, individualizado por CONTRATANTE, com as seguintes informações:
• nome e CNPJ do CONTRATANTE;
• data de emissão do documento de cobrança;
• número do documento de cobrança;
• valor bruto, retenção e valor líquido (recebido) do documento de cobrança.
• totalização dos valores e sua consolidação.
c) os documentos solicitados nas alíneas anteriores deverão ser entregues ao CONTRATANTE na mesma oportunidade da nota fiscal, fatura, recibo ou documento de cobrança equivalente.
CLÁUSULA DÉCIMA PRIMEIRA – DA SUBCONTRATAÇÃO, CESSÃO OU TRANSFERÊNCIA DOS DIREITOS E OBRIGAÇÕES CONTRATUAIS.
11.1. A CONTRATADA poderá subcontratar, do objeto deste ajuste, a execução das ações pedagógicas de que tratam os itens 6.1 e 6.2 do Termo de Referência, ficando vedada a subcontratação para o gerenciamento de tais ações.
11.1.1. A subcontratação depende da prévia anuência do CONTRATANTE em relação à parcela a ser subcontratada, bem como à(s) empresa(s) subcontratada(s), que deverá(ão) possuir capacidade técnica e econômica para a execução dos serviços subcontratados.
11.1.2. É vedada a cessão ou transferência, total ou parcial, deste Contrato a terceiros.
CLÁUSULA DÉCIMA SEGUNDA – DA ALTERAÇÃO DA QUANTIDADE DO OBJETO CONTRATADO
12.1. A CONTRATADA fica obrigada a aceitar, nas mesmas condições contratadas, os acréscimos ou supressões que se fizerem necessários no objeto, a critério exclusivo do CONTRATANTE, até o limite de 25% (vinte e cinco por cento) do valor inicial atualizado do Contrato.
12.1.1. Eventual alteração será obrigatoriamente formalizada pela celebração de prévio termo aditivo ao presente instrumento, respeitadas as disposições da Lei Federal nº 8.666/1993.
CLÁUSULA DÉCIMA TERCEIRA – DA RESCISÃO
13.1. O Contrato poderá ser rescindido, na forma, com as consequências e pelos motivos previstos nos artigos 77 a 80 da Lei Federal nº 8.666/1993.
13.1.1. Caso as taxas de aprovação, indicadas no parágrafo primeiro da cláusula nona, para as escolas do grupo de tratamento sejam inferiores às das escolas do grupo de controle, para duas parcelas do objeto deste Contrato, verificar-se-á motivo de rescisão a que alude o inciso II do artigo 78 da Lei Federal nº 8.666/1993.
CLÁUSULA DÉCIMA QUARTA - DAS SANÇÕES
14.1. A prática de atos que atentem contra o patrimônio público ou que constituam fraude ou corrupção, assim como os comportamentos inidôneos, sujeitará a CONTRATADA às sanções dos incisos III e IV do artigo 87 da Lei Federal nº 8.666/1993, sem prejuízo das responsabilizações administrativas de que trata a Lei Federal nº 12.846/2013 e Decreto Estadual nº 60.106/2014, civil e criminal.
14.1.1 Garantido o exercício de prévia e ampla defesa, a aplicação das sanções deverá ser registrada no CAUFESP, no “Sistema Eletrônico de Aplicação e Registro de Sanções Administrativas – e-Sanções”, no endereço xxx.xxxxxxxx.xx.xxx.xx, e também no “Cadastro Nacional de Empresas Inidôneas e Suspensas – CEIS”, no endereço xxxx://xxx.xxxxxxxxxxxxxxxxxxx.xxx.xx/xxxx.
CLÁUSULA DÉCIMA QUINTA - DA GARANTIA DE EXECUÇÃO CONTRATUAL
15.1. Não será exigida a prestação de garantia para a contratação que constitui objeto do presente instrumento.
CLÁUSULA DÉCIMA SEXTA – DISPOSIÇÕES FINAIS
16.1. Fica ajustado, ainda, que:
I - Consideram-se partes integrantes do presente Contrato, como se nele estivessem transcritos:
a. o Edital mencionado no preâmbulo e seus anexos.
b. os demais elementos da proposta da CONTRATADA;
c. o programa de ação a ser apresentado pela CONTRATADA no período Pré- Operacional e aceito pelo CONTRATANTE.
II - Aplicam-se às omissões deste Contrato as disposições normativas indicadas no preâmbulo e demais disposições regulamentares pertinentes.
III - Para dirimir quaisquer questões decorrentes deste Contrato, não resolvidas na esfera administrativa, será competente o foro da Comarca da Capital do Estado de São Paulo.
E assim, por estarem as PARTES justas e contratadas, foi lavrado o presente instrumento em ( ) vias de igual teor e forma que, lido e achado conforme pela CONTRATADA e pelo CONTRATANTE, vai por eles assinado para que produza todos os efeitos de Direito, na presença das testemunhas abaixo identificadas.
São Paulo, de de 201_.
CONTRATANTE CONTRATADA
TESTEMUNHAS:
(nome, RG e CPF) (nome, RG e CPF)
ANEXO VI
MODELO DE TERMO DE CIÊNCIA E DE NOTIFICAÇÃO AO TRIBUNAL DE CONTAS
ESTADO DE SÃO PAULO
Órgão ou Entidade:
Contrato n° (de origem):
Objeto:
Contratante:
Contratada:
Advogado(s): (*) Facultativo. Indicar quando já constituído.
Na qualidade de Contratante e Contratada, respectivamente, do Termo acima identificado, e, cientes do seu encaminhamento ao TRIBUNAL DE CONTAS DO ESTADO, para fins de instrução e julgamento, damo-nos por CIENTES e NOTIFICADOS para acompanhar todos os atos da tramitação processual, até julgamento final e sua publicação e, se for o caso e de nosso interesse, para, nos prazos e nas formas legais e regimentais, exercer o direito da defesa, interpor recursos e o mais que couber.
Outrossim, declaramos estar CIENTES, doravante, de que todos os despachos e decisões que vierem a ser tomados, relativamente ao aludido processo, serão publicados no Diário Oficial do Estado, Caderno do Poder Legislativo, parte do Tribunal de Contas do Estado de São Paulo, de conformidade com o artigo 90 da Lei Complementar nº 709, de 14 de janeiro de 1993, iniciando-se, a partir de então, a contagem dos prazos processuais.
(local e data)
CONTRATANTE
(nome, cargo e assinatura)
CONTRATADA
(nome, cargo e assinatura)
ANEXO VII
MODELO DE ATESTADO DE VISITA TÉCNICA
CONCORRÊNCIA N º /
PROCESSO N º /
OBJETO:
ATESTO que o representante legal do(a) , interessado(a) em participar da Concorrência nº / , Processo n° / , realizou nesta data visita técnica nas instalações do , recebendo assim todas as informações e subsídios necessários para a elaboração da sua proposta.
A licitante está ciente desde já que, em conformidade com o estabelecido no Edital, não poderá pleitear em nenhuma hipótese modificações nos preços, prazos ou condições ajustadas, tampouco alegar quaisquer prejuízos ou reivindicar quaisquer benefícios sob a invocação de insuficiência de dados ou informações sobre o(s) local(is) em que serão executados os serviços.
(Local e data).
(nome completo, assinatura e qualificação do preposto da licitante)
(nome completo, assinatura e cargo do servidor responsável por acompanhar a vistoria)