TERMO DE REFERÊNCIA PARA CONTRATAÇÃO DE CONSULTORIA
TERMO DE REFERÊNCIA PARA CONTRATAÇÃO DE CONSULTORIA
Contratação de empresa especializada para realizar Avaliação Externa do Desempenho Escolar dos alunos da rede municipal e estadual de ensino do Estado do Acre, no ano de 2017 e 2018, através do Sistema Estadual de Avaliação da Aprendizagem Escolar da Educação Básica daRede Pública Estadual do Acre-
SEAPE.
SUMÁRIO
1. SIGLAS E DEFINIÇÕES
2. CONTEXTO
3. OBJETIVO GERAL
4. ATIVIDADES
5. ESPECIFICAÇÕES DOS SERVIÇOS
6. PRODUTOS ESPERADOS
7. PRAZOS DE EXECUÇÃO
8. REQUISITOS PARA A CONSULTORA
9. FORMA DE APRESENTAÇÃO DOS PRODUTOS
1. SIGLAS DEFINIÇÕES
SEAPE: Sistema de Avaliação da Aprendizagem Escolar
EF: Ensino Fundamental
EM: Ensino Médio
TRI: Teoria da Resposta ao Item
TCT: Teoria Clássica dos Testes
SAEB: Sistema de Avaliação da Educação Básica IDEB: Índice de Desenvolvimento da Educação Básica SEE: Secretaria de Estado de Educação e Esporte AC:Acre
2. CONTEXTO
Ao longo dos últimos anos a SEE vem desenvolvendo um conjunto de ações articuladas que tem como objetivo estratégico oferecer às escolas e educadores as condições institucionais necessárias para que todos os alunos possam ter uma aprendizagem de qualidade.
Sabemos que na educação, assim como em todas as áreas sociais, os resultados surgem após anos de investimentos contínuos. As ações realizadas permitiram conquistas importantes para o Estado, permitindo, por exemplo, que nossa rede de ensino pudesse sair das últimas posições entre os estados e hoje esteja acima da média do IDEB da região norte e do país em relação ao 9º ano do ensino fundamental e 3ªsérie do ensino médio. Mas, ainda é preciso melhorar muito para que os nossos alunos e alunas possam ter uma aprendizagem de qualidade, que atenda as aspirações do conjunto de professores e da sociedade.
A Secretaria de Educação e Esporte do Estado do Acre, com a finalidade de promover a melhoria da qualidade do ensino nas escolas de sua rede, situando-a em patamares compatíveis com as reais necessidades do cidadão acriano. A Avaliação Externa é componente do SEAPE- Sistema Estadual de Avaliação da Aprendizagem Escolarda Educação Básica da Rede PúblicaEstadual do Acre, que é ainda integrado pela Avaliação Diagnóstica. Estas avaliações se complementam de modo a formar um todo coerente e operante, configurando-se assim um sistema capaz de promovermudanças rumo aos objetivos almejados, ou seja, a oferta de uma educação de melhor qualidade.
Realizar uma avaliação abrangente em larga escala do desempenho dos alunos que produza um diagnóstico acurado da realidade educacional do Estado, com conseqüentes desdobramentos regionais e por unidades escolares, é um imperativo, em face da necessidade do governo estadual dispor de informações de relevo e fidedignas para formulação, monitoramento e reformulação das políticas públicas educacionais.
A Avaliação Externa das Escolas será realizada na rede pública municipal e estadualde educação e abrangerá o 2º, 3º, 5º, 6º e 9º anos do Ensino Fundamental e o 1º, 2º e 3ºsérie do Ensino Médio com redação para a 3ºsériedo Ensino Médio nas unidades de ensino. A avaliação irá aferir o domínio de competências e habilidades, em Leitura e Matemática por parte do alunado. Será, ainda, aplicado um questionário investigativo contextualizado sobre as competências sócio-
econômicas dos alunos do 5º, 6º e 9ºano EF e alunos da 1ª a 3ªsérieEM e questionário dos
professores e dos diretores, como forma de obter uma visão mais detalhada da realidade educacional e com isso fornecer subsídios para a transformação do atual quadro.
Os testes aplicados aos alunos do 2º, 3º, 5º, 6º e 9º anos do EF e da1º a 3º série do EM serão concebidos e analisados com base na Teoria da Resposta ao Item - TRI, modelo de três parâmetros, quando se leva em conta poder de discriminação, grau de dificuldade e possibilidade de acerto ao acaso, o que possibilitará mensurar o desempenho em Língua Portuguesa e Matemática, com a produção dos resultados na escala do SAEB para Língua Portuguesa e Matemática. Já a prova de redação aplicada aos alunos do 3º sériedo ensino médio possibilitará mensurar o desempenho dos alunos no tocante às competências avaliadas pelo Exame Nacional do Ensino Médio, doravante Enem.
Os dados relativos à proficiência média do alunado, em Língua Portuguesa e Matemática,serão trabalhados de forma conjunta com as taxas de aprovaçãoe assim será gerado um indicador mais abrangente para o estabelecimento de metas atinentes às escolas de “per si” e o sistema educacional como um todo. Metas que vislumbrem uma escola onde o aluno aprenda e tenha uma progressão normal, onde o aprendizado não se dê sob a égide de uma grande excludência, nem se incorra na trilha fácil da promoção automática.
Topicamente é possível relacionar os seguintes objetivos a serem alcançados:
• Avaliar todos os alunos do 2º 3º, 5º, 6º e 9° anos do Ensino Fundamental eda 1ª,2ªe 3ªsérie do Ensino Médio, com a finalidade de produzir informações qualificadas sobre o desempenho escolar dos alunos avaliados e de fatores associados a esse desempenho.
• Detectar práticas pedagógicas que contribuam para a melhoria da proficiência do aluno.
• Possibilitar a todos os envolvidos no processo educativo (alunos, professores, diretores, pais, administradores, técnicos e especialistas) o acompanhamento efetivo dos resultados obtidos por suas escolas.
• Utilizar a avaliação como ferramenta desencadeadora de processos de motivação na escola e no sistema de ensino, por meio de ações e incentivos aos alunos e profissionais da educação lotados nas unidades escolares.
• Identificar elementos do núcleo pedagógico (relação professor, aluno, conteúdoe atividades pedagógicas) que subsidiem a formação continuada dos professores e a orientação curricular para o ensino e a aprendizagem;
• Fornecer às escolas informações e orientações que lhes permitam tomar decisões e adotar estratégias pedagógicas apropriadas ao desenvolvimento de competências em Língua Portuguesa (Leitura) e Matemática;
• Oferecer à Secretaria de Estadode Educação e Esporte informações científica aplicáveis à implementação de políticas de melhoria da educação pública.
• Oferecer à Secretariade EstadoEducação e Esporteresultados em série histórica para cada série avaliada, permitindo o monitoramento sistemático do sistema educacional.
Serão avaliadas as escolas da rede pública de educação, sob subordinação técnica e administrativa da SEE/AC que ofertem ensino regular para os alunos dos anos/série avaliadas.
A previsão do número de turmas e alunos por série é a que se segue:
QUADRO 1 – NÚMERO DE ALUNOS POR SÉRIE 2017 e 2018
ETAPA DE ENSINO | LOCAL | 2017 | 2018 | ||
ALUNOS | TURMAS | ALUNOS | TURMAS | ||
Ensino Fundamental de 9 anos - 2º Ano | RURAL | 3046 | 134 | 3339 | 142 |
Ensino Fundamental de 9 anos - 2º Ano | URBANO | 12704 | 493 | 12853 | 498 |
Ensino Fundamental de 9 anos - 3º Ano | RURAL | 2835 | 130 | 3107 | 137 |
Ensino Fundamental de 9 anos - 3º Ano | URBANO | 12307 | 454 | 12451 | 458 |
Ensino Fundamental de 9 anos - 5º Ano | RURAL | 2652 | 121 | 2920 | 129 |
Ensino Fundamental de 9 anos - 5º Ano | URBANO | 10552 | 383 | 10361 | 377 |
Ensino Fundamental de 9 anos - 6º Ano | RURAL | 3598 | 150 | 4005 | 161 |
Ensino Fundamental de 9 anos - 6º Ano | URBANO | 11316 | 367 | 11482 | 372 |
Ensino Fundamental de 9 anos - 9º Ano | RURAL | 2545 | 123 | 2833 | 131 |
Ensino Fundamental de 9 anos - 9º Ano | URBANO | 8776 | 290 | 8904 | 294 |
Ensino Médio - 1ª Série | RURAL | 2056 | 74 | 2370 | 82 |
Ensino Médio - 1ª Série | URBANO | 13459 | 378 | 13852 | 389 |
Ensino Médio - 2ª Série | RURAL | 1405 | 59 | 1620 | 65 |
Ensino Médio - 2ª Série | URBANO | 9616 | 288 | 9897 | 296 |
Ensino Médio - 3ª Série | RURAL | 1170 | 55 | 1349 | 60 |
Ensino Médio - 3ª Série | URBANO | 8440 | 249 | 8687 | 257 |
TOTAL | 106478 | 3748 | 110027 | 3849 |
Fonte: Censo Escolar 2014 – Divisãode Dados Estatísticos/SEE (dados preliminares)
A avaliação terá, ainda, abrangência estadual, compreendendo todos os municípios e as 21 Coordenadorias Regionais/núcleos da SEE.
Além das provas, todos os alunos responderão a um questionário sócio econômico. Professores, diretores e coordenadores responderão também a questionários específicos,
como forma de identificar fatores associados à aprendizagem do alunado.
3- OBJETIVO GERAL
Contratar consultoria para realizar avaliação externa do SEAPE 2017 e 2018.
4. ATIVIDADES
4.1- Modo de Operar a Avaliação
A avaliação utilizará testes cognitivos nas áreas básicas de Língua Portuguesa, Matemática além da prova de Redação, e tomará como base os parâmetros curriculares nacionais, a proposta curricular da SEE/AC, para a definição da matriz de referência que irá orientar a elaboração dos testes a partir de itens pré-testados pela contratada. Quanto à prova de redação, esta terá como referência as competências avaliadas no Enem.SEE/AC e a Entidade Avaliadora Contratada deverão definir uma forma conjunta de trabalho que possibilite a participação dos técnicos da SEE/AC na construção e validação dos testes.
Serão recrutados e selecionados 50coordenadores decampoque atuarão nas instâncias regionais da SEE/AC. Haverá no mínimo um destes agentes em cada uma destas instâncias, podendo este número ser acrescido em função da quantidade de escolas, dificuldade de acesso às unidades escolares e outras razões pertinentes. Este profissional será responsável pelo recrutamento, seleção e treinamento dos aplicadores, recebimento, conferência do material enviado pela entidade contratada, entrega do material de aplicação do teste,questionário e formulários de controle aos aplicadores, recebimento deste material dos aplicadores e sua devolução para a contratada. Coordenará todo o processo avaliativo em seu âmbito de atuação e
reportar-se-á a uma coordenação central no estado, a ser montada pela contratada em estreita interação com a SEE/AC.
Na realização de cada edição anual da avaliação, a instituição contratada deverá desenvolver as seguintes atividades:
a) proceder à checagem das escolas para a atualização dos dados com o objetivo de dimensionar a estrutura e logística da avaliação, bem como os quantitativos dos instrumentais que serão utilizados;
b) providenciar material de consumo nas quantidades necessárias para a execução, de forma satisfatória e com qualidade, de todas as etapas da avaliação conforme especificações indicadas neste termo,
c) Utilizar itens pré-testadose com análise dos indicadores métricos de qualidade, adotando os procedimentos da Teoria Clássica dos Testes (TCT) e da Teoria de Resposta ao Item (TRI), para compor as avaliações de Língua Portuguesa e Matemática do 2º, 3º, 5º, 6º e 9º anos do EF e do 1º a 3º série do EM;
d) compor os testes de avaliação da seguinte forma: 2º ano EF – disciplinas de Língua Portuguesa e Matemática no mesmo caderno;3º ano EF – disciplinas de Língua Portuguesa e Matemática no mesmo caderno; 5º ano EF – disciplinas de Língua Portuguesa, Matemática e questionáriodo aluno no mesmo caderno; 6º ano EF – disciplinas de Língua Portuguesa e Matemática e questionário do aluno no mesmo caderno;9º ano EF – Língua Portuguesa, Matemática e questionário do aluno no mesmo caderno1ª e 2ªsérie do EM - Língua Portuguesa, Matemática e questionário do alunono mesmo caderno; 3ªsérie do EM - Língua Portuguesa, Matemática, prova de redação e questionário do alunono mesmo caderno.
e) elaborar os questionários (diretor, professor e aluno), em parceria direta com a SEE/AC, contemplando os principais aspectos da política educacional vigente, além dos dados relacionados à situação sócio-econômica de professores, gestores e alunos;
f) elaborar, diagramar e reproduzir o manual de instrução dos coordenadores de campo, e aplicadores para subsidiar o treinamento e a aplicação dos instrumentos;
g) elaborar demais instrumentos da avaliação como lista de presença, formulário de controle de unidade, formulário de Controle da Aplicação, formulário de rastreamento de unidade, carta de apresentação do aplicador, lista de freqüência e temocompromisso do aplicador, e coordenador de campo;
h) selecionar mediante critérios e capacitar, em articulação com a SEE/AC, os recursos humanos (Coordenadores e Aplicadores) envolvidos nas aplicações dos instrumentos .Haverá contratação de aplicador externo para todos os anos avaliados;
i) organizar os instrumentais da avaliação (empacotar e etiquetar) por Instância Regional, município, escola e turma, nas quantidades definidas pela base de dados, contratando para tanto uma equipe de pessoas para esse fim;
k) distribuir e recolher todos os instrumentos produzidos (aplicados ou não) nos 22 municípios;
l) realizar o processamento dos instrumentos de avaliação. Para o processamento dos instrumentos dos estudantes do 2º e 3º ano do EF será necessária a transcrição das respostas dos cadernos de testes de rendimento para o cartão-resposta, transcritos pela empresa contratada.
m) montar, diagramar, reproduzir, distribuir e aplicar os cadernos de teste das disciplinas de Língua Portuguesa e Matemática para alunos dos 2º, 3º, 5º, 6º e 9ºanos do Ensino Fundamental e 1º, 2º e 3º série do Ensino Médio e a prova de redação para alunos do3ª sériedo Ensino Médio;
n) diagramar, reproduzir, distribuir e aplicar os questionários dos diretores, professores, alunos e o formulário de controle da aplicação;
o)providenciar passagens aéreas e hospedagem para os especialistas que atuarão na avaliação, sempre que necessário;
q) utilizar sistema informatizado que garanta um rigoroso controle da aplicação, de forma a assegurar o recolhimento de 100% dos cadernos de testes aplicados, bem como, dos demais instrumentais utilizados. Para identificação e controle das turmas, deverá ser criado um código numérico para cada turma;
r) designar, após a avaliação, um profissional para encaminhar e resolver todas as questões financeiras referentes aos pagamentos dos profissionais envolvidos no trabalho de campo;
s) realizar a conferência prévia ao processamento dos dados, procedendo a um controle rigoroso de consistência dos dados, submetendo os percentuais obtidos a aprovação do contratante;
t) constituir a base de dados (classificação e processamento dos dados dos testes e questionários) e realizar análise estatística computacional dos dados;
u) elaborar os relatórios conforme especificações expressas no item Relatórios, constante neste documento e disponibilizá-los na forma online.
v)organizar oficinas de divulgação e tratamento dos resultados para 160 participantes, definidos pela secretaria. A carga horária das oficinas será de 16 horas. Nas oficinas a contratada será responsável pelos materiais.
A instituição contratada, sob pena de multa e/ou cancelamento do contrato, deverá realizar todas as atividades previstas anteriormente, atingindo a 100% de cobertura das escolas e turmas existentes. A Contratada em sua proposta técnica deverá apresentar estratégias que assegurem o cumprimento da aplicação em todas as escolas e turmas.
4.2 - Empacotamento dos Testes
Em relação ao empacotamento do material, os cadernos de teste, organizados por,escola/série/turma/turno deverão estar acondicionados em invólucros de plástico com duplo fechamento autocolante, permitindo a reutilização no retorno dos testes. Este pacote de teste deverá conter a identificação da escola/série/turma/turno e númerode alunos da turma correspondente, bem como o código numérico da turma, possibilitando a leitura com código de barra.
A instituição contratada se responsabilizará pelo empacotamento dos cadernos de testes, organizados por turma e acondicionando em malotes separados por escola. Da mesma forma, tomará as providencias necessárias para assegurar que todos os malotes contendo os pacotes de teste cheguem a cada Instância Regional com antecedência suficiente para organização, distribuição e a adequada aplicação, bem como garantir sua guarda em locais seguros contra perda ou quebra de sigilo. Deverá ainda recolher todo o material utilizado no levantamento e enviá-lo para os lugares destinados ao processamento e transcrição dos dados.
4.2.1 Conteúdo dos Pacotes
a) Por Turma:
• Cadernos de teste / questionários do aluno e folhas de respostas;
• Cadernos de teste / questionários do professor e respectivas folhas de respostas;
• Nas turmas da 3º série Ensino Médio, caderno de teste/questionário do aluno, respectivas folhas de respostas e prova de redação, com folha de rascunho.
• Formulário de controle da Aplicação, Lista de Presença e ata da turma.
b) Por Escola:
• Todos os pacotes com os instrumentos da avaliação destinados a cada escola (pacotes por turma da escola); Formulário de Controle da Aplicação (reserva), Lista de presença dos alunos (reserva) e ata da turma reserva.
• Malotes para acondicionar, por ocasião do recolhimento, os pacotes plásticos lacrados com os instrumentos aplicados.
c) Por municípios e pólo regional:
• Os pacotes contendo os manuais dos coordenadores e aplicadores deverão ser encaminhados para o município do Rio Branco, onde será realizado o treinamento dos coordenadores. Os manuais deverão ser previamente aprovados pela SEE/AC;
• Os pacotes contendo os instrumentos de cada escola serão reunidos por grupo de municípios de cada pólo regional, de acordo com um Plano de Execução e Controle apresentado pela Instituição e previamente aprovado pela SEE/AC.
4.3 - Material de Sensibilização e Material de Controle da Aplicação
Material | 2017 | 2018 | |
a) | Cartazes: papel couche 90 g/m2, em 4 cores, impresso somente na frente (4/0), tamanho A3 (297 x 420 mm) | 525 | 530 |
b) | Folders: papel couche 90 g/m2, em 4 cores, impresso frente e verso (4/4), tamanho A4 (210 x 297 mm) | 683 | 690 |
c) | Pacotes: em material plástico com duplo fechamento autocolante para acondicionar os testes. (Os pacotes plásticos serão confeccionados em cores distintas, sendo uma para cada série: 501 turmas do 2º do EF, 535 turmas do 3º EF, 500 turmas do 5º ano EF, 36 turmas do 6º do EF, 489 turmas do 9º ano EF, 471 turmas do 1º EM, 357 turmas do 2º EM e 328 turmas do 3ºEM); | 3748 | 3848 |
d) | malotes para acondicionamento dos instrumentos de avaliação; | 1900 | 1900 |
e) | Etiquetas de Pacotes: impressas em papel auto-colante para identificação dos pacotes de cada turma, contendo todos os dados | 3648 | 3848 |
variáveis da turma; | |||
f) | Etiquetas de Malotes: impressas em papel auto-colante para identificação das dos malotes contendo todos os dados variáveis da escola; | 1900 | 1900 |
g) | 01 Vídeo de Treinamento, com duplicações: formato DVD para capacitação dos aplicadores. (01 para cada coordenador de núcleo); | 50 | 50 |
h) | Cartas de Apresentação do Aplicador: para identificação junto aos gestores das escolas; | 3748 | 3848 |
i) | Listas de Presença dos Alunos: para registrar a presença dos estudantes por meio de assinatura e registrar as eventuais situações de contingência. | 3748 | 3848 |
j) | Formulários de Controle da Aplicação: para coletar informações sobre o processo de aplicação das provas em cada sala de aplicação. | 3748 | 3848 |
l) | Formulários de Controle de Unidade: | 395 | 400 |
m) | Formulários de Rastreamento de Unidade: para registrar a entrega e a devolução de cada pacote. | 3748 | 3848 |
n) | Listas de Frequência e Compromisso do Coordenador de campo: para coletar a assinatura dos participantes para realizar o controle da presença na capacitação e, também, registrar o compromisso do coordenador e do apoio, firmado no momento anterior ao recebimento das informações relativas à aplicação. | 50 | 50 |
Todos estes materiais deverão ser submetidos à aprovação da SEE/AC antes da sua reprodução. No caso dos Cartazes e Folders, os mesmos deverão estar prontos para a distribuição um mês antes do início da aplicação dos instrumentos.
4.4 Treinamento da Equipe de Campo
A SEE/AC considera fundamental para o bom resultado dos trabalhos o treinamento dos recursos humanos que irão executar as tarefas de campo e por essa razão trabalhará de forma integrada para a efetivação de todas as sessões do mesmo.
Nos treinamentos deverão ser abordados todos os mecanismos e providências que deverão ser tomadas para assegurar a padronização dos procedimentos e garantir o controle de qualidade da aplicação dos instrumentos, bem como outras informações consideradas relevantes. Na execução desta atividade será utilizado design centralizado, descentralizado, esquema multiplicador, conforme a característica do público e a situação que se apresenta. Assim, o treinamento dos50 Coordenadores de campo, ocorrerá de forma centralizada em Rio Branco e estes assumirão o papel de realizar o treinamento dos aplicadores.
Particularmente no treinamento de aplicadores, deverá ser dada especial atenção à uniformização dos procedimentos e às tarefas de orientação no preenchimento dos instrumentos, ênfase na postura de isenção e imparcialidade, enquanto sujeito responsável por esta atividade, além da inclusão de simulações e de atividades práticas.
A instituição a ser contratada deverá incluir em sua proposta o Plano de Treinamento especificando dentre outros aspectos:
Locais de treinamento em ambiente adequado, separado dos locais de distribuição do material;
• Conteúdo;
• Carga horária;
• Cronograma previsto para a realização das atividades;
• Design adotado;
• Número estimado e qualificação dos profissionais a serem treinados (Coordenadores de
,campo Aplicadores, e eventuais elementos de apoio), considerando ainda a necessidade de um quantitativo de suplentes, em cada função, para os casos de substituições.
A SEE/AC disponibilizará os locais para que os coordenadores realizem o treinamento dos aplicadores, bem como fornecerá a estrutura necessária para a realização do mesmo.
Para o treinamento dos coordenadores de campoa SEE/AC fornecerá a estrutura do treinamento (espaço e equipamentos)
4.4.1 Material de Apoio para o Treinamento
Para desenvolvimento desta atividade deverão ser reproduzidos materiais de apoio (manuais) em quantidades compatíveis com o número de coordenadores e aplicadores dimensionado respeitado o critério mínimo de 01(um) para cada, abordando o seguinte conteúdo:
a) Manual do Coordenador - contendo orientações necessárias para a padronização dos procedimentos de aplicação dos instrumentais nas séries avaliadas, como por exemplo: esquemas a serem adotados para empacotamento, distribuição e devolução dos instrumentos; metodologia para a aplicação dos instrumentos, instruções sobre a preparação, acompanhamento e encerramento dos trabalhos de campo etc.
b) Manual do Aplicador - que deverá conter instruções, como: descrição das funções, tarefas e responsabilidades, mecanismos de registro e controle da aplicação, guia básico com instruções a serem dadas aos alunos por ocasião da aplicação, bem como cuidados e procedimentos a serem seguidos na solução de problemas comuns, eventualidades previsíveis, etc. Deverá conter instruções específicas sobre o preenchimento de cada instrumento a ser aplicado, com ênfase para aqueles que serão preenchidos pelo próprio aplicador.
Na implementação de todas as etapas desta avaliação buscar-se-á observar os princípios consagrados da avaliação macro, a saber: exatidão, confiabilidade, utilidade, viabilidade e ética.
5 - Pessoal
A Instituição contratada deverá em sua proposta dimensionar os recursos humanos que serão envolvidos descrevendo:
• Funções e responsabilidades nas diversas áreas e níveis, o inter-relacionamento funcional de toda a equipe prevista, sua distribuição geográfica etc. A equipe de campo deverá contar com a coordenação central em Rio Branco (4 coordenadores); coordenadores de campoe
(50) para 2017 e 2018, respectivamente; (4) apoios logísticos; aplicadores externos para todas as séries avaliadase aplicadores adicionais para os alunos com necessidades especiais em articulação com a SEE/AC, quando serão acertados a forma e os critérios que orientarão a seleção do pessoal necessário;
5. PRODUTOS: FORMA DE APRESENTAÇÃO E ESPECIFICAÇÃO
Os produtos referentes aos serviços objeto destes Termos de Referência serão acompanhados, revisados e aprovados pela Diretoria de Ensino da Secretaria de Estado de Educação e Esporte do Estado do Acre considerando as seguintes diretrizes:
5.1 - Os documentos técnicos e relatório final referentes neste TDR deverão ser apresentados em linguagem objetiva, informativa, clara, concisa e sem omitir qualquer dado importante, acompanhados de possíveis anexos, quadros, gráficos, etc., com boa pontuação e ortografia correta, informações precisas, de acordo com os padrões estabelecidos pela ABNT.
5.2 - Será exigido rigoroso controle de qualidade sobre as informações apresentadas, consistência das informações, justificativas de resultados, texto isento de erros de Português e de digitação.
Em cada etapa anual da avaliação, o desenvolvimento das atividades estará dividido em três fases: Planejamento (Desenho da avaliação); Execução (Aplicação dos instrumentos de avaliação); e Resultados (Emissão dos relatórios e disseminação das informações). Para cada uma das fases a instituição deverá apresentar os seguintes produtos, nas quantidades indicadas:
1ª FASE – DESENHO DA AVALIAÇÃO 2017 e 2018 | ||
Nº PRODUTOS | QUANTIDADE | |
1.1 | Plano de Execução e Controle e relação de nomes de responsáveis e representantes | 1 |
1.2 | Base de dados dos alunos e escolas devidamente checados e organizados | 1 |
1.3 | Boneco do Manual dos Coordenadores | 1 |
1.4 | Boneco do Manual dos Aplicadores | 1 |
1.5 | Boneco do questionário do Diretor | 1 |
1.6 | Boneco do questionário do Professor | 1 |
1.7 | Boneco da Folha de resposta do aluno | 1 |
1.8 | Boneco da Folha de resposta do Professor | 1 |
1.9 | Boneco da Folha de resposta do Diretor | 1 |
1.10 | Boneco da Carta de Apresentação do Aplicador e Coordenadores | 1 |
1.11 | Boneco do Formulário de Controle da Aplicação | 1 |
1.12 | Boneco Formulário de Rastreamento de Unidade | 1 |
1.13 | Boneco Formulário de Controle de Unidade | 1 |
1.14 | Boneco Lista de Presença dos Alunos | 1 |
1.15 | Boneco Lista de Frequencia e Compromisso do Aplicador | 1 |
1.16 | Boneco Lista de Frequencia e Compromisso do Coordenador de Escola | 1 |
1.17 | Boneco Lista de Frequencia e Compromisso do Coordenador de Núcleo e Apoio | 1 |
1.18 | Boneco do Cartaz | 1 |
1.19 | Boneco do Folder | 1 |
1.20 | Roteiro do Vídeo de Treinamento | 1 |
1.21 | Relatório de execução das ações | 1 |
2ª FASE – APLICAÇÃO DOS INSTRUMENTOS DE AVALIAÇÃO2017 | ||
Nº PRODUTOS | QUANTIDADE | |
2.1 | Cartazes | 525 |
2.2 | Folders | 683 |
2.3 | Manuais dos Coordenadores de campo | 50 |
2.4 | Manuais dos Aplicadores | 600 |
2.5 | Cadernos de teste do 2º ano do Ensino Fundamental de Língua Portuguesa e Matemática | 15.750 |
2.6 | Cadernos de teste do 3º ano do Ensino Fundamental de Língua Portuguesa e Matemática | 15.142 |
2.7 | Cadernos de teste do 5º ano do Ensino Fundamental de Língua Portuguesa e Matemática | 13.204 |
2.8 | Cadernos de teste do 6º ano do Ensino Fundamental de Língua Portuguesa e Matemática | 14.914 |
2.9 | Cadernos de teste do 9º ano do Ensino Fundamental de Língua Portuguesa e Matemática | 11.321 |
2.10 | Cadernos de teste 1ª sériedo Ensino Médio de Língua Portuguesa e Matemática | 15.515 |
2.11 | Cadernos de teste 2ª sériedo Ensino Médio de Língua Portuguesa e Matemática | 11.021 |
2.12 | Cadernos de teste 3ª sériedo Ensino Médio de Língua Portuguesa e Matemática | 9.610 |
2.13 | Questionários dos Alunos de 5º,6º9º EF e 1ª a 3ª série do EM | 76.089 |
2.14 | Questionários dos Professores | 5.623 |
2.15 | Questionários dos Diretores | 395 |
2.16 | Folhas de Resposta dos Alunos | 106.478 |
2.17 | Folhas de Resposta dos questionários dos professores | 5.623 |
2.18 | Folhas de Resposta dos questionários dos diretores | 395 |
2.19 | Cartas de Apresentação do Aplicador | 3748 |
2.20 | Formulários de Controle da Aplicação | 395 |
2.21 | Lista de Presença dos Alunos | 3.748 |
2.22 | Pacotes Plásticos para os Testes | 3.748 |
2.23 | Formulário de Rastreamento de Unidade | 3.748 |
2.24 | Formulário de Controle de Unidade | 395 |
2.25 | Lista de Frequencia e Termo de Compromisso do Coordenador decampo e Aplicadores | 50 |
2.26 | Etiquetas Autocolantes de Pacotes | 3.748 |
2.27 | Etiquetas Autocolantes de malotes | 1.900 |
2.28 | Malotes para acondicionar os instrumentos de avaliação | 1.900 |
2.29 | Vídeo de Treinamento | 1 |
2.30 | Duplicação de mídia do treinamento | 50 |
2.31 | Relatório de ações executadas | 1 |
2ª FASE – APLICAÇÃO DOS INSTRUMENTOS DE AVALIAÇÃO 2018 | ||||
Nº PRODUTOS | QUANTIDADE | |||
2.1 | Cartazes | 530 | ||
2.2 | Folders | 690 | ||
2.3 | Manuais dos Coordenadores de Núcleo e Apoio | 50 | ||
2.4 | Manuais dos Aplicadores | 600 | ||
2.5 | Cadernos de teste do 2º ano do Ensino Fundamental de Língua Portuguesa e Matemática | 16.192 | ||
2.6 | Cadernos de teste do 3º ano do Ensino Fundamental de Língua Portuguesa e Matemática | 15.558 | ||
2.7 | Cadernos de teste do 5º ano do Ensino Fundamental de Língua Portuguesa e Matemática | 13.281 | ||
2.8 | Cadernos de teste do 6º ano do Ensino Fundamental de Língua Portuguesa e Matemática | 15.487 | ||
2.9 | Cadernos de teste do 9º ano do Ensino Fundamental de Língua Portuguesa e Matemática | 11.737 | ||
2.10 | Cadernos de teste do 1º ano do Ensino Médio de Língua Portuguesa e Matemática | 16.222 | ||
2.11 | Cadernos de teste do 2º ano do Ensino Médio de Língua Portuguesa e Matemática | 11.517 | ||
2.12 | Cadernos de teste do 3º ano do Ensino Médio de Língua Portuguesa e Matemática | 10.036 | ||
2.13 | Questionários dos Alunos de 5º, 9º EF e 1º ao 3º EM | 78.280 | ||
2.14 | Questionários dos Professores | 5.955 | ||
2.15 | Questionários dos Diretores | 400 | ||
2.16 | Folhas de Resposta dos Alunos | 110.027 | ||
2.17 | Folhas de Resposta dos questionários dos professores | 5.955 | ||
2.18 | Folhas de Resposta dos questionários dos diretores | 400 | ||
2.19 | Cartas de Apresentação do Aplicador | 3848 | ||
2.20 | Formulários de Controle da Aplicação | 400 | ||
2.21 | Lista de Presença dos Alunos | 3.849 | ||
2.22 | Pacotes Plásticos para os Testes | 3.849 | ||
2.23 | Formulário de Rastreamento de Unidade | 3.849 | ||
2.24 | Formulário de Controle de Unidade | 400 |
2.25 | Lista de Frequencia e Compromisso do Coordenador de Núcleo, Apoio e Aplicadores | 50 |
2.26 | Etiquetas Autocolantes de Pacotes | 3.849 |
2.27 | Etiquetas Autocolantes demalotes | 1.900 |
2.28 | Malotes para acondicionar os instrumentos de avaliação | 1.900 |
2.29 | Vídeo de Treinamento | 1 |
2.30 | Duplicação de mídia do treinamento | 50 |
2.31 | Relatório de ações executadas | 1 |
3ª FASE –EMISSÃO DOS RELATÓRIOS E DIVULGAÇÃO DOS RESULTADOS 2017 e 2018 | ||
Nº PRODUTOS | QUANTIDADE | |
3.1 | Base comos Micros dados da Avaliação, em CD | 01 |
3.2 | Planilhas consolidadas dos resultados da avaliação, formato Excel em CD | 01 |
3.3 | Revistas Pedagógicas contendo o resultado da escola por disciplina/etapa de escolaridade avaliada. Essa revista deverá trazer informações pedagógicas, textos que tratam de temas da área avaliada e relatos de experiências bem-sucedidas com educadores da rede de ensino. Disponibilização online com login e senha de acesso. | Online e em CD* |
3.4 | Revista do Sistema de Avaliação contendo a linha do tempo do programa textos que discutem questões relativas à avaliação em larga escala; resultados gerais do programa; resultados por regionais; artigo sobre temas educacionais e relatos de experiência com gestores regionais e com o coordenador da avaliação. Disponibilização online comlogin e senha de acesso. | Online e em CD* |
3.5 | Revista da Gestão Escola contendo os resultados da escola emtodas as disciplinas/etapas avaliadas, possibilitando o acesso, de forma objetiva, ao desempenho da escola na avaliação, assim como deverá apresentar o resultado das informações contextuais das unidades escolares. Disponibilização online com login e senha de acesso. | Online e em CD* |
3.6 | Divulgação dos resultados on-line, com a liberação do login e senha de acesso para a SEE | 01 |
3.7 | Oficinas de divulgação de resultados para 160 pessoas | 01 |
* Deverá ser entregue 1 CD contendo os modelos das revistas.
5.4 - Os relatórios a que se referem os itens 3.3; 3.4 e 3.5 da tabela anterior deverão ser apresentados à SEE/AC, com a distribuição das escolas por localidade (rural ou urbana) e código igual ao fornecido pelo INEP, após revisão da versão preliminar para aprovação. Uma vez aprovados deverão ser disponibilizados on-line no idioma Português, e enviados o login e senha de acesso para a SEE e escolas;
5.5- No mesmo período, também deverão ser entregues em CD-ROM, com arquivos em padrão pdf e, quando for o caso, em Excel, além de versão compatível com Br-Office. Ainda deverá ser entregue a SEE/AC a Base com o micro dados, e demais informações deles decorrentes em formato magnético.
5.6 - Os Cadernos de Testes (itens 2.6 a 2.11), os Questionários (itens 2.12 a 2.14) e os Manuais (itens 2.3 e 2.5) acima detalhados deverão atender as seguintes especificações:
Quanto à editoração: Serviço de diagramação eletrônica e editoração.
Quanto à especificação do papel: Tamanho 205 x 275 mm, fechado, gramatura 75g/m².
Capa: Folha branca com impressão colorida (por série e disciplina). Miolo: Folha de cor branca.
Quanto à diagramação: Os itens serão distribuídos nas páginas, não sendo permitindo quebrar os enunciados ou as alternativas de respostas. Os cadernos de teste terão os seguintes identificadores:
• Identificador do caderno, centralizado na parte superior da capa.
• Código identificador do item: nas etapas de alfabetização, será inserido em uma tarja precedente ao item, e, nas etapas finais, na margem superior esquerda de cada item.
• Identificador da disciplina, etapa de referência e bloco, no extremo inferior direito de todas as páginas.
5.7 - A entrega dos relatórios e boletins deverá obedecer ao cronograma previsto, sendo que oRelatório de Campo deverá ser apresentado tão logo sejam concluídos os trabalhos de aplicação dos instrumentais da avaliação, enquanto os demais relatórios serão entregues quando da conclusão dos serviços. Os documentos devem ser entregues em CD.
5.8 - Todos os estudos, relatórios ou outros materiais elaborados pela Instituição contratada em razão desse trabalho pertencerão à SEE/AC. A Instituição poderá reter uma cópia de tais documentos, mas somente poderá produzir e publicar textos, artigos, capítulos de livros, trabalhos científicos para eventos, cujos resultados sejam decorrentes do trabalho realizado com a expressa autorização da SEE/AC.
6.0Incluir anotação
6. INSUMOS
A SEE/AC fornecerá as informações necessárias para a construção dos instrumentos e dos relatórios adequados as suas necessidades bem como os arquivos de bases de dados (dados do Censo) que deverão ser utilizados.
Para a execução das atividades a SEE/AC fornecerá à Instituição, os seguintes materiais e instrumentos:
• Relação com os nomes dos funcionários da SEE/AC, responsáveis pelos contatos com a Instituição e suas respectivas áreas de atuação;
• Informações sobre o conteúdo dos materiais de sensibilização;
• Informações sobre as demandas para elaboração dos instrumentais da avaliação e dos relatórios;
• Relação com os nomes dos gestores das Instâncias Regionais de Educação;
• Listas com os códigos e os dados cadastrais das escolas, das turmas e dos alunos integrantes da avaliação, em cada ano;
• Relação nominal dos alunos.
7. PRAZOS DE EXECUÇÃO
O prazo para execução das atividades e de vigência do contrato será de29 meses a partir da assinatura do contrato.
As versões definitivas do Plano de Execução e Controle e a relação dos nomes dos responsáveis e representantes deverão ser entregues até 10 dias úteis após a assinatura do contrato.
O planejamento detalhado do levantamento de dados deverá ser entregue com antecedência de 15 dias em relação ao início dos trabalhos de campo.
O prazo para execução das atividades de uma etapa anual da avaliação deverá obedecer ao cronograma detalhado a seguir, em conformidade com as três fases previstas:
PLANEJAMENTO DA EXECUÇÃO
ATIVIDADES | MÊS | ANO | ANO |
Apresentação do Plano de Execução e Controle e relação de nomes de responsáveis e representantes | 1º mês | 2017 | 2018 |
Checagem das escolas com atualização da Base de Dados relativa ao número de alunos, turmas e escolas | 1º mês | 2017 | 2018 |
Aquisição de material de consumo para execução das atividades da avaliação | 1º mês | 2017 | 2018 |
Elaboração, diagramação do material de sensibilização (divulgação) para a avaliação (cartazes, folders e vídeo) | 1º mês | 2017 | 2018 |
Elaboração, diagramação dos manuais de instrução dos Coordenadores e Aplicadores para aplicação dos instrumentais. | 1º mês | 2017 | 2018 |
Elaboração dos demais instrumentos da avaliação como Formulário de Controle da Aplicação, Carta de Apresentação do Coordenador e Aplicador. | 1º mês | 2017 | 2018 |
Elaboração e diagramação das Folhas de Respostas dos Alunos, Professores e Diretores. | 1º mês | 2017 | 2018 |
ATIVIDADES | MÊS | 2017 | 2018 |
Reprodução do material de sensibilização para a avaliação (cartazes, folders) | 1º mês | 2017 | 2018 |
Reprodução dos manuais de instrução dos Coordenadores e Aplicadores para aplicação dos instrumentais | 1º mês | 2017 | 2018 |
Reprodução, dos questionários dos diretores, professores, alunos | 1º mês | 2017 | 2018 |
Reprodução do demais instrumentos da avaliação como Formulário de Controle da Aplicação, Carta de Apresentação do Coordenador de Núcleo e Aplicador | 1º mês | 2017 | 2018 |
Reprodução, dos cadernos de prova das disciplinas de Língua Portuguesa e Matemática. | 1º mês | 2017 | 2018 |
Reprodução das Folhas de resposta dos Alunos, professores e Diretores | 1º mês | 2017 | 2018 |
Seleção e treinamento dos coordenadores | 2º mês | 2017 | 2018 |
Realização do treinamento dos aplicadores | 2º mês | 2017 | 2018 |
Organização, empacotamento, e distribuição dos instrumentais de avaliação nos 22 municípios. | 2º mês | 2017 | 2018 |
Aquisição de passagens aéreas e hospedagem para os especialistas que atuarão na avaliação | 2º mês | 2017 | 2018 |
Aplicação dos instrumentais da avaliação nas turmas avaliadas | 2º mês | 2017 | 2018 |
Recolhimento de todos os instrumentos produzidos (aplicados ou não) e realizar a leitura ótica dos mesmos | 2º mês | 2017 | 2018 |
Transcrição das e processamento das respostas dos alunos | 2º mês | 2017 | 2018 |
ATIVIDADES | MÊS | ANO | ANO |
Realização de conferência prévia ao processamento dos dados, procedendo a um controle rigoroso de consistência dos dados. | 1º mês | 2018 | 2019 |
Sistematização dos dados (digitalização dos instrumentos) e constituição da base de dados, seguida da análise estatística computacional. | 1º mês | 2018 | 2019 |
Elaboração e diagramação das revistas conforme especificações e quantidades definidas. | 1º mês | 2018 | 2019 |
Elaboração das revistas contendo os resultados e disponibilização on-line aos interessados com a liberação da senha de acesso para a SEE e escolas. | 1º mês | 2018 | 2019 |
Divulgação dos resultados para a SEE/AC | 2ª mês | 2018 | 2019 |
Realização das oficinas de resultados | 2º mês | 2018 | 2019 |
8. REQUISITOS PARA A CONSULTORIA
São requisitos para a consultoria proposta, tendo em vista a complexidade e especificidades de natureza técnica e metodológica que envolve a realização de uma avaliação externa:
a) Experiência na coordenação de sistemas estaduais ou nacionais em avaliação de desempenho escolar em larga escala, realizada de forma censitária em nível estadual, ou nacional, utilizando a TRI, envolvendo a participação de no mínimo 79.000 (setenta e nove mil alunos). Serão consideradas somente as participações comprovadas mediante apresentação de certidão, declaração ou atestado emitido por autoridade competente de direito público ou privado com firma reconhecida quando não se tratar de órgão público;
b) Experiência de atividades de natureza pedagógica em avaliação externa, curso de formação continuada ou oficinas para gestores e/ou professores da educação básica, com carga horária mínima de 40 horas, em leitura e análise dos resultados de avaliação em larga escala, com no mínimo 60 (sessenta) participantes.
8.1. EQUIPE PREVISTA
O número estimado para o pessoal chave é de três profissionais. Sendo um coordenador geral, um administrador de pesquisa de campo e um especialista em avaliação.
QUADRO A - EQUIPE CHAVE
FUNÇÃO | QUANT. | PERFIL TÉCNICO | ATRIBUIÇÕES |
Administrará e / ou Coordenará | |||
a implementação geral dos | |||
Coordenador geral | 01 | Deve ter formação acadêmica com pós-graduação, no mínimo em nível de mestrado; mínimo de 5 anos de experiência de avaliações educacionais em larga escala. | trabalhos, interagindo com os outros profissionais parceiros e SEE/AC, assegurando que os produtos sejam entregues de acordo com o cronograma estabelecido e com a qualidade requisitada; será o principal |
interlocutor entre a SEE/AC e | |||
os consultores. | |||
Deve ter formação acadêmica | Coordenará e acompanhará a operacionalização das atividades de campo do projeto em conformidade com a metodologia e o plano de trabalho acordado. | ||
Administrador de | com pós-graduação em nível de | ||
pesquisa de | 01 | mestrado; mínimo de 5 (cinco) | |
campo | anos de experiência em | ||
trabalhos dessa natureza. | |||
Deve ter formação acadêmica | Será responsável por | ||
com nível de mestrado em | supervisionar, acompanhar e | ||
Especialista de Avaliação | 01 | educação; mínimo de 5 (cinco) anos de experiência com sólido conhecimento acerca de | orientar todos os procedimentos técnicos para a realização da avaliação do |
pesquisa educacional em larga | SEAPE. Dentre os | ||
escala, especialmente na área | procedimentos a serem | ||
de avaliação. | realizados podemos citar: |
Atualização de dados de alunos e escolas; Desenvolvimento dos instrumentos de avaliação, testes e questionários;Recrutamento das equipes e logística da aplicação; Aplicação dos testes; Leitura óptica e/ou digitalização das folhas de respostas dos instrumentos;Construção das bases de dados; Análise dos resultados e produção dos relatórios. |
8.2 - EQUIPE DE ESPECIALISTAS
Para a execução do trabalho da avaliação, além da equipe chave, a consultora deverá contar com uma equipe de especialistas que incluirá:
QUADRO B- EQUIPE DE ESPECIALISTAS
FUNÇÃO | QUANT | PERFIL TÉCNICO | ATRIBUIÇÕES | |||
Formação acadêmica na | Será responsável pelas | |||||
Especialista em Língua Portuguesa | 01 | área, pós-graduação com nível de mestrado e experiência de 03 (três) anos | atividades de análise e interpretação pedagógica de língua portuguesa dos resultados do SEAPE. | |||
em análise de resultados em | ||||||
avaliação de sistema. | ||||||
Especialista Matemática | em | 01 | Formação área, pós nível de | acadêmica graduação mestrado | na com e | Será responsável pelas atividades de análise e interpretação pedagógica |
experiência de 03 (três) anos em análise de resultados em avaliação de sistema. | dos resultados na área de Matemática. | ||
Será o responsável pela | |||
Formação acadêmica com | análise estatística dos itens | ||
nível de mestrado, tendo | da prova com utilização da | ||
experiência mínima de 03 | teoria Clássica dos testes | ||
anos em projetos de | (TCT) e Teoria de Resposta | ||
Estatístico | 01 | avaliação de sistema com utilização de técnicas em | ao Item (TRI);Calibração dos itens dos testes;Equalização |
medidas educacionais: | das escalas de proficiência | ||
teoria clássica dos testes | com as escalas do SAEB e | ||
(TCT) e teoria de resposta ao | utilização de Modelos | ||
item (TRI). | estatísticos de análise | ||
multinível. |
A seleção, contratação, designação e administração dos recursos humanos da equipe chave e dos especialistas, serão da inteira responsabilidade da Instituição. A instituição, em sua proposta, deverá apresentar currículo comprovado dos mesmos, que serão objeto de avaliação.