Em 4 pontos, os erros que transformaram o Enem 2019apostar na copa do mundo 2024crise:apostar na copa do mundo 2024

Além disso, até a quarta-feira da semana passada (22) pelo menos 250 estudantes já haviam apresentado reclamações ao Ministério Público Federal (MPF) a respeitoapostar na copa do mundo 2024suas notas.

Os erros na correção da prova levaram a Justiça Federalapostar na copa do mundo 2024São Paulo a suspender a divulgação dos resultados do Sistemaapostar na copa do mundo 2024Seleção Unificada (Sisu), que seleciona alunos para vagasapostar na copa do mundo 2024universidades com base nas notas do Enem — o processo só foi liberado na tardeapostar na copa do mundo 2024terça-feira (28) por decisão do Superior Tribunalapostar na copa do mundo 2024Justiça (STJ).

Mas as dificuldades não terminaram com a decisão do STJ. Alguns estudantes relataram problemas para utilizar o site do Sisu — aparentemente a opçãoapostar na copa do mundo 2024listaapostar na copa do mundo 2024espera para cursos não funcionou adequadamente, e a hashtag #erronalistadeespera foi um dos assuntos mais comentados no Twitter na tardeapostar na copa do mundo 2024ontem.

Além disso, o MPF disse ter encontrado irregularidades na destinaçãoapostar na copa do mundo 2024vagas a candidatos com deficiência no Sisu. A Procuradoria da República no Distrito Federal (PRDF) deu prazoapostar na copa do mundo 2024cinco dias para que o Ministério da Educação preste informações sobre o assunto.

O processoapostar na copa do mundo 2024elaboração do exame também foi marcado por problemas ao longo deste ano: o Inep, responsável por realizar as provas, trocouapostar na copa do mundo 2024presidente quatro vezes desde o início da gestãoapostar na copa do mundo 2024Jair Bolsonaro — um dos presidentes do instituto permaneceu apenas 18 dias no cargo.

Em abril, a gráfica que imprimiria as provas, a RR Donneley, encerrou suas atividades no Brasil, alegando dificuldades financeiras. Dias depois, o governo contratou uma outra empresa para a tarefa, sem realizar processo licitatório, por R$ 151,7 milhões.

No primeiro diaapostar na copa do mundo 2024provas, 3apostar na copa do mundo 2024novembro, novo sobressalto: uma foto da provaapostar na copa do mundo 2024redação circulou nas redes sociais enquanto o exame estava ocorrendo.

João Marcelo Borges é diretorapostar na copa do mundo 2024Estratégia Política do Todos pela Educação, uma organização da sociedade civil. Para a organização, os problemas começaram bem antes da realização da prova, quando o MEC montou uma comissão para expugar itens "ideológicos" do bancoapostar na copa do mundo 2024questões usado no Enem.

"A nossa avaliação éapostar na copa do mundo 2024que o MEC e o Inep conduziram muito mal o Enem. Tanto na preparação para a prova, com essa comissão para avaliar o Banco Nacionalapostar na copa do mundo 2024Itens, quanto depois, na correção. Muito embora a quantidadeapostar na copa do mundo 2024alunos afetados possa parecer pequena, menosapostar na copa do mundo 20241%, a dimensão qualitativa desse problema é grave", diz Borges.

"Tanto o MEC quanto o Inep têm sido apenas reativos desde que os problemas começaram a aparecer. Não foi o Inep que identificou os erros na correção. Foram os alunos que identificaram os problemas e começaram a reclamar nas redes sociais, e isso fez com que o Inep identificasse o erro, depoisapostar na copa do mundo 2024divulgados os resultados. Isso jamais poderia ter acontecido. O Inep deveria ter feito todos os testesapostar na copa do mundo 2024segurança para garantir os resultados", completa Borges.

No começo da semana, Jair Bolsonaro admitiu que a situação do Enem era "complicada", e disse que conversaria com Weintraub para entender o que estava acontecendo. "Tenho que conversar com ele (...). (Para ver) se realmente foi uma falha nossa, se tem alguma falha humana, sabotagem, seja lá o que for", disse o presidente na terça (28), reforçando que todas as hipóteses estavam sendo consideradas, inclusive sabotagem.

Já o ministro da Educação disse que não se tratou "uma coisaapostar na copa do mundo 2024má fé". "Foi um acidente, coisa que acontece", disse. Após a falaapostar na copa do mundo 2024Bolsonaro, ele ligou para o presidente para reafirmar que não foi detectada qualquer sabotagem na prova.

A crise no Enem também acirrou os ânimos do outro lado da Esplanada, no Congresso: o presidente da Câmara, Rodrigo Maia (DEM-RJ), chegou a dizer que Weintraub era "um desastre".

"O ministro da Educação atrapalha o Brasil, atrapalha o futuro das nossas crianças, está comprometendo o futuroapostar na copa do mundo 2024muitas gerações. Cada ano que se perde com a ineficiência, com um discurso ideológicoapostar na copa do mundo 2024péssima qualidade na administração, acaba prejudicando o0s anos seguintes", disse Maia nesta quinta (30).

Mas, no fim das contas, o que deu errado com a correção do Enem? O erro impactou todos os 3,9 milhõesapostar na copa do mundo 2024candidatos que fizeram o teste ou apenas os 5.974 que tiveram seus cadernosapostar na copa do mundo 2024provas trocados? O resultado apresentado pelo Inep e pelo MEC é confiável?

A reportagem da BBC News Brasil conversou com técnicos que conhecem a realização da prova e com especialistas na Teoria da Resposta ao Item (TRI) para entender o que aconteceu. Abaixo, conheça as respostas para quatro perguntas sobre o tema.

1. Como foi feita a correção das provas do Enem?

O Enem é feito com questões (itens) elaboradosapostar na copa do mundo 2024antemão por professores que recebem treinamento do Inep.

Os itens passam, então, por um pré-teste, no qual são aplicados a um conjuntoapostar na copa do mundo 2024estudantes — escolhidos a dedo para ser uma amostra representativa do universoapostar na copa do mundo 2024pessoas que vai fazer a prova, depois.

A partir deste pré-teste, o Inep calcula a dificuldadeapostar na copa do mundo 2024cada item. As questões, depoisapostar na copa do mundo 2024prontas, passam a integrar o Banco Nacionalapostar na copa do mundo 2024Itens (BNI), a partir do qual são elaboradas as provas.

"O Inep tem esse bancoapostar na copa do mundo 2024itens, devidamente estruturado, que indica, para cada habilidade (a ser avaliada), um item com as suas estatísticas. Ou seja: se ele discrimina bem o aluno bom do aluno ruim; (qual o grau)apostar na copa do mundo 2024dificuldade ele apresenta", explica um técnico consultado pela reportagem.

Num vestibular tradicional, a nota é calculada com base no númeroapostar na copa do mundo 2024acertos: se você acerta 6 questões das 10 possíveis, aapostar na copa do mundo 2024nota vai ser 6.

Nas provas baseadas na TRI, não é assim: o aluno vai galgando "degraus" dentroapostar na copa do mundo 2024uma escala, conforme o nívelapostar na copa do mundo 2024dificuldade das questões que ele acerta.

"Para você estimar a proficiência (a nota) do aluno, o principal elemento é justamente esse parâmetroapostar na copa do mundo 2024dificuldade do item. Como é que eu sei que um aluno é (digno da nota) 700? Simples. Eu ordeno os itens pela dificuldade, e vou verificando como ele responde. Então, se ele paraapostar na copa do mundo 2024acertar ali por voltaapostar na copa do mundo 2024700, posso dizer que a proficiência dele estáapostar na copa do mundo 2024tornoapostar na copa do mundo 2024700", explica o professor Ocimar Alavarse.

"Esse aluno vinha acertando,apostar na copa do mundo 2024forma consistente, até os itens 700. A partir daí ele começa a errar. Se ele acertou lá na frente (um itemapostar na copa do mundo 2024dificuldade) 900, você diz, bom, o padrão dele é consistente até 700", disse ele à BBC News Brasil.

É por isso que acertar questões difíceis "no chute" não vai necessariamente melhorar aapostar na copa do mundo 2024nota no Enem: para atingir uma nota maior, é preciso que o candidato acerte as mais fáceis e também as mais difíceis,apostar na copa do mundo 2024forma consistente.

2. O que aconteceuapostar na copa do mundo 20242019?

Em nota técnica enviada à Justiça, o Inep admitiu que um erro mecânico afetou diretamente a correção das provasapostar na copa do mundo 20245.974 participantes — os gabaritos utilizados para aferir esses exames estavam trocados, frutoapostar na copa do mundo 2024um "erro mecânico". Depoisapostar na copa do mundo 2024identificadas, essas provas foram devidamente corrigidas.

Além disso,apostar na copa do mundo 20242019 o Inep não seguiu totalmente o roteiro descrito na pergunta acima: uma parte dos itens teve o seu grauapostar na copa do mundo 2024dificuldade calculado depois da aplicação da prova, a partirapostar na copa do mundo 2024uma amostra aleatóriaapostar na copa do mundo 2024100 mil candidatos.

Técnico consultado pela reportagem da BBC News Brasil explica que não é a primeira vez que isso acontece — na verdade, é até comum que parte dos itens tenha seu grauapostar na copa do mundo 2024dificuldade calculado depois.

"Muitas vezes, ao recorrer a este banco (o BNI), você não tem o item daquela habilidade X. Então você coloca um item novo, elaborado com todo o cuidado, mas que não passou pelo pré-teste. Então o que acontece? Ele calibra-se na realização da prova. A rigor, isso não tem problema. Desde que você mantenha, na prova, um número suficienteapostar na copa do mundo 2024itens pré-calibrados para garantir a isonomiaapostar na copa do mundo 2024todos os participantes", diz, sob condiçãoapostar na copa do mundo 2024anonimato.

Tufi Machado Soares é professor do Departamentoapostar na copa do mundo 2024Estatística da UFJF, e especialista na Teoria da Resposta ao Item.

Segundo ele, a grande vantagem da TRI sobre as provasapostar na copa do mundo 2024somatório simples é permitir comparações entre provas diferentes — o que permite a aplicaçãoapostar na copa do mundo 2024diferentes cadernosapostar na copa do mundo 2024provas, ouapostar na copa do mundo 2024umapostar na copa do mundo 2024dias diferentes por razões religiosas, por exemplo.

Além disso, a TRI também é mais precisa que o sistemaapostar na copa do mundo 2024pontuação bruto, usado nas provas tradicionais.

3. Os erros atingiram toda a prova?

Uma parte das 5.974 provas erradas acabou sendo incluída na amostra aleatóriaapostar na copa do mundo 2024100 mil estudantes, usada para calcular a dificuldadeapostar na copa do mundo 2024alguns dos itens — o Inep não esclareceu ainda quantos deles tiveram o grauapostar na copa do mundo 2024dificuldade calculado depois.

Por causa disso, o "erro mecânico"apostar na copa do mundo 2024menosapostar na copa do mundo 20246 mil provas acabou afetando a correção das provasapostar na copa do mundo 2024todos os 3,9 milhõesapostar na copa do mundo 2024estudantes.

O que o Inep alega — e o argumento foi aceito pelo Superior Tribunalapostar na copa do mundo 2024Justiça — é que a influência foi diminuta, incapazapostar na copa do mundo 2024prejudicar o exame como um todo.

Nas provas do primeiro dia,apostar na copa do mundo 2024Linguagens eapostar na copa do mundo 2024Ciências Humanas, nenhuma prova "errada" integrou a amostraapostar na copa do mundo 2024100 mil alunos, segundo o Inep.

No segundo dia, a "contaminação" foiapostar na copa do mundo 202483 provas erradas na amostra usada para calibrar os itens do testeapostar na copa do mundo 2024Ciências da Natureza; eapostar na copa do mundo 2024105 na provaapostar na copa do mundo 2024Matemática.

4. O resultado é confiável? Uma auditoria é necessária?

No entendimento do Inep, seria inútil recalcular os resultados da prova — a "contaminação" da amostra não afetou a confiança do teste, e os resultadosapostar na copa do mundo 2024cada participante ficaram "dentro do intervaloapostar na copa do mundo 2024confiança esperado".

"Desta forma, a propostaapostar na copa do mundo 2024selecionar nova amostra, recalibrar os itens e recalcular as proficiências (as notasapostar na copa do mundo 2024cada aluno), se apresentaria como medida inócua, já que conforme apresentado (...), as proficiências dos participantes continuam sendo estimadas com a mesma precisão e mantendo a escala construída a partirapostar na copa do mundo 20242009, utilizadaapostar na copa do mundo 2024todas as edições do Enem desde então", disse o instituto, na nota apresentada à Justiça.

Os especialistas consultados pela BBC News Brasil divergem sobre a necessidadeapostar na copa do mundo 2024refazer o teste.

"Você pode falar 'não, Ocimar, mas esse erro aí vai dar pouquinho'. Mas acontece que as disputas, para alguns cursos, se dãoapostar na copa do mundo 2024pequenos valoresapostar na copa do mundo 2024diferença. Portanto, essas diferenças muito pequenas dos candidatos podem estar escondendo um problemaapostar na copa do mundo 2024onde elas partiram, que é a tal parametrização dos itens", diz Ocimar Alaversa, da USP.

"Como que a gente pode ter certeza? Só tem um jeito, que é abrir a baseapostar na copa do mundo 2024dados. Tem que fazer uma auditoria. No caso do Enem, como tem muita coisaapostar na copa do mundo 2024jogo, é preciso fazer isso com a máxima transparência. Traz alguns estatísticos, da áreaapostar na copa do mundo 2024psicometria; especialistasapostar na copa do mundo 2024basesapostar na copa do mundo 2024dados, o Ministério Público, e verifique-se."

Já para o ex-presidente do Inep e professor do Departamentoapostar na copa do mundo 2024Economia da USP Reynaldo Fernandes, a diferença obtida com o recálculo das notas seria ínfima — a diferença viria apenas várias casas decimais após a vírgula.

"(A inclusão das provas 'erradas' na amostra) pode aumentar o erro, aumenta o grauapostar na copa do mundo 2024incerteza da prova. Agora, isso depende da quantidade. 200 provas numa amostraapostar na copa do mundo 2024100 mil é nada, é um erro negligenciável."

"Afeta não sei quantas casas depois (da vírgula). É mais que pequeno, é negligenciável", diz ele. Ele faz a ressalvaapostar na copa do mundo 2024que este raciocínio só é válido se as explicações do Inep à Justiça estiverem corretas, eapostar na copa do mundo 2024que apenas isso aconteceu.

"Se for só isso (conforme explicado pelo Inep), corrige-se os problemas e pronto. O impacto sobre a calibração é muito pequeno. Errosapostar na copa do mundo 2024provas, ruídos, sempre tem. Se os mesmos alunos fizessem a mesma provaapostar na copa do mundo 2024outro dia, os resultados seriam ligeiramente diferentes também. Se você antecipasse uma semana, também. O último candidato que entrou, e o primeiro que ficouapostar na copa do mundo 2024fora, eles são indistinguíveis. Um deu mais sorte, e o outro deu mais azar", pondera ele.

Para Tufi Machado Soares, da UFJF, os resultados são seguros — desde que os problemas sejam apenas os que o Inep já admitiu. Mesmo assim, o ideal seria fazer uma reanálise mais ampla.

Em 2017, Soares colaborou com o Ministério Público na auditoria independenteapostar na copa do mundo 2024uma outra edição do Enem.

"Se você teve 200 provas com o gabarito trocado numa amostraapostar na copa do mundo 2024calibraçãoapostar na copa do mundo 2024100 mil, provavelmente a influência dessas provas é praticamente zero. Se for só isso. Estou falando por hipótese", diz ele.

"Agora, é preciso verificar o seguinte: sempre que você encontra um conjuntoapostar na copa do mundo 2024problemas no teste, é possível que haja outros. O problema, a meu ver, é que está faltando um poucoapostar na copa do mundo 2024transparência,apostar na copa do mundo 2024divulgação maior do que está acontecendo. Até para a gente poder fazer uma análise melhor do que está acontecendo", diz ele.

"Acho que isso (auditorias) deveriam ser uma prática adotada pelo próprio Inep constantemente,apostar na copa do mundo 2024todas as avaliações. Com especialistas externos, empresas contratadas para isso. O próprio Inep deveria realizar esse tipoapostar na copa do mundo 2024procedimento, até para garantir a segurança das pessoas", diz ele.