Por Thaís Barcellos e Mariana Leite
Os resultados do ENEM 2017 foram divulgados no dia 18 de janeiro e geraram bastante discussão. Há quem diga que a prova foi mais fácil, há quem diga que foi mais difícil em algumas áreas, e há ainda quem diga que o resultado foi influenciado pelo número de participantes. Mas o que tem validade científica nisso tudo?
O ENEM, diferente de uma prova comum de escola, utiliza o método de Teoria da Resposta ao Item (TRI). Muito se fala sobre a complexidade estatística de implementar a TRI, mas a consequência da utilização é bem simples: comparabilidade.
A metodologia, quando devidamente aplicada, permite a comparação de resultados da mesma área de conhecimento entre provas diferentes, o que no caso do ENEM pode-se entender como edições de anos diferentes. Portanto, não há edições com provas mais fáceis ou difíceis – o nível de dificuldade é equiparado em todos os anos.
O que a prova faz é medir a proficiência dos alunos em 4 áreas de conhecimento: ciências humanas, ciências da natureza, linguagens e matemática, além da prova de redação, que adota outra metodologia de correção.
Essas medidas de proficiência não são comparáveis entre as áreas de conhecimento, ou seja, ter uma nota de proficiência mais alta em matemática não significa que o aluno foi melhor nesta área do que em outras. Mas é possível comparar a evolução de um ano para outro.
Para isso, o Inep aplicou a primeira versão da prova em 2009 usando a TRI e chamou o desempenho médio dos concluintes do Ensino Médio da rede pública daquele ano de proficiência 500.
O gráfico a seguir mostra o desempenho médio dos participantes do ENEM nas quatro áreas de conhecimento. Tendo em mente a comparabilidade temporal dos resultados das quatro áreas e a métrica adota pelo Inep para traduzir o desempenho dos alunos em 2009, podemos afirmar que nossos alunos, embora com algumas oscilações, não parecem ter evoluído muito desde então. Ou seja, o desempenho médio dos alunos em 2017 é bem parecido com o desempenho médio dos alunos de 2009. Além disso, considerando que o desvio-padrão da prova é 100 pontos, as pequenas flutuações das notas são bastante modestas. No próximo post, falaremos mais sobre o desvio padrão do ENEM.
