Professores não sabem avaliar alunos

Ainda não sou capaz de oferecer uma definição formal para o complexo conceito de avaliação. Mas posso seguramente afirmar que avaliação é um processo de medição. Um professor que avalia um aluno, por exemplo, está tentando determinar o quanto que tal aluno sabe sobre um determinado assunto. Trata-se de um processo de comparação entre o conteúdo abordado em sala de aula e aquele efetivamente dominado por quem o estuda. Em termos mais gerais, um agente que avalia a qualidade do trabalho ou do estudo de um indivíduo, o perfil de uma instituição, ou mesmo o desempenho de uma nação, também está promovendo uma comparação com algum padrão, ou seja, está realizando uma medição.


Curiosamente, com preocupante frequência, professores deixam de empregar a teoria dos erros em seus processos de avaliação. Ignoram que toda medição admite um erro inerente e inevitável. E, em função disso, esses mesmos docentes reprovam alunos por um, dois ou cinco pontos percentuais. Dessa forma eles demonstram aos seus pupilos que matemática é algo que deve ser aprendido na escola, mas não aplicado nela mesma, apesar de teoria dos erros ter nascido como ramo da própria matemática. Tal postura não deixa de ser uma perigosa demonstração de que as realidades da escola e do resto do mundo são muito diferentes e até conflitantes. E isso está em conformidade com a prática da maioria das instituições de ensino de nosso país, as quais consistentemente não se submetem a avaliações sérias sobre elas mesmas. Trata-se de uma curiosa relação entre instituições de ensino e seus membros.


Como aplicar teoria dos erros em avaliações de alunos? A rigor, o resultado de uma avaliação deveria ser independente do professor que atribui notas a cada aluno, assim como a medição de um comprimento deve ser independente da régua usada. Se trinta réguas são calibradas com um mesmo padrão de medição, não importa qual delas seja empregada para medir um comprimento. O mesmo deveria ocorrer com atribuições de notas em avaliações. 


Digamos, portanto, que um professor aplique uma prova sobre uma turma. Um processo adequado para atribuição de notas consiste no seguinte: (i) cada prova recebe a nota de, digamos, dez professores independentes (sem contato entre si); (ii) calcula-se a média aritmética das dez notas sobre cada prova, o que produz o resultado da avaliação; (iii) calcula-se o desvio padrão das dez notas atribuídas sobre cada prova, o que resulta na margem de erro do processo de avaliação; (iv) adota-se um critério para aprovação e reprovação. 


O leitor pode fazer objeção sobre a praticidade do procedimento de empregar dez ou mais professores para corrigir cada prova de sua turma. No entanto, para contornar essa dificuldade, basta o docente aplicar este método poucas vezes em toda a sua carreira. Não é uma situação ideal, mas, pelo menos, forma-se um critério científico para a escolha de margem de erro em suas avaliações. Uma vez determinada uma margem de erro, ele a adota enquanto não encontrar evidências de que ela é inadequada. 


Com relação ao critério de aprovação e reprovação, este depende da política educacional da instituição à qual o docente está vinculado. Se se tratar de uma instituição elitista, o aluno somente pode ser aprovado quando sua nota subtraída pela margem de erro for maior ou igual à média mínima adotada para aprovação. Se a instituição de ensino for menos exigente, o aluno está aprovado se sua nota somada à margem de erro for maior ou igual à média mínima adotada para aprovação. No caso do Brasil, a maioria das instituições de ensino pode ser considerada do segundo tipo. Ou seja, reprovar um aluno por um ponto percentual é uma forma do professor afirmar que seus métodos de avaliação têm margem de erro inferior à 1%. E esta, definitivamente, não é uma postura científica. Trata-se de uma postura dogmática, na qual o docente exerce evidente abuso de poder. Afinal, avaliar alunos é um processo muito mais subjetivo do que medir comprimentos com réguas. É natural que a atribuição de notas em provas encontre margem de erro consideravelmente superior ao processo de medição de comprimentos.


Em várias palestras minhas discuti sobre este tema. Em uma delas, apresentada para um público de estudantes de mestrado e doutorado em Direito, a audiência estranhou quando afirmei que professores reprovam alunos por uns poucos pontos percentuais. Eles disseram que isso simplesmente não acontece no Curso de Direito. Em contrapartida, já encontrei professores de matemática e de física que simplesmente não conseguem concordar com as ideias que apresentei, apesar de jamais justificarem o motivo. Isso me perturba. Uma vez que a teoria dos erros foi criada por matemáticos, por que estudantes e docentes de Direito entendem o problema de avaliação melhor do que professores de matemática e física? O que há de errado com essa gente? Levam tão a sério o infeliz nome "ciências exatas"?


Instituições de ensino que não orientam seus professores em favor de critérios científicos para avaliação são instituições desprovidas de auto-crítica. A tendência de uma instituição de ensino sem auto-crítica é a de contar com docentes igualmente isolados em suas crenças e condutas. Citando mais um exemplo de carência de auto-crítica, quantas instituições de ensino no Brasil se preocupam seriamente em identificar o destino de seus egressos? Associações de ex-alunos são uma ferramenta de auto-avaliação institucional extremamente eficaz, pois permitem identificar qual é o papel que a instituição está exercendo sobre a sociedade. Se egressos de um curso de matemática, por exemplo, estão insatisfeitos com suas carreiras profissionais, algo deve mudar na instituição que os formou. Se egressos estão, em sua maioria, satisfeitos com suas carreiras, temos um sinal de que talvez a instituição esteja caminhando de forma adequada em termos de seu papel social.


A avaliação de uma instituição é um processo que envolve variáveis  suficientes para gerar inúmeras discussões. No entanto, surpreendentemente, isso não tem acontecido. 


Para facilitar o trabalho do avaliador, porém, devemos lembrar que uma das preciosas lições que a teoria da medição nos ensina é que o instrumento de mensuração deve interagir minimamente com o objeto medido. Garantir essa condição em sala de aula, durante um ano, semestre ou trimestre letivo é praticamente impossível. Isso porque é extremamente difícil fazer uma distinção entre conteúdo científico discutido criticamente e conteúdo lecionado e defendido por tradição, autoridade ou revelação. Ou seja, como garantir que uma avaliação, realizada por um professor, está medindo o conhecimento que um aluno domina sobre uma ciência (como a matemática) e não um pseudoconhecimento arbitrária e autoritariamente exposto por um docente com formação ruim? Além dessa evidência apontar para mais um fator subjetivo no processo de avaliação, também indica a extrema necessidade de critérios científicos no processo de atribuição de notas. Afinal, até mesmo provas objetivas admitem margem de erro. Isso porque provas objetivas são comumente enunciadas em linguagem natural, a qual é frequentemente ambígua e pouco precisa.


Uma forma de contornar a dificuldade da subjetividade da atribuição de notas a alunos é através de instrumentos de avaliação institucional de médio e longo prazo em contextos que transcendam a realidade local da instituição avaliada. É uma das formas mais eficazes de minimizar a interação entre avaliado e avaliador, medido e medidor. Tais avaliações institucionais podem ser feitas de diversas maneiras, sendo que o acompanhamento das carreiras de egressos é uma delas. 


Enfim, está na hora de dar um basta à postura de inúmeros docentes que assumem o papel de inquestionáveis conhecedores sobre o certo e o errado.