A Grave Limitação das Avaliações Baseadas em Respostas

A presente postagem alerta para a necessidade de se levar em conta graves limitações cognitivas inerentes a todas as pessoas, durante o processo educacional, com especial foco sobre avaliações.

Especialmente nas universidades brasileiras fica evidente a arrogância de professores a partir do momento em que fatores de ordem psicológica extremamente relevantes são ignorados quando se trata da relação entre alunos, professores e conteúdos abordados em sala de aula. Cito no parágrafo a seguir um exemplo muito simples.

Em dezembro de 2011 postei neste blog um texto que remetia a uma brincadeira a ser feita em sala de aula. O objetivo era oferecer aos professores de matemática um instrumento para motivar alunos ao estudo de teoria de probabilidades. A brincadeira consistia no seguinte: alunos deveriam jogar mentalmente cara-ou-coroa com uma moeda imaginária, anotando os resultados em uma folha de papel; em seguida eles deveriam jogar de fato cara-ou-coroa com uma moeda real e anotar os resultados em uma segunda folha de papel; no final o professor identificaria facilmente qual folha correspondia ao jogo imaginário e qual correspondia ao jogo real. Em geral, o professor simplesmente não erra ao tentar diferenciar uma folha da outra. Isso ocorre porque a mente humana (no caso, a mente dos alunos) é incapaz de simular processos aleatórios, por mais que tente. Em outras palavras, a mente humana é simplesmente tendenciosa. Portanto, aqueles que se consideram invariavelmente justos em seus julgamentos precisam repensar a respeito de suas crenças pessoais. Afinal, essa brincadeira com moedas reais versus imaginárias é perfeitamente aplicável sobre qualquer pessoa, e não apenas alunos de uma escola. É importante frisar este aspecto para que o leitor não fique com a tendenciosa impressão de que o professor é um agente privilegiado no julgamento sobre as limitações na capacidade de julgar. Resumidamente, até que ponto um professor é imparcial (justo) quando decide sobre o rendimento escolar de um aluno, em um processo de avaliação?

Neste texto quero dar destaque a um aspecto das tendências cognitivas humanas conhecido como efeito Einstellung, o qual atinge alunos, professores e até mesmo cientistas.

Na edição deste mês de Scientific American Brasil foi publicado um artigo de Merim Bilalic e Peter McLeod intitulado "Bons Raciocínios Bloqueiam Outros Melhores", no qual os autores discutem sobre o efeito Einstellung: "a persistente tendência do cérebro humano de se ater a uma solução familiar para resolver um problema e ignorar alternativas." É aquela velha máxima popular (e não muito inteligente): "Em time que está ganhando não se mexe."

Mesmo cientistas (supostamente profissionais treinados para manterem suas mentes abertas a novas ideias e possibilidades) estão sujeitos a severas limitações cognitivas provocadas pelo efeito Einstellung. Exemplos não faltam na literatura. Quando Manindra Agrawal e colaboradores apresentaram um algoritmo determinístico extremamente simples que resolve em tempo polinomial o problema de determinar se um número inteiro é primo ou não, diversos especialistas em teoria dos números do mundo inteiro questionaram: por que não pensei nisso antes? Outros exemplos bem conhecidos são a frenologia e a eugenia. Os adeptos da frenologia (incluindo membros da comunidade científica) acreditavam, entre outras coisas, que era possível identificar tendências criminosas de um indivíduo a partir do formato de seu crânio. Já a eugenia se apoiava em conhecimentos sobre genética para sustentar a ideia de que existem raças humanas superiores e, consequentemente, inferiores. Hoje se sabe que estudos seminais sobre frenologia e eugenia simplesmente ignoravam fatos que contradiziam de forma marcante as teses centrais dessas áreas do conhecimento. Isso não ocorreu necessariamente por conta de má fé dos pesquisadores da época. O efeito Einstellung é muito real. E, em geral, as pessoas não têm consciência sobre a sua poderosa e perene influência.

Neste texto discuto sobre as relações entre o efeito Einstellung e o processo de avaliação escolar, o qual inclui instrumentos primitivos como o vestibular e o lamentável ENEM (Exame Nacional do Ensino Médio), que é mascarado com um discurso pseudocientífico envolvendo um elaborado modelo estatístico. 

Como já foi discutido em diversas postagens deste blog, um dos papéis centrais das universidades deve ser a transformação da sociedade. Se o papel social de uma universidade é simplesmente a preservação da classe média, como ocorre no Brasil, certamente esta instituição não merece o rótulo "universidade". Universidades devem produzir conhecimentos científicos e tecnológicos que beneficiem desde segmentos sociais locais até a humanidade como um todo. E para que este papel seja cumprido, tanto alunos quanto professores devem priorizar a inovação. 

No entanto, levando em conta que conhecimentos básicos bem estabelecidos precisam fazer parte da formação de jovens estudantes, fica uma questão inquietante: como se habituar à inovação a partir do momento em que é fundamental o domínio de conhecimentos já estabelecidos?

Existe uma possível solução para este aparente dilema: 

O estímulo a múltiplas soluções para um mesmo problema.

Um fenômeno que tenho observado nos últimos anos entre alunos é a crescente dificuldade para assimilar novas ideias. Nos anos 1990 eu discutia com turmas de cálculo diferencial e integral sobre possíveis alterações na definição de limite de funções reais e sempre havia alunos capazes de discutir a respeito do tema. Em contrapartida, nas turmas dos últimos dez anos esse tipo de discussão tem sido simplesmente impraticável. 

Cito um exemplo mais elementar. Sempre que pergunto para turmas de calouros qual é a equação da reta no plano cartesiano, invariavelmente ouço a seguinte resposta:

y = ax + b

E quando pergunto quais são os valores para a e b no caso de uma reta vertical (paralela ou coincidente com o eixo y) o silêncio domina turmas inteiras. Eventualmente alguém se aventura a apresentar alguma resposta grotesca, na qual valores reais são atribuídos para a e b. 

Os alunos de hoje agem como se estivessem adestrados a pensar em soluções únicas para problemas matemáticos. Isso claramente denuncia a ausência de pensamento crítico entre eles. Ou seja, esses alunos não aprenderam a resolver problemas de matemática, mas apenas a repetir processos únicos ensinados por seus respectivos professores.

Neste contexto, minha principal crítica aqui é sobre as avaliações baseadas em respostas, aquelas nas quais o raciocínio usado para chegar às respostas solicitadas é simplesmente ignorado.

O conhecimento  científico certamente não pode ser dicotomizado entre verdadeiro e falso, certo e errado. O conhecimento científico é fundamentalmente sustentado por justificativas. Se as justificativas para uma dada crença científica não são avaliadas em sala de aula, então o professor não está lecionando ciência. 

O problema das avaliações baseadas em respostas (como ocorre em provas objetivas) é que elas não avaliam senso crítico. E, sem senso crítico, como alguém será capaz de inovar? Ou seja, muitos dos atuais alunos universitários são incapazes de pensar criticamente. Portanto, não deveriam estar matriculados em universidade alguma.

O peso de uma resposta em uma avaliação escolar deveria ser muito pequeno ou, talvez, nulo. O que deveria ser predominantemente avaliado tanto no ensino fundamental quanto médio e superior é a capacidade do aluno resolver um mesmo problema de diferentes maneiras. O emprego de diferentes técnicas para resolver, digamos, problemas matemáticos abre caminho para o pensamento crítico. Neste sentido o aluno encontra a oportunidade de avaliar o desempenho de diferentes formas de raciocínio em cada tipo de problema. Em outras palavras, o aluno em si deve ter a oportunidade de avaliar o próprio conhecimento científico.

São muitos os pedagogos e educadores deste país que defendem a miserável tese de que a matemática lecionada nas escolas de ensino básico deve se identificar com a realidade do aluno. Esse tipo de visão, além de corromper a espetacular abrangência da matemática (denunciando a profunda ignorância destes profissionais sobre o que, afinal, é matemática), abre terreno fértil para o efeito Einstellung estabelecer seu domínio. Isso porque toda imposição sobre conteúdos matemáticos a serem lecionados apenas contribui para uma visão estreita sobre matemática e, consequentemente, sobre o mundo. 

Como a demanda educacional em nosso país é gigantesca, a estratégia a ser adotada para o estímulo a múltiplas soluções para um mesmo problema matemático é simplesmente a descentralização das políticas educacionais. Chega de ENEM! Chega de controle governamental sobre a educação! As comunidades locais é que devem ser responsabilizadas sobre programas de ensino e políticas pedagógicas. 

Um critério de avaliação como o vestibular ou o ENEM simplesmente não funciona para selecionar quem deve ingressar em uma universidade e quem deve ficar de fora. Isso porque vestibular e ENEM são processos de avaliação apenas sobre respostas. Jamais é avaliada a capacidade criativa do candidato. Pelo contrário, se um aluno de hoje responde criativamente diante de um enunciado escrito de forma ambígua por um professor, o avaliado é penalizado. Lembro de uma aluna minha que deixou em branco uma questão na qual estava escrito: "Reflita sobre os estado democrático na Grécia antiga." Quando o professor atribuiu nota zero para esta aluna, ela chegou a argumentar que havia refletido sobre o tema. Mas o professor foi inflexível em sua decisão.

Fala-se muito sobre ensino a distância, no sentido de se usar recursos da internet para fins educacionais. Um dos aspectos cruciais da internet é a interatividade entre usuários, bem como entre usuários e softwares. Se o ensino a distância não tirar proveito desta interatividade ele está inevitavelmente fadado ao fracasso. E não existe interatividade se for preservada a estática visão de que uma simples resposta a uma questão define inequivocamente se o aluno conhece um conteúdo ou não. Usuários da internet comumente participam de grupos de discussão, nos quais opiniões diversas são expostas e justificadas, ainda que de forma primária. Se um professor (a distância) ou um software simplesmente declara que uma dada resposta está errada, sem demonstrar interesse sobre os modos de raciocínio de quem apresentou a resposta, este ambiente virtual de aprendizado se revela como algo de pouco interesse. 

O fato é que professores neste país não estão preparados para lidar com múltiplas soluções, especialmente em matemática. Portanto, qualquer mudança significativa nos atuais processos de ensino e avaliação só é possível diante de um longo e exaustivo processo. Não há solução imediata para a desesperadora situação atual da educação brasileira.

Alguém já disse que gênio é aquele que tem várias ideias e então escolhe a melhor. Não há como produzir um gênio a partir de qualquer pessoa. Mas podemos, pelo menos, usar o gênio como referência sobre o que efetivamente queremos com nosso sistema educacional. Afinal, as melhores metas são justamente aquelas que não podemos alcançar.