quinta-feira, 10 de abril de 2014

A Grave Limitação das Avaliações Baseadas em Respostas


A presente postagem alerta para a necessidade de se levar em conta graves limitações cognitivas inerentes a todas as pessoas, durante o processo educacional, com especial foco sobre avaliações.

Especialmente nas universidades brasileiras fica evidente a arrogância de professores a partir do momento em que fatores de ordem psicológica extremamente relevantes são ignorados quando se trata da relação entre alunos, professores e conteúdos abordados em sala de aula. Cito no parágrafo a seguir um exemplo muito simples.

Em dezembro de 2011 postei neste blog um texto que remetia a uma brincadeira a ser feita em sala de aula. O objetivo era oferecer aos professores de matemática um instrumento para motivar alunos ao estudo de teoria de probabilidades. A brincadeira consistia no seguinte: alunos deveriam jogar mentalmente cara-ou-coroa com uma moeda imaginária, anotando os resultados em uma folha de papel; em seguida eles deveriam jogar de fato cara-ou-coroa com uma moeda real e anotar os resultados em uma segunda folha de papel; no final o professor identificaria facilmente qual folha correspondia ao jogo imaginário e qual correspondia ao jogo real. Em geral, o professor simplesmente não erra ao tentar diferenciar uma folha da outra. Isso ocorre porque a mente humana (no caso, a mente dos alunos) é incapaz de simular processos aleatórios, por mais que tente. Em outras palavras, a mente humana é simplesmente tendenciosa. Portanto, aqueles que se consideram invariavelmente justos em seus julgamentos precisam repensar a respeito de suas crenças pessoais. Afinal, essa brincadeira com moedas reais versus imaginárias é perfeitamente aplicável sobre qualquer pessoa, e não apenas alunos de uma escola. É importante frisar este aspecto para que o leitor não fique com a tendenciosa impressão de que o professor é um agente privilegiado no julgamento sobre as limitações na capacidade de julgar. Resumidamente, até que ponto um professor é imparcial (justo) quando decide sobre o rendimento escolar de um aluno, em um processo de avaliação?

Neste texto quero dar destaque a um aspecto das tendências cognitivas humanas conhecido como efeito Einstellung, o qual atinge alunos, professores e até mesmo cientistas.

Na edição deste mês de Scientific American Brasil foi publicado um artigo de Merim Bilalic e Peter McLeod intitulado "Bons Raciocínios Bloqueiam Outros Melhores", no qual os autores discutem sobre o efeito Einstellung: "a persistente tendência do cérebro humano de se ater a uma solução familiar para resolver um problema e ignorar alternativas." É aquela velha máxima popular (e não muito inteligente): "Em time que está ganhando não se mexe."

Mesmo cientistas (supostamente profissionais treinados para manterem suas mentes abertas a novas ideias e possibilidades) estão sujeitos a severas limitações cognitivas provocadas pelo efeito Einstellung. Exemplos não faltam na literatura. Quando Manindra Agrawal e colaboradores apresentaram um algoritmo determinístico extremamente simples que resolve em tempo polinomial o problema de determinar se um número inteiro é primo ou não, diversos especialistas em teoria dos números do mundo inteiro questionaram: por que não pensei nisso antes? Outros exemplos bem conhecidos são a frenologia e a eugenia. Os adeptos da frenologia (incluindo membros da comunidade científica) acreditavam, entre outras coisas, que era possível identificar tendências criminosas de um indivíduo a partir do formato de seu crânio. Já a eugenia se apoiava em conhecimentos sobre genética para sustentar a ideia de que existem raças humanas superiores e, consequentemente, inferiores. Hoje se sabe que estudos seminais sobre frenologia e eugenia simplesmente ignoravam fatos que contradiziam de forma marcante as teses centrais dessas áreas do conhecimento. Isso não ocorreu necessariamente por conta de má fé dos pesquisadores da época. O efeito Einstellung é muito real. E, em geral, as pessoas não têm consciência sobre a sua poderosa e perene influência.

Neste texto discuto sobre as relações entre o efeito Einstellung e o processo de avaliação escolar, o qual inclui instrumentos primitivos como o vestibular e o lamentável ENEM (Exame Nacional do Ensino Médio), que é mascarado com um discurso pseudocientífico envolvendo um elaborado modelo estatístico. 

Como já foi discutido em diversas postagens deste blog, um dos papéis centrais das universidades deve ser a transformação da sociedade. Se o papel social de uma universidade é simplesmente a preservação da classe média, como ocorre no Brasil, certamente esta instituição não merece o rótulo "universidade". Universidades devem produzir conhecimentos científicos e tecnológicos que beneficiem desde segmentos sociais locais até a humanidade como um todo. E para que este papel seja cumprido, tanto alunos quanto professores devem priorizar a inovação. 

No entanto, levando em conta que conhecimentos básicos bem estabelecidos precisam fazer parte da formação de jovens estudantes, fica uma questão inquietante: como se habituar à inovação a partir do momento em que é fundamental o domínio de conhecimentos já estabelecidos?

Existe uma possível solução para este aparente dilema: 


O estímulo a múltiplas soluções para um mesmo problema.

Um fenômeno que tenho observado nos últimos anos entre alunos é a crescente dificuldade para assimilar novas ideias. Nos anos 1990 eu discutia com turmas de cálculo diferencial e integral sobre possíveis alterações na definição de limite de funções reais e sempre havia alunos capazes de discutir a respeito do tema. Em contrapartida, nas turmas dos últimos dez anos esse tipo de discussão tem sido simplesmente impraticável. 

Cito um exemplo mais elementar. Sempre que pergunto para turmas de calouros qual é a equação da reta no plano cartesiano, invariavelmente ouço a seguinte resposta:


y = ax + b

E quando pergunto quais são os valores para a e b no caso de uma reta vertical (paralela ou coincidente com o eixo y) o silêncio domina turmas inteiras. Eventualmente alguém se aventura a apresentar alguma resposta grotesca, na qual valores reais são atribuídos para a e b

Os alunos de hoje agem como se estivessem adestrados a pensar em soluções únicas para problemas matemáticos. Isso claramente denuncia a ausência de pensamento crítico entre eles. Ou seja, esses alunos não aprenderam a resolver problemas de matemática, mas apenas a repetir processos únicos ensinados por seus respectivos professores.

Neste contexto, minha principal crítica aqui é sobre as avaliações baseadas em respostas, aquelas nas quais o raciocínio usado para chegar às respostas solicitadas é simplesmente ignorado.

O conhecimento  científico certamente não pode ser dicotomizado entre verdadeiro e falso, certo e errado. O conhecimento científico é fundamentalmente sustentado por justificativas. Se as justificativas para uma dada crença científica não são avaliadas em sala de aula, então o professor não está lecionando ciência. 

O problema das avaliações baseadas em respostas (como ocorre em provas objetivas) é que elas não avaliam senso crítico. E, sem senso crítico, como alguém será capaz de inovar? Ou seja, muitos dos atuais alunos universitários são incapazes de pensar criticamente. Portanto, não deveriam estar matriculados em universidade alguma.

O peso de uma resposta em uma avaliação escolar deveria ser muito pequeno ou, talvez, nulo. O que deveria ser predominantemente avaliado tanto no ensino fundamental quanto médio e superior é a capacidade do aluno resolver um mesmo problema de diferentes maneiras. O emprego de diferentes técnicas para resolver, digamos, problemas matemáticos abre caminho para o pensamento crítico. Neste sentido o aluno encontra a oportunidade de avaliar o desempenho de diferentes formas de raciocínio em cada tipo de problema. Em outras palavras, o aluno em si deve ter a oportunidade de avaliar o próprio conhecimento científico.

São muitos os pedagogos e educadores deste país que defendem a miserável tese de que a matemática lecionada nas escolas de ensino básico deve se identificar com a realidade do aluno. Esse tipo de visão, além de corromper a espetacular abrangência da matemática (denunciando a profunda ignorância destes profissionais sobre o que, afinal, é matemática), abre terreno fértil para o efeito Einstellung estabelecer seu domínio. Isso porque toda imposição sobre conteúdos matemáticos a serem lecionados apenas contribui para uma visão estreita sobre matemática e, consequentemente, sobre o mundo. 

Como a demanda educacional em nosso país é gigantesca, a estratégia a ser adotada para o estímulo a múltiplas soluções para um mesmo problema matemático é simplesmente a descentralização das políticas educacionais. Chega de ENEM! Chega de controle governamental sobre a educação! As comunidades locais é que devem ser responsabilizadas sobre programas de ensino e políticas pedagógicas. 

Um critério de avaliação como o vestibular ou o ENEM simplesmente não funciona para selecionar quem deve ingressar em uma universidade e quem deve ficar de fora. Isso porque vestibular e ENEM são processos de avaliação apenas sobre respostas. Jamais é avaliada a capacidade criativa do candidato. Pelo contrário, se um aluno de hoje responde criativamente diante de um enunciado escrito de forma ambígua por um professor, o avaliado é penalizado. Lembro de uma aluna minha que deixou em branco uma questão na qual estava escrito: "Reflita sobre os estado democrático na Grécia antiga." Quando o professor atribuiu nota zero para esta aluna, ela chegou a argumentar que havia refletido sobre o tema. Mas o professor foi inflexível em sua decisão.

Fala-se muito sobre ensino a distância, no sentido de se usar recursos da internet para fins educacionais. Um dos aspectos cruciais da internet é a interatividade entre usuários, bem como entre usuários e softwares. Se o ensino a distância não tirar proveito desta interatividade ele está inevitavelmente fadado ao fracasso. E não existe interatividade se for preservada a estática visão de que uma simples resposta a uma questão define inequivocamente se o aluno conhece um conteúdo ou não. Usuários da internet comumente participam de grupos de discussão, nos quais opiniões diversas são expostas e justificadas, ainda que de forma primária. Se um professor (a distância) ou um software simplesmente declara que uma dada resposta está errada, sem demonstrar interesse sobre os modos de raciocínio de quem apresentou a resposta, este ambiente virtual de aprendizado se revela como algo de pouco interesse. 

O fato é que professores neste país não estão preparados para lidar com múltiplas soluções, especialmente em matemática. Portanto, qualquer mudança significativa nos atuais processos de ensino e avaliação só é possível diante de um longo e exaustivo processo. Não há solução imediata para a desesperadora situação atual da educação brasileira.

Alguém já disse que gênio é aquele que tem várias ideias e então escolhe a melhor. Não há como produzir um gênio a partir de qualquer pessoa. Mas podemos, pelo menos, usar o gênio como referência sobre o que efetivamente queremos com nosso sistema educacional. Afinal, as melhores metas são justamente aquelas que não podemos alcançar.

11 comentários:

  1. Adonai, papéis ainda tem acento. Não caiu. Corrija lá. Um abraço

    ResponderExcluir
  2. O senhor viu o caso da polêmica prova de filosofia?
    http://exame.abril.com.br/brasil/noticias/professor-mantem-versao-de-que-valesca-e-grande-pensadora
    Todo mundo comentando sobre colocar o nome da funkeira na prova, mas ninguém reparou no paradoxo de se colocar uma questão de múltipla escolha numa prova de filosofia...

    ResponderExcluir
    Respostas
    1. Pois é, Sebastião. Fiquei sabendo. A macacada está simplesmente cega.

      Excluir
  3. Mais um excelente post professor, parabéns!
    Agradeço por teus ensinamentos. Embora não conheça pessoalmente tenho aperfeiçoado minha visão sobre diversos assuntos, principalmente sobre educação.

    Na minha modesta opinião, o que agrava ainda mais o processo de avaliação em nosso país é a valorização do aluno bajulador, ou seja, aquele que dá a resposta correta padrão, sem pensar criticamente sobre a questão, como se fosse um papagaio ou robô. Geralmente esse é considerado pelos professores como "o aluno bom" e o questionador como "o problema". Isso de certo modo desanima os que são realmente talentosos e a avaliação realizada, conforme você salientou acima, tende a reforçar esta ideia errônea.

    Tive recentemente uma experiência deste tipo em um prova que realizei no mestrado. Resolvi uma questão de forma intuitiva, Porém fui certificar-me com o professor se consideraria correta feita daquele jeito. Ele disse que não, que deveria fazer utilizando o que método empregado no livro e que do jeito que fiz "o meu aluno de ensino médio faz" Tentei argumentar que existem várias formas de se resolver o mesmo tipo de problema e que ele deveria levar em conta que além do resultado estar correto, não havia cometido nenhum erro conceitual. Mas ele continuou irredutível dizendo que a álgebra é sempre a mesma e que isso não muda (detalhe que a disciplina era de aritmética, pasme). No fim acabei resolvendo o problema das duas formas.

    Estou cada vez mais aborrecido com o ensino oficial. Penso que, talvez se estudasse por conta e tirasse as dúvidas com gente que entende mesmo, perderia menos tempo.

    Já peço de antemão perdão a Susan caso tenha cometido algum erro na minha escrita, rs.

    ResponderExcluir
    Respostas
    1. Hugo

      Já testemunhei muitos casos como o seu. O melhor aluno que tive em toda a minha vida profissional era praticamente odiado por diversos professores da universidade. Isso porque ele era extraordinariamente curioso e crítico. Minha recomendação padrão para esse tipo de situação é a seguinte: faça o jogo deles, enquanto você for aluno; desde que isso não o prejudique de forma significativa.

      Excluir
  4. Adonai, conhece o livro intitulado "Introdução à Economia", de N. Gregory Mankiw?????

    Conversando com alguns amigos meus, economistas e com outros alunos e uns professores do curso de Economia da UFPR, todos comentaram que a referida obra é referência nos estudos em Economia, servindo de parâmetro tanto para iniciantes quanto para turmas mais avançadas da graduação nessa área.

    Investiguei na internet e descobri que não somente na UFPR, mas também em outras instituições nacionais de ensino superior idolatra-se tal obra e tal autor!!!!!!!!

    Curioso, fui folhear o livro e me deparei justamente com o absurdo pregado de forma dogmática acerca da Equação da Reta, mencionada por vc acima!!!!!!!

    Ao invés de fazer uma análise crítica sobre qual seria a inclinação da reta quando esta coincide com o eixo da ordenada (eixo y), sendo invariante na abscissa (eixo x), similar ao que vc questiona nesta postagem, o autor simplesmente afirma que, neste caso em específico, a inclinação da reta é infinita, visto que a relação de variação de y em x resulta numa divisão por zero, que daria infinito!!!!!!!!

    Fiquei simplesmente pasmo com a naturalidade com a qual o autor escreveu e diagramou isso, usando inclusive gráficos cartesianos para "comprovar" esta assertiva!!!!!!!!

    Como se não bastasse, em alguns cálculos de Elasticidade, o autor usa um método de cálculo de valor médio (até aí tudo bem), mas usa o resultado para concluir que quando o preço de algo oscila de 4 unidades para 5 unidades, o aumento é de 22,5% aproximadamente, por meio de tal cálculo de valor médio!!!!!!!!!

    Que ele use tal cálculo para algum propósito, tudo bem, mas daí a afirmar que uma oscilação de 4 para 5 unidades representa um aumento de 22,5%, daí já é "forçar a amizade", não acha?????

    Pelo menos em se tratando de cálculos comerciais básicos, neste contexto padrão e cotidiano, que eu saiba um aumento de 4 para 5 unidades representa um acréscimo de 25% (exato) e não 22,5% aproximadamente.

    Fiquei perplexo e assustado com tais trechos que vi no referido livro e me perguntei: "que tipo de matemática os economistas praticam?????"

    Só espero que tal idolatria a esta obra e autor seja algo restrito e não generalizado, pois do contrário passarei a duvidar de economistas!!!!!!!!!

    ResponderExcluir
    Respostas
    1. Leandro

      Não é a primeira vez que ouço absurdos sobre a cultura matemática de economistas. No entanto, vale observar que existem economistas muito cuidadosos, do ponto de vista matemático e científico em geral. Delfim Netto é um exemplo bem conhecido.

      Em momentos como este que você aponta, usualmente digo o seguinte a alunos: jamais confiem cegamente em uma única obra ou um único autor.

      Não acho que você deva duvidar de economistas a partir desta situação. Desconfiar sim. Mas duvidar talvez seja exagero. Já vi absurdos bem piores em livros de química, área do conhecimento muito mais pragmática do que economia.

      Excluir
    2. Verdade.

      Livros de química pecam severamente também, mesmo em termos conceituais relacionados com a própria química, o que é por vezes engraçado e irônico, para não dizer trágico!!!!!!!!

      Quiçá quando os autores da área de química decidem expressar assertivas envolvendo matemática. Deve ter razão mesmo.

      Acho que se eu fosse matemático, iria me divertir bastante, rsrsrsrsrsrsrs

      Excluir
  5. Quanto a esta questão da eugenia, apesar de carecer de evidências científicas, sempre temos nossas sensações e impressões pessoais.

    Se fosse para classificar os diferentes grupos de seres humanos por ordem decrescente de inteligência, pessoalmente estabeleceria a seguinte ordem:

    judeus > alemães > japoneses > indianos > chineses > italianos > ingleses = franceses > resto do mundo

    Naturalmente, tal sequência se baseia em concepções e percepções pessoais.

    Entretanto, é difícil imaginar que o nível de inteligência de judeus, alemães e japoneses seja nivelada com a dos demais povos pois, honestamente, todo judeu, alemão, japonês e descendentes que conheço (pessoalmente ou não) são muito inteligentes, via de regra.

    Mas quando se fala dos demais povos (principalmente descendentes), parece não haver o mesmo brilhantismo.

    Quando se fala em brilhantismo, parece que ninguém bate os judeus e/ou descendentes deles. Todo e qualquer judeu e descendente de judeus que conheci são e eram pessoas, invariavelmente, de altíssimo nível e de uma inteligência ímpar!!!!!!!!!

    Claro que existem exceções notáveis na Ciência, como o italiano Enrico Fermi e, em várias áreas, o multifacetado Leonardo da Vinci!!!!!!!!

    Mas, com exceção desses e mais alguns outros, tenho a impressão que um indivíduo italiano "convencional", por exemplo, precisa "suar muito a camisa" para chegar próximo do nível de um judeu "convencional".

    Não quero gerar polêmicas e sei que nada do que afirmo tem fundamento. São só apenas impressões pessoais!!!!!!!!!

    ResponderExcluir
    Respostas
    1. Leandro

      Fortemente recomendo que tome muito cuidado ao expressar impressões pessoais publicamente. Por um lado, a mente humana é naturalmente tendenciosa. Ver, por exemplo,

      http://adonaisantanna.blogspot.com.br/2014/04/a-grave-limitacao-das-avaliacoes.html

      Por outro lado, preconceitos alimentam preconceitos, afastando-nos do conhecimento.

      Excluir

Respostas a comentários dirigidos ao Administrador demoram usualmente até três dias.