… os meus alunos, ou eu, claro. É mais certo ser eu.
Pelo menos de acordo com a forma de Maria de Lurdes Rodrigues definir a qualidade de um instrumento de avaliação.
A tal coisa dos 5% de excelentes/muito bons serem o critério base para determinar se um teste, prova ou exame estar bem concebido e adequado a um determinado público.
Eu sei que em termos estatísticos isto resulta melhor em grandes distribuições.
Mas no dia a dia podemos ter a tentação de querer ser sofisticados e ter uma curva de Gauss só para nós com as nossas avaliações. Lembro-me de um professor da Faculdade que nos muito idos inícios dos anos 80 até retocava classificações para que a distribuição seguisse o mais fielmente a curva. Baixava potenciais 17 para 15. Subia notas inomináveis para 8. Tudo em nome da teoria da qualidade da curvazinha em sino.
Eu nunca consegui isso. Os meus sinos são sempre uma lástima. Este ano tenho um todo torto para o lado da excelência. Não há ficha de avaliação em que não tenha 15-20% de Excelentes, por vezes mais. No fim do ano devo dar os tais 20% de Excelentes e outros 20% de Bons e neste momento questiono-me se deverei. Porque só tenho uns 10% de classificações negativas. Devo estar a ser pouco exigente. A coisa fica desequilibrada e para o ano como vou fazer progredir estes resultados? 30% de Excelentes? Quer dizer que vou aumentar o erro cometido este ano?
Em contrapartida tenho uma outra turma como 0% de níveis máximos, mesmo com instrumentos de avaliação diferenciados e uns 40% abaixo da linha de água. Mais uma curva em sininho toda marada. Aqui devo ser demasiado exigente.
Claro que podem sempre dizer que se juntar as duas terei uma curva mais jeitosa… mas isso significa que cometi dois erros e que eles se anulam? Ou seja, que mais vale enganar-me duas vezes do que acertar uma e falhar outra? Sempre pensando no rigor das fórmulas ministeriais…
Os estatísticos dirão que estas fórmulas só funcionam verdadeiramente com grandes amostras e que o seu valor explicativo só é «forte» quando se aplicam a centenas ou milhares de ocorrências.
Mesmo discordando que exista uma fórmula para determinar o valor máximo da excelência, posso aceitar essa lógica.
Acredito que 5% de excelentes existirão numa amostra de 10.000 indivíduos, mas que esse valor é aleatório para amostras de 20, 50 ou 100 indivíduos.
Por isso mesmo tenho dificuldade em aceitar que as quotas para a classificação dos docentes se baseiem numa fórmula que é estatisticamente irrelevante para as amostras a que se vão aplicar. Porque a generalidade das escolas têm algumas dezenas, uma centena de docentes. E vai assumir-se que a distribuição é homogénea. E há quem tenha Excelente em Cafundós de Cima apenas porque há quota, enquanto nos Fundilhos de Judas alguém não tem porque a quota não dá.
E este é o mal os modelos cegos, baseados em métodos estatísticos, ditos «sofisticados» de engenharia social.
Já um dia o escrevi que se isto fosse levado à letra só teríamos 5% de elementos excelentes no Governo. Para o número de ministro(a)s isso dá – com a simpatia do arredondamento – um único Excelente.
Mesmo assim acho excessivo.
Junho 20, 2008 at 11:16 am
Paulo, sendo da área de Letras, tem uma noção muito clara de o que representam as distribuições limites: algo que será tão mais próximo das observações quanto maior fôr o tamanho da amostra. Ou seja, o ajuste seria perfeito para um número inatingível infinito de indivíduos e será sempre imperfeito para qualquer coisa abaixo disso. Há, no entanto, muitas maneiras de invocar a ciência para martelar argumentos. Esta senhora ministra, num curso de estatística, chumbava à primeira prova (talvez não, se fosse na Universidade Independente ou no ISCTE).
Para pequenas amostras a distribuição é diferente: The Student’s t-distribution (or also t-distribution), in probability and statistics, is a probability distribution that arises in the problem of estimating the mean of a normally distributed population when the sample size is small.
Junho 22, 2008 at 12:44 am
[...] Paulo Guinote, no seu Educação do meu Umbigo: A tal coisa dos 5% de excelentes/muito bons serem o critério base para determinar se um teste, prova ou exame estar bem concebido e adequado a um determinado público. Eu sei que em termos estatísticos isto resulta melhor em grandes distribuições. Mas no dia a dia podemos ter a tentação de querer ser sofisticados e ter uma curva de Gauss só para nós com as nossas avaliações. [...] Os meus sinos são sempre uma lástima. Este ano tenho um todo torto para o lado da excelência. Não há ficha de avaliação em que não tenha 15-20% de Excelentes, por vezes mais. No fim do ano devo dar os tais 20% de Excelentes e outros 20% de Bons e neste momento questiono-me se deverei. Porque só tenho uns 10% de classificações negativas. Devo estar a ser pouco exigente. [...] Em contrapartida tenho uma outra turma como 0% de níveis máximos, mesmo com instrumentos de avaliação diferenciados e uns 40% abaixo da linha de água. Mais uma curva em sininho toda marada. Aqui devo ser demasiado exigente. Claro que podem sempre dizer que se juntar as duas terei uma curva mais jeitosa… mas isso significa que cometi dois erros e que eles se anulam? [...]
Junho 25, 2008 at 12:26 pm
Utilizar as palavras “excelência” e “governo português” numa só frase só pode ser uma piada, certo??