Documento aprovado em reunião do Conselho Pedagógico da Escola Secundária de Vilela (Paredes), que o director da escola em causa, Albino Pereira, teve a simpatia de me enviar para divulgação pública: Os rankings no Ensino Básico.
Novembro 9, 2009
Os Rankings No Ensino Básico – Um Embuste Nacional
Posted by Paulo Guinote under Posições, Rankings[20] Comments
Novembro 9, 2009 at 6:37 pm
Chame-se-lhe “avaliação qualitativa” ou “maria albertina”; em qualquer caso é também forçado sugerir que é impossível tranpor a mesma para parâmetros quantitativos.
Novembro 9, 2009 at 7:20 pm
Eu sou bocado lento de raciocínio quanto a números e ao mesmo tempo sou contra os rankings que nos querem enfiar pelas goelas abaixo, mas parece-me existir algo nesta argumentação do Conselho Pedagógico da Escola Secundária de Vilela (Paredes) que não bate muito certo. Vamos por partes. Os argumentos apresentados contra os rankings das classificações dos exames do 9º ano são dois. O primeiro é que se trata de uma avaliação qualitativa uma vez que as provas de exame são cotadas na escala percentual de 0 a 100, sendo a classificação final das provas expressas na escala de 1 a 5. Ora, não me parece fazer muito sentido ser-se contra a realização de médias de uma escala quantitativa mesmo que esta tenha sido construída com base noutra com um maior poder discriminativo. Quanto muito poder-se-ia exigir que as médias fossem construídas com base nas cotações originais.
Quanto ao facto de a média poder ser enganadora poder-se-ia exigir que fossem apresentados outros indicadores, como a dispersão dos resultados, através do desvio-padrão, ou outras medidas de tendência central que não fossem tão sensíveis a resultados extremos (mediana, média aparada, etc.).
Curioso fui ver em que lugar do Concelho de Paredes ficou a referida escola: penúltimo lugar! Julgo que este facto não será alheio à posição do Conselho Pedagógico.
Pode-se ser contra os rankings, e eu sou-o. Mas as objecções aduzidas são facilmente ultrapassáveis. Os argumentos contra o uso e abuso dos rankings não são estes.
Novembro 9, 2009 at 7:45 pm
1. Não se pretendeu debater rankings;
2. O alerta prende-se, única e exclusivamente, com o erro grosseiro, repita-se, e elementar de se determinar médias de variáveis qualitativas.
Transcrevendo o comentador anterior: “Ora, não me parece fazer muito sentido ser-se contra a realização de médias de uma escala quantitativa (…)”. Touché!
A escala de 1 a 5 NÃO é quantitativa.
Seria bom ler o texto produzido. Se dúvidas restarem após essa leitura atenta, o que duvido, posso sempre tentar esclarecer…
3. Em lado nenhum se falou do lugar da escola no ranking. Não era esse o pomo da discussão… Mas, curiosidade tão mal alimentada, foi o kafkazul ver em que posição do concelho e (largos) arredores está a escola no ranking do ensino secundário? Nessa, outrossim, não se produzem médias de variáveis qualitativas…
Novembro 9, 2009 at 8:33 pm
Meu caro TSIWARI:
As variáveis em causa (níveis 1 a 5) são variáveis quantitativas e não, como argumenta, variáveis qualitativas. Para sermos rigorosos são variáveis ordinais, para usarmos uma terminologia estatística. Estas variáveis ordinais foram construídas tendo por base variáveis intervalares.
O cerne da minha questão, à qual não respondeu, foi que os dois principais argumentos contra os rankings poderiam ser facilmente ultrapassados caso se exigisse a elaboração de médias tendo por base a classificação original dos alunos de 0 a 100 e o recurso a outros indicadores estatísticos de descrição das amostras (como outras medidas de tendência central e medidas de dispersão).
O argumento produzido contra os rankings nos termos em que foi feito é pobre.
Novembro 9, 2009 at 8:41 pm
Estes colegas do Conselho Pedagógico revelam uma análise totalmente condicionada pelo facto se estarem nos últimos lugares.
Deviam ter cuidado em se pronunciarem contra os Rankings, precisamente quando foram dos últimos. `Pode alguém acusá-los de falarem com “dor de corno”.
Novembro 9, 2009 at 9:11 pm
kafkazul – não, não são quantitativas. Uma escla do tipo A, B, C, D, … também é ordinal. Como o é uma do tipo “discordo totalmente”, “discordo”,… “concordo totalmente” e não se pode fazer médias de tal.
Claro que se usassem as percentagens estaria tudo bem.
Maria Campos – seria o mesmo que dizer que um professor não pode comentar o ECD. Haja paciência! Ou dor de corno, como entender….
Novembro 9, 2009 at 9:27 pm
kafkazul – para melhor se perceber do que falo:
http://books.google.pt/books?id=ShRikXSqrKsC&pg=PA184&lpg=PA184&dq=%22escalas+ordinais%22&source=bl&ots=DbIpEyjU9F&sig=AErL6-0VFUyImrcr1U_VfMSOUfw&hl=pt-PT&ei=ZYj4SprpNtvajQeCtqXUCQ&sa=X&oi=book_result&ct=result&resnum=5&ved=0CBYQ6AEwBA#v=onepage&q=%22escalas%20ordinais%22&f=false
Pode ajudar.
Cps
Novembro 9, 2009 at 9:40 pm
Normalmente são os pior qualificados numa prova que se queixam dos resultados dos que ficam em primeiro. Foi a pensar nas muitas queixas que os pior qualificados fizeram que se criou, por exemplo, a análise anti-doping.
E apesar de em muitos casos a análise confirmar as suspeitas, os últimos deviam ter estado caladinhos, pois então. Eram os últimos, não tinham direito a duvidar.
Novembro 9, 2009 at 9:47 pm
TSIWARY disse:
“Como o é uma do tipo “discordo totalmente”, “discordo”,… “concordo totalmente” e não se pode fazer médias de tal.”
A crer nas suas palavras uma parte substancial da investigação na área das ciências sociais e humanas cairia por terra uma vez que o tipo de escala que cita (uma escala Likert ver http://en.wikipedia.org/wiki/Likert_scale) é das mais usadas em investigação. Admito que o tópico tem sido objecto de alguma discussão ao nível da estatística. Mas não tenha dúvidas que muitos investigadores usam este tipo de escalas e, simultaneamente, recorrem a médias.
Concordo consigo quando afirma que idealmente deveriam ser utilizadas percentagens. A ser assim ficariam os mais puristas e os menos puristas satisfeitos, embora mais os primeiros do que os segundos.
Mas o cerne do meu argumento permanece. O Conselho Pedagógico da escola em causa, para ser coerente, deveria apresentar alternativas que me parecem fáceis de obter. E não o fez. E deveria exigir esses dados não ao ME mas aos jornais que fazem os rankings.
É por isso que afirmo, como a antiga ministra MLR, que os rankings são uma forma muito pobre de avaliar escolas.
Novembro 9, 2009 at 9:58 pm
Com tanta coisa importante para resolver neste país (por exemplo, o da “discriminação” – palavra de honra que não inventei! – dos homossexuais no acesso ao casamento) há quem surja com estas manobras de diversão…
Novembro 9, 2009 at 10:31 pm
Aqui fica um esclarecimento, relativamente a esta matéria. E olhem que eu até sou de letras!
O colega de Paredes tem toda a razão. Só é possível fazer aquele tipo de análise estatísitica quando existe a possibilidade da classificação zero (0), o que, como sabemos não acontece. As médias deveriam, por isso, ser feitas a partir das percentagens dos alunos nas provas de exame e não com base nos «níveis» (de 1 a 5).
Aliás, o problema reside precisamente neste aspecto. Os níveis de 1 a 5 não resultam de uma escala contínua, ou seja, eles são o resultado de uma conversão, mas que é feita com intervalos muito diferentes: para ter nível 1, o aluno tem que ter entre 0% e 19%; no entanto, para obter nível 2, o aluno obtém, em percentagem, entre 20% e 49%. Reparem: num dos intervalos há 20 possibilidades, no outro há 29 possibilidades.
Conclusão: as “médias” são falaciosas e cientificamente erradas!
O assunto está amplamente difundido em teses de mestrado e afins.
Novembro 9, 2009 at 10:48 pm
kafkazul : eu sei do que me diz, acredite. Já tive essas discussões a propósito de teses de doutoramento (em co-orientação) em ciências das áreas sociais, a propósito desse tratamento estatístico em respostas obtidas recorrendo-se a escalas de Likert.
Poderão ser admissíveis (em escalas intervalares) as médias se se usarem os “representantes de classe”, quando as classes têm a mesma amplitude. Neste caso, tal não acontece – a classe 1 varia de 0 a 19; a 2 de 20 a 49, por exemplo.
Não pretendo discutir iliteracia estatística. Até estou à vontade no tema…
Cps
Novembro 9, 2009 at 10:54 pm
kafkazul – só mais um ponto : a coerência da posição do Conselho Pedagógico, permita-me a discordância, não se prende com o facto de não ensinar o JNE a trabalhar os dados. Nunca tivemos a pretensão de tal… nunca nos passou pela cabeça que não soubessem do que fazem.
Apontamos, apenas, o erro metodológico que é de bradar aos céus.
Distrações, suponho. Ingénuo, serei.
Cps
Novembro 9, 2009 at 11:00 pm
Caro TSIWARY:
Quando se usam variáveis ordinais por definição as distâncias entre os pontos não são iguais. Concordo por isso com o argumento apresentado por PJ e com aquele que é apresentado no livro que linkou.
Mas se existe alguma controvérsia entre os estatísticos quanto ao facto de se recorrer a uma escala Likert tratando os dados por essa via como dados intervalares, que não são de facto, existe um consenso geral quanto ao facto de se poder recorrer à mediana como medida de tendência central em caso de variáveis ordinais (ver http://www.quickmba.com/stats/centralten/). Se os rankings dos exames do 9º ano recorressem a medianas ao invés de médias isso seria aceitável para si?
Torno a repetir o argumento que atrás apresentei: se o caso reside na má utilização da estatística, por que razão não sugerem aos jornais que as médias sejam feitas com base nas classificações de 0 a 100? Aqui não teremos desacordos: trata-se de uma variável intervalar: os intervalos entre os pontos são iguais. Quem tem 80 tem o dobro de quem 40.
Novembro 9, 2009 at 11:07 pm
kafkazul – claro que tudo se resolvia (meramente do ponto de vista da Estatística) se se usassem as notas percentuais.
Obviamente.
Novembro 9, 2009 at 11:10 pm
Nossasenhora que eu só tenho Matemática do 9º ano e na Faculdade a Estatística era coisa que eu achava simples, até me enfiarem com umas análises regressivas e não sei o quê.
Mas estou a aprender, lifelong learning e mais nada.
Novembro 9, 2009 at 11:23 pm
Um apontamento : os jornais não usam as classificações percentuais porque, acredito eu, não têm acesso a elas. São divulgados apenas os níveis. E não podem ter este tratamento estatístico…
Paulo – valha-nos o bom humor.
Bgdo.
Abç
Novembro 9, 2009 at 11:29 pm
Ainda bem que o Paulo apareceu, porque a conversa ameaçava tornar-se excessivamente regressiva. Regressiva ao mesmo, entenda-se…
Novembro 9, 2009 at 11:47 pm
Ora aqui está um pacote de comentários muito útil. Que sirva a uns quantos que gostam de “amandar umas bocas”, a começar por alguns sr.s jornalistas. Regressões, comparações, correlações… médias e medianas. Até porque não está na moda.
Novembro 10, 2009 at 1:14 am
Bom texto do CP da Escola de Vilela.