sábado, 26 de setembro de 2009

Lições aprendidas do resultado individual do ENADE


Já se encontram disponíveis no site http://www.inep.gov.br/superior/ENADE/ os boletins de desempenho individuais para quem prestou a prova do ENADE 2008. Para receber o seu boletim, basta gerar uma senha no primeiro acesso (ela será enviada por email) e acessar o resultado após preecher um formulário com dados pessoas que incluem o número de CPF e nome completo.

O boletim está estruturado com as notas em escala de zero à 100 por componente (i.e., formação geral e específica) e tipo das questões (i.e., objetivas e discursivas), ou seja, há quatro notas individuais disponíveis que são utilizadas para o cálculo da média final.

Após conhecer a minha média individual, a qual não me atreverei em aqui divulgar (mas que pode ser facilmente deduzida) pois, no email enviado com a senha gerada há um breve informe sobre a existência de uma lei que proíbe a associação de resultados individuais à identificação do aluno, constatei nas estatísticas contidas no boletim que obtive a melhor média individual entre os alunos concluintes de Ciência da Computação em Pernambuco.

Obviamente, fiquei muito feliz em saber que estou em uma boa posição para alçar grandes vôos. Mas tudo o que consigo pensar no momento é que o significado desse resultado claramente contradiz algumas "verdades" adotadas institucionalmente em diversos lugares. A começar no meu querido e estimado Centro de Informática (CIn) da UFPE. É de meu parcial conhecimento que a "qualidade" da instituição de origem do candidato no processo seletivo para o mestrado (i.e., conceito do ENADE), por exemplo, é levada em consideração no ranqueamento final dos candidatos, o que acaba por influenciar certas decisões (e.g., a alocação de bolsas institucionais para os novos ingressantes).

Por que esse cenário é preocupante?

Porque eu, por exemplo, realizei a minha graduação em um curso que, apesar de oferecido por uma instituição tradicional e respeitada no Estado, não vem obtendo resultados, digamos, "excepcionais" nas últimas avaliações do ENADE. Então, como pode um aluno advindo dos quadros desse curso obter o melhor desempenho entre os concluintes do estado, acima, inclusive, daqueles que representaram um amostra significativa dos concluintes de cursos considerados de "excelência" em Pernambuco? Claramente esse fato constitui-se em uma contradição. Isto é, como se justifica a prática de influenciar negativamente o escore final de um candidato que cometeu o "pecado" de ter estudado em um curso de qualidade "inferior"?

Apesar dessa questão ter me incomodado desde a época em que procurei me informar acerca dos critérios de classificação das instituições para as quais pretendia enviar inscrições, apenas agora me veio a certeza de quão absurdo são certas "generalizações institucionalizadas". Afinal, um dos fatores aos quais eu atribuo o meu bom desempenho como estudante de graduação foi a qualidade da proposta curricular que me foi oferecida, para não mencionar os excelentes professores, as muito bem estruturadas disciplinas e os eficientes programas de monitoria e iniciação científica. Ou seja, considero-me um produto do Departamento de Estatística e Informática da Universidade Católica de Pernambuco.

Em qual outro lugar um aluno de Ciência da Computação poderia cursar disciplinas como Computação Evolucionária, Processamento Digital de Imagem, Técnicas de Simulação Estocástica e Criptografia, no âmbito da graduação, todas lecionadas por professores acima da média? Em qual instituição você pode cursar uma cadeira como Humanismo e Cidadania e, além de discutir vários problemas relevantes existentes na sociedade contemporânea brasileira, ter a oportunidade de ler e discutir objetivamente em sala o clássico "A Vingança da Tecnologia" de Edward Tenner? (E todas essas com cargas horárias de 60 horas).

Pouquíssimas, aposto eu.

Então, como é possível a disparidade entre o meu desempenho individual e aquele encapsulado em um pobre e inexpressivo indicador que, erroneamente, representa a "qualidade" do meu ex-curso?

Simples: várias instituições particulares tornaram-se reféns da necessidade de sobrevivência. Afinal, na condição de empresas privadas, precisam sustentar-se mediante a manutenção de um bom número de estudantes matriculados em todos os períodos de seus cursos. O caminho encontrado por muitas? Moderar os requisitos de aprovação entre disciplinas (e.g. aproveitamento de 50 ou 60%) ou aceitar pessoas despreparadas no vestibular - afinal, os alunos "preparados" acabam sendo aprovados nas universidades públicas ou preferindo esperar mais um ou dois anos em preparatórios até conseguirem o tão almejado objetivo. Infelizmente, muitos dos alunos que entram não conseguem se dedicar o suficiente ao curso, seja por conta da necessidade de trabalhar 8 horas e cursar as cadeiras à noite, ou por mero comodismo e falta de interesse.

Mas sejamos conscientes e objetivos:

Tal fato não está de forma alguma correlacionado com fatores como o nível da estrutura (e.g., laboratórios, bibliotecas, etc.), o nível dos professores (i.e., a habilidade didática e graus de conhecimento da matéria) ou a qualidade da proposta pedagógica (i.e, matrizes curriculares, ementas de disciplinas, etc.).

Inconcebível é, para mim, tudo isso!

Já perdi as contas de quantos colegas conheci no mestrado do CIn que não se graduaram na UFPE ou em outras instituições federais com conceitos 4 ou 5 no ENADE e se destacam positivamente nas disciplinas, seja pela qualidade nas implementações e discussões de projetos e seminários ou pelo conhecimento demonstrado através dos instrumentos de avaliação tradicionais (i.e., provas). Aliás, muitos desses colegas vêm de curso particulares e não estiveram exatamente bem classificados no processo seletivo.

Para muitas instituições bem ranqueadas, é relativamente fácil obter indicadores favoráveis, dado a enorme pressão seletiva no tocante ao ingresso nos cursos de graduação (em bom português, o vestibular), o qual resulta em ingressantes com enorme potencial de se tornarem "bons" concluintes. Para que uma interpretação mais justa dos resultados seja realizada, além do conceito final do ENADE, é imperativo que se observe o índice IDD (Indicador de Diferença entre os Desempenhos observado e esperado), o qual fornece uma medida mais objetiva do quanto a instituição contribui para o resultado obtido pelos concluintes na prova do ENADE. Em outras palavras, o IDD mostra o quão o desempenho do curso se afasta (ou adere) da média de todos os demais cursos cujo o perfil dos ingressantes possui forte grau de similaridade.

Soluções?

Extinguir de vez o (pré) conceito institucional para fins de avaliação e ranqueamento individuais e passar a considerar com maior (ou, quiçá, total) ênfase os índices de desempenho individuais (i.e., coeficiente de rendimento e nota do POSCOMP). Apenas dessa forma teremos um processo justo e sem viés institucional.

Espero sinceramente que nós alunos advindos de instituições não "mainstream" [hahaha] tenhamos o tratamento digno que merecemos, afinal, possuímos a mesma capacidade cognitiva para o aprendizado acadêmico dos demais alunos que vieram de cursos com indicadores "mais favoráveis".

Espero nunca mais ouvir estórias de colegas que foram sutilmente humilhados nas entrevistas informais com seus futuros orientadores, quando alguns desses senhores e senhoras costumam torcer o nariz ao ouvirem de nós os nomes das instituições nas quais obtivemos o nosso (santo) grau [hahaha].

Amém.

2 comentários:

cruzada disse...

"Extinguir de vez o (pré) conceito institucional para fins de avaliação e ranqueamento individuais e passar a considerar com maior (ou, quiçá, total) ênfase os índices de desempenho individuais (i.e., coeficiente de rendimento e nota do POSCOMP)."

Olá colega!!!
Eu entendo a sua posição de o (pré) conceito com as instituições ser suscetível a injustiça, entretanto também não seria injustiça comparar igualmente o coeficiente de rendimento de uma faculdade de alto nível com outra de mais baixo? Afinal é bem mais fácil manter um CR alto em universidades menos exigentes.
De fato o modelo adotado atualmente pode ser injusto com alguns, mas da forma que vc expressou no parágrafo que ressaltei a injustiça seria maior ainda.

Carlos Azevedo disse...

cruzada, obrigado pelo comentário.

Entendo o seu questionamento, mas o problema consiste justamente na errônea extrapolação de um indicador de qualidade, como o conceito do ENADE, na consideração de fatores que não estão necessariamente correlacionados com tais indicadores.

Como podemos saber se uma instituição com conceito, digamos, 3 no ENADE "facilitará" de alguma forma a obtenção de CRs mais altos em relação às instituições de conceito 4 ou 5? Isto é, como tal lógica se justifica mendiante o olhar de apenas para um único número?

A propósito, o meu caso é um exemplo concreto de que essa lógica não pode ser aplicada: o MEC atribuiu conceito 3 ao curso de Computação na instituição em que me graduei. No entanto, a testemunho da verdade, posso lhe garantir que alumas das provas que realizei durante a graduação apresentaram níveis de dificuldade bem maiores do que a de todas as provas que realizei (cobrindo assuntos correlatos) até agora no mestrado da minha nova instituição, UFPE (graduação conceito 4 no ENADE e pós-graduação conceito 6 na CAPES em uma escala de 1 a 7).

De qualquer forma, acredito que, mesmo nas instituições que exigem uma aproveitamento mais baixo para a aprovação, o nível de dificuldade e de cobrança nas provas não é muito diferente daquelas que exigem o tradicional índice de 70%, isto é, um aluno com alto grau de aproveitamento possui méritos em qualquer lugar que esteja, principalmente devido a padronização de conteúdos adotados entre universidades (o MEC fiscalza os cursos superiores eficientemente quanto a esse aspecto, por exemplo, a relevância e atualização da bibliografia proposta para cada disciplina).

Para concluir, resta dizer que, para dirimir quaisquer dúvidas quanto à validade do CR obtido por um aluno A em uma instituição X em relação aquele obtido por um aluno B em uma instituição Y, basta submeter os alunos A e B a um mesmo teste padronizado, como é o caso do POSCOMP, exame nacional promovido e aplicado em todo o Brasil pela Sociedade Brasileira de Computação para os alunos que desejam candidatar-se a programas de pós-graduação na área.

Desculpe por me alongar na resposta e muito obrigado pela sua contribuição!

Carlos Renato.