Lições aprendidas do resultado individual do ENADE

Já se encontram disponíveis no site http://www.inep.gov.br/superior/ENADE/ os boletins de desempenho individuais para quem prestou a prova do ENADE 2008. Para receber o seu boletim, basta gerar uma senha no primeiro acesso (ela será enviada por email) e acessar o resultado após preecher um formulário com dados pessoas que incluem o número de CPF e nome completo.

O boletim está estruturado com as notas em escala de zero à 100 por componente (i.e., formação geral e específica) e tipo das questões (i.e., objetivas e discursivas), ou seja, há quatro notas individuais disponíveis que são utilizadas para o cálculo da média final.

Após conhecer a minha média individual, a qual não me atreverei em aqui divulgar (mas que pode ser facilmente deduzida) pois, no email enviado com a senha gerada há um breve informe sobre a existência de uma lei que proíbe a associação de resultados individuais à identificação do aluno, constatei nas estatísticas contidas no boletim que obtive a melhor média individual entre os alunos concluintes de Ciência da Computação em Pernambuco.

Obviamente, fiquei muito feliz em saber que estou em uma boa posição para alçar grandes vôos. Mas tudo o que consigo pensar no momento é que o significado desse resultado claramente contradiz algumas "verdades" adotadas institucionalmente em diversos lugares. A começar no meu querido e estimado Centro de Informática (CIn) da UFPE. É de meu parcial conhecimento que a "qualidade" da instituição de origem do candidato no processo seletivo para o mestrado (i.e., conceito do ENADE), por exemplo, é levada em consideração no ranqueamento final dos candidatos, o que acaba por influenciar certas decisões (e.g., a alocação de bolsas institucionais para os novos ingressantes).

Por que esse cenário é preocupante?

Porque eu, por exemplo, realizei a minha graduação em um curso que, apesar de oferecido por uma instituição tradicional e respeitada no Estado, não vem obtendo resultados, digamos, "excepcionais" nas últimas avaliações do ENADE. Então, como pode um aluno advindo dos quadros desse curso obter o melhor desempenho entre os concluintes do estado, acima, inclusive, daqueles que representaram um amostra significativa dos concluintes de cursos considerados de "excelência" em Pernambuco? Claramente esse fato constitui-se em uma contradição. Isto é, como se justifica a prática de influenciar negativamente o escore final de um candidato que cometeu o "pecado" de ter estudado em um curso de qualidade "inferior"?

Apesar dessa questão ter me incomodado desde a época em que procurei me informar acerca dos critérios de classificação das instituições para as quais pretendia enviar inscrições, apenas agora me veio a certeza de quão absurdo são certas "generalizações institucionalizadas". Afinal, um dos fatores aos quais eu atribuo o meu bom desempenho como estudante de graduação foi a qualidade da proposta curricular que me foi oferecida, para não mencionar os excelentes professores, as muito bem estruturadas disciplinas e os eficientes programas de monitoria e iniciação científica. Ou seja, considero-me um produto do Departamento de Estatística e Informática da Universidade Católica de Pernambuco.

Em qual outro lugar um aluno de Ciência da Computação poderia cursar disciplinas como Computação Evolucionária, Processamento Digital de Imagem, Técnicas de Simulação Estocástica e Criptografia, no âmbito da graduação, todas lecionadas por professores acima da média? Em qual instituição você pode cursar uma cadeira como Humanismo e Cidadania e, além de discutir vários problemas relevantes existentes na sociedade contemporânea brasileira, ter a oportunidade de ler e discutir objetivamente em sala o clássico "A Vingança da Tecnologia" de Edward Tenner? (E todas essas com cargas horárias de 60 horas).

Pouquíssimas, aposto eu.

Então, como é possível a disparidade entre o meu desempenho individual e aquele encapsulado em um pobre e inexpressivo indicador que, erroneamente, representa a "qualidade" do meu ex-curso?

Simples: várias instituições particulares tornaram-se reféns da necessidade de sobrevivência. Afinal, na condição de empresas privadas, precisam sustentar-se mediante a manutenção de um bom número de estudantes matriculados em todos os períodos de seus cursos. O caminho encontrado por muitas? Moderar os requisitos de aprovação entre disciplinas (e.g. aproveitamento de 50 ou 60%) ou aceitar pessoas despreparadas no vestibular - afinal, os alunos "preparados" acabam sendo aprovados nas universidades públicas ou preferindo esperar mais um ou dois anos em preparatórios até conseguirem o tão almejado objetivo. Infelizmente, muitos dos alunos que entram não conseguem se dedicar o suficiente ao curso, seja por conta da necessidade de trabalhar 8 horas e cursar as cadeiras à noite, ou por mero comodismo e falta de interesse.

Mas sejamos conscientes e objetivos:

Tal fato não está de forma alguma correlacionado com fatores como o nível da estrutura (e.g., laboratórios, bibliotecas, etc.), o nível dos professores (i.e., a habilidade didática e graus de conhecimento da matéria) ou a qualidade da proposta pedagógica (i.e, matrizes curriculares, ementas de disciplinas, etc.).

Inconcebível é, para mim, tudo isso!

Já perdi as contas de quantos colegas conheci no mestrado do CIn que não se graduaram na UFPE ou em outras instituições federais com conceitos 4 ou 5 no ENADE e se destacam positivamente nas disciplinas, seja pela qualidade nas implementações e discussões de projetos e seminários ou pelo conhecimento demonstrado através dos instrumentos de avaliação tradicionais (i.e., provas). Aliás, muitos desses colegas vêm de curso particulares e não estiveram exatamente bem classificados no processo seletivo.

Para muitas instituições bem ranqueadas, é relativamente fácil obter indicadores favoráveis, dado a enorme pressão seletiva no tocante ao ingresso nos cursos de graduação (em bom português, o vestibular), o qual resulta em ingressantes com enorme potencial de se tornarem "bons" concluintes. Para que uma interpretação mais justa dos resultados seja realizada, além do conceito final do ENADE, é imperativo que se observe o índice IDD (Indicador de Diferença entre os Desempenhos observado e esperado), o qual fornece uma medida mais objetiva do quanto a instituição contribui para o resultado obtido pelos concluintes na prova do ENADE. Em outras palavras, o IDD mostra o quão o desempenho do curso se afasta (ou adere) da média de todos os demais cursos cujo o perfil dos ingressantes possui forte grau de similaridade.

Soluções?

Extinguir de vez o (pré) conceito institucional para fins de avaliação e ranqueamento individuais e passar a considerar com maior (ou, quiçá, total) ênfase os índices de desempenho individuais (i.e., coeficiente de rendimento e nota do POSCOMP). Apenas dessa forma teremos um processo justo e sem viés institucional.

Espero sinceramente que nós alunos advindos de instituições não "mainstream" [hahaha] tenhamos o tratamento digno que merecemos, afinal, possuímos a mesma capacidade cognitiva para o aprendizado acadêmico dos demais alunos que vieram de cursos com indicadores "mais favoráveis".

Espero nunca mais ouvir estórias de colegas que foram sutilmente humilhados nas entrevistas informais com seus futuros orientadores, quando alguns desses senhores e senhoras costumam torcer o nariz ao ouvirem de nós os nomes das instituições nas quais obtivemos o nosso (santo) grau [hahaha].

Amém.

Keystroke dynamics

Assisti essa semana a uma apresentação de um colega meu, Roberto Pinheiro, bem interessante sobre um tipo de biometria comportamental que reconhece o usuário através da dinâmica de digitação.

Procurando mais a respeito do tema, encontrei uma empresa que fornece uma demo bem legal (com interface web) em que é requerido do usuário a digitação de uma frase em inglês por 8 vezes para registrar o template na base.

Após isso, tudo o que se tem a fazer é testar se sistema irá reconhecê-lo ou não ao digitar a frase novamente.

Funcionou muito bem aqui para mim, especialmente se considerarmos que eu registrei algumas dinâmicas de digitação diferentes para tentar ver se dava algum falso positivo. E de fato, não aconteceu.

Tudo o que se precisa fazer é cadastrar um email válido para testar o sistema.

Segue o link: http://www.psylock.com

The Singularity is Near

Hoje utilizei um serviço muito interessante de compartilhamento de vídeos, dotSUB, para traduzir ao portugês um vídeo de divulgação da Singularity University (SU), uma universidade visionária criada por Ray Kurzweil, autor de um famoso livro sobre a convergência tecnológica e a explosão exponencial do conhecimento humano.

A chamada para traduzir o vídeo para outras línguas encontra-se no blog mantido pela SU através do seguinte link: http://singularityu.org/news/2009/08/su-videos

Segundo David Orban, autor do post, a equipe da SU espera que milhares de pessoas possam traduzir no futuro diversos vídeos liberados pela universidade para divulgar o conhecimento produzido em seu campus.

Segue o vídeo abaixo:

Um olhar crítico acerca da tecnologia

Maior legado da aspiração humana ao progresso, as máquinas suscitam debates polêmicos acerca de seus reais benefícios para a sociedade. Muitos, em proféticos relatos, sugeriram que a suficiência humana estaria intrinsecamente ligada ao desempenho preciso e satisfatório das novas tecnologias. De fato, observamos que o avanço humano dependente cada vez mais de tais artefatos. Os novos problemas emergentes em nossos dias são freqüentemente solucionáveis em função do poder computacional disponível nos sistemas que nos cercam.

No entanto, antigas predições feitas no auge do otimismo tecnológico mostraram-se impossíveis de serem alcançadas. A ineficiência das soluções de software frente ao aumento da produtividade no setor de serviços é uma delas. Como Edward Tenner observou em "A vingança da Tecnologia" (1997), o tempo e os custos dispensados ao conserto de pequenos defeitos nas máquinas e/ou programas executados pelas mesmas, têm contribuído para a estagnação do setor.

Se os problemas advindos da tecnologia se limitassem ao campo das frustrações, certamente obteríamos um balanço positivo. Porém, o que mais alimenta o debate são os chamados efeitos de vingança. Os efeitos de vingança diferem da classe dos efeitos colaterais no que diz respeito à previsibilidade e complexidade. É normal esperarmos que, durante um tratamento de um câncer, ocorra a queda dos cabelos como um resultado de uma quimioterapia. O ocasional aparecimento de outro tipo de câncer resultante da terapia empregada, por exemplo, seria um efeito de vingança pois, além de inesperado, tornar-se-ia um fator complicador.

Quando um programa de computador, mal escrito, começou a apagar inadvertidamente os dados dos títulos do governo em um banco nos Estados Unidos, acarretou uma dívida que ultrapassava os 30 bilhões de dólares para a instituição, que, até então, não fazia idéia de "quem" havia vendido os títulos.

Mas nada se compara aos efeitos em relação ao meio ambiente e à saúde humana. A substituição das antigas máquinas de escrever pelos teclados digitais possibilitou um aumento significativo na velocidade de elaboração e produção de textos. No entanto, observa-se um grande número de digitadores os quais sofrem de tendinite, fato que não ocorria com tanta freqüência entre os datilógrafos do passado.

Alguns efeitos de vingança, como o do exemplo anterior, são graduais, percebidos ao longo do tempo. Mas, o que dizer da catástrofe de Chernobyl? A explosão de um dos reatores, justamente quando o sistema de segurança foi desligado para a realização de uma nova simulação de emergência, deixou graves e imediatas seqüelas na vida de milhares de pessoas. Tal exemplo nos remete a um outro assunto, a saber, a necessidade de constante manutenção e vigilância.

Muitos acusam a tecnologia de promover um verdadeiro pânico entre os seus usuários. No final de 1999, muito especulou-se acerca da possibilidade de alguns dos sistemas nos quais literalmente confiamos a vida entrarem em colapso precisamente à meia noite do dia 1 de Janeiro de 2000. Aviões desgovernados, bancos de dados apagados e operações bancárias não-autorizadas eram alguns dos temores dos especialistas em segurança de sistemas, os quais logo trataram de espalhar o medo e o pânico utilizando o aparato da grande mídia. Além do pânico, os precavidos analistas de sistemas se prepararam e muitos fizeram vigília na esperança de remediar os efeitos. Resultou, na verdade, que poucos e irrelevantes problemas ocorreram.

Pesquisas realizadas dentro das fábricas de software constataram que a maior parte do trabalho dos programadores é destinada à detecção de erros e manutenção dos códigos dos programas, quando esforços mais concentrados deveriam ser despendidos na busca de soluções novas e mais eficientes.

Os projetistas de máquinas não costumam afirmar que suas criações são perfeitas. Em contraste, limitam-se a dizer que podem ser úteis e adequadas dentro de objetivos previamente estabelecidos. A área a qual mais contribui para extrapolar o real poderio da tecnologia chama-se publicidade: são as campanhas de marketing e as coberturas descompassadas e exageradas da mídia dita "especializada" que transformam um produto ou uma inovação simples, e muitas vezes nocivas, em caros e perigosos sonhos de consumo.

Maravilhosas ou não; eficientes ou não, toda a sociedade depende das máquinas e da automação em geral. O emprego de muitos depende da eficiente operação de um sistema ou programa de computador. Até mesmo a liberdade de alguns está sujeita aos diagnósticos de sistemas especialistas.

Um caso notório de total dependência esteve em discussão na Cidade do México, a qual possui aproximadamente 18 milhões de pessoas e cerca de seis presídios, todos superlotados. O sistema jurídico mexicano prevê que os presos de bom comportamento sejam liberados antes do cumprimento da sentença para se incorporarem a programas específicos de trabalhos comunitários. Para que isso ocorra, devem ser considerados uma série de pré-requisitos. Por que não deixar esse trabalho de análise extremamente complexo nas mãos de um sistema especialista o qual verifica as informações de um banco de dados e determina que um certo prisioneiro já pode receber a liberdade condicional? Essa foi a proposta desenvolvida pelo pesquisados do Instituto Tecnológico Autônomo do México e professor da Universidade Nacional Autônoma do México, Angel Kuri Morales. É evidente que, em caso de falha do sistema, presos os quais já poderiam ter as suas penas abrandadas, dependeriam do empenho de algum agente humano para perceber o erro e liberá-los.

Erros como o exposto também podem ocorrer (e ocorrem) em sistemas gerenciados por humanos. A diferença reside no fato de que sistemas computacionais são indiferentes e insensíveis às necessidades humanas o que nos faz sentirmos inseguros e impotentes quando sabemos que o rumo da nossa vida depende de uma implementação particular de um algoritmo e de sua correta execução por uma entidade sem vida, fria e literalmente calculista.

Muitos afirmam que a computação caminha para uma era de estabilidade e confiabilidade. Porém, enquanto não houver padrões de qualidade e protocolos bem definidos e estabilizados no mercado de Tecnologia da Informação para a produção de sistemas autonômicos, é bastante improvável que tal afirmação se sustente por mais tempo.

Por exemplo, o subutilizado Laboratório de Avaliação de Produtos de Software (LAPS), criado a partir do Centro de Informática da UFPE, tem, como principal atividade a avaliação do produto de software em módulos de serviço os quais segmentam a qualidade e permitem a identificação e combinação da análise por graus de importância. Entretanto, ainda há a necessidade de um modelo de projeto rigoroso para guiar as empresas no desenvolvimento, sem que haja a necessidade da avaliação do produto final a qual, muitas vezes, não será capaz de determinar e estimar com precisão a confiabilidade do produto.

Portanto, em todas as áreas onde a tecnologia está inserida é preciso medir com exatidão o custo-benefício de sua aplicação, bem como de seus efeitos na vida cotidiana a fim de evitar que algo inicialmente projetado para auxiliar-nos e servir-nos acabe nos expondo à efeitos de vingança e nos torne dependentes e incapazes de lidar com a nossa insuficiência.