Segundo matéria publica na Revista FAPESP, edição de outubro, assinada por Fabrício Marques, o sistema brasileiro de pós-graduação avançou nos últimos quatro anos, quer na oferta de vagas, quanto nos indicadores de qualidade.
Assim, entre os anos de 2013 e 2017, o número de programas stricto sensu – que oferecem diplomas e são sujeitos a reconhecimento e autorização do Ministério da Educação para funcionar – cresceu em 25%. Atualmente, existem 4.175 programas, em comparação com 3.337 de quatro anos atrás, de acordo com a avaliação quadrienal da pós-graduação realizada pela Coordenação Nacional de Aperfeiçoamento de Pessoal de Nível Superior (Capes), cujos resultados foram divulgados em 19 de setembro.
São oferecidos 2.202 cursos de doutorado, 3.398 de mestrado e 703 de mestrado profissional. O número de programas de nível internacional, aqueles que recebem notas 6 e 7, as mais altas na escala da Capes, subiu de 412 para 465, representando agora 11% do total. No outro extremo, 119 programas (3%) receberam notas 1 ou 2 e seus cursos serão descredenciados. As solicitações de reconsideração de notas serão analisadas até o final do ano.
Todos os estados brasileiros tiveram programas avaliados – do Amapá, com apenas quatro, a São Paulo, com 894, contudo existe uma notável concentração dos cursos com notas 6 e 7 em seis unidades da federação: São Paulo (171), Rio de Janeiro (78), Rio Grande do Sul (61), Minas Gerais (56), Paraná (20) e Santa Catarina (20). Em termos relativos, o desempenho do Paraná chamou a atenção: tinha 11 programas com notas 6 e 7 em 2013 e hoje tem 20. Em 10 estados, não há um programa sequer com as duas notas mais elevadas. A maioria deles está nas regiões Norte e Centro-Oeste – mas nessa lista também está o Espírito Santo, no Sudeste.
A Universidade de São Paulo (USP) destaca-se em vários indicadores: teve 265 programas avaliados, quase o dobro da segunda colocada, a Universidade Estadual Paulista (Unesp), com 135, enquanto a Universidade Federal do Rio de Janeiro (UFRJ) aparece em terceiro, com 116. A USP responde sozinha por 18% dos programas com notas 6 e 7 – são 83 ao todo. Num segundo pelotão, aparecem a UFRJ, com 39 programas, e a Federal do Rio Grande do Sul (UFRGS), com 36, e a Estadual de Campinas (Unicamp), com 32.
A avaliação quadrienal repercute fortemente na comunidade acadêmica por ser usada como parâmetro sobre a relevância dos programas e dos grupos de pesquisa associados a eles, e por nortear a distribuição de bolsas e de verbas. Os programas com notas 6 e 7 têm mais autonomia e recebem financiamento diretamente da Capes, enquanto os com nota até 5 também são aquinhoados por intermédio da direção da universidade.
Por todas essas razões, é natural que as universidades se movimentem quando não ficam satisfeitas com os resultados. O desempenho da Unicamp manteve-se estável em relação a 2013, com 70% dos cursos com notas de 5 a 7, mas os resultados trouxeram uma surpresa desagradável: o número de programas com nota 7 caiu de 16 para 14.
Em declarações à Revista FAPESP, Rita Barradas Barata, diretora de avaliação da Capes, explicou que os critérios não são estáticos, sendo que as notas são definidas com base em critérios conhecidos, mas os pesos atribuídos a eles podem ser modificados por decisão dos coordenadores de área no final da avaliação, a fim de refletir a situação do conjunto de programas. Assim, não se comparam os programas com aquilo que eram há quatro anos, mas mostrando a posição de uns em relação aos outros , no corrente ano.
À parte o mal-estar, a Unicamp teve resultados bastante positivos, com a progressão para a nota 7 de programas em clínica odontológica e biologia vegetal, assim como diversos programas evoluíram da nota 5 para a 6.
A Capes dá apoio e monitora a pós-graduação brasileira desde 1976 e segue há quase 20 anos um modelo de avaliação em que os responsáveis pelos programas preenchem periodicamente um questionário com informações sobre vários quesitos: a proposta do programa, a qualificação do corpo docente, o perfil dos estudantes e a produção intelectual, além da inserção internacional dos cursos e a sua influência sobre outros programas. Tais dados são analisados primeiro por comitês de especialistas de 49 áreas do conhecimento, aos quais cabe apurar os resultados e recomendar notas. Em um segundo momento, o Conselho Técnico-Científico da Educação Superior da Capes, composto por coordenadores e coordenadores adjuntos das áreas dos programas acadêmicos e profissionais, reavalia os resultados e define as notas.
Tais etapas ocorreram entre agosto e setembro e duraram seis semanas. “Esgotamos nas primeiras quatro semanas os programas acadêmicos e nas duas últimas avaliamos os de mestrado profissional e os oferecidos por redes de instituições”, explica Rita Barradas Barata. O trabalho teve a participação de 1.550 membros da comunidade científica. Entre 1998 e 2013, as avaliações foram trienais. Com o crescimento do sistema, optou-se por ampliar o período e fazer o levantamento quadrienalmente.
A avaliação promovida pela Capes encontra paralelo em poucas iniciativas no mundo. Nos Estados Unidos, associações científicas fazem os processos de acreditação e de avaliação dos programas, mas de forma descentralizada. Nos países latino-americanos, os conselhos de pesquisa avaliam informações prestadas pelos programas e permitem ou não que continuem funcionando. Pelo tamanho da empreitada, nota-se que há uma semelhança com o sistema de avaliação das universidades do Reino Unido, que acontece a cada cinco anos – nesse caso, porém, a qualidade da pesquisa também é analisada junto com a do ensino e, com base na análise de indicadores e principalmente em avaliação por pares, define-se a distribuição de recursos para as instituições no período seguinte.
A regularidade da avaliação da Capes ajudou a moldar o sistema de pós-graduação brasileiro. A Unesp comemorou o crescimento dos programas nota 7 – eram três e agora são seis – e os de nota 6, que subiram de 15 para 21. O crescimento foi fruto de uma política de acompanhamento dos programas, com a exigência de relatórios anuais, com especial vigilância sobre os programas com nota 3. Não por acaso, a Unesp não teve nenhuma recomendação de descredenciamento. Já os programas de boa qualidade ganharam incentivos. A acreditação de um novo curso de pós-graduação na Capes depende de um processo semelhante ao da avaliação: a proposta de cada programa é analisada por uma comissão de especialistas na área, que recomenda uma nota. Se ela for igual ou superior a 3, a comissão encaminha um parecer ao Conselho Técnico-Científico da Educação Superior, a quem cabe a decisão final. A avaliação quadrienal não dá notas a cursos recém-criados. Não existem atalhos para alcançar as notas mais altas – o processo, em geral, é lento e cumulativo.
A pós-graduação da Universidade Federal do ABC (UFABC), instituição criada há apenas 11 anos, vem evoluindo paulatinamente. Dos 22 programas avaliados pela Capes, seis melhoraram a nota, um piorou e os outros 15 permaneceram no mesmo patamar. Três ganharam nota 5: o de nanociências e materiais avançados, o de ciência e tecnologia química e o de física. Na avaliação anterior, só o de física teve 5. Segundo o neurocientista Alexandre Kihara, pró-reitor de Pós-graduação da universidade, a avaliação privilegia instituições já consolidadas, sendo que as notas mais altas estão em parte relacionadas com o poder de nucleação que um programa tem, se ele trabalha em conjunto com programas mais novos ou se um egresso vira docente em outras universidades. Segundo Kihara, as instituições jovens têm dificuldades nesses quesitos.
Diversidade de critérios
Rogério Mugnaini, professor da Escola de Comunicações e Artes (ECA) da USP, estudou os critérios do Qualis-Periódicos, um sistema usado pela avaliação da Capes para classificar a produção dos programas de pós-graduação no que se refere aos artigos publicados em periódicos científicos, entre 1998 e 2012. Em um estudo apresentado em 2015, ele mostrou como a qualidade da produção dos programas é mensurada de formas variadas, a depender do campo do conhecimento, e apontou vulnerabilidades do modelo. Em áreas com tradição de publicar resultados em revistas estrangeiras indexadas, como física e química, indicadores de citação, principalmente o Fator de Impacto dos periódicos, são usados como referência da qualidade dos artigos.
Mugnaini afirmou (Revista FAPESP) que existe uma parte da produção publicada fora dessas bases que deixa de ser avaliada. Em áreas como geociências e nutrição, nas quais há um número restrito de periódicos indexados nas bases internacionais – como Web of Science e Scopus –, as citações não permitem distinguir a produção segundo seu impacto. Nesses casos, aceita-se como critério o fato de o periódico estar vinculado a alguma base de dados, na suposição de que passaram por algum crivo para chegar ali. Para Mugnaini, seria necessário auditar se as bases de dados aplicam os critérios de qualidade que declaram. Não há garantias de que sejam isentas de vieses. E também há campos do conhecimento, como artes e arquitetura e urbanismo, em que a qualidade das publicações, por não estarem vinculadas a revistas ou bases consagradas, é aferida por critérios como a origem diversa dos autores ou dos membros do conselho editorial do periódico.
Um dos aspectos da avaliação quadrienal que mais gera controvérsias tem a ver com a autonomia conferida a cada comitê de área para aferir a qualidade de seus programas. Para João Lima, da UNESP, tem comitês que tiram pontos do programa se o mestrado superar 24 meses e o doutorado, 48 meses, enquanto outros têm mais tolerância”, “É justo que a Capes utilize esses prazos como referência para duração de bolsas, mas não entendo por que penalizar um programa por algum atraso, já que isso não têm impacto em sua qualidade.” Lima, que foi coordenador de geografia da Capes entre 2008 e 2014, considera que a avaliação foi assumindo uma perspectiva muito tecnicista. “Existe uma receita a ser seguida que pode elevar a nota do programa ao longo do tempo por seus aspectos mais quantitativos. Mas há casos de programas de excelência que se recusaram a seguir essa receita, porque seus membros têm uma tradição mais humanista, e sofrem com isso”, explica Lima, referindo-se a programas consolidados de universidades tradicionais.
Para o médico Carlos Gilberto Carlotti Junior, pró-reitor de Pós-graduação da USP e professor da Faculdade de Medicina de Ribeirão Preto (FMRP), o sistema de avaliação deveria evoluir para captar mais elementos da excelência acadêmica, sendo que para ele é importante saber não apenas o quanto foi produzido, mas também qual é o impacto do conhecimento gerado tanto na ciência brasileira quanto na formulação de políticas públicas e no desenvolvimento do país”, sugere. Para ele, o produto final de um programa de pós-graduação não é a dissertação ou a tese, mas o aluno formado. Hoje, há vários aspectos sobre o aluno que não são mensurados, nem mesmo a qualidade da tese é avaliada.”
A USP, embora concentre programas de excelência, também enfrentou problemas na avaliação. Um curso de doutorado de clínica cirúrgica, por exemplo, recebeu nota 2 e será fechado. Outros seis programas tiveram nota 3 no mestrado e 2 no doutorado, situação que leva ao descredenciamento do doutorado. “Vamos nos reunir com cada programa e estudar o que fazer”, afirma Carlotti.
Rita Barradas Barata, da Capes, concorda que os critérios de avaliação precisam evoluir. Entre as mudanças cogitadas para a próxima avaliação quadrienal, estuda-se modificar o sistema de pontuação, atribuindo também notas intermediárias, como 6,5, em vez de apenas notas cheias. “Isso permitiria mostrar que o programa de alguma forma mudou de uma avaliação para outra, mesmo quando apenas acompanhou o movimento dos demais programas”, afirma. Mas as mudanças podem ser mais amplas. “O essencial é diminuir a ênfase na normatização e aumentar a preocupação com a qualidade. É preciso promover os artigos que tenham relevância, valorizar a flexibilidade da pós-graduação e a possibilidade de reconhecer formas diferentes de organização”, afirmou.
Assessoria de Comunicação – IFSC/USP
Na próxima quinta-feira, 26, às 9h30, a biblioteca do Instituto de Física de São Carlos (IFSC/USP) promoverá treinamento ao gerenciador de referências 
Vale lembrar que, diferentemente de um hackathon, o foco do StartingUP está no desenvolvimento dos modelos de negócios, e não apenas em soluções avulsas. Além disso, a duração do evento é maior: no fim do dia, os participantes poderão voltar para casa e retornar na manhã seguinte.
(Na imagem: Equipes vencedoras do SIA Summit 2017. Foto: Impact Hub Geneva)
