A ciência é mais do que a soma de seus indicadores

Por Peter Schulz

No início dos anos 1990 e da minha carreira docente, costumava ir à biblioteca do Instituto de Física da Unicamp todos os dias, por necessidade ou por ritual. Na sala de referências encontravam-se as revistas mais recentes, que chegavam, quando tínhamos sorte, com apenas alguns meses de atraso em relação às bibliotecas no hemisfério norte. Na mesma sala eram guardadas (ainda são) as edições anuais do Science Citation Index do Institute for Scientific Information (ISI): uma base de dados bibliográficos em milhares de folhas de papel com letras minúsculas.

A “enciclopédia” anual de dados tinha três partes: volumes com as citações do ano dadas aos diferentes autores, outros com os artigos publicados de cada autor daquele ano e um conjunto de volumes que permitiam permutações de palavras chave e autores. Na mesma época já se afirmara um campo científico baseado nesses dados: a bibliometria. Para nós, amadores no ramo, mesmo que cientistas em outras áreas, as buscas eram pequenas aventuras tediosas, que lembravam o fazer do escriturário de José Saramago no romance Todos os nomes. Encontrar algo nesses calhamaços poderia ser facilitado se tivéssemos a oportunidade de assistir a um filme tutorial, gravado pelo próprio Eugene Garfield, criador do ISI, hoje curiosidade histórica que pode ser vista no YouTube[i].

No final daquela década, os calhamaços reduziram-se a CD-ROM’s e buscas mais ágeis e frequentes, ainda que desajeitadas, surgiam nas telas dos microcomputadores, longe do farfalhar de páginas na sala de referências. Mas foi já neste século (2002) que o Science Citation Index se desmaterializou em uma base integrada na plataforma conhecida como Web of Science. Coincidentemente, logo surgiu o primeiro ranking global de universidades, o ARWU de Xangai, fortemente baseado no número de publicações e citações.

Esse acesso facilitado levou à formação de três grupos de interessados, que se juntaram aos bibliometristas profissionais: os próprios provedores de bases de dados e as ferramentas associadas (sim, outras surgiram), os gestores acadêmicos e de pesquisa e, finalmente, os cientistas, preocupados com as avaliações que os administradores fazem. São os praticantes da “bibliometria leiga”, tradução livre de “citizen bibliometrics”, expressão usada por Loet Leidesdorff, Paul Wouters e Lutz Bornmann em um artigo recente[ii], no qual os autores já no resumo advertem que “indicadores bibliométricos como  fator de impacto de revistas, índices h e contagem de citações são artefatos algorítmicos que podem ser usados na avaliação e gestão da pesquisa. Esses artefatos não têm significado em si, mas recebem sentidos nos usos em práticas institucionais”. Os quatro grupos de bibliometristas, profissionais e leigos, são os atores nesses processos e o artigo busca informar sobre “o conjunto de problemas (às vezes  não resolvidos) em bibliometria que pode esclarecer um pouco as tensões entre indicadores simples, mas inválidos, amplamente utilizados (como o índice h[iii]) e indicadores mais sofisticados, que não são usados ou não podem sê-lo em avaliações, porque não são transparentes, não podem ser calculados ou são difíceis de interpretar”.

Nesse contexto, um “guia de boas práticas” para o uso de indicadores é desejável e esse guia é o Manifesto de Leiden[iv], consolidado em 2014 em uma conferência na cidade holandesa. Paul Wouters é um dos signatários, com outros quatro cientometristas de renome. São no total 10 princípios. Não há espaço aqui para discutir todos, mas enunciar alguns deve despertar a curiosidade para acessar o link abaixo: “A avaliação quantitativa deve dar suporte  à avaliação qualitativa especializada”; “Medir o desempenho de acordo com a missão da instituição, do grupo ou do pesquisador” e “proteger a excelência da pesquisa localmente relevante”. Esse último está intrinsecamente ligado ao debate sobre a publicação de revistas no Brasil. Segue o manifesto a respeito desse princípio: “Os indicadores baseados nas revistas de alta qualidade publicadas em outros idiomas diferentes do inglês devem identificar e premiar as áreas de pesquisa de interesse local”.

De traz para frente, temos o último princípio: “Examinar e atualizar os indicadores regularmente”. Os autores mencionam que a missão da pesquisa e o objetivo da avaliação se modificam. Acrescento outro efeito, baseado na lei de (Donald) Campbell, apresentado a mim por Luiz Carlos de Freitas: “Quanto mais um indicador é usado para tomadas de decisões, mais sujeito ele estará a pressões que o corrompem e mais apto será para distorcer e corromper o processo que busca monitorar”. Não são poucos os relatos que ouvi de colegas, aqui e alhures, sobre como se autocitam para aumentar seu índice h.

Mas também o penúltimo princípio é relevante no fio da meada desse parágrafo: “Reconhecer os efeitos sistêmicos da avaliação e dos indicadores”. Na justificativa desse nono “mandamento”, os autores alertam que “os indicadores mudam o sistema da pesquisa por meio dos incentivos que estabelecem”, apresentando um caso que é a verificação da Lei de Campbell. “Na década de 1990, a Austrália financiou a pesquisa universitária através de uma fórmula baseada, sobretudo, no número de artigos publicados pelas instituições. Previsivelmente, o número de artigos publicados por pesquisadores australianos subiu, mas em revistas menos citadas, sugerindo uma queda na qualidade dos artigos”. É um caso que ficou famoso, após a análise de Linda Butler, uma praticante da bibliometria profissional.

O manifesto de Leiden, com os princípios ilustrados por exemplos estudados no âmbito da cienciometria, revela o impacto que o uso dos indicadores pelos afeitos à “bibliometria leiga” pode causar e, na verdade, vem causando. Se pensarmos na influência de um desses grupos, os provedores de bases de dados e suas ferramentas analíticas, entre eles um grande grupo editorial (a base Scopus é do grupo Elsevier, ou seja, há interesses econômicos envolvidos), devemos estar atentos à possibilidade de perda de autonomia dos campos científicos. Em resumo, os indicadores referem-se às publicações acadêmicas e o uso daqueles modifica a produção dessas. Gloria Origgi e Giovanni Ramello discutem essa modificação em um interessante ensaio[v]. Analisando as características estruturantes da atual publicação acadêmica, destacam as modificações na dinâmica da rede de publicações criada pela introdução do uso dos indicadores bibliométricos: reação de um dos grupos da “bibliometria leiga”, os próprios cientistas.  Destacam também o controle e “accountability” de agências de fomento e administradores (o outro grupo da “bibliometria leiga”) que levariam a uma “cultura de auditoria” no mundo acadêmico. O resultado é uma modificação que chega aos próprios valores do fazer ciência. Nas suas conclusões, Origgi e Ramello advertem:

“A atual sobreposição e inter-relações entre essas duas posições distintas e de certa forma opostas – científica e econômica – tendem a borrar o entendimento geral sobre o que é a publicação acadêmica atual, o que de fato a governa e qual é seu real papel.”

Lendo o artigo de Leydesdorff, os princípios do Manifesto de Leiden e o ensaio de Origgi e Ramello, emerge da memória a figura de Frankenstein – o Prometeu moderno – cheap fake rolex, não só do romance original, mas das inúmeras ressignificações cinematográficas: a criatura toma o nome do seu criador e os destinos de ambos não se separam mais.

Peter Schulz é secretário de comunicação da Unicamp. Foi professor do Instituto de Física Gleb Wataghin (IFGW) durante 20 anos e atualmente é professor titular da Faculdade de Ciências Aplicadas (FCA), em Limeira. Além de artigos em periódicos especializados em física e cienciometria, dedica-se à divulgação científica e ao estudo de aspectos da interdisciplinaridade. Publicou o livro A encruzilhada da nanotecnologia – inovação, tecnologia e riscos (Vieira & Lent, 2009) e foi curador da exposição “Tão longe, tão perto – as telecomunicações e a sociedade”, no Museu de Arte Brasileira – FAAP, São Paulo (2010).

[i] “How to use He science citation índex – part 1”: https://www.youtube.com/watch?v=abNZ66ZLbjU (as outras partes aparecem naturalemnte

[ii] Leydesdorff, L.; Wouters, P. e Bornmann, L.: “Professional and citizen bibliometrics: complementarities and ambivalences in the development and use of indicators—a state-of-the-art report”, Scientometrics (2016) 109:2129–2150.

[iii] Para quem não se confrontou ainda com esse número: h é o número de artigos com pelo menos h citações. Como diz Leydesdorff: “ou seja, completamente arbitrário”.

[iv] http://www.sibi.usp.br/iniciativas/bibliometria-e-indicadores-cientificos/manifesto-leiden/

[v] Ramello, G. e Origgi, G.: “Current dynamics of scholarly publishing”, Evaluation Review (2015) 39: 3-18.