"Já que o mundo se encaminha para um delirante estado de coisas, devemos nos encaminhar para um ponto de vista delirante. Mais vale perecer pelos extremos do que pelas extremidades" Jean Baudrillard

quinta-feira, 10 de junho de 2010

Integridade sob Ataque: O estado da publicação científica

Mais uma contribuição para o debate sobre a corrida desenfreada de publicação de lixo científico.
Além disso, o texto chama atenção para algo cada  vez mais recorrente em Ciências Sociais: o plágio.



Douglas N. Arnold
Presidente da Society for Industrial and Applied Mathematics (SIAM) e Professor McKnight Presidential de Matemática da University of Minnesota

Traduzido do original “Integrity Under Attack: The State of Scholarly Publishing, SIAM News – Newsjournal of the Society for Industrial and Applied Mathematics, vol. 42, no. 10, December 2009 (http://umn.edu/~arnold/siam-columns/integrity-under-attack.pdf)” por Otávio Augusto S. Carpinteiro, Universidade Federal de Itajubá, MG


Periódicos científicos são certamente importantes. Provêm o meio mais efetivo para disseminação e arquivamento de resultados científicos e, portanto, constituem-se em uma parte fundamental de um empreendimento do qual nossa saúde, segurança e prosperidade dependem fortemente. Universidades, agências de fomento e outros utilizam as publicações científicas como métrica primordial de produtividade e de impacto da atividade de pesquisa. Elas têm importância decisiva nas decisões de contratação, promoção, salário e na classificação de departamentos, instituições e, mesmo, nações. Com grandes recompensas atreladas à publicação, não é surpreendente que alguns indivíduos engajem-se em comportamentos antiéticos, fraudes e abusos significativos. Além disto, quando comecei a olhar mais de perto a questão, fiquei chocado com o que achei. Neste artigo, dou alguns exemplos preocupantes de má conduta de autores e de periódicos em matemática aplicada. Uma conclusão que chego é que a bibliometria usual — tais como o fator de impacto para periódicos e contagem de citações para autores — é facilmente manipulada, tanto em teoria, quanto na prática, e que seu uso em classificação e julgamento deve ser limitado.

O SIAM dá, obviamente, grande valor à publicação acadêmica. Estamos tomando fortes medidas para garantir a integridade de nossas próprias publicações e para proteger nossos autores do roubo de seus trabalhos. Contudo, estamos ainda esforçando-nos para decidir precisamente que ações devemos tomar. Portanto, convido os membros da comunidade SIAM a manifestarem-se. Caso tenham testemunhado incidentes preocupantes na publicação de periódicos, avisem-me. Vocês julgam que tais incidentes estão aumentando? O SIAM deveria estar fazendo mais? Deveríamos ir além de nossas próprias publicações e autores?

A má conduta de autores — através não só, mais obviamente, do plágio literal, mas também da apropriação sutil de idéias e da duplicação de publicações — tem sempre estado presente entre nós. No SIAM, entretanto, nossa impressão é de que o problema está se tornando bem mais comum. Talvez ainda mais preocupante seja a má conduta de periódicos, realizada por suas companhias editoras e seus editores, muitas vezes com evidentes fins lucrativos. Um exemplo é o processo capcioso ou descuidado de revisão dos artigos, de forma a produzir a impressão de que o periódico acadêmico em questão seja sério. Um outro problema é a manipulação deliberada das estatísticas de citação, de forma a elevar o fator de impacto ou outro parâmetro bibliométrico.

Um caso recente envolvendo o SIAM revela a má conduta tanto do autor quanto do periódico. Um artigo publicado em um periódico do SIAM, em 2008, foi plagiado literalmente de uma versão preliminar postada, pelos autores, na web. Uma cópia do artigo apareceu no International Journal of Statistics and Systems, no mesmo ano, com título e autores diferentes. A companhia editora do SIAM, seu vice-presidente de publicações, seu diretor executivo e eu realizamos uma completa investigação, que requereu, aproximadamente, seis meses. O caso tornou-se mais e mais confuso e preocupante, de semana para semana. Decidi então que nosso relatório final sobre a questão fosse divulgado publicamente. Está disponível na web, onde os detalhes podem ser lidos.1

Enquanto isto, aqui estão algumas das tristes conclusões. Baseados nos artigos que revisamos, descobrimos que os autores suspeitos tinham cometido plágio nestes e em vários outros casos. Ao menos quatro artigos publicados, sob suas autorias, em quatro diferentes periódicos são, essencialmente, cópias literais de artigos de outros autores e temos razões para crer que há, igualmente, outros casos. A companhia editora do periódico, Research India Publications, publica, aproximadamente, 50 periódicos, muitos dos quais relacionados à área de matemática aplicada. Entretanto, não responderam a nossas perguntas sobre o artigo plagiado. Contatamos o editor-chefe, listado na página web do periódico, mas ele próprio foi incapaz de contatar o periódico! Após saber deste incidente, por nosso intermédio, ele renunciou a seu cargo de editor-chefe, mas não recebeu qualquer resposta da editora. Seu nome, junto com os de muitos outros matemáticos distintos, permanece no portal web do periódico.

O caso muito divulgado do periódico de matemática aplicada Chaos, Solitons and Fractals (CSF), publicado pela Elsevier, tem gerado rumores de má conduta por parte do editor e do periódico. Como reportado em um artigo, de 2008, na Nature,2 “Cinco dos 36 artigos do fascículo de Dezembro doChaos, Solitons and Fractals foram escritos por seu editor-chefe, Mohamed El Naschie e, no ano corrente, houve, aproximadamente, 60 artigos escritos por ele, no periódico.” De fato, dos 400 artigos do El Naschie indexados no Web of Science, 307 foram publicados no CSF durante sua gestão como editor-chefe. Esta taxa extremamente alta de auto-publicações do editor-chefe gerou acusações de que os padrões normais de revisão por pares não foram considerados no CSF. Isto tem também gerado um grande efeito no fator de impacto do periódico (O Thomson Reuters calcula o fator de impacto de um periódico, em um dado ano X, como C/A, onde A é o número de artigos publicados, no periódico, nos dois anos precedentes e C é o número de citações àqueles artigos, por parte de outros artigos indexados na base de dados do Thomson Reuters, publicados no ano X). Os artigos do El Naschie no CSF fazem 4992 citações, sendo aproximadamente 2000 destas a artigos publicados no CSF, na maioria das vezes, aos seus próprios. Em 2007, dos 65 periódicos na categoria “Mathematics, Interdisciplinary Applications” do Thomson Reuters, o CSF foi classificado em segunda posição.

Um outro periódico cujo fator de impacto causa surpresa é o International Journal of Nonlinear Science and Numerical Simulation (IJNSNS), fundado em 2000 e publicado pela Freund Publishing House. Nos últimos três anos, o IJNSNS vem alcançando o maior fator de impacto na categoria “Matemática Aplicada”. Há uma variedade de conexões entre o IJNSNS e o CSF. Por exemplo, Ji-Huan He, fundador e editor-chefe do IJNSNS, é um editor do CSF e El Naschie é um dos dois co-editores do IJNSNS. Ambos publicam copiosamente, não só em seus próprios periódicos, mas também no de seu colega, e ambos citam um ao outro, frequentemente.

Permitam-me descrever um outro elemento que contribui para o alto fator de impacto do IJNSNS. O Institute of Physics (IOP) publica o Journal of Physics: Conference Series (JPCS). Os organizadores de conferências pagam para que os anais de suas conferências sejam publicados no JPCS e, segundo as palavras do IOP, “o JPCS pede aos organizadores de conferências que se encarreguem da revisão de todos os artigos”. Nem os anais impressos nem o portal web do JPCS listam um corpo editorial, nem descrevem, igualmente, qualquer processo para julgar a qualidade das conferências. Contudo, a Thomson Reuters conta citações do JPCS no cálculo de fatores de impacto. Um dos 49 volumes do JPCS, em 2008, conteve os anais de uma conferência organizada pelo Ji-Huan He, editor-chefe do IJNSNS, em seu próprio campus da Universidade de Shanghai Donghua. Este volume continha 221 artigos, com 366 referências a artigos do IJNSNS e 353 referências ao Ji-Huan He. Para dar uma idéia do efeito disto, mesmo se o IJNSNS não tivesse recebido uma única citação, em 2008, além destas nos anais da conferência, o IJNSNS ainda teria tido um fator de impacto maior do que o de qualquer periódico do SIAM, excetuando-se o SIAM Review.

Um outro exemplo de má conduta de um periódico foi revelado com um toque de humor. No artigo “CRAP”, aceito para publicação e publicado em formato digital, em junho, no Science News, o editor senior Janet Raloff3 descreveu um experimento no qual Philip Davis, estudante de pós-graduação de Cornell, e um amigo usaram um programa computacional, SCIgen, para gerar um documento aleatório. A gramática e o vocabulário eram os de um artigo científico em ciência da computação, mas o artigo não possuía qualquer significado (O artigo começa com: “As simetrias compactas e os compiladores têm despertado grande interesse nos futuristas e biólogos, nos últimos anos. A falha deste tipo de solução, porém, é que os DHTs podem se tornar empáticos, de grande escala e extensíveis”. Quatro páginas adiante, conclui: “Esperamos ver muitos futuristas começarem a estudar TriflingThamyn em um futuro próximo”. De fato!). O artigo foi submetido ao The Open Information Science Journal (TOISCIJ), publicado pela Bentham Science, uma companhia editora com mais de 200 periódicos científicos de acesso livre (muitos dos quais, de acordo com o portal web da editora, têm altos fatores de impacto). Embora o artigo tenha sido submetido sob pseudônimos e com a reveladora afiliação “Center for Research in Applied Phrenology”, ou CRAP, o autor Davis foi notificado, quatro meses mais tarde, de que “o artigo submetido, após o processo de revisão por pares, tinha sido aceito para publicação no TOISCIJ”. De acordo com o modelo de acesso livre, a editora comunicou aos autores que o artigo seria publicado tão logo enviassem um cheque de 800 dólares. (Eles declinaram de fazê-lo).

Os casos que descrevi são desagradáveis, mas facilmente identificáveis. Talvez ainda mais perigosos são aqueles menos óbvios: companhias editoras que não descartam a revisão pelos pares, mas que a ajustam de acordo com fatores não-científicos; periódicos que podem não se engajar em auto-citação sistemática e em ampla escala, mas que aplicam pressões sutis nos autores e editores para ajustar as citações em favor destes periódicos, ao invés de basearem-se em razões acadêmicas; autores que podem não roubar textos literalmente, mas que levantam idéias destes textos sem dar o crédito devido aos autores dos mesmos. Estes casos são muito mais difíceis de se medir e julgar. O que você pensa? Estão tais práticas distorcendo significativamente a literatura e o empreendimento científicos? Você tem uma história sobre estas práticas duvidosas para contar?

Uma conclusão que chego é que precisamos voltar atrás no uso de bibliometrias, tais como o fator de impacto, para julgamento da qualidade científica. Tem-se notado, desde muito, que o fator de impacto não tem muita relação com a qualidade do periódico, muito menos com a qualidade científica dos artigos contidos nele ou dos autores destes artigos. Em nossa área, o documento Citation Statistics4, publicado em 2008 pelo IMUICIAM-IMS, aborda esta questão de forma eloquente. Menos enfatizado tem sido o fato de que estas métricas estão abertas a fraudes e que estão, de fato, sendo fraudadas. Em alguns casos, elas fornecem, provavelmente, um melhor indicador da falta de escrúpulos de autores, editores, ou de companhias editoras, do que da qualidade de seus trabalhos. Frequentemente, ouço a respeito de soluções técnicas, propostas com a esperança de que um ajustamento da fórmula — por exemplo, aumentando-se o intervalo de tempo para o fator de impacto, de 2 para 5 anos, ou excluindo-se auto-citações — solucionará o problema. Tais soluções, em minha opinião, são fadadas ao fracasso. As quantidades de citações aos artigos matemáticos são números inteiros pequenos, com excelentes artigos totalizando, muitas vezes, durante toda a sua existência, somente dezenas ou centenas de citações. No entanto, tais números são facilmente construídos. O que um editor pode fazer com um periódico por meio de auto-citação, um par de editores pode fazer com dois periódicos sem auto-citação. A contagem nunca pode substituir a opinião do especialista.

Como cientistas preocupados, o que podemos fazer? Claro, o primeiro passo é olhar para nós mesmos. Como cientistas, devemos dar grande ênfase à integridade científica, no que escrevemos, no que revisamos. Faça a si próprio algumas perguntas antes de por seu nome, como editor, em um periódico. O periódico possui altos padrões de revisão pelos pares? Possui políticas e mecanismos claros para garanti-los? Sua produção contribui, de forma útil, para a disseminação da literatura científica? Precisamos, igualmente, de educar os outros, não só nossos estudantes, mas também nossos colegas, administradores e gerentes. Na próxima vez em que você estiver diante de uma situação onde uma contagem de publicações, ou um número de citações, ou um fator de impacto, sejam sugeridos como medidas de qualidade, levante uma objeção. Informe às pessoas quão facilmente estes parâmetros podem ser, e estão sendo, manipulados. Precisamos olhar, diretamente, os artigos, a natureza das citações e a qualidade dos periódicos. Espero ser informado a respeito das experiências e pensamentos da comunidade do SIAM. Você pode contatar-me no endereço “president@siam.org”.

Referências

2- Nature, vol. 456, 27 Novembro 2008, pag. 432.
4- O original está disponível em www.iciam.org/QAR/CitationStatistics-FINAL.PDF. A tradução para o português e a revisão da tradução foram realizadas, respectivamente, por Anselmo Rodrigues da Costa Filho e Sávio Cavalcante. A tradução está disponível no periódico “Mediações, vol. 14, no. 1, 2009”, em http://www.uel.br/revistas/uel/index.php/mediacoes/article/view/3348/2734

Nenhum comentário:


Complexidade de um mundo carente de inteligibilidade sobre suas próprias questões...