Aceito ou não o convite para um parecer?

O COPE/ Committee on Publication Ethics apresenta, em forma de fluxograma, um guia para ajudar na decisão a se tomar quando se é convidado a emitir parecer para uma revista.

 

COPE - peer review

O COPE sugere que se levem em conta dois conjuntos de critérios. O primeiro levanta:

a) a respeitabilidade do periódico (e sugere, para isso, uma consulta ao site Think. Check. Submitb) a política de revisão por pares apresentada; e c) os potenciais conflitos de interesse.

Resolvida essa parte, a decisão deve levar em conta: a) se o trabalho poderá ser entregue no prazo estipulado; e b) se o texto a ser avaliado se enquadra em nossa área de especialidade.


Referências

COPE/ Committee on Publication Ethics. What to consider when asked to peer review a manuscript.  https://publicationethics.org/node/34241

Think. Check. Submit. https://thinkchecksubmit.org/

Anúncios

A terceirização na avaliação por pares -2

A defesa da terceirização dos pareceres toma por base, em geral, a necessidade de treinamento nessa tarefa acadêmica. Se a questão é o treinamento de orientandos,  há formas mais eficazes. McDowellKnutsen, GrahamOelker & Lijek  apresentam o modelo implementado por uma professora  da University of California Santa Cruz, Needhi Bhalla, transcrito abaixo. Há também treinamentos online, como, por exemplo:

Já a não inclusão do nome do colaborador foi  justificada, na pesquisa, com argumentos como esconder dos editores que o parecerista convidado, ao nomear os colaboradores no parecer, demonstraria ter quebrado o sigilo da avaliação; mais estranho foi o argumento  de não haver um campo no formulário para incluir a colaboração.

O nome de quem escreveu ou teve co-autoria deveria receber créditos. Se alguém escreve um parecer mas outrem o assina, estamos diante de uma prática conhecida como autoria fantasma. Não é uma boa prática.

 


Template from Dr. Needhi Bhalla (UCSC) for peer review training using preprints

Assignment description

“Your assignment is to pick a cell biology preprint from biorxiv (http://biorxiv.org/collection/cell-biology) and review it. This assignment is due [DATE] [TIME], Please submit your review as a word document so that I can edit it.

I’ll assess, edit and grade your review. Afterwards, you will email your edited review to the corresponding author(s), cc’ing me on this email. Your grade is contingent upon submission of your review to the authors.

I’d like you to organize your review as follows:

Part 1. Summary (less than 500 words):

Write a brief overview of the author’s findings and provide a general assessment on the quality of the work: strengths and weaknesses.

Part 2. Detailed comments:

Address each of the questions below, providing specific examples to justify your comments.

  1. Significance 

    Does the author provide justification for why the study is novel and how their results will influence the field?

  2. Observation

    Are the author’s descriptions of the data accurate and are all key experiments and hypotheses covered? Are the author’s arguments logically and coherently made? Are counterbalancing viewpoints acknowledged and discussed? Are they sufficiently detailed for a non-expert to follow? Do they include superfluous detail?

  3. Interpretation

    Are the inferences supported by the observations? Do you agree? If not, what experiments would you need to see to be convinced? Please limit any requests for new work, such as experiments, analyses, or data collection, to situations where the new data are essential to support the major conclusions. Any requests for new work must fall within the scope of the current submission and the technical expertise of the authors.

  4. Clarity

    Is the manuscript easy to read and free of jargon, typos, and grammatical or conceptual errors? Is the information provided in figures, figure legends, boxes and tables clear and accurate? Is the article accessible to the non-specialist?

    Tips:

    It is important to provide a helpful review that you would want to receive. Critical thinking does not need to be negative to be convincing!

    Let me know if you’d like to consult with me about your choice of papers or have any questions.”

 


McDowell, Gary S. et alii. Co­reviewing and ghostwriting by early career researchers in the peer review of  manuscripts.  bioRxiv preprint first posted online Apr. 26, 2019; doi: http://dx.doi.org/10.1101/617373.

[Parte 1] [Parte 2]

A avaliação por pares em discussão – Parte 3

As alternativas ao modelo de avaliação por pares hegemônico na atualidade —  referidas como open peer review (OPR) — são um conjunto de combinações de abertura como indicado na postagem de 20 de maio passado e começam a gerar pesquisas na comunidade científica. Assim, em julho de 2018, o repositório do Consejo Superior de Investigaciones Científicas/ DIGITAL.CSIC publicava os resultados de uma enquete com 158 pesquisadores da Espanha (Bernal & Román-Molina, 2018) . Ao assumirem o papel de revisor ou de autor, os pesquisadores consultados demonstraram sua preferência pelo duplo-cego:

CSIC- duplo cego autor

CSCI-duplo cego revisor

Dentre as conclusões da pesquisa chama a atenção a falta de consenso em relação à implantação de mudanças:

Los encuestados valoraron las oportunidades y los beneficios de una posible reforma del sistema dominante de revisión por pares de manera dispar. Así, algo más del 60% de los encuestados piensa que hacer públicas las revisiones de los artículos científicos puede ser beneficioso como información complementaria para los lectores y que la calidad de las propias evaluaciones aumentaría. Por otro lado, no existe consenso entre los encuestados sobre el riesgo de que un sistema de revisiones públicas actuara como obstáculo para realizar evaluaciones especialmente críticas, con casi 47% de respuestas tendentes a pensar que tal riesgo existiría. Finalmente, algo más del 50% de los encuestados piensa que publicar la identidad de los revisores ayuda a reducir posibles conflictos de intereses.

 

CSCI- Contra e a favor

Nassi-Caló (2015) arrola seis argumentos favoráveis à revisão aberta por pares e cinco contrários. Entre os riscos Nassi-Caló vê um aspecto mais grave que uma possível represália: “Certos comentários nos pareceres poderiam ser distorcidos e descaracterizados para reduzir a credibilidade da pesquisa, de uma área do conhecimento ou da ciência como um todo. Esta probabilidade seria maior em periódicos que publicam pesquisa com maior risco de discussão política”. Nota que a aceitação ou rejeição da OPR não é a mesma em todas as áreas; que pesquisadores mais jovens estão mais propensos a concordar com sua implantação. Para os editores, a adoção de um modelo que publicasse não só o artigo em sua forma final, mas outras versões submetidas, comentários dos pareceristas, respostas dos autores e decisão do editor não seria “trivial”.


 

Bernal, Isabel &  Román-Molina, Juan. 2018. Encuesta sobre evaluación por pares y el módulo “Open Peer Review” de DIGITAL.CSIChttp://digital.csic.es/bitstream/10261/167425/3/encuesta_DC_peer_review_oprm_2018.pdf

NASSI-CALÒ, L. Potenciais vantagens e desvantagens na publicação de pareceres [online]. SciELO em Perspectiva, 2019 . https://blog.scielo.org/blog/2019/04/30/potenciais-vantagens-e-desvantagens-na-publicacao-de-pareceres/

[Parte 1]   [Parte 2] [Parte 3]

A avaliação por pares em discussão – Parte 2

Quais são as alternativas? São muitas. Ernesto Spinak (2018), com base na literatura sobre o tema, organizou um quadro das alternativas em discussão:

OPR - Spinak

[Continua na Parte 3]

 


SPINAK, E. Sobre as vinte e duas definições de revisão por pares aberta… e mais [online]. SciELO em Perspectiva, 2018 https://blog.scielo.org/blog/2018/02/28/sobre-as-vinte-e-duas-definicoes-de-revisao-por-pares-aberta-e-mais/

[Parte 1]  [Parte 2]  [Parte 3]

A avaliação por pares em discussão – Parte 1

Considerada o alicerce das publicações científicas, a avaliação por pares é cada vez mais o centro de discussões em que surgem processos alternativos a serem adotados. Em foco, o nível de transparência no processo.

A forma mais comum de avaliação por pares é aquela que preserva o anonimato —  seja porque o autor não toma ciência dos nomes dos pareceristas (simples-cegoing. single-blind), seja porque os autores não sabem quem são os pareceristas nem os pareceristas sabem quem são os autores (duplo-cegoing. double-blind) — e o sigilo que envolve os pareceres exarados, endereçados apenas ao editor e ao autor.

Em meados desta década, Nassi-Calò (2015) apontava novas alternativas a esses processos:

Recentemente, novas formas de revisão por pares vem sendo consideradas, como alternativas aos métodos simples e duplo-cego. Revisões totalmente abertas, em que a identidade de autores e revisores é conhecida por ambos; revisões abertas publicadas ao final do artigo, abrindo espaço para discussões pós-publicação; e a substituição da revisão por pares por revisão pós-publicação estão entre as alternativas que ganharam destaque como formas da evolução do processo original de peer review.

Em que consistem essas alternativas? [Continua na Parte 2]


 

Bernal, Isabel &  Román-Molina, Juan. Encuesta sobre evaluación por pares y el módulo “Open Peer Review” de DIGITAL.CSIChttp://digital.csic.es/bitstream/10261/167425/3/encuesta_DC_peer_review_oprm_2018.pdf

Nassi-Calò, Lilian. 2015. Avaliação por pares: modalidades, prós e contras. Scielo em Perpectiva, 27Mar2015. https://blog.scielo.org/blog/2015/03/27/avaliacao-por-pares-modalidades-pros-e-contras/#.XJWQoVVKiXI

[Parte 1]  [Parte 2] [Parte 3]

Recebi emails de uma revista internacional desconhecida interessada em que eu dê pareceres para artigos

 

Há um tipo de spam que se concretiza como uma mensagem lisonjeadora a nosso trabalho e nos convida a publicar numa revista de que nunca se ouviu falar, apesar de alardear um fator de impacto extremamente alto. A publicação quase imediata se faz mediante pagamento de taxas que a mensagem (ou o site do grupo editorial) faz questão de frisar que estão abaixo dos preços de mercado (comentado em Recebi emails de uma revista internacional interessada em publicar minha pesquisa/)

Esse tipo de caça-níqueis dirigido especificamente a autores acadêmicos vem-se expandindo: aos spams com um convite para publicar num determinado periódico  há  também aqueles que convidam para atuar como  parecerista. Se o filtro de endereços não foi muito bom, podemos  receber uma solicitação de parecer para um trabalho em área muito diferente da nossa, como no exemplo a seguir.

Peer review convite 2

Fosse o convite feito para analisar um texto de nossa área, como decidir?

Bom, há detalhes a considerar em mensagens desse tipo.

  • Uma consulta ao DOAJ/Directory of Open Access Journals retorna o nome da revista? (Mas podia ser uma revista recém-criada, por exemplo).
  • O nome do grupo editorial dessa publicação já aparecia na antiga lista de Beall ? (Mas a lista foi alvo de críticas).
  • Talvez o mais importante: um passeio pelo site do periódico, porque ele nós dá  ideia do que foi publicado: os textos têm qualidade? Os prazos decorridos entre o recebimento do manuscrito e sua publicação contam-se em dias apenas?  Enfatiza a cobrança de taxas abaixo das cobradas no mercado?

O convite para parecer tinha interesse de fato num parecer?

Vamos ao exemplo acima. Foi possível rastrear o trabalho mencionado no convite e constatar que entre a data de recebimento do artigo pelos editores, avaliação e publicação na internet  correram apenas 23 dias e £999 (em torno de 5 mil reais); entre o email acima e o final do processo, 11 dias.  

Respondo a uma mensagem como essa? (Ou : devo responder a um spammer tão amável?)

Não.

Um desdobramento indesejável

Conseguir nomes que aceitem ser associados a uma revista predatória ajuda a revestir de respeitabilidade um negócio eticamente discutível. Mas para quem permitiu ter seu nome associado a um desses periódicos o cenário muda.

Laine & Winker (2017), em artigo no site da WAME/ World Association of Medical Editors, propunham que “Ideally, academic institutions should also identify academics who are listed as editors or Editorial Board members for journals established as predatory, and require that their affiliation with the institution is removed”. 

É uma proposta apenas. Mas ilustra o dano à reputação que pode trazer.


Laine, Christine & Winker Margaret A. Identifying Predatory or Pseudo-Journals. World Association of Medical Editors. February 15, 2017. http://wame.org/identifying-predatory-or-pseudo-journals

2 – Erro, dados falsos … e a avaliação por especialistas?

 

Como um artigo pode apresentar  dados não confiáveis, não importa a razão,  se, ao ser submetido a um periódico, é encaminhado para análise de mais de um parecerista, todos especialistas na área do trabalho?

Primeiramente porque não se espera a má conduta de um cientista. Nas palavras do Prêmio Nobel de Medicina em 1975, David Baltimore, In science, we assume that a colleague is trustworthy and only in extreme do we doubt it (MIT News, 2002).

A confiança no colega expressa por Baltimore 
é, nesse caso, mais que retórica. 
Durante todo o processo de falsificação de dados 
movido contra Thereza Imanishi-Kari, 
em sequência à publicação em 1986 
de artigo na revista Cell em coautoria, 
ele a defendeu. Imanishi-Kari havia sido denunciada 
pela então pós-doutoranda Margot O'Toole 
que trabalhavam em seu laboratório.
Ao final de um longo processo de cerca de dez anos,  
Thereza Imanishi-Kari foi inocentada.
(Kleves, 1996)

Para Marisa Palácios, do  Conselho Nacional de Saúde/ Comissão Nacional de Ética em Pesquisa e primeira Coordenadora da CTEP-UFRJ,

a honestidade é pressuposta. É princípio básico do Direito, todos são inocentes até prova em contrário. Isso significa que independente da concepção filosófica que nos oriente, se há uma natureza humana e se ela é boa ou má, se dizer a verdade é um requisito ético para qualquer comunicação científica (código de ética do cientista independente da formalidade disso), então temos razão em dizer que podemos pressupor que todos dizem a verdade. (Comunicação pessoal, 21/07/2015)


Um exemplo de como pode  ser difícil para um parecerista detectar um problema 

Scott Reuben (n.1958), anestesiologista no Baystate Medical Center (BMC-  EUA).

  • Em 2005 ganhou bolsa de US$ 75.000 da Pfizer para estudar o Celebrex (um antiinflamatório que, no Brasil, é vendido como Celebra).
  • Em 2007, editorial de Anesthesia & Analgesia  afirmava que Reuben estava na “forefront of redesigning pain management protocols” e caracterizou seus estudos como  “carefully planned” e “meticulously documented” .

En mayo de 2008, se inició una auditoría interna dentro del BMC, cuando se descubrió que el investigador no había solicitado permiso al Comité Ético Asistencial del hospital para la realización de algunos de los estudios referidos. Como consecuencia de dicha auditoría, el Dr. Scott S. Reuben reconoció finalmente, que los resultados aparecidos en 19 de sus estudios y 2 resúmenes publicados [….], no eran consecuencia de la aplicación de los tratamientos a pacientes reales, sino fruto de su invención y que los datos eran de su responsabilidad exclusiva.

Además de adulterar datos, el Dr. Reuben parece haber cometido falsificación en la publicación, ya que algunos coautores como el Dr. Evan Ekman, cirujano ortopédico, dijo que su nombre apareció como coautor en al menos dos de los artículos de los que las revistas se han retractado, a pesar de que no había tenido ninguna participación en los manuscritos.  (Rama-Maceiras, Ingelmo Ingelmo, Fàbregas Julià & Hernández-Palazón: 2009)

  • Condenado à prisão em 2009 por fabricação de dados ao longo de 15 anos.

His research, which was published in a medical journal, has since been quoted by hundreds of other doctors and researchers as “proof” that Celebrex helped reduce pain during post-surgical recovery. There’s only one problem with all this: No patients were ever enrolled in the study! (Adams, 2010)

  • Quando eclodiu o escândalo, seus trabalhos tinham recebido cerca de 1200 citações.

Retirar a confiança do processo é também atribuir aos pareceristas (e editores, e leitores) um papel que eles não têm, porque “neither the peer reviewers, nor the editors, nor the readers were there as witnesses, so it is up to the authors to certify what took place (Gunsalus & Rennie, 2015).


Referências

Adams, Mark. 2010. Big Pharma researcher admits to faking dozens of research studies for Pfizer, Merck (opinion). Natural News, 18Fev2010.  http://www.naturalnews.com/028194_Scott_Reuben_research_fraud.html#ixzz3g9SYCFAa

Gunsalus, C. K.  & Rennie, Drummond  [2015]. “If you think it’s rude to ask to look at your co-authors’ data, you’re not doing science”: Guest post. Retraction Watch. <http://retractionwatch.com/2015/06/18/if-you-think-its-rude-to-ask-to-look-at-your-co-authors-data-youre-not-doing-science-guest-post/>

Kleves, Daniel J. 1996. The assault on David Baltimore. The New Yorker, 27Maio1996.  http://web.mit.edu/chemistryrcr/Downloads/Baltimore.pdf

MIT News. 2002.  Trust essential in scientific collaboration, says David Baltimore. 22Fev2002. http://news.mit.edu/2002/baltimore

Rama-Maceiras, P. , Ingelmo Ingelmo, I. , Fàbregas Julià, N. & Hernández-Palazón, J. 2009. Algología fraudulenta. Un dolor demasiado profundo para una adecuada analgesia. Revista Española de Anestesiología y Reanimación  56: 372-379, 2009. <http://www.elsevier.es/es-revista-revista-espanola-anestesiologia-reanimacion-344-linkresolver-algologia-fraudulenta-un-dolor-demasiado-90211771 >

Vasconcelos, Sônia M. R. 2007. O plágio na comunidade científica:questões culturais e linguístcas.  Ciência e Cultura, 59 (3): 4-5 Jul/Set. 2007.  http://cienciaecultura.bvs.br/pdf/cic/v59n3/a02v59n3.pdf

[Parte 1] [Parte 2] [Parte 3]