Um periódico que estimula a pesquisa científica de crianças e jovens

Um artigo de Bec Crew para o Nature Index em 17 de dezembro passado tem o instigante título Peer-review for six-year-olds . E chama a atenção para o Canadian Science Fair Journal, periódico que publica trabalhos científicos de crianças a partir de seis anos, ainda no segundo ano. O periódico foi criado em 2017 por Dayre McNally, intensivista pediátrico do Children’s Hospital of Eastern Ontario e professor na Universidade de Ottawa. O trabalho submetido não pode ter sido publicado anteriormente e cada submissão é acompanhada  da declaração a seguir:

CSFJ - originalidade

 

Cada criança  trabalha com um editor da área do trabalho submetido (Engenharia e Fisica, Química, Comportamento/ Fisiologia, Biologia e Bioquímica, Ciências Ambientais, Ciências da Computação) até o artigo ser publicável — o que seria uma “revisão por pares colaborativa”. O número atual, por exemplo, traz os seguintes títulos:

Com acesso aberto, estabilidade, revisão por pares e sem APCs: os “wiki-periódicos”

Imagem: 
File:WikiJournal of Science publishing pipeline (wiki first).svg  
https://commons.wikimedia.org/wiki/File:WikiJournal_of_Science_publishing_pipeline_(wiki_first).svg

Sério: eu não sabia o que era “wiki”, embora soubesse da Wikipedia e da Wikicommons.  Na verdade nunca tinha pensado em “wiki” como algo diferente de uma marca, algo já registrado como propriedade intelectual. A Wikileaks atrapalhava esse entendimento, mas … Até que ontem me deparei com os wikijournals.

Afinal, que é ‘wiki’?

Dei um Google (ou teria googlado?) e encontrei a resposta num artigo de Sérgio Rodrigues publicado na revista  Veja em 2012:

No mundo da computação, wiki passou a ser usado como nome genérico de websites colaborativos, ou seja, aqueles cujo conteúdo pode ser modificado pelo usuário. O termo foi criado em 1994 pelo programador americano Ward Cunningham, que desenvolveu o primeiro software wiki e o batizou de WikiWikiWeb. Note-se que as iniciais dialogam com o www de world wide web (rede mundial de computadores), mas Cunningham garante que sua inspiração foi mais prosaica: limitou-se a copiar o nome dos ônibus expressos do aeroporto de Honolulu, Wiki-Wiki, uma expressão regional havaiana que significa “rapidinho”. 

Depois descobri um longo artigo “Wiki” na própria Wikipedia, com um enorme histórico de modificações desde 2003.

Os periódicos wiki

Os períódicos wiki surgem em integração com a Wikipedia com o objetivo explícito de aumentar “the accuracy of the encyclopedia, and rewards authors with citable, indexed publications with much greater reach than traditional scholarly publishing”  (WikiJournal User Group). No momento há quatro títulos: WikiJournal of Humanities;  WikiJournal of Medicine; WikiJournal of Science; WikiJournal Preprints

Wikigroup

A imagem em destaque é de  Mikael Häggström 
(Own work, based on:From Pixabay, Public Domain.,CC BY 4.0, 
https://commons.wikimedia.org/w/index.php?curid=49038393. 
Está descrita como "a lightbulb, symbolizing the creation of ideas 
latitude and longitude stripes around the lightbulb, 
symbolizing a global scope".

Um exemplo extraído do periódico voltado para a área de Humanas é o longo artigo  A grammatical overview of Yolmo (Tibeto-Burman), em que  Lauren Gawne (Dept, de Línguas e Linguística, Universidade La Trobe, Austrália) é o autor (mas  o  et alii nos lembra que o material é, por definição, colaborativo). Pode ser lido no formato já conhecido do material da Wikipedia ou em pdf.

A iniciativa é mais um passo na integração da Wikipedia com a educação. Uma visão de como essa  integração já ganhou terreno de 2001 a 2016 pode ser lida em 15 years of Wikipedia and education.


 

 

 

 

.

Um prêmio estranho

 

IMAGEM 
"TROPHY DESIGN" by PROTOTYPUM, 
Martin Žampach is licensed under CC BY-NC-ND 4.0

 

A  Publons (agora da Clarivate Analytics) mais uma vez promoveu o Global Peer Review Awards, anunciado na Peer Review Week deste ano, que teve lugar entre 16 e 20 de setembro.  Em  2019 o prêmio contou com três categorias: os pareceristas top-10 , os pareceres de excelência e uma categoria para editores.

A Publons, cuja missão declarada é “speed up science by harnessing the power of peer review“, vem assumindo o papel de treinar a produção de pareceres e ajudar a indústria de publicações acadêmicas a encontrar nomes para atuarem como pareceristas (ver Crotty, 2018).

    O nome numa lista e …

    Em meio a muita discussão sobre o trabalho gratuito de pessoal altamente especializado  em prol de revistas científicas que cobram taxas muito caras dos autores para a publicação em acesso aberto e/ou de assinaturas também de preço elevado, publicadas por editoras cujos lucros andam na casa dos 40% — diferentemente da crise do mercado livreiro — não há como não se perguntar se esse prêmio é valorização suficiente para aquele que deixou de lado seu próprio trabalho e contribuiu de graça para uma indústria bilionária (em dólares ou euros); nem se esse prêmio não seria o equivalente da estrelinha que se ganhava na escola quando criança: confere algum status num pequeno círculo.

    Embora se diga que escrever pareceres sobre artigos acadêmicos submetidos a revistas científicas é parte do trabalho acadêmico, essa não é uma das cláusulas de qualquer contrato de trabalho como professor ou pesquisador (ver Watson, 2017).

    Trabalho necessário, mas que conta pouco para quem o faz

    Ninguém nega a importância do trabalho dos pareceristas. A divulgação do trabalho científico, no mundo atual ligada à avaliação por pares, é importante para a Ciência e igualmente importante nos processos formais de avaliação de professores e pesquisadores. Escrever pareceres é, porém, trabalho voluntário, certamente não prioritário na lista de afazeres.

    Agora, se esse trabalho é tão importante, se uma revista cobra alguns milhares de dólares do autor para publicar seu artigo por conta dos custos que alega ter com o preparo do manuscrito para a publicação, por que o par (ou trio) de pareceristas que recomendaram (ou não) a publicação não pode ser remunerado?

    Pode-se argumentar  que esse profissional terá seu nome listado como parecerista de uma revista de luxo. Mas, pensando bem: se um pesquisador concorre a uma vaga de professor ou pesquisador , ter uma enorme lista de pareceres  ou não incluir essa parte no lattes vai fazer diferença? Ter escrito críticas a trabalhos alheios, como notou Crotty (2018), impressiona mais uma banca que a qualidade do próprio trabalho? Por outro lado, para a revista ter um profissional renomado listado entre seus pareceristas é relevante.

    E as revistas em acesso aberto que não cobram taxas dos autores,
    caso da quase totalidade das revistas nacionais no Qualis? 
    Não são periódicos predatórios; têm papel importantíssimo na
    divulgação das pesquisas no país; 
    solicitam pareceres dentro de prazos razoáveis. 
    Atender ao convite de um desses periódicos para emitir um parecer
    continua sendo trabalho voluntário, não prioritário, 
    mas essas publicações, que não visam lucro e lutam para se manterem,
    merecem a colaboração, ainda que não remunerada,
    de todos nós.

     


     

    Crotty, David. 2018. Credit for Peer Review: What is it Worth? The Scholarly Kitchen, 18Out2018. https://scholarlykitchen.sspnet.org/2018/10/18/credit-for-peer-review-what-exactly-does-that-mean/

    Watson, Mick (@Biomickwatson). 2017. Let’s keep saying it, and say it louder: REVIEWERS ARE UNPAID. Opiniomics, 23Agos2017. http://www.opiniomics.org/lets-keep-saying-it-and-say-it-louder-reviewers-are-unpaid/

    Aceito ou não o convite para um parecer?

    O COPE/ Committee on Publication Ethics apresenta, em forma de fluxograma, um guia para ajudar na decisão a se tomar quando se é convidado a emitir parecer para uma revista.

     

    COPE - peer review

    O COPE sugere que se levem em conta dois conjuntos de critérios. O primeiro levanta:

    a) a respeitabilidade do periódico (e sugere, para isso, uma consulta ao site Think. Check. Submitb) a política de revisão por pares apresentada; e c) os potenciais conflitos de interesse.

    Resolvida essa parte, a decisão deve levar em conta: a) se o trabalho poderá ser entregue no prazo estipulado; e b) se o texto a ser avaliado se enquadra em nossa área de especialidade.


    Referências

    COPE/ Committee on Publication Ethics. What to consider when asked to peer review a manuscript.  https://publicationethics.org/node/34241

    Think. Check. Submit. https://thinkchecksubmit.org/

    A terceirização na avaliação por pares -2

    A defesa da terceirização dos pareceres toma por base, em geral, a necessidade de treinamento nessa tarefa acadêmica. Se a questão é o treinamento de orientandos,  há formas mais eficazes. McDowellKnutsen, GrahamOelker & Lijek  apresentam o modelo implementado por uma professora  da University of California Santa Cruz, Needhi Bhalla, transcrito abaixo. Há também treinamentos online, como, por exemplo:

    Já a não inclusão do nome do colaborador foi  justificada, na pesquisa, com argumentos como esconder dos editores que o parecerista convidado, ao nomear os colaboradores no parecer, demonstraria ter quebrado o sigilo da avaliação; mais estranho foi o argumento  de não haver um campo no formulário para incluir a colaboração.

    O nome de quem escreveu ou teve co-autoria deveria receber créditos. Se alguém escreve um parecer mas outrem o assina, estamos diante de uma prática conhecida como autoria fantasma. Não é uma boa prática.

     


    Template from Dr. Needhi Bhalla (UCSC) for peer review training using preprints

    Assignment description

    “Your assignment is to pick a cell biology preprint from biorxiv (http://biorxiv.org/collection/cell-biology) and review it. This assignment is due [DATE] [TIME], Please submit your review as a word document so that I can edit it.

    I’ll assess, edit and grade your review. Afterwards, you will email your edited review to the corresponding author(s), cc’ing me on this email. Your grade is contingent upon submission of your review to the authors.

    I’d like you to organize your review as follows:

    Part 1. Summary (less than 500 words):

    Write a brief overview of the author’s findings and provide a general assessment on the quality of the work: strengths and weaknesses.

    Part 2. Detailed comments:

    Address each of the questions below, providing specific examples to justify your comments.

    1. Significance 

      Does the author provide justification for why the study is novel and how their results will influence the field?

    2. Observation

      Are the author’s descriptions of the data accurate and are all key experiments and hypotheses covered? Are the author’s arguments logically and coherently made? Are counterbalancing viewpoints acknowledged and discussed? Are they sufficiently detailed for a non-expert to follow? Do they include superfluous detail?

    3. Interpretation

      Are the inferences supported by the observations? Do you agree? If not, what experiments would you need to see to be convinced? Please limit any requests for new work, such as experiments, analyses, or data collection, to situations where the new data are essential to support the major conclusions. Any requests for new work must fall within the scope of the current submission and the technical expertise of the authors.

    4. Clarity

      Is the manuscript easy to read and free of jargon, typos, and grammatical or conceptual errors? Is the information provided in figures, figure legends, boxes and tables clear and accurate? Is the article accessible to the non-specialist?

      Tips:

      It is important to provide a helpful review that you would want to receive. Critical thinking does not need to be negative to be convincing!

      Let me know if you’d like to consult with me about your choice of papers or have any questions.”

     


    McDowell, Gary S. et alii. Co­reviewing and ghostwriting by early career researchers in the peer review of  manuscripts.  bioRxiv preprint first posted online Apr. 26, 2019; doi: http://dx.doi.org/10.1101/617373.

    [Parte 1] [Parte 2]

    A avaliação por pares em discussão – Parte 3

    As alternativas ao modelo de avaliação por pares hegemônico na atualidade —  referidas como open peer review (OPR) — são um conjunto de combinações de abertura como indicado na postagem de 20 de maio passado e começam a gerar pesquisas na comunidade científica. Assim, em julho de 2018, o repositório do Consejo Superior de Investigaciones Científicas/ DIGITAL.CSIC publicava os resultados de uma enquete com 158 pesquisadores da Espanha (Bernal & Román-Molina, 2018) . Ao assumirem o papel de revisor ou de autor, os pesquisadores consultados demonstraram sua preferência pelo duplo-cego:

    CSIC- duplo cego autor

    CSCI-duplo cego revisor

    Dentre as conclusões da pesquisa chama a atenção a falta de consenso em relação à implantação de mudanças:

    Los encuestados valoraron las oportunidades y los beneficios de una posible reforma del sistema dominante de revisión por pares de manera dispar. Así, algo más del 60% de los encuestados piensa que hacer públicas las revisiones de los artículos científicos puede ser beneficioso como información complementaria para los lectores y que la calidad de las propias evaluaciones aumentaría. Por otro lado, no existe consenso entre los encuestados sobre el riesgo de que un sistema de revisiones públicas actuara como obstáculo para realizar evaluaciones especialmente críticas, con casi 47% de respuestas tendentes a pensar que tal riesgo existiría. Finalmente, algo más del 50% de los encuestados piensa que publicar la identidad de los revisores ayuda a reducir posibles conflictos de intereses.

     

    CSCI- Contra e a favor

    Nassi-Caló (2015) arrola seis argumentos favoráveis à revisão aberta por pares e cinco contrários. Entre os riscos Nassi-Caló vê um aspecto mais grave que uma possível represália: “Certos comentários nos pareceres poderiam ser distorcidos e descaracterizados para reduzir a credibilidade da pesquisa, de uma área do conhecimento ou da ciência como um todo. Esta probabilidade seria maior em periódicos que publicam pesquisa com maior risco de discussão política”. Nota que a aceitação ou rejeição da OPR não é a mesma em todas as áreas; que pesquisadores mais jovens estão mais propensos a concordar com sua implantação. Para os editores, a adoção de um modelo que publicasse não só o artigo em sua forma final, mas outras versões submetidas, comentários dos pareceristas, respostas dos autores e decisão do editor não seria “trivial”.


     

    Bernal, Isabel &  Román-Molina, Juan. 2018. Encuesta sobre evaluación por pares y el módulo “Open Peer Review” de DIGITAL.CSIChttp://digital.csic.es/bitstream/10261/167425/3/encuesta_DC_peer_review_oprm_2018.pdf

    NASSI-CALÒ, L. Potenciais vantagens e desvantagens na publicação de pareceres [online]. SciELO em Perspectiva, 2019 . https://blog.scielo.org/blog/2019/04/30/potenciais-vantagens-e-desvantagens-na-publicacao-de-pareceres/

    [Parte 1]   [Parte 2] [Parte 3]

    A avaliação por pares em discussão – Parte 2

    Quais são as alternativas? São muitas. Ernesto Spinak (2018), com base na literatura sobre o tema, organizou um quadro das alternativas em discussão:

    OPR - Spinak

    [Continua na Parte 3]

     


    SPINAK, E. Sobre as vinte e duas definições de revisão por pares aberta… e mais [online]. SciELO em Perspectiva, 2018 https://blog.scielo.org/blog/2018/02/28/sobre-as-vinte-e-duas-definicoes-de-revisao-por-pares-aberta-e-mais/

    [Parte 1]  [Parte 2]  [Parte 3]

    A avaliação por pares em discussão – Parte 1

    Considerada o alicerce das publicações científicas, a avaliação por pares é cada vez mais o centro de discussões em que surgem processos alternativos a serem adotados. Em foco, o nível de transparência no processo.

    A forma mais comum de avaliação por pares é aquela que preserva o anonimato —  seja porque o autor não toma ciência dos nomes dos pareceristas (simples-cegoing. single-blind), seja porque os autores não sabem quem são os pareceristas nem os pareceristas sabem quem são os autores (duplo-cegoing. double-blind) — e o sigilo que envolve os pareceres exarados, endereçados apenas ao editor e ao autor.

    Em meados desta década, Nassi-Calò (2015) apontava novas alternativas a esses processos:

    Recentemente, novas formas de revisão por pares vem sendo consideradas, como alternativas aos métodos simples e duplo-cego. Revisões totalmente abertas, em que a identidade de autores e revisores é conhecida por ambos; revisões abertas publicadas ao final do artigo, abrindo espaço para discussões pós-publicação; e a substituição da revisão por pares por revisão pós-publicação estão entre as alternativas que ganharam destaque como formas da evolução do processo original de peer review.

    Em que consistem essas alternativas? [Continua na Parte 2]


     

    Bernal, Isabel &  Román-Molina, Juan. Encuesta sobre evaluación por pares y el módulo “Open Peer Review” de DIGITAL.CSIChttp://digital.csic.es/bitstream/10261/167425/3/encuesta_DC_peer_review_oprm_2018.pdf

    Nassi-Calò, Lilian. 2015. Avaliação por pares: modalidades, prós e contras. Scielo em Perpectiva, 27Mar2015. https://blog.scielo.org/blog/2015/03/27/avaliacao-por-pares-modalidades-pros-e-contras/#.XJWQoVVKiXI

    [Parte 1]  [Parte 2] [Parte 3]

    Recebi emails de uma revista internacional desconhecida interessada em que eu dê pareceres para artigos

     

    Há um tipo de spam que se concretiza como uma mensagem lisonjeadora a nosso trabalho e nos convida a publicar numa revista de que nunca se ouviu falar, apesar de alardear um fator de impacto extremamente alto. A publicação quase imediata se faz mediante pagamento de taxas que a mensagem (ou o site do grupo editorial) faz questão de frisar que estão abaixo dos preços de mercado (comentado em Recebi emails de uma revista internacional interessada em publicar minha pesquisa/)

    Esse tipo de caça-níqueis dirigido especificamente a autores acadêmicos vem-se expandindo: aos spams com um convite para publicar num determinado periódico  há  também aqueles que convidam para atuar como  parecerista. Se o filtro de endereços não foi muito bom, podemos  receber uma solicitação de parecer para um trabalho em área muito diferente da nossa, como no exemplo a seguir.

    Peer review convite 2

    Fosse o convite feito para analisar um texto de nossa área, como decidir?

    Bom, há detalhes a considerar em mensagens desse tipo.

    • Uma consulta ao DOAJ/Directory of Open Access Journals retorna o nome da revista? (Mas podia ser uma revista recém-criada, por exemplo).
    • O nome do grupo editorial dessa publicação já aparecia na antiga lista de Beall ? (Mas a lista foi alvo de críticas).
    • Talvez o mais importante: um passeio pelo site do periódico, porque ele nós dá  ideia do que foi publicado: os textos têm qualidade? Os prazos decorridos entre o recebimento do manuscrito e sua publicação contam-se em dias apenas?  Enfatiza a cobrança de taxas abaixo das cobradas no mercado?

    O convite para parecer tinha interesse de fato num parecer?

    Vamos ao exemplo acima. Foi possível rastrear o trabalho mencionado no convite e constatar que entre a data de recebimento do artigo pelos editores, avaliação e publicação na internet  correram apenas 23 dias e £999 (em torno de 5 mil reais); entre o email acima e o final do processo, 11 dias.  

    Respondo a uma mensagem como essa? (Ou : devo responder a um spammer tão amável?)

    Não.

    Um desdobramento indesejável

    Conseguir nomes que aceitem ser associados a uma revista predatória ajuda a revestir de respeitabilidade um negócio eticamente discutível. Mas para quem permitiu ter seu nome associado a um desses periódicos o cenário muda.

    Laine & Winker (2017), em artigo no site da WAME/ World Association of Medical Editors, propunham que “Ideally, academic institutions should also identify academics who are listed as editors or Editorial Board members for journals established as predatory, and require that their affiliation with the institution is removed”. 

    É uma proposta apenas. Mas ilustra o dano à reputação que pode trazer.


    Laine, Christine & Winker Margaret A. Identifying Predatory or Pseudo-Journals. World Association of Medical Editors. February 15, 2017. http://wame.org/identifying-predatory-or-pseudo-journals

    2 – Erro, dados falsos … e a avaliação por especialistas?

     

    Como um artigo pode apresentar  dados não confiáveis, não importa a razão,  se, ao ser submetido a um periódico, é encaminhado para análise de mais de um parecerista, todos especialistas na área do trabalho?

    Primeiramente porque não se espera a má conduta de um cientista. Nas palavras do Prêmio Nobel de Medicina em 1975, David Baltimore, In science, we assume that a colleague is trustworthy and only in extreme do we doubt it (MIT News, 2002).

    A confiança no colega expressa por Baltimore 
    é, nesse caso, mais que retórica. 
    Durante todo o processo de falsificação de dados 
    movido contra Thereza Imanishi-Kari, 
    em sequência à publicação em 1986 
    de artigo na revista Cell em coautoria, 
    ele a defendeu. Imanishi-Kari havia sido denunciada 
    pela então pós-doutoranda Margot O'Toole 
    que trabalhavam em seu laboratório.
    Ao final de um longo processo de cerca de dez anos,  
    Thereza Imanishi-Kari foi inocentada.
    (Kleves, 1996)

    Para Marisa Palácios, do  Conselho Nacional de Saúde/ Comissão Nacional de Ética em Pesquisa e primeira Coordenadora da CTEP-UFRJ,

    a honestidade é pressuposta. É princípio básico do Direito, todos são inocentes até prova em contrário. Isso significa que independente da concepção filosófica que nos oriente, se há uma natureza humana e se ela é boa ou má, se dizer a verdade é um requisito ético para qualquer comunicação científica (código de ética do cientista independente da formalidade disso), então temos razão em dizer que podemos pressupor que todos dizem a verdade. (Comunicação pessoal, 21/07/2015)


    Um exemplo de como pode  ser difícil para um parecerista detectar um problema 

    Scott Reuben (n.1958), anestesiologista no Baystate Medical Center (BMC-  EUA).

    • Em 2005 ganhou bolsa de US$ 75.000 da Pfizer para estudar o Celebrex (um antiinflamatório que, no Brasil, é vendido como Celebra).
    • Em 2007, editorial de Anesthesia & Analgesia  afirmava que Reuben estava na “forefront of redesigning pain management protocols” e caracterizou seus estudos como  “carefully planned” e “meticulously documented” .

    En mayo de 2008, se inició una auditoría interna dentro del BMC, cuando se descubrió que el investigador no había solicitado permiso al Comité Ético Asistencial del hospital para la realización de algunos de los estudios referidos. Como consecuencia de dicha auditoría, el Dr. Scott S. Reuben reconoció finalmente, que los resultados aparecidos en 19 de sus estudios y 2 resúmenes publicados [….], no eran consecuencia de la aplicación de los tratamientos a pacientes reales, sino fruto de su invención y que los datos eran de su responsabilidad exclusiva.

    Además de adulterar datos, el Dr. Reuben parece haber cometido falsificación en la publicación, ya que algunos coautores como el Dr. Evan Ekman, cirujano ortopédico, dijo que su nombre apareció como coautor en al menos dos de los artículos de los que las revistas se han retractado, a pesar de que no había tenido ninguna participación en los manuscritos.  (Rama-Maceiras, Ingelmo Ingelmo, Fàbregas Julià & Hernández-Palazón: 2009)

    • Condenado à prisão em 2009 por fabricação de dados ao longo de 15 anos.

    His research, which was published in a medical journal, has since been quoted by hundreds of other doctors and researchers as “proof” that Celebrex helped reduce pain during post-surgical recovery. There’s only one problem with all this: No patients were ever enrolled in the study! (Adams, 2010)

    • Quando eclodiu o escândalo, seus trabalhos tinham recebido cerca de 1200 citações.

    Retirar a confiança do processo é também atribuir aos pareceristas (e editores, e leitores) um papel que eles não têm, porque “neither the peer reviewers, nor the editors, nor the readers were there as witnesses, so it is up to the authors to certify what took place (Gunsalus & Rennie, 2015).


    Referências

    Adams, Mark. 2010. Big Pharma researcher admits to faking dozens of research studies for Pfizer, Merck (opinion). Natural News, 18Fev2010.  http://www.naturalnews.com/028194_Scott_Reuben_research_fraud.html#ixzz3g9SYCFAa

    Gunsalus, C. K.  & Rennie, Drummond  [2015]. “If you think it’s rude to ask to look at your co-authors’ data, you’re not doing science”: Guest post. Retraction Watch. <http://retractionwatch.com/2015/06/18/if-you-think-its-rude-to-ask-to-look-at-your-co-authors-data-youre-not-doing-science-guest-post/>

    Kleves, Daniel J. 1996. The assault on David Baltimore. The New Yorker, 27Maio1996.  http://web.mit.edu/chemistryrcr/Downloads/Baltimore.pdf

    MIT News. 2002.  Trust essential in scientific collaboration, says David Baltimore. 22Fev2002. http://news.mit.edu/2002/baltimore

    Rama-Maceiras, P. , Ingelmo Ingelmo, I. , Fàbregas Julià, N. & Hernández-Palazón, J. 2009. Algología fraudulenta. Un dolor demasiado profundo para una adecuada analgesia. Revista Española de Anestesiología y Reanimación  56: 372-379, 2009. <http://www.elsevier.es/es-revista-revista-espanola-anestesiologia-reanimacion-344-linkresolver-algologia-fraudulenta-un-dolor-demasiado-90211771 >

    Vasconcelos, Sônia M. R. 2007. O plágio na comunidade científica:questões culturais e linguístcas.  Ciência e Cultura, 59 (3): 4-5 Jul/Set. 2007.  http://cienciaecultura.bvs.br/pdf/cic/v59n3/a02v59n3.pdf

    [Parte 1] [Parte 2] [Parte 3]