Viés na revisão por pares: prestígio, gênero e double blind

Um artigo escrito por um ganhador do Nobel e um pesquisador em início de carreira foi enviado a diferentes grupos de pareceristas. O texto era o mesmo. Mudava apenas a autoria exibida: o nome do Nobel, o do pesquisador iniciante ou nenhum dos dois. As recomendações de rejeição variaram de 23% a 65%.³

A revisão double blind (duplo-cega), em que as identidades de autores e pareceristas são ocultadas entre si, pode reduzir a influência do prestígio. Esse cuidado precisa começar no convite ao parecerista. Ainda assim, ocultar nomes não garante uma avaliação imparcial: a comissão precisa ampliar a seleção de pareceristas, definir critérios e acompanhar divergências e prazos.

Quanto o prestígio pesa no parecer

No experimento, mais de 3.300 pesquisadores receberam convites. Entre os que aceitaram revisar sem conhecer a autoria e só depois receberam o artigo, as recomendações foram estas:³

Autoria exibida no artigo	Recomendaram rejeição
Ganhador do Nobel	23%
Nenhum nome	48%
Pesquisador em início de carreira	65%

O nome pesou antes mesmo do parecer. Entre os pesquisadores que responderam ao convite, 38,5% aceitaram revisar quando o convite mostrava o ganhador do Nobel; com o convite anônimo, 30,7%; com o nome do pesquisador iniciante, 28,5%.³ O prestígio muda quem se dispõe a avaliar, e não só como avalia.

Há evidência também em conferências. No WSDM 2017 (ACM International Conference on Web Search and Data Mining), cada submissão recebeu pareceres de revisores que viam a autoria e de revisores que não a viam. Os primeiros foram mais propensos a recomendar trabalhos de autores famosos e de instituições de prestígio.²

Esses estudos sustentam o uso do anonimato para reduzir a influência do prestígio. A literatura mais ampla, porém, pede cuidado na leitura: uma síntese sobre viés na revisão por pares destaca limitações de método e de dados que dificultam medir sua presença e intensidade.¹ Por isso, importa o que cada estudo mediu.

Gênero: o resultado depende da pergunta

Um estudo com 145 periódicos de várias áreas, com cerca de 1,7 milhão de autores, acompanhou três etapas: a escolha dos pareceristas pelo editor, as recomendações dos pareceristas e a decisão editorial. Não encontrou desvantagem para trabalhos de autoras; no conjunto, eles foram tratados de forma ligeiramente mais favorável, com diferenças entre áreas.⁴

Em seis periódicos de ecologia e evolução, o quadro foi outro: trabalhos com mulheres como primeiras autoras receberam notas ligeiramente piores e foram mais rejeitados após a revisão. O tamanho da diferença variou entre os periódicos, e os dados não permitiram estabelecer o mecanismo responsável.⁵

Esses estudos perguntam como os trabalhos de autoras são tratados. Outros perguntam quem é chamado para avaliar, e o quadro muda.

Quem recebe os convites

Nos periódicos da Frontiers, editores de ambos os gêneros preferiram pareceristas do próprio gênero.⁶ Nos periódicos da American Geophysical Union, mulheres receberam menos convites para revisar do que sua participação entre os autores faria esperar, e recusaram mais os convites que receberam.⁷

Ocultar a autoria das submissões não amplia, por si só, a lista de pessoas convidadas. A comissão precisa examinar como seleciona os pareceristas e quais redes de pesquisa estão representadas.

O que se exige dos artigos

Na economia, Card e colegas compararam artigos com notas dos pareceristas e características observáveis semelhantes. Os escritos só por mulheres receberam cerca de 25% mais citações do que os escritos só por homens. Os autores interpretam essa diferença como indício de um padrão de exigência mais alto para as mulheres. O gênero do parecerista não alterou a avaliação relativa dos trabalhos.⁸

Hengel examinou outro aspecto: na Econometrica e na Review of Economic Studies, artigos de autoria feminina que acabaram aceitos passaram, em média, de três a seis meses a mais entre a submissão e o aceite do que trabalhos masculinos com características observáveis semelhantes.⁹ Card e colegas não encontraram diferença no tempo de entrega dos pareceres nem no prazo da decisão editorial.⁸ Os estudos analisam amostras e intervalos diferentes. Esses resultados não permitem localizar, por si só, a origem da diferença. Para a comissão, a implicação prática é registrar o tempo de cada etapa.

O anonimato pode ajudar também aqui, mas a evidência é fraca: Hengel encontrou, em uma amostra pequena de artigos avaliados em double blind, uma inversão da diferença de legibilidade, sem significância estatística.⁹ Até que haja evidência melhor, a comissão não deve contar com o anonimato para resolver o padrão de exigência e o tempo de avaliação. Precisa medi-los.

O double blind ajuda as autoras?

Um estudo de 2008 associou a adoção do double blind na Behavioral Ecology ao aumento da proporção de primeiras autoras.¹⁰ Uma reanálise mostrou que aumento semelhante ocorreu, no mesmo período, em periódicos da área que mantiveram o single blind, formato em que o parecerista vê a autoria. A mudança de formato não explicava a diferença.¹¹ Um levantamento posterior, com os artigos publicados entre 2010 e 2018, também não encontrou mais autorias femininas na Behavioral Ecology do que em quatro periódicos semelhantes com single blind.¹⁶

Uma revisão sistemática de 2022 reuniu oito estudos: quatro encontraram diferenças associadas ao gênero percebido da autoria e quatro não. Os autores consideraram os resultados mistos, mas concluíram haver evidência razoável de que o viés de gênero pode existir e de que o double blind pode mitigá-lo.¹³

Boa parte dessa literatura vem de periódicos, com prazos e volumes diferentes dos de um congresso. Mesmo assim, o padrão se repete o bastante para orientar a comissão: o nome visível é uma fonte de viés, e não é a única.

O que a revisão aberta permite examinar

Na revisão aberta, a comissão combina práticas como identificar pareceristas, publicar pareceres ou abrir espaço para contribuições da comunidade. Uma revisão sistemática reuniu 122 formulações do termo em 22 configurações distintas.¹² É possível, por exemplo, publicar os pareceres preservando a identidade de quem revisou.

Tornar os pareceres públicos permite examinar os argumentos e os critérios utilizados. Assiná-los favorece a responsabilização, mas também traz preocupações com retaliação e liberdade de crítica.¹⁵ Os estudos discutidos na revisão sistemática não mostram um ganho consistente de qualidade só por abrir o processo.¹²

A comissão precisa definir o que será público, em que momento e com quais cuidados de confidencialidade. O guia dos tipos de revisão por pares compara os formatos lado a lado.

Cinco cuidados para a comissão científica

As diretrizes do COPE (Committee on Publication Ethics) orientam os pareceristas a declarar conflitos de interesse, preservar a confidencialidade e escrever pareceres objetivos e construtivos, sem discriminar os autores.¹⁴ Cabe à organização do congresso criar as condições para que essas orientações sejam cumpridas. Em um congresso, isso acontece em rodada única ou com uma rodada de correções, com pareceristas voluntários e centenas de trabalhos no mesmo prazo.

1. Mantenha o anonimato que o edital promete. Se o formato pede autoria oculta, confira texto, metadados, arquivos e o conteúdo dos convites antes da distribuição. O guia de double blind na prática traz o checklist completo.
2. Convide além da rede da comissão. Monte a lista de pareceristas com indicações de mais de uma pessoa, por área e por região. Acompanhe quem recusa, quem recebe convites repetidos e onde há sobrecarga. Para comparar a composição da banca com a dos autores, a comissão precisa de dados como gênero, região e instituição. Se decidir coletá-los, peça de forma opcional, explique a finalidade e mantenha esses dados fora da tela do parecerista.
3. Separe os tempos de cada etapa. Meça a espera pela distribuição, pelo parecer e, se houver, pela rodada de correções. Assim a comissão sabe onde está o atraso e quem precisa agir.
4. Defina antes o que fazer com pareceres divergentes. Combine o significado de cada critério e uma regra de desempate: recomendações opostas ou uma diferença grande de nota abrem um terceiro parecer, por exemplo. Notas muito diferentes das demais merecem revisão dos critérios e dos pareceres. A média isolada não demonstra rigor excessivo: cada parecerista pode receber trabalhos de áreas e qualidade distintas.
5. Registre conflitos e decisões. Defina como declarar conflitos de interesse e quando redistribuir um trabalho. Registre o motivo de cada decisão, sobretudo quando a comissão contrariar os pareceres.

Ao comparar resultados entre grupos, considere área, tipo de trabalho e número de submissões. Uma diferença indica algo a investigar, mas não prova viés por si só. Os registros permitem voltar aos casos e entender o que aconteceu.

Como sustentar esses cuidados na operação

Uma planilha bem mantida dá conta desses registros em um evento pequeno. Com centenas de trabalhos, a comissão precisa atualizar os dados, controlar quem vê o quê e consultar o histórico sem depender da memória de uma pessoa.

Na Galoá, a comissão configura critérios, pesos e limites de distribuição, acompanha prazos e registra conflitos de interesse. Convites e lembretes automáticos ajudam a manter o processo em andamento. O julgamento científico e a decisão final continuam com a comissão. Conheça a gestão da revisão por pares em congressos.

O reconhecimento de quem revisa também faz parte desse processo. Como membro institucional do ORCID, a Galoá registra a atividade de revisão no perfil do pesquisador, com autorização dele, inclusive quando a revisão é anônima. Veja como funciona o registro no ORCID.

Antes de abrir a chamada de trabalhos, a comissão deve sair da reunião com os critérios definidos, um responsável por etapa e a lista do que será registrado. Com isso, consegue conferir se o processo anunciado no edital está sendo cumprido. Para continuar, o hub de revisão por pares reúne os guias e o diagnóstico que mostra onde o anonimato do seu processo pode vazar.