Guia · Revisão por pares
Software de revisão por pares para congressos: o que exigir
· Fabiano Sant'Ana
Como escolher um software de revisão por pares para seu congresso? Veja nove requisitos para avaliar a plataforma antes de contratar.
Em resumo
Para escolher um software de revisão por pares para congresso, avalie como ele distribui trabalhos, controla prazos, aplica as regras de anonimato e conecta a decisão à programação e aos anais. A demonstração precisa reproduzir o volume e o fluxo do seu evento: da chamada de trabalhos à publicação, com a data do congresso como referência.
No fechamento da chamada de trabalhos, a comissão científica precisa distribuir as submissões, acompanhar os pareceres e comunicar as decisões a tempo de montar a programação. Quando essas etapas dependem de planilhas separadas, cada atraso exige uma nova rodada de conferências e cobranças.
Escolher um software de revisão por pares para congresso começa por esse fluxo. Este guia reúne nove requisitos e as perguntas para verificar, na demonstração, como a plataforma atende ao seu evento.
O que muda na revisão por pares de um congresso?
Plataformas como OJS e ScholarOne Manuscripts foram desenhadas para o fluxo editorial de periódicos. Para congressos, existem adaptações, como o ScholarOne Conferences, e plataformas pensadas especialmente para eventos científicos, como a Galoá, que desde 2013 recebeu mais de 180 mil trabalhos e registrou mais de 220 mil avaliações. Na hora de escolher, compare o que cada plataforma faz com as necessidades da comissão, principalmente nestes pontos:
| O que avaliar | Fluxo típico de periódico | Necessidade do congresso |
|---|---|---|
| Prazo | Rodadas organizadas por artigo | Calendário de avaliação alinhado à data do evento |
| Volume | Submissões recebidas ao longo do ano | Capacidade de distribuir muitas submissões no fechamento da chamada |
| Comitê | Convites conforme o tema do artigo | Pareceristas organizados por área e com carga visível |
| Resubmissão | Prazo definido para cada rodada | Correções e novo parecer dentro do calendário do congresso |
| Decisão | Comunicação conforme cada avaliação termina | Divulgação coordenada e integração com programação e anais |
| Modalidade | Critérios conforme o tipo de artigo | Critérios próprios para resumo, trabalho completo e outras modalidades |
O que a plataforma não conecta costuma voltar como trabalho manual para a comissão. É o cenário que descrevemos na gestão da revisão por pares em congressos.
Diagnóstico gratuito O double blind do seu evento se sustenta? 12 perguntas sobre a operação do seu congresso. No fim, o relatório aponta cada ponto em que o anonimato vaza e o que fechar primeiro. Fazer o diagnóstico →O desenho do processo também importa. A revisita ao experimento do NeurIPS 2014 atribuiu cerca de metade da variação das notas a fatores subjetivos.1 Uma meta-análise com 48 estudos e mais de 19 mil manuscritos encontrou baixa concordância entre pareceristas.2 A plataforma não elimina essa variabilidade, mas pode ajudar a encaminhar cada trabalho a pareceristas da área e acompanhar a entrega das avaliações.
O que um software de revisão por pares para congresso precisa fazer?
Use estes nove requisitos para orientar a demonstração:
| Requisito | Por que importa | Pergunta para o fornecedor |
|---|---|---|
| Atribuição por eixo temático | Parecerista fora da área dá parecer genérico, e a comissão descobre tarde | ”Mostre a atribuição de duzentos trabalhos por eixo temático em uma tela. Quantos cliques?” |
| Distribuição em lote com recarga | Sem recarga, quem entrega cedo fica ocioso e quem atrasou vira gargalo | ”Quando um parecerista entrega, o sistema repõe a fila dele sozinho?” |
| Carga equilibrada e visível | Trabalho sem nenhum parecer só aparece no fim, quando não dá mais para corrigir | ”Onde eu vejo, agora, quantos pareceres faltam por trabalho e por avaliador?” |
| Conflito de interesse antes da designação | Impedimento descoberto no parecer custa uma realocação e uma semana | ”Que regras de impedimento consigo declarar, e elas bloqueiam a designação ou só avisam depois?” |
| Anonimato por construção | Identidade visível muda o resultado da avaliação | ”Em qual tela o parecerista poderia ver o nome do autor? Abra essa tela.” |
| Prazo com lembrete automático | O prazo do congresso é a data do evento, e ninguém tem tempo de cobrar um a um | ”Quem é lembrado, quando, e sem alguém apertar botão?” |
| Solicitação automática de novo parecer | A rodada de correção é curta e não cabe um novo convite manual | ”O autor reenvia e o pedido de parecer sai automaticamente para o mesmo avaliador?” |
| Decisão em lote conectada ao evento | O aceite alimenta programação, inscrição e certificado no mesmo dia | ”Depois da decisão, o aprovado entra na programação e recebe a carta sem exportar planilha?” |
| Anais com DOI e metadados no padrão | Trabalho publicado só como PDF em site de evento some com o tempo | ”Os anais saem com DOI por trabalho e com os metadados depositados? Em nome de quem?” |
A última linha não é detalhe de publicação. Um estudo clássico acompanhou as citações a páginas da web em anais de conferência e encontrou 46% das URLs quebradas em menos de uma década.6 Por isso, a decisão da comissão precisa terminar em anais com DOI, e não numa pasta.
Na demonstração: peça que o fornecedor execute cada etapa e registre o que foi demonstrado, o que exige configuração e o que depende de trabalho manual.
Como funciona a atribuição de avaliadores por área?
Antes de distribuir os trabalhos, a comissão precisa preparar três decisões:
- Áreas e modalidades. Cadastre a especialidade de cada parecerista e confira os eixos escolhidos pelos autores. Isso orienta a distribuição e permite revisar os casos duvidosos antes do envio.
- Impedimentos. Declare regras para situações como mesma instituição, coautoria recente e orientação em curso. O COPE orienta o parecerista a comunicar conflitos assim que os perceber,4 mas verificá-los antes da atribuição evita retrabalho.
- Quantidade de pareceres e divergências. Defina no edital quantas avaliações cada trabalho recebe e quem decide quando elas divergem. Depois da distribuição, confira tanto os pareceristas sobrecarregados quanto os trabalhos ainda sem avaliador.
Na plataforma da Galoá, cada submissão é direcionada ao parecerista mais adequado, com o volume distribuído de forma equilibrada entre os avaliadores. Os lembretes aos autores e a solicitação de novo parecer na resubmissão são automáticos.
Na demonstração: peça a distribuição de um lote de porte parecido com o do seu congresso e confira como a comissão acompanha a carga e os prazos.
Simples cego, duplo cego ou aberta: qual formato o sistema precisa suportar?
O formato não é preferência estética, é regra do edital, e o sistema precisa sustentar a que você prometeu. Os tipos de revisão por pares diferem em quem enxerga a identidade de quem:
- Simples cego: o parecerista sabe quem é o autor, o autor não sabe quem avaliou. Num experimento controlado em uma conferência real, pareceristas que viam a identidade dos autores favoreceram de forma significativa nomes conhecidos e instituições de prestígio.3
- Duplo cego: nenhum dos dois lados conhece o outro. Quando adotado no edital, exige que a plataforma preserve o anonimato nas telas, nos arquivos e nas comunicações da avaliação. O double blind na prática mostra por onde ele costuma vazar.
- Revisão aberta: identidades reveladas, e às vezes pareceres publicados. Uma revisão sistemática encontrou 122 definições distintas de “revisão aberta” na literatura.5 Por isso, confirme quais informações ficam abertas, para quem e em qual etapa.
Se o congresso adotar formatos diferentes por modalidade, confirme se a plataforma permite configurar cada trilha separadamente.
O que fazer agora: escreva no edital o formato de cada modalidade e peça ao fornecedor que abra a tela do parecerista de cada uma delas, para conferir com os próprios olhos o que aparece e o que não aparece.
Como o revisor recebe crédito pelo trabalho?
O trabalho do parecerista merece um registro que ele possa apresentar além do congresso. Agradecimentos e certificados reconhecem a participação; o ORCID permite vinculá-la também à sua identidade de pesquisador.
O ORCID tem um tipo de registro próprio para atividade de revisão, alimentado pela organização que conduziu a avaliação. A Galoá, ORCID Institutional Member desde 2025, registra a atividade de revisão no ORCID do próprio parecerista desde aquele ano. O registro não quebra o anonimato: o que aparece no perfil é a atividade de revisão para aquele evento, não o trabalho avaliado. A página sobre ORCID detalha como isso funciona junto com a atribuição de autoria.
Esse reconhecimento pode fazer parte do convite ao comitê: a atividade de revisão fica registrada no perfil do próprio pesquisador.
O que fazer agora: pergunte ao seu fornecedor atual se a revisão feita no seu congresso aparece no perfil ORCID do parecerista. Se a resposta for não, essa é uma das perguntas para levar à próxima negociação.
Como concluir a avaliação antes de contratar?
Depois de percorrer a tabela de requisitos, registre as condições de implantação e operação:
- Configuração: quem prepara as áreas, os critérios e as regras do edital, e até quando?
- Publicação: quem deposita os DOIs e os metadados dos anais? A Galoá é Crossref Sponsoring Member desde 2015.
- Atendimento: quem atende a comissão no fechamento da chamada, por qual canal e com qual prazo de resposta?
Peça que a proposta registre o que está incluído, as etapas manuais e as responsabilidades de cada parte. Assim, a comissão consegue comparar as opções com base no trabalho que terá de executar. Se a escolha envolve o congresso inteiro, e não só a revisão, os critérios para escolher a plataforma do congresso cobrem também inscrição, aplicativo, certificados e anais.
Do parecer aos anais, no mesmo fluxo
O prazo da avaliação precisa caber no calendário do congresso, e a decisão precisa chegar à programação e aos anais. Use os nove requisitos para conferir esse caminho na demonstração.
Para conhecer como chamada de trabalhos, submissão e revisão por pares se conectam na plataforma da Galoá, converse com a equipe e apresente o fluxo do seu congresso.
Perguntas frequentes
Dá para usar o OJS para a revisão por pares de um congresso?
Dá para adaptar, e algumas comissões fazem isso, mas o OJS foi desenhado para o ciclo de um periódico: submissão contínua, designação caso a caso e decisão individual. Num congresso, centenas de trabalhos chegam no fechamento da chamada, a atribuição precisa ser feita em lote por eixo temático e a decisão sai em bloco porque alimenta a programação, a inscrição de quem foi aprovado e os anais. Tudo o que o sistema não faz sozinho volta como planilha para a comissão científica.
Qual software posso usar para revisão sistemática?
Revisão sistemática é um método de pesquisa, e os programas que apoiam esse trabalho servem para triagem de referências e extração de dados. Não é o mesmo problema. Um software de revisão por pares para congresso gerencia submissões enviadas a um evento: distribui trabalhos entre pareceristas, controla prazos, preserva o anonimato e consolida a decisão da comissão científica.
Quantos pareceres cada trabalho precisa receber?
Defina a quantidade no edital, conforme a modalidade e a capacidade do comitê. Dois pareceres independentes permitem comparar avaliações e identificar divergências que um parecer único não revela. Declare também como resolver essas diferenças: com um terceiro parecer ou com a decisão fundamentada do coordenador da área.
O sistema registra a revisão no perfil ORCID do parecerista?
Depende do fornecedor, e essa é uma pergunta que vale fazer. A Galoá registra a atividade de revisão no ORCID do próprio parecerista desde 2025. O registro não quebra o anonimato: aparece a atividade de revisão, não o trabalho avaliado.
O que a comissão científica precisa ver numa demonstração?
A atribuição de um lote grande de trabalhos por eixo temático numa tela só, o painel de prazos com o que está atrasado, a tela que o parecerista enxerga (para conferir se o nome do autor aparece em algum lugar), o caminho da resubmissão e a saída dos anais. Peça que tudo seja demonstrado com um evento real, não com slide.
Revisão por pares de congresso, no ritmo do congresso
Chamada de trabalhos, submissão, distribuição entre os pareceristas, parecer e anais com DOI no mesmo fluxo, com o prazo do evento no centro.
Conhecer a plataforma de submissãoReferências
- Cortes, C.; Lawrence, N. D. (2021). Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS Experiment. arXiv. https://doi.org/10.48550/arXiv.2109.09774
- Bornmann, L.; Mutz, R.; Daniel, H.-D. (2010). A Reliability-Generalization Study of Journal Peer Reviews: A Multilevel Meta-Analysis of Inter-Rater Reliability and Its Determinants. PLOS ONE. https://doi.org/10.1371/journal.pone.0014331
- Tomkins, A.; Zhang, M.; Heavlin, W. D. (2017). Reviewer bias in single- versus double-blind peer review. PNAS. https://doi.org/10.1073/pnas.1707323114
- COPE Council (2013). Ethical guidelines for peer reviewers. Committee on Publication Ethics. https://doi.org/10.24318/cope.2019.1.9
- Ross-Hellauer, T. (2017). What is open peer review? A systematic review. F1000Research. https://doi.org/10.12688/f1000research.11369.2
- Sellitto, C. (2005). The impact of impermanent Web-located citations: A study of 123 scholarly conference publications. Journal of the American Society for Information Science and Technology. https://doi.org/10.1002/asi.20159