Sugestões aos Revisores

Recomendações gerais para revisores de artigos das trilhas principais e dos eventos satélites do SBSeg

Este documento procura oferecer um conjunto de ideias e recomendações (bem como apontadores para algumas referências) que podem auxiliar nas revisões com feedback mais  construtivos e evitando que autores de trabalhos não aceitos sejam desmotivados a continuar tentando aprimorar o trabalho e tentar novas oportunidades de submissão.

Recomenda-se a todos os revisores a leitura atenta deste material e suas sugestões. É importante observar os exemplos simples de revisões rasas e inadequadas, bem como as sugestões de como tornar o feedback construtivo. Ao final, é apresentado também um FAQ com algumas respostas a dúvidas comuns dos revisores. Ademais, se você tem alguma sugestão de recomendação aos revisores ou dúvida que poderia ser adicionada no FAQ, por favor, entre em contato conosco. 

É crucial lembrar que o papel dos revisores é avaliar a qualidade do trabalho submetido, justificando de forma clara os pontos fortes e fracos do trabalho. Além disso, sempre que possível, o revisor poderá fornecer também questionamentos e insights que possam contribuir para melhoria ou evolução do trabalho dos autores. As revisões devem ser preferencialmente construtivas e criteriosas. Quando escrever a revisão, o revisor deve preocupar-se em utilizar o mesmo rigor científico que ele espera encontrar no trabalho sendo revisado. 

Finalmente, é importante ressaltar que a avaliação deve ser adequada ao tipo de trabalho sendo avaliado, evitando assim aplicar critérios de um artigo de trilha principal para um artigo de iniciação científica, no qual um aluno está começando a caminhar por essa trilha da pesquisa e precisa de muitos estímulos e palavras de encorajamento, mesmo se o artigo for rejeitado por algum problema mais sério.

Leituras recomendadas

 

Algumas dicas de planejamento antes e durante a revisão

Reserve tempo na sua agenda para realizar as revisões. Atrasar as revisões atrapalha o planejamento de todo o evento. Tanto para os coordenadores, que precisam organizar a programação, quanto para os autores, que precisam se organizar para a viagem caso o artigo seja aceito. O tempo gasto em cada revisão é difícil de prever. Se essa é a sua primeira vez como revisor, organize-se para revisar assim que tiver acesso aos artigos e registre o tempo gasto em cada um. Depois de algumas revisões você será capaz de prever o tempo necessário para revisar todos os artigos atribuídos a você, permitindo um melhor planejamento em eventos futuros. Caso você perceba que não será capaz de revisar algum artigo dentro da data limite, informe assim que possível à coordenação do comitê de programa.

Salve o progresso das suas revisões à medida que for escrevendo. Evite escrever diretamente na interface do sistema de submissão para evitar perder todo o seu trabalho caso ocorra algum problema na sua conexão.

Antes de finalizar a revisão, não esqueça de aplicar um corretor ortográfico e/ou gramatical sobre a mesma. 

 

Aspectos gerais a observar na revisão

Clareza e estrutura

  • Organização geral: avalie se o trabalho está bem organizado, com uma estrutura clara, incluindo um resumo, introdução, métodos, resultados, discussão e conclusão.
  • Clareza da escrita: avalie se o texto é claro e fácil de entender. Verifique a fluidez lógica e a coerência nos argumentos.

Conteúdo e relevância

  • Objetivos e contribuição: o trabalho deve delimitar claramente os seus objetivos e contribuições; uma vez que esses tenham sido delimitados, avalie se o trabalho cumpre com seus objetivos e efetivamente entrega as contribuições alegadas. 
  • Relevância para a área: certifique-se de que o tópico de pesquisa é relevante e contribui para a área.
  • Originalidade: considere se a pesquisa fornece novos insights ou avança o conhecimento existente.
  • Profundidade e abrangência: avalie se o estudo cobre o tópico com profundidade e abrangência suficientes.

Revisão da literatura

  • Cobertura: certifique-se de que a revisão da literatura cobre fontes relevantes e atualizadas. Se você conhecer outras referências que pareçam pertinentes, indique-as na revisão.
  • Contexto: verifique se os autores contextualizaram adequadamente o trabalho deles/delas com relação à literatura existente e se o contexto tem relevância e aplicabilidade.

Contribuição para a área

  • Significância: avalie a importância dos resultados, achados do estudo que contribuem para o avanço da área.
  • Implicações práticas: avalie as implicações práticas e as possíveis aplicações da pesquisa.
  • Reprodutibilidade: idealmente, um trabalho acadêmico deve ter todos os elementos que permitam a reprodução do mesmo por outros autores, em condições similares. Verifique se a submissão oferece elementos para reproduzir seus resultados; caso não ofereça, tente apontar os elementos que faltam.

Feedback construtivo

  • Especificidade: forneça comentários e sugestões específicas para melhoria de próximas versões do trabalho. Procure também deixar claro na revisão quais são os problemas mais prioritários do trabalho, ou seja, quais correções/melhorias farão diferença mais significativa para o trabalho. 
  • Tom: use um tom respeitoso e construtivo, visando ajudar os autores a melhorar seu trabalho. Seja formal na escrita para evitar mal-entendidos por parte dos autores. Não presuma que os autores são mal intencionados. Há vários motivos por trás de submissões deficientes, incluindo prazos de submissão que chegam antes do trabalho estar 100%, falta de revisão por co-autores mais experientes e puro desconhecimento de técnicas, resultados ou referências (ou mesmo de como escrever um bom artigo). Mesmo que você esteja convencido de que um autor falhou significativamente em algum aspecto do trabalho, considere a possibilidade de que haja uma explicação benigna para isso. Busque orientar, ainda que com vistas a uma possível futura submissão, em vez de condenar ou (pior ainda) humilhar. Sempre que possível, cite boas fontes de consulta para os autores, evitando recomendar trabalhos de sua própria co-autoria, a menos que esteja convencido de que sejam altamente pertinentes.
  • Equilíbrio: destaque tanto os pontos fortes quanto as áreas para melhoria no manuscrito.

 

Exemplos de comentários superficiais e inadequados

É crucial que o revisor compreenda a importância do seu papel e a necessidade de realizar um trabalho que contribua para melhorar a capacidade dos autores de entender o que está falho e de saber por onde começar a melhorar em futuras oportunidades.

 

Exemplo 1: comentários vagos e inúteis

“Seu trabalho não é muito bom. Falta profundidade e não está bem escrito.”

Por que não é construtivo: esta revisão é vaga e não especifica quais aspectos do trabalho faltam profundidade ou como a escrita pode ser melhorada. Também não oferece orientação sobre quais áreas específicas precisam de mais trabalho. Mesmo em casos onde o artigo possui trechos com muitos erros, por exemplo gramaticais, aponte alguns deles informando a página onde aparecem e sugira como poderiam ter sido escritos (não é necessário apontar todos caso sejam muitos).  Sugira também o uso de algum corretor ortográfico e/ou gramatical.

 

Exemplo 2: crítica excessiva sem sugestões

“A seção de metodologia é completamente falha, e a análise de dados não faz sentido. Este trabalho não deve ser aceito e nem publicado.”

Por que não é construtivo: esta revisão é dura e desdenhosa sem explicar o que está falho na metodologia ou na análise de dados. Não oferece nenhuma sugestão sobre como os autores poderiam melhorar essas seções.

 

Exemplo 3: muito breve e sem detalhes

“Não gostei de ler este trabalho. O tópico não é interessante nem relevante.”

Por que não é construtivo: o revisor não explica por que o tópico não é interessante ou relevante. Este tipo de feedback é muito breve e subjetivo, não oferecendo nenhum conselho acionável.

 

Exemplo 4: focado em preferências pessoais

“Não gosto do estilo de escrita. É muito informal para o meu gosto.”

Por que não é construtivo: o feedback é baseado em preferência pessoal em vez de critérios técnicos objetivos. Não fornece exemplos específicos ou sugestões sobre como tornar o estilo de escrita mais adequado. O trabalho deve seguir a metodologia científica e não o gosto do revisor. 

 

Exemplo 5: elogios gerais sem substância

“Este é um ótimo trabalho. Bem feito!”

Por que não é construtivo: embora o feedback positivo seja importante, esta revisão é excessivamente geral e não explica o que especificamente é bom no trabalho. Não ajuda os autores a entender seus pontos fortes ou como replicá-los em trabalhos futuros.

 

Exemplo 6: crítica não específica

“A seção de resultados é confusa.”

Por que não é construtivo: o feedback não explica o que é confuso sobre a seção de resultados ou como ela pode ser melhorada. Deixa os autores adivinhando sobre quais mudanças fazer.

 

Exemplo 7: comentários desdenhosos

“Esta pesquisa é inútil. Não vejo valor nela.”

Por que não é construtivo: esta revisão despreza a pesquisa sem fornecer razões ou sugestões de melhoria. Não ajuda os autores a entender por que o revisor acha que a pesquisa não tem valor.

 

Exemplo 8: ignorando o propósito da revisão

“Não acho que este tópico se encaixa na minha área de especialização. Não estou interessado neste assunto.”

Por que não é construtivo: este comentário não fornece nenhum feedback útil sobre o trabalho em si. Se um revisor se sentir desqualificado ou desinteressado, ele deve se recusar a revisar em vez de fornecer comentários inúteis. Uma forma de evitar isso no futuro é preencher corretamente as suas áreas de interesse no sistema JEMS como solicitado pelos coordenadores. Mesmo que isso não resolva por completo esse tipo de problema, reduz bastante a chance de algum revisor ser alocado para algum trabalho fora da sua área.

 

Como tornar o feedback construtivo

Para tornar o feedback construtivo, os revisores devem:

  • Ser específicos: identificar claramente o que funciona bem e o que não funciona e justificar (evitar a ambiguidade em comentários tal como não queremos ver nos artigos).
  • Fornecer exemplos: apoiar as críticas (ou elogios ao trabalho) com exemplos, tal como apresentar exemplos de quais resultados ou gráficos tem problems, quais erros de escrita foram cometidos, ou quais trabalhos relacionados importantes foram esquecidos. 
  • Oferecer sugestões: quando possível, fornecer conselhos úteis sobre como resolver os problemas. Isso pode ser escrito de diferentes maneiras: “Para tornar o artigo mais forte, os autores poderiam avaliar o impacto do limiar na taxa de FPs.” ou “O artigo ganharia com a definição de um modelo de ameaças.ou “Uma avaliação em um sistema real daria mais confiança nos resultados.” ou “Uma comparação com o trabalho da referência [xyz] tornaria mais clara a contribuição em relação ao estado-da-arte.”.
  • Equilibrar crítica com elogios: o desafio para boas revisões é encontrar os problemas e limitações técnicas que não foram percebidas pelos autores. Porém é importante também o revisor reconhecer os pontos fortes corretamente listados no trabalho.

Ser respeitoso e profissional: usar um tom encorajador e de apoio. Se for para criticar, se referir sempre ao trabalho (seu estado atual) e jamais os autores.

Perguntas frequentes (FAQ):

Qual a diferença entre um trabalho longo (full paper) e um curto (short paper)?

Isso depende do entendimento da comunidade específica: em alguns eventos, um artigo curto representa um trabalho completo porém menor, enquanto em outras descreve um trabalho em andamento. No caso do SBSeg, entende-se que um artigo longo contém um trabalho completo, auto-contido, com as hipóteses/perguntas de pesquisa, avaliações/validações e contribuições comparadas com o estado da arte. As contribuições são respostas aos desafios que o trabalho menciona nas sessões iniciais do documento. Já um artigo curto descreve um trabalho em andamento, apresentando a ideia embasada na literatura, hipóteses que se deseja testar e a inovação/contribuições que se espera se as hipóteses forem confirmadas, sendo valorizados resultados  preliminares para embasar a proposta/ideias.

Colaboradores: Diego Kreutz (UNIPAMPA), Altair Santin (PUCPR), Marinho Barcellos (University of Waikato), Marco A. Amaral Henriques (UNICAMP), Rafael Obelheiro (UDESC), Lourenço A. Pereira (ITA), Daniel Macêdo Batista (USP)