Aspectos importantes a se considerar numa revisão
Clareza e estrutura
- Organização geral: avalie se o trabalho está bem organizado, com uma estrutura clara, incluindo um resumo, introdução, métodos, resultados, discussão e conclusão.
- Clareza da escrita: avalie se o texto é claro e fácil de entender. Verifique a fluidez lógica e a coerência nos argumentos.
Conteúdo e relevância
- Objetivos e contribuição: o trabalho deve delimitar claramente os seus objetivos e contribuições; uma vez que esses tenham sido delimitados, avalie se o trabalho cumpre com seus objetivos e efetivamente entrega as contribuições alegadas.
- Relevância para a área: certifique-se de que o tópico de pesquisa é relevante e contribui para a área.
- Originalidade: considere se a pesquisa fornece novos insights ou avança o conhecimento existente.
- Profundidade e abrangência: avalie se o estudo cobre o tópico com profundidade e abrangência suficientes.
Revisão da literatura
- Cobertura: certifique-se de que a revisão da literatura cobre fontes relevantes e atualizadas. Se você conhecer outras referências que pareçam pertinentes, indique-as na revisão.
- Contexto: verifique se os autores contextualizaram adequadamente o trabalho deles/delas com relação à literatura existente e se o contexto tem relevância e aplicabilidade.
Contribuição para a área
- Significância: avalie a importância dos resultados, achados do estudo que contribuem para o avanço da área.
- Implicações práticas: avalie as implicações práticas e as possíveis aplicações da pesquisa.
- Reprodutibilidade: idealmente, um trabalho acadêmico deve ter todos os elementos que permitam a reprodução do mesmo por outros autores, em condições similares. Verifique se a submissão oferece elementos para reproduzir seus resultados; caso não ofereça, tente apontar os elementos que faltam.
Feedback construtivo
- Especificidade: forneça comentários e sugestões específicas para melhoria de próximas versões do trabalho. Procure também deixar claro na revisão quais são os problemas mais prioritários do trabalho, ou seja, quais correções/melhorias farão diferença mais significativa para o trabalho.
- Tom: use um tom respeitoso e construtivo, visando ajudar os autores a melhorar seu trabalho. Seja formal na escrita para evitar mal-entendidos por parte dos autores. Não presuma que os autores são mal intencionados. Há vários motivos por trás de submissões deficientes, incluindo prazos de submissão que chegam antes do trabalho estar 100%, falta de revisão por co-autores mais experientes e puro desconhecimento de técnicas, resultados ou referências (ou mesmo de como escrever um bom artigo). Mesmo que você esteja convencido de que um autor falhou significativamente em algum aspecto do trabalho, considere a possibilidade de que haja uma explicação benigna para isso. Busque orientar, ainda que com vistas a uma possível futura submissão, em vez de condenar ou (pior ainda) humilhar. Sempre que possível, cite boas fontes de consulta para os autores, evitando recomendar trabalhos de sua própria co-autoria, a menos que esteja convencido de que sejam altamente pertinentes.
- Equilíbrio: destaque tanto os pontos fortes quanto as áreas para melhoria no manuscrito.
Exemplos de comentários superficiais e inadequados
É crucial que o revisor compreenda a importância do seu papel e a necessidade de realizar um trabalho que contribua para melhorar a capacidade dos autores de entender o que está falho e de saber por onde começar a melhorar em futuras oportunidades.
Exemplo 1: comentários vagos e inúteis
“Seu trabalho não é muito bom. Falta profundidade e não está bem escrito.”
Por que não é construtivo: esta revisão é vaga e não especifica quais aspectos do trabalho faltam profundidade ou como a escrita pode ser melhorada. Também não oferece orientação sobre quais áreas específicas precisam de mais trabalho. Mesmo em casos onde o artigo possui trechos com muitos erros, por exemplo gramaticais, aponte alguns deles informando a página onde aparecem e sugira como poderiam ter sido escritos (não é necessário apontar todos caso sejam muitos). Sugira também o uso de algum corretor ortográfico e/ou gramatical.
Exemplo 2: crítica excessiva sem sugestões
“A seção de metodologia é completamente falha, e a análise de dados não faz sentido. Este trabalho não deve ser aceito e nem publicado.”
Por que não é construtivo: esta revisão é dura e desdenhosa sem explicar o que está falho na metodologia ou na análise de dados. Não oferece nenhuma sugestão sobre como os autores poderiam melhorar essas seções.
Exemplo 3: muito breve e sem detalhes
“Não gostei de ler este trabalho. O tópico não é interessante nem relevante.”
Por que não é construtivo: o revisor não explica por que o tópico não é interessante ou relevante. Este tipo de feedback é muito breve e subjetivo, não oferecendo nenhum conselho acionável.
Exemplo 4: focado em preferências pessoais
“Não gosto do estilo de escrita. É muito informal para o meu gosto.”
Por que não é construtivo: o feedback é baseado em preferência pessoal em vez de critérios técnicos objetivos. Não fornece exemplos específicos ou sugestões sobre como tornar o estilo de escrita mais adequado. O trabalho deve seguir a metodologia científica e não o gosto do revisor.
Exemplo 5: elogios gerais sem substância
“Este é um ótimo trabalho. Bem feito!”
Por que não é construtivo: embora o feedback positivo seja importante, esta revisão é excessivamente geral e não explica o que especificamente é bom no trabalho. Não ajuda os autores a entender seus pontos fortes ou como replicá-los em trabalhos futuros.
Exemplo 6: crítica não específica
“A seção de resultados é confusa.”
Por que não é construtivo: o feedback não explica o que é confuso sobre a seção de resultados ou como ela pode ser melhorada. Deixa os autores adivinhando sobre quais mudanças fazer.
Exemplo 7: comentários desdenhosos
“Esta pesquisa é inútil. Não vejo valor nela.”
Por que não é construtivo: esta revisão despreza a pesquisa sem fornecer razões ou sugestões de melhoria. Não ajuda os autores a entender por que o revisor acha que a pesquisa não tem valor.
Exemplo 8: ignorando o propósito da revisão
“Não acho que este tópico se encaixa na minha área de especialização. Não estou interessado neste assunto.”
Por que não é construtivo: este comentário não fornece nenhum feedback útil sobre o trabalho em si. Se um revisor se sentir desqualificado ou desinteressado, ele deve se recusar a revisar em vez de fornecer comentários inúteis. Uma forma de evitar isso no futuro é preencher corretamente as suas áreas de interesse no sistema JEMS como solicitado pelos coordenadores. Mesmo que isso não resolva por completo esse tipo de problema, reduz bastante a chance de algum revisor ser alocado para algum trabalho fora da sua área.
Como tornar o feedback construtivo
Para tornar o feedback construtivo, os revisores devem:
- Ser específicos: identificar claramente o que funciona bem e o que não funciona e justificar (evitar a ambiguidade em comentários tal como não queremos ver nos artigos).
- Fornecer exemplos: apoiar as críticas (ou elogios ao trabalho) com exemplos, tal como apresentar exemplos de quais resultados ou gráficos tem problems, quais erros de escrita foram cometidos, ou quais trabalhos relacionados importantes foram esquecidos.
- Oferecer sugestões: quando possível, fornecer conselhos úteis sobre como resolver os problemas. Isso pode ser escrito de diferentes maneiras: “Para tornar o artigo mais forte, os autores poderiam avaliar o impacto do limiar na taxa de FPs.” ou “O artigo ganharia com a definição de um modelo de ameaças.” ou “Uma avaliação em um sistema real daria mais confiança nos resultados.” ou “Uma comparação com o trabalho da referência [xyz] tornaria mais clara a contribuição em relação ao estado-da-arte.”.
- Equilibrar crítica com elogios: o desafio para boas revisões é encontrar os problemas e limitações técnicas que não foram percebidas pelos autores. Porém é importante também o revisor reconhecer os pontos fortes corretamente listados no trabalho.
Ser respeitoso e profissional: usar um tom encorajador e de apoio. Se for para criticar, se referir sempre ao trabalho (seu estado atual) e jamais os autores.
