Matriz de dispersão da concordância de motivos de exclusão para revisão sistemática como métrica de qualidade

Resumo

A revisão sistemática é uma metodologia de busca explıcita de identificação, seleção e avaliação de artigos. Para evitar viés de seleção de artigos a revisão sistemática estipula a avaliação de dois revisores, cuja discordância é julgada por um terceiro. Usualmente, a exclusão de um artigo deve ser classificada conforme a não contemplação de critérios previamente delimitados que envolvem os tipos de participantes (P), de estudo (E) ou de intervenção (I). Cada pesquisador pode justificar a exclusão pela combinação dessas classes (e.g. ”P””E”, ”P””E””I”). Os nıveis de concordância entre os pesquisadores fornecem evidência para a avaliação da qualidade do estudo no que tange às estratégias de busca, definição do tema e treinamento. O objetivo do presente trabalho é propor um parâmetro de qualidade para avaliar a dispersão da concordância de motivos de exclusão. Essa métrica consiste em categorizar as avaliações de um usuário nas 7 possıveis combinações de classes de motivos (P, E, I, PE, PI, EI, PEI) e confrontá-las com o resultado dos demais pesquisadores. Foram geradas matrizes quadradas (n7), em cuja diagonal principal constam avaliações totalmente concordantes e nas demais posições da matriz as parcialmente concordantes. Foi elaborado um módulo para verificação visual da dispersão dos dados de um avaliador em relação aos demais. Para cada matriz foi feita uma análise de concordância utilizando o coeficiente de Kappa, avaliando-se a relação entre a concordância observada e a esperada. Esta avaliação beneficiou estudos que envolveram buscas por técnicas de aprendizado de máquina para previsão de interações medicamentosas, terapias para doenças reumáticas, transplante renal e diabetes. A utilização da métrica de qualidade proposta pode reduzir riscos de viés de seleção em revisões sistemáticas. Em um estudo sobre diabetes mellitus tipo 1 envolvendo 7.570 artigos e 11 avaliadores, obteve-se um Kappa médio 0,462 com um desvio padrão de 0,093, sugerindo que a concordância de exclusão entre os pesquisadores foi “regular” conforme a escala consolidada por Landis e colaboradores (1977). O presente trabalho representa uma métrica de qualidade a ser utilizada por pesquisadores que realizam estudos de revisão sistemática.