Confiabilidade de testes diagnósticos

Além da Validade: Confiabilidade

Além da validade de um teste diagnóstico, a capacidade de um teste ser reprodutível é um outro aspecto para auxiliar na avaliação de um teste diagnóstico.

Podem ser os resultados obtidos pelo teste serem replicados se o teste é repetido? Essa pergunta é muito importante. Claramente, mesmo que o teste tenha sensibilidade e especificidade excelentes, se os resultados do teste não puderem ser reproduzíveis, o valor e a utilidade desse teste não é muito grande.

Há três fatores que podem contribuir para a variabilidade entre resultados de testes diagnósticos: variação intra-sujeitos (variabilidade inerente ao indivíduo testado); variação intra-observadores (variabilidade inerente ao indivíduo que avalia o teste); variação entre observadores, que é o tópico de interesse.

Variabilidade entre observadores

Dois examinadores frequentemente não obtém resultados iguais para um determinado exame. A extensão em quê dois examinadores diferem (concordam ou discordam) é importante em testes clínicos ou laboratoriais. Essa extensão da concordância pode ser medida em termos quantitativos.

Medida 1 - Percentual de concordância geral

Os examinadores podem ser, por exemplo, dois radiologistas. O diagrama apresentado corresponde às leituras desses examinadores. O total de exames avaliados é igual a A+B+C+D+E+F+G+H+I+ J+K+L+M+N+O+P

O percentual de concordância será igual a (A + F + K + P) X 100 / (total de exames avaliados).


Medida 2 - Percentual de concordância geral para casos onde só há dois resultados (positivo e negativo para o teste)

Podemos simplificar para situações onde o teste terá apenas um dos dois resultados: positivo ou negativo.

Neste caso, o percentual de concordância será igual a (A + D) X 100/ (A + B + C + D)

Este percentual tende a ser grande porque, em geral, as pessoas que são testadas têm resultados negativos (D é grande).


Medida 3 - Percentual de concordância positivo para casos onde só há dois resultados (positivo e negativo para o teste)

Dado que D é grande e o percentual de concordância pode vir a ser grande apenas por causa disso, uma medida alternativa desconsidera indivíduos que são considerados negativos por ambos os observadores utilizando, então, aqueles considerados positivos por pelo menos um observador.

O percentual de concordância somente para aqueles com uma avaliação positiva do teste:

A X 100/ (A+ B+C)

Medida 4 - Estatística Kappa

Os examinadores podem concordar puramente pela chance. Essa é a premissa por trás da estatística Kappa.

Essa premissa pode ser explicada de forma bastante intuitiva. Imagine que você se encontra em uma situação desesperadora: você é dono de uma clínica de radiologia que carece de pessoal e um número enorme de radiografias necessita ser examinada. Para resolver seu problema, você vai até a esquina mais próxima e pede a alguns moradores das redondezas, sem conhecimento algum em medicina ou biologia para ler os raio X para você e classificá-los como positivos ou negativos. O primeiro voluntário os classifica de forma aleatória, assim: positivo, negativo, positivo, negativo, positivo, negativo, negativo, negativo, positivo...; o segundo também classifica aleatoriamente, em outra ordem qualquer. A pergunta é: não parece razoável que alguns exames vão concordar simplesmente pelo acaso? A resposta: é claro que sim!!!

(é claro que cinco minutos depois de tomar a decisão de convocar os moradores locais você cai em si, agradece e dispensa os moradores... e nem usa os 'resultados' que eles obtiveram).

Com base nesse exemplo, é possível afirmar que: haverá concordância aleatória (meramente ao acaso) entre dois examinadores. Então, desejamos saber qual a extensão da concordância além do acaso entre dois examinadores?

Cohen, em 1960, propôs a medida denominada estatística Kappa usada até hoje.

Para compreender o que essa medida significa é preciso entender

• Quão melhor é a concordância entre dois examinadores além da chance? Isso pode ser medido por: (Percentual de concordância observado - Percentual de concordância esperado APENAS pela CHANCE)
• Qual seria a máxima concordância possível entre quais dois examinadores? A resposta é: 100%. Qual seria a concordância máxima ALÉM da chance?  (100% - Percentual de concordância esperado APENAS pela CHANCE)

Kappa expressa a extensão da concordância observada além da chance em relação à máxima concordância que poderia ser esperada além da chance

Kappa = 
(% concordância observada - % concordância esperada APENAS pela CHANCE) / (100% - % concordância esperado APENAS pela CHANCE)

Para calcular o Kappa falta uma etapa: calcular a concordância decorrente UNICAMENTE do acaso.

Imagine uma situação na qual há 200 exames radiológicos para serem analisados. Destas 200 radiografias, os radiologistas A e B: 

• concordam em 170 exames, da seguinte forma: em 130 concordam que o resultado é negativo; em 40 concordam que o resultado é positivo. A concordância observada é 170 x 100 / 200 = 85%
• discordam em 30 exames, da seguinte forma: em 20, o radiologista A avalia como negativo o resultado enquanto o B diz ser positivo; ocorre o inverso (A diz que é positivo e B diz que é negativo) em 10 exames.

A partir daqui segue toda a lógica do cálculo da concordância esperada unicamente pela chance:

• O radiologista A avalia um grupo de 200 exames da forma: 150 negativos; 50 positivos.
• O radiologista B avalia um grupo de 200 exames da forma: 140 negativos e 60 positivos.

Extrapolamos essa ideia e inferimos que:

• Se o radiologista A classificasse os 140 exames negativos de B sem qualquer critério, simplesmente de forma aleatória (estamos supondo que ele fez isso para esse cálculo), ele obteria 75% dos exames negativos, ou seja, 105 exames classificados como negativos (e, então, 35 positivos); do mesmo modo, se classificasse os exames positivos de B sem qualquer critério (60 exames), diria que 45 são negativos e 15, positivos.
• Ao acaso, então, haveria a seguinte concordância: 105 exames negativos + 15 exames positivos = 120 exames positivos. 120 x 100 / 200 = 60%

Kappa = (85 - 60) / (100 - 60) = 15 / 40 = 0,375


Esta medida de concordância tem como valor máximo o 1, que representa total concordância e os valores próximos e até abaixo de zero (é possível haver valores abaixo de zero), indicam nenhuma concordância, ou a concordância foi exatamente a esperada pelo acaso. Um valor de Kappa menor que zero, negativo, sugere que a concordância encontrada foi menor do aquela esperada por acaso. Sugere, portanto, discordância, mas seu valor não tem interpretação como intensidade de discordância. Obtivemos 0,375, ou 37,5% da máxima concordância além do acaso.

Segundo Landis e Koch, que posteriomente classificaram os valores de Kappa, 0,75 representa concordância excelente; entre 0,40 e 0,75 intermediária ou moderada. abaixo de 0,40 representa concordância pobre. Há outras classificações, de outros autores.



Fonte: Gordis: Epidemiology, 4th Edition. Copyright 2008 Saunders (Elsevier); http://www.lee.dante.br/pesquisa/kappa/