Concordância entre observadores: por que dois radiologistas discordam, e o que reduz isso
Discordar faz parte da medicina diagnóstica, mas nem toda discordância é inevitável. Como o kappa mede a variabilidade, o que ele esconde e quais intervenções, do léxico ao laudo estruturado, realmente aproximam dois leitores.
- A concordância entre observadores é medida por estatísticas kappa (Cohen para pares, Fleiss para múltiplos leitores) e interpretada pela escala de Landis e Koch, mas o kappa depende da prevalência e pode enganar.
- Boa parte da discordância vem de causas endereçáveis, ambiguidade de linguagem, ausência de critérios operacionais, medição manual e fadiga, , não apenas da dificuldade intrínseca do caso.
- Sistemas RADS e léxicos padronizados (BI-RADS, Lung-RADS, TI-RADS, PI-RADS) aumentam a reprodutibilidade, mas atributos subjetivos como forma e margem seguem sendo o elo fraco.
- Padronização da medida, laudo estruturado e revisão dupla seletiva são as intervenções com melhor suporte para reduzir variabilidade sem sobrecarregar o serviço.
- Ferramentas de IA podem ancorar medidas e sinalizar inconsistências, mas a decisão e a assinatura continuam sendo do médico.
Discordar não é falhar, mas parte da discordância é evitável
Se você entregar o mesmo exame de tórax a dois radiologistas competentes, há uma chance real de receber dois laudos que divergem em algum ponto: o tamanho de um nódulo, se um achado é ou não relevante, a categoria de acompanhamento. Isso costuma incomodar quem vem de fora da especialidade, como se fosse sinal de amadorismo. Não é. A interpretação de imagem envolve inferência sob incerteza, e uma parcela da variabilidade é intrínseca ao objeto: lesões limítrofes, conspicuidade variável, achados que realmente admitem mais de uma leitura defensável.
Boa parte da discordância entre radiologistas não nasce do exame, nasce do documento que descreve o exame.
O ponto que me interessa, na prática de gestão de qualidade, é separar essa discordância inevitável daquela que nós mesmos fabricamos. Quando dois leitores divergem porque o laudo anterior dizia 'nódulo de permeio, provavelmente sem significado' sem informar tamanho, localização ou critério, a divergência não nasceu do exame, nasceu do documento. Medir concordância serve justamente para enxergar quanto da variabilidade é sinal e quanto é ruído que podemos remover.
O que o kappa mede, e o que ele convenientemente esconde
A ferramenta padrão para quantificar concordância categórica é a estatística kappa, que corrige a concordância observada pela concordância esperada apenas pelo acaso. Quando comparamos dois leitores, usa-se o kappa de Cohen; quando são três ou mais avaliando os mesmos casos, o kappa de Fleiss. A leitura dos valores segue, quase universalmente, a escala proposta por Landis e Koch em 1977, ainda hoje a referência citada na maioria dos estudos de reprodutibilidade.
Um kappa isolado diz pouco; o que importa é onde a discordância se concentra e se ela muda a conduta.
Vale ter a régua na cabeça: kappa até 0,20 indica concordância leve; 0,21 a 0,40, razoável; 0,41 a 0,60, moderada; 0,61 a 0,80, substancial; e 0,81 a 1,00, quase perfeita. Uma regra prática comum em radiologia é considerar kappa em torno de 0,70 como concordância adequada para uso clínico. Mas esses limiares são convenções, não leis da natureza, dois desfechos com o mesmo kappa podem ter implicações clínicas muito diferentes.
O que o kappa esconde merece atenção honesta. Ele é sensível à prevalência: em uma amostra em que quase todos os casos são normais, é possível ter altíssima concordância bruta e, ainda assim, um kappa baixo, o chamado paradoxo do kappa. Por isso, um número isolado diz pouco. O que importa é onde a discordância se concentra e se ela muda a conduta do paciente.
De onde vem a discordância, na ordem em que costumo encontrá-la
Na revisão de casos discordantes dentro de um serviço, os motivos se repetem com uma regularidade quase entediante. Vale enumerá-los porque cada um aponta para uma intervenção diferente, e algumas são muito mais baratas de corrigir do que outras.
- Ambiguidade de linguagem: termos como 'discreto', 'não valorizável' ou 'de aspecto inespecífico' significam coisas diferentes para leitores diferentes, e o laudo não deixa rastro do que foi visto.
- Ausência de critérios operacionais: sem um limiar explícito (tamanho, densidade, número de achados), cada leitor aplica o seu, e a categorização diverge mesmo quando a percepção da imagem é idêntica.
- Medição manual: diâmetros aferidos a olho variam entre observadores e entre exames do mesmo observador, arrastando a classificação junto.
- Erro de percepção versus erro de interpretação: um achado não visto é um problema diferente de um achado visto e classificado de outra forma, e exige resposta diferente.
- Fadiga e carga de trabalho: no fim de uma jornada longa, a consistência cai, e a variabilidade intraobservador (o mesmo leitor discordando de si mesmo) aumenta.
- Experiência e subespecialização: leitores dedicados a uma área tendem a categorizar de forma mais consistente do que generalistas ou residentes no mesmo conjunto de exames.
O que os sistemas RADS nos ensinam sobre reprodutibilidade
Os sistemas de classificação estruturada do ACR, BI-RADS na mama, Lung-RADS no rastreamento pulmonar, TI-RADS na tireoide, PI-RADS na próstata, entre outros, nasceram exatamente para atacar a ambiguidade e a ausência de critérios. Eles impõem um léxico fechado e regras de categorização, e a evidência mostra que funcionam, ainda que de forma imperfeita.
Estruturar o laudo eleva o piso da concordância, mas os atributos que dependem de julgamento perceptual seguem sendo o elo fraco.
No Lung-RADS, estudos de rastreamento relatam concordância interobservador em faixa substancial, embora os valores exatos variem conforme a casuística e a definição usada. Mas o mesmo corpo de evidência traz o alerta: uma fração considerável dos pares de leitura ainda diverge de categoria, e parte dessas divergências implicaria manejo diferente do paciente. Concordância substancial no agregado ainda deixa uma cauda de discordância clinicamente relevante.
O TI-RADS ilustra o outro lado. Revisões da confiabilidade interobservador do ACR TI-RADS descrevem concordância global apenas moderada, as estimativas variam entre os estudos, , e a agulha se move conforme o atributo: forma e macrocalcificações tendem a alcançar concordância mais alta, enquanto ecogenicidade e margem ficam entre razoável e moderada. O padrão se repete em outros sistemas, em estudos do PI-RADS 2.1, os menores índices de concordância aparecem justamente nos descritores mais subjetivos, como forma, intensidade de sinal e tipo de margem. A lição é sóbria: estruturar o laudo eleva o piso, mas os elementos que dependem de julgamento perceptual continuam sendo o elo fraco.
Laudo estruturado e léxico: por que a forma importa
Se os RADS mostram que critérios explícitos ajudam, o laudo estruturado é a infraestrutura que os torna executáveis no dia a dia. A RSNA mantém, com o RadReport, uma biblioteca de templates padronizados precisamente com esse objetivo, e o ACR sustenta parâmetros de prática e o conceito de Actionable Reporting, o laudo que comunica de forma inequívoca o que precisa ser feito. A ideia comum a todos é reduzir os graus de liberdade linguística que produzem discordância artificial.
Um laudo estruturado bem desenhado obriga o leitor a preencher os campos que carregam informação de conduta: tamanho medido, localização, comparação com exame prévio, categoria e recomendação. Isso não elimina o julgamento, nem deveria, , mas remove a variabilidade que vinha apenas da ausência de dado. Quando dois leitores registram o mesmo diâmetro pelo mesmo método e aplicam a mesma regra, a discordância que sobra é a discordância real, aquela que vale a pena discutir.
Há um efeito colateral valioso: o laudo estruturado é auditável. Você consegue medir concordância retrospectivamente porque os campos existem de forma comparável. Sem estrutura, a concordância vira uma impressão de corredor; com ela, vira métrica de qualidade que o gestor pode acompanhar.
Medição objetiva e revisão dupla: as intervenções com melhor suporte
Entre tudo o que reduz variabilidade, dois mecanismos têm suporte particularmente consistente. O primeiro é tirar a medida da subjetividade. No Lung-RADS, o uso de volumetria semiautomática ou medição assistida do componente sólido elevou a concordância de categorização de forma expressiva em relação à medição manual. Quando a régua deixa de ser o olho, o leitor para de ser a fonte principal de ruído.
O segundo é a revisão dupla. Revisões sistemáticas mostram que a segunda leitura agrega valor diagnóstico em cenários selecionados, e a divergência entre leitores é justamente o gatilho útil para arbitragem. A literatura de discrepância situa as taxas em uma faixa ampla, de menos de 1% a mais de 20% conforme o contexto e a definição, , o que reforça que a revisão dupla precisa ser dirigida, não universal. Aplicá-la a tudo é caro e cansa a equipe; aplicá-la aos casos de maior impacto, ou onde a concordância histórica é baixa, é gestão de qualidade de verdade.
Complementam essas duas alavancas medidas menos glamurosas e igualmente eficazes: calibração periódica da equipe sobre casos discordantes, governança dos templates para que o léxico não se fragmente entre subespecialidades, e atenção honesta à carga de trabalho, porque fadiga é uma fonte de variabilidade que nenhuma padronização de texto corrige.
Onde a IA entra, e onde ela não deve entrar
Boa parte do que reduz discordância é passível de assistência computacional, e é aí que vejo o papel legítimo da tecnologia. Uma ferramenta pode ancorar medidas de forma reprodutível, sinalizar quando o texto do laudo contradiz a categoria escolhida, lembrar do critério aplicável de um sistema RADS ou apontar que a comparação com o exame anterior ficou em branco. Cada uma dessas funções ataca uma fonte específica de variabilidade artificial, não a dificuldade real do caso.
O objetivo não é forçar dois radiologistas a concordar sempre, é garantir que, quando discordarem, seja por uma razão clínica genuína.
É assim que penso a Laudos.AI: um assistente que estrutura, mede de forma consistente e verifica coerência interna, deixando o raciocínio diagnóstico e a decisão onde eles pertencem. A ferramenta pode reduzir a discordância que vinha do documento; ela não substitui o julgamento sobre a imagem, e não deve. Quem lê, decide e assina é o médico, e isso não é uma concessão retórica, é uma exigência de supervisão humana significativa, coerente com a atuação do CFM na regulação da IA em medicina e com o marco de proteção de dados sob a LGPD, fiscalizado pela ANPD.
O objetivo, no fim, não é forçar dois radiologistas a concordar sempre. É garantir que, quando discordarem, seja por uma razão clínica genuína, registrada de forma auditável, e não porque um léxico frouxo ou uma medida a olho fabricou a divergência. Essa é a concordância que vale a pena perseguir.
Perguntas frequentes
O kappa de Cohen mede a concordância entre dois observadores; o kappa de Fleiss generaliza o cálculo para três ou mais observadores avaliando os mesmos casos. Ambos corrigem a concordância observada pela que ocorreria apenas por acaso e costumam ser interpretados pela escala de Landis e Koch.
Pela escala de Landis e Koch, kappa entre 0,61 e 0,80 indica concordância substancial e acima de 0,81, quase perfeita. Uma regra prática em radiologia trata kappa em torno de 0,70 como adequado para uso clínico, mas o valor precisa ser lido junto com a prevalência dos achados e com o impacto da discordância na conduta.
Não. Eles reduzem a discordância ao impor um léxico e critérios explícitos, elevando o piso da reprodutibilidade. Mas a evidência mostra que atributos subjetivos, forma, margem, ecogenicidade, mantêm concordância apenas razoável a moderada, e categorias inteiras ainda podem divergir em uma fração clinicamente relevante dos casos.
Geralmente não. A segunda leitura agrega valor em cenários selecionados, mas aplicá-la universalmente é caro e aumenta a carga da equipe. O uso mais eficiente é dirigido: casos de maior impacto, achados de conduta crítica ou linhas de trabalho com concordância histórica baixa.
Assistindo nas causas endereçáveis da variabilidade: ancorando medidas de forma reprodutível, sinalizando incoerências entre texto e categoria, lembrando de critérios de sistemas RADS e verificando campos ausentes. A decisão diagnóstica e a assinatura permanecem com o médico, conforme exige a supervisão humana significativa.
Referências
- Landis JR, Koch GG. The Measurement of Observer Agreement for Categorical Data. 1977 (escala de interpretação do kappa). · Biometrics
- Tessler FN et al. ACR Thyroid Imaging, Reporting and Data System (TI-RADS): White Paper of the ACR TI-RADS Committee. 2017. · Journal of the American College of Radiology (JACR)
- Revisão sistemática e metanálise da confiabilidade interobservador do ACR TI-RADS para estratificação de risco de nódulos tireoidianos (concordância global moderada). · Revisão sistemática indexada em PubMed Central
- Variabilidade entre observadores na categorização Lung-RADS de TCs de rastreamento de câncer de pulmão e impacto no manejo do paciente. · European Radiology
- Melhora da concordância interobservador na classificação Lung-RADS de nódulos sólidos com volumetria semiautomática por TC. · RSNA Radiology
- Concordância intra e interobservador na descrição de achados de RM multiparamétrica de câncer de próstata com esquema estruturado PI-RADS 2.1 (menor concordância em atributos subjetivos). · Estudo indexado em PubMed Central
- Valor agregado da dupla leitura em radiologia diagnóstica: revisão sistemática (faixa de discrepância e valor da segunda leitura dirigida). · Revisão sistemática indexada em PubMed Central
- Templates de laudo estruturado RadReport; ACR Practice Parameters e conceito de Actionable Reporting. · RSNA e American College of Radiology (ACR)
As referências apontam para diretrizes, sociedades e literatura consultadas. Este conteúdo é informativo e não substitui julgamento clínico ou aconselhamento jurídico.