3,06% de WER em português radiológico: o que o número mede, e o que ele não mede

O número, antes de qualquer conversa

Um benchmark interno controlado registrou 3,06% de taxa de erro por palavra após vocabulário em frases radiológicas em português brasileiro.

WER é uma métrica de reconhecimento de fala, não de acerto clínico. A amostra e a regra de normalização ainda não estão documentadas publicamente, por isso o resultado não deve ser convertido em porcentagem de precisão nem usado como comparação entre fornecedores.

O número permanece publicado com esse limite explícito. Sem áudio, referência, critérios de inclusão e resultado bruto, ele é um registro interno, não uma validação reproduzível.

O que WER é, exatamente

Word Error Rate é uma conta simples e velha. Você alinha a transcrição produzida contra a transcrição de referência e soma três tipos de defeito: substituições (a palavra saiu trocada), deleções (a palavra sumiu) e inserções (apareceu palavra que ninguém disse). O total é dividido pelo número de palavras da referência.

A conta tem uma propriedade que quase nunca é discutida: ela pode passar de 100%. Um sistema que inventa texto pode produzir mais inserções do que existem palavras na referência. Isso importa numa era de modelos que completam frase por conta própria — um sistema alucinante pode ter WER pior que o de um sistema que simplesmente não entendeu nada.

E tem a propriedade que interessa aqui: WER trata todo erro como igual. Trocar 'o' por 'um' vale um erro. Apagar o 'não' de 'não há sinais de trombose' vale um erro também. A métrica não distingue, e a diferença entre esses dois erros é a diferença entre uma revisão de rotina e um evento clínico.

Por que português radiológico é difícil de verdade

Motor genérico de fala é treinado em fala genérica. Um laudo não é fala genérica. A densidade de termos raros por minuto de áudio é alta, e boa parte desses termos não aparece com frequência suficiente em base geral para o modelo aprender a grafia.

Há eponímia, que é o caso mais frágil: sinal de Schmorl, fossa de Treitz, ângulo de Louis, segmentos de Couinaud. São nomes próprios estrangeiros ditos com fonética brasileira, e o modelo genérico tende a aproximar para a palavra comum mais próxima. Há os sistemas de classificação, que dependem de grafia exata com hífen e dígito: BI-RADS 4B não pode virar 'birads quatro b' nem 'bi rads 4B'. Há as siglas anatômicas ditas como sequência de letras. E há medida, que é onde o erro fica caro: 'um vírgula cinco centímetros' precisa virar 1,5 cm, com a vírgula no lugar certo.

Sobre tudo isso ainda incide sotaque. O radiologista brasileiro não fala com uma prosódia só, e a variação regional é grande o bastante para mudar o desempenho de um motor treinado majoritariamente em fala do eixo Rio–São Paulo.

O que falta para o teste ser reproduzível

Sabemos que o resultado é pós-vocabulário e veio de frases radiológicas controladas. O material público ainda não informa tamanho da amostra, duração do áudio, locutores, equipamentos, ambiente, referência, exclusões ou regra de normalização.

Também não publica o resultado bruto, o pareamento com outros modelos nem contagens de negação, lateralidade e medida. Não é possível afirmar comparação, estabilidade ou desempenho por subgrupo sem esses dados.

Uma próxima versão defensável deve publicar um protocolo versionado, artefatos anonimizados quando juridicamente possível, contagens completas e histórico de mudanças. Até lá, esta página apresenta o resultado estreito e as lacunas, não uma metodologia completa.

O erro que deveria pesar mais, e como ele é contado

Como WER sozinho achata tudo, uma avaliação clínica responsável deve separar a preservação de termo clínico e a ocorrência de erro semanticamente perigoso. O material público atual não traz essas contagens para o resultado de 3,06%.

Erro perigoso, aqui, tem nome e classe. Negação é a primeira: 'há' e 'não há' separam achado de ausência de achado, e a diferença entre eles é uma palavra curta e átona, justamente o tipo que o reconhecimento mais engole. Lateralidade é a segunda: direita e esquerda são foneticamente distantes, o que ajuda, mas o erro é catastrófico quando acontece e sobrevive à revisão desatenta porque a frase continua gramatical. Medida é a terceira: um decimal deslocado transforma nódulo de seguimento em nódulo de conduta.

Erro de artigo, concordância e normalização gramatical existe e conta no WER geral, mas não é da mesma natureza. O radiologista corrige 'a' virando 'uma' sem pensar. Ninguém corrige um 'não' que não está lá, porque não há o que estranhar na frase — ela lê perfeitamente bem, e diz o contrário do que foi dito.

Essa é a razão de uma futura publicação não poder se resumir a um número só. Um sistema pode ter WER geral baixo e ainda concentrar erros em classes clinicamente importantes.

Por que não existe ranking comparativo nesta página

A pergunta óbvia depois de um número desses é: comparado a quê. A resposta honesta é que não existe comparação direta disponível, e não vamos fabricar uma.

Os números de taxa de erro publicados por outros sistemas de reconhecimento médico são, em sua quase totalidade, em inglês. Cada um roda sobre o próprio conjunto de teste, com o próprio critério de normalização — o que conta como erro de pontuação, se número escrito por extenso equivale a algarismo, se maiúscula importa, como se trata o hífen. Duas dessas decisões diferentes já produzem números que não conversam.

Colocar tudo lado a lado numa barra daria um gráfico convincente e uma afirmação indefensável. É a coisa mais fácil de fazer numa página de marketing e a primeira que alguém competente usaria contra nós. Preferimos publicar a afirmação estreita, que é verificável: em ditado radiológico em português brasileiro, com termo médico dentro de frase controlada, a transcrição errou 3,06% das palavras.

A comparação que faltaria para valer a pena não é um gráfico — é um conjunto de teste público em português brasileiro radiológico, com áudio, referência e critério de normalização abertos, no qual qualquer um rode o próprio sistema. Enquanto isso não existir, ranking em português é opinião com casas decimais.

O que 3,06% não promete no seu plantão

A frase do teste é controlada, e isso é limitação, não detalhe de rodapé. Plantão real tem ar-condicionado, telefone tocando, colega falando na sala, microfone de qualidade variável, e o mesmo radiologista dita diferente às três da tarde e às três da manhã. Nada disso está no número.

Também não está a variação entre pessoas. Sotaque, velocidade de fala e hábito de ditar pontuação mudam o resultado, e mudam mais do que a maioria das pessoas imagina. O número de uma base de teste é a média de um recorte; o seu número é o seu.

Por isso a forma honesta de avaliar o produto é executar um teste local: dite o seu material, no seu ambiente, com o seu microfone, e meça contra uma referência definida antes da saída. Esse teste local não reproduz o benchmark interno sem os artefatos originais, mas responde melhor à decisão de compra.

Transcrição não é laudo

Existe uma distância grande entre transcrever o que foi dito e produzir um laudo que presta. Reconhecimento de fala resolve a primeira parte. A segunda depende de estrutura, de terminologia consistente, de comparação com exame anterior e, principalmente, do julgamento de quem assina.

Um sistema com WER de zero por cento transcrevendo um raciocínio equivocado produz um laudo equivocado com ortografia impecável. O LaiBench v3.10 mede fidelidade em 120 casos de um conjunto interno controlado; não é validação clínica externa.

As duas medições respondem a perguntas distintas e nenhuma substitui revisão médica, estudo clínico, monitoramento pós-implantação ou validação no contexto local.

Quando o número mudar, a página muda

Este é o registro v1.0, de agosto de 2026. Modelo, vocabulário e conjunto de teste podem mudar; uma nova publicação deve preservar resultados anteriores e explicar qualquer mudança de método.

A próxima versão precisa incluir amostra, áudio ou descrição suficiente, referência, normalização, resultado bruto e pós-vocabulário e classes de erro. Sem isso, não há base para comparar versões.

Perguntas frequentes

Referências

1. Metodologia das métricas: a metodologia do WER e a dos 52 segundos, com definição de evento, janela e limitações · Laudos.AI
2. Benchmark de reconhecimento de fala em português radiológico, v1.0, agosto de 2026 · Laudos.AI
3. LaiBench v3.10: benchmark interno controlado de fidelidade com 120 casos; não é validação clínica externa · Laudos.AI
4. RadCommons: corpus aberto e citável de terminologia radiológica em português · Laudos.AI
5. Resolução CFM nº 2.454, de 11 de fevereiro de 2026, que normatiza o uso da inteligência artificial na medicina · Conselho Federal de Medicina (CFM)
6. Word Error Rate como métrica padrão de avaliação de reconhecimento automático de fala: substituições, deleções e inserções sobre a referência · Definição padrão da literatura de ASR

As referências apontam para diretrizes, sociedades e literatura consultadas. Este conteúdo é informativo e não substitui julgamento clínico ou aconselhamento jurídico.