Como o classificador decide se uma nota é útil

§1 · Ponto de partida

O problema

Community notes são contribuições escritas por usuários da plataforma X (antigo Twitter) com o objetivo de adicionar contexto a um tweet — tipicamente apontar um erro factual, citar uma fonte ou apresentar uma informação faltante. A plataforma então pergunta a um conjunto diverso de outros usuários: essa nota é útil? Quando a aceitação atravessa fronteiras de discordância política, a nota é exibida sob o tweet original.

O critério de "útil" é, portanto, peculiar: não é qualidade editorial, é aceitabilidade bipartidária. Uma nota pode estar factualmente correta e ser rejeitada porque o tópico é polarizante; uma outra pode ser parcial e ser aceita porque o tweet original era sensacionalista demais para qualquer lado defender.

O classificador descrito aqui aprende a estimar essa probabilidade de aceitação a partir do texto da nota, sem ver os votos. O objetivo da página é mostrar o caminho computacional inteiro — das fontes de dados aos sinais que o modelo usa — e revelar, via SHAP, quais palavras e padrões ele aprendeu a valorizar.

§2 · Insumos

Modelo de dados

O dataset combina três fontes principais. Cada uma traz um tipo distinto de sinal — texto, comportamento, metadados temáticos — e o pipeline depende da junção honesta delas.

O que cada fonte traz

O texto das notas e o texto dos tweets são as colunas centrais — entram brutos e passam por toda a pipeline. O histórico de votos e o helpfulness final permitem derivar o rótulo binário com critério rigoroso (apenas notas que atravessaram o limiar oficial e atingiram o estado currently rated helpful). Os tópicos do BERTopic entram como metadado de assunto, agregando notas tematicamente próximas em macrocategorias.

§3 · Caixa de ferramentas

Sinais preditivos

Antes de qualquer modelo, é preciso decidir que tipo de evidência extrair do texto. As famílias de features abaixo agrupam os sinais por natureza — cada uma responde a uma pergunta diferente sobre a nota.

O que cada família responde

§4 · Da nota crua ao score

Pipeline do classificador

Cinco etapas, em sequência. A trilha sólida mostra os componentes que de fato levantam o sinal acima do ruído; a tracejada mostra acréscimos que foram testados e não melhoraram o desempenho de forma consistente.

Decisões metodológicas que importam

Três escolhas merecem destaque, porque protegem a integridade da avaliação:

• GroupKFold por tweet_id: várias notas podem responder ao mesmo tweet. Se notas do mesmo tweet caírem em folds diferentes, o modelo "vaza" — ele aprende algo do tweet no treino e testa na nota irmã. Agrupar por tweet bloqueia esse caminho.
• class_weight='balanced': o dataset tem proporção desigual de útil/não-útil. Sem reponderação, a regressão logística viesa para a classe majoritária. O balanceamento força o otimizador a tratar erros de qualquer lado com peso equivalente.
• Trilha 'nota apenas' como baseline: o modelo principal olha só a nota, ignorando o tweet original. É deliberadamente conservador — quer garantir que o sinal venha do que está sendo avaliado, não de pistas do contexto.

§5 · Além do baseline

Os classificadores neurais

A regressão logística sobre TF-IDF + features manuais é o baseline interpretável — fácil de auditar, mas limitada. Para captar regularidades que palavras isoladas não revelam, o projeto usa encoders transformer pré-treinados, especializados pelo fine-tune em duas variantes complementares.

Por que LoRA, e por que cabeça linear

O encoder base traz centenas de milhões de parâmetros pré-treinados em corpus multilíngue gigantesco — informação que custaria fortunas para reproduzir do zero. LoRA (Low-Rank Adaptation) injeta pequenas matrizes treináveis nas camadas de atenção, modificando o comportamento do encoder sem mexer nos pesos originais. Resultado: o encoder vira especialista em "como notas brasileiras são percebidas como úteis" sem perder o conhecimento geral de língua, e o adapter resultante ocupa apenas dezenas de megabytes — contra os 4–8 GB do modelo base.

A cabeça linear (nn.Linear(d, 1) seguida de sigmoid) é deliberadamente simples: 2561 parâmetros se a embedding tem 2560 dimensões, 1025 se tem 1024. Quase desprezível. Funciona porque o trabalho pesado já aconteceu — o encoder + LoRA entregam um vetor onde "útil" e "não-útil" estão organizados em regiões separáveis por um hiperplano. Adicionar uma rede mais complexa ali em cima dá ganho marginal e multiplica risco de sobreajuste.

Por que dois encoders?

O projeto treinou variantes com dois encoders, com objetivos diferentes:

• Qwen3-Embedding-4B — modelo grande, ~4 bilhões de parâmetros, embeddings de 2560 dimensões. É o classificador principal da pesquisa, o que produziu as predições out-of-fold usadas em todas as análises desta página.
• bge-m3 — modelo de 568 milhões de parâmetros, embeddings de 1024 dimensões. Trade-off intencional: ~7× menor, ligeiramente menos preciso, mas com endpoint público de inferência mantido pelo Hugging Face. Roda mais rápido em CPU e abre caminho para servir o modelo sem GPU dedicada.

§6 · Visão agregada

O que o modelo aprendeu

Treinar um classificador é uma coisa; entender o que ele está olhando é outra. Esta seção responde a pergunta no agregado: quais features contribuem mais, em média, para o score que o modelo emite?

A ferramenta é SHAP (SHapley Additive exPlanations), que decompõe cada predição numa soma de contribuições por variável. Tem garantia matemática: a soma das contribuições é exatamente igual ao desvio da predição em relação à média do dataset. O ranking abaixo mostra, para o meta-classificador GBDT-Full que combina todas as fontes de sinal, a importância média absoluta de cada variável sobre as 19.843 notas do recorte A.

Como ler esse ranking

Três leituras se desprendem do gráfico, e elas ajudam a calibrar a confiança no que vem nas próximas seções:

• O sinal das embeddings domina o ranking. As três primeiras posições são probabilidades dos classificadores intermediários (proba_ft_solo, proba_e2_lexical, proba_es_frozen). O GBDT-Full não substitui esses modelos — ele os combina, e essa combinação responde pela maior parte da decisão final.
• Estrutura pesa mais que marcadores discursivos. Na faixa tabular, contadores básicos (n_chars_nota, n_words_nota, mean_words_per_sentence) aparecem acima dos sinais de evidência (qtd_evidencia_v3) e de citação a entidades. O quanto a nota escreve discrimina mais que o como ela argumenta — ao menos no agregado.
• Tópico aparece, mas modesto. O macroassunto, codificado via target encoding (tema_modelo_te), entra no top 10 mas abaixo das probabilidades neurais e de várias medidas estruturais. O modelo não está só decorando "notas sobre saúde tendem a ser úteis" — está vendo padrões linguísticos que generalizam através de assuntos.

§7 · Visão por nota

SHAP textual — caso a caso

A visão agregada da seção anterior conta o que o modelo aprendeu em geral. Mas para entender como ele lê uma nota concreta, precisamos abrir a contribuição palavra a palavra. O SHAP textual faz exatamente isso: perturbações em cada token revelam quanto cada palavra empurra a probabilidade do FT-Solo para cima (em direção a "útil") ou para baixo (em direção a "não-útil").

Os cinco cartões abaixo cobrem os estratos mais informativos da curadoria: alta confiança em cada classe, fronteira de decisão, e os dois tipos de erro. As contribuições mostradas são as cinco maiores — em magnitude — para cada lado, calculadas pelo Partition SHAP sobre o classificador neural.

Galeria local do meta-classificador

Os cartões acima abrem a decisão do FT-Solo palavra a palavra. Os cartões abaixo fazem o trabalho complementar: para cada uma das mesmas cinco notas, mostram como o GBDT-Full chegou ao seu score — o consenso entre os três classificadores intermediários, as variáveis que mais empurraram a decisão para cada lado e os vizinhos semânticos mais próximos. A leitura conjunta deixa claro quando o modelo acerta por convergência de sinais e quando erra por excesso de confiança em forma textual, links ou proximidade ambígua no espaço de embeddings.

O que os erros revelam

Os dois últimos casos são mais reveladores que os três primeiros. No falso positivo sobre Bolsonaro e a Embaixada de Israel, o FT-Solo sozinho já marca 0,852 e arrasta o GBDT para 0,703 — boa parte do impulso vem do https://, do domínio jornalístico (com/, ghtml) e de verbos como informou. O lexical (E2 TF-IDF) discorda, com 0,451, mas perde a votação. O modelo aprendeu a confiar em forma cartorial e link de portal grande mesmo quando os votantes humanos não acompanharam.

O falso negativo sobre o pai de Juliana Marins é o caso espelho: a nota é curta, o assunto é polarizante e o FT-Solo cai para 0,104. Os tokens negativos pesados são Governo e Federal., e os vizinhos semânticos mais próximos são todos notas não-úteis com proba_ft_solo < 0,1. O E2 TF-IDF chega a discordar (0,619) — sinal de que o vocabulário sugere algo útil — mas o embedding domina e puxa o conjunto para baixo.

Em outras palavras: o classificador é razoavelmente bom em pegar forma de nota útil (linguagem cartorial, citação de fonte institucional, presença de link), e às vezes confunde forma com substância. Esse é um vício esperado em qualquer modelo treinado com sinal de aceitabilidade — o público que rotulou também responde a forma.

§8 · Geografia do espaço de embeddings

Vizinhança semântica

O classificador trabalha num espaço de 2.560 dimensões (Qwen3-Embedding-4B com LoRA) onde notas parecidas — em assunto, vocabulário ou estrutura argumentativa — ficam geograficamente próximas. A nuvem de pontos abaixo é a ponte visual entre a tese do experimento e os cartões de vizinhos: o FT-Solo transforma cada nota numa posição no espaço de embeddings, e notas próximas tendem a compartilhar forma argumentativa, tema e, em muitas regiões, rótulo.

Olhar os vizinhos de uma nota é a maneira mais intuitiva de inspecionar essa geografia: dá pra ver com que tipo de companhia o modelo associa cada caso, e como rótulos se distribuem em regiões adjacentes. Os dois cartões abaixo mostram extremos diagnósticos do espaço — uma nota com vizinhança coerente do lado útil, outra do lado não-útil.

As duas vizinhanças contam a mesma história por dois ângulos. Na nota útil-típica, três vizinhos a uma similaridade praticamente igual a 1 aparecem com rótulos consistentes e probabilidades altas — o modelo está cercado por evidência convergente. Na nota não-útil curta ("Foi noticiado em vários veículos de imprensa"), os três vizinhos mais próximos também são lacônicos, sem fonte, sem contexto: vocabulário esparso, julgamento subjetivo, ausência de link. Tanto o modelo quanto os votantes humanos rejeitam consistentemente.

§9 · O que esta página não promete

Limitações honestas

Um classificador é uma ferramenta com escopo. Para que esta documentação seja útil em vez de propagandística, vale demarcar com clareza o que ela não está fazendo:

• Não medimos qualidade editorial. O rótulo aprendido é aceitabilidade bipartidária. Uma nota factualmente impecável pode ser rejeitada por tópico polarizante; uma nota parcial pode ser aceita porque o tweet original era sensacionalista demais para qualquer lado defender. O classificador modela a percepção da comunidade, não a verdade.
• Os SHAP textuais são aproximações. O algoritmo de Partition do SHAP perturba o texto e mede mudanças na probabilidade. É uma estimativa local da contribuição de cada token, não uma decomposição exata. Para o classificador linear da seção §6 a decomposição é exata; para o FT-Solo neural, é aproximada.
• Os exemplos curados não são uma amostra aleatória. A galeria das seções §7 e §8 mostra casos escolhidos para iluminar padrões. O comportamento médio do classificador está nas métricas agregadas, não nesses exemplos.
• O modelo serve como filtro, não como árbitro. Mesmo na melhor configuração, ROC-AUC fica abaixo de 1.0 — sempre haverá falsos positivos e falsos negativos. Usar essa probabilidade para decidir automaticamente o destino de notas, sem revisão humana, seria um erro categórico.
• O escopo é português brasileiro. Foi treinado e validado apenas no recorte PT-BR do dataset oficial de community notes. Aplicar a outras línguas, ou mesmo a português europeu, exigiria retreino.

Para acessar o classificador interativamente, com explicação por palavra via leave-one-out, abra o endpoint do projeto. Para o pipeline completo, código-fonte e datasets, consulte o repositório do projeto.