Quão fiável é isto?

Cada execução do sistema mede a sua própria qualidade e o resultado é publicado aqui, sem exceções. Nenhum destes números é editado à mão.

Como se mede

Todos os números de cada resumo e título têm de existir no documento oficial (verificação determinística — resumos que falham são assinalados, não escondidos). Todas as ligações aos PDFs oficiais são testadas em cada execução. A classificação temática é comparada com um conjunto etiquetado à mão pelo autor, às cegas — a ferramenta de etiquetagem nunca mostra a resposta do modelo; a percentagem só é publicada a partir de 10 etiquetas.

Execuções recentes