Resultados
Relevância TREC: 2 = muito relevante · 1 = relevante · 0 = não relevante. Sem julgamento é indicado separadamente. O ranking inclui documentos com score zero.
Avaliação
Protocolo de avaliação
MAP é a média da AP das 30 consultas. Relevante: grau ≥ 1. AP@k divide pelo total de documentos relevantes da consulta.
nDCG usa ganho linear 0/1/2, desconto log₂(posição + 1) e ranking ideal de todos os julgamentos. Não julgado tem ganho zero.
Texto: título + abstract. Consulta: campo question. Ranking completo, incluindo score zero. Desempate: identificador decrescente. Cortes: 1, 3, 5 e 10.
Sobre a coleção
| Coleção | CORD-19 · 10/04/2020 |
|---|---|
| Avaliação | TREC-COVID · Round 1 |
| Documentos | 51.045 (título + abstract) |
| Consultas | 30 (campo question) |
| Julgamentos | 8.691 · graus 0, 1 e 2 |
| Modelos | BM25 (k₁ = 1,2; b = 0,75) e TF-IDF com cosseno |
Na demonstração, a busca usa uma amostra de 24 artigos reais. Na aba Avaliação, “Colab” mostra os resultados Python do notebook original. Os resultados Elasticsearch dependem da execução no índice completo.
O TF-IDF é indexado como vetor esparso, sem truncar o vocabulário. O arredondamento dos pesos e o cálculo BM25 do Lucene podem produzir diferenças em relação ao Python.