A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Results are sorted by Full Score | ||||||||||||||||||||||||
2 | |||||||||||||||||||||||||
3 | Rank | ||||||||||||||||||||||||
4 | model_name | nq_top_2_only | nq_top_5_only | nq_top_10_only | nq_top_50_only | nq_top_100_only | nq_top_500_only | Full | |||||||||||||||||
5 | nvidia--NV-Embed-v1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | |||||||||||||||||
6 | Salesforce--SFR-Embedding-Mistral | 2 | 2 | 2 | 2 | 2 | 2 | 2 | |||||||||||||||||
7 | intfloat--e5-mistral-7b-instruct | 4 | 4 | 4 | 3 | 3 | 3 | 3 | |||||||||||||||||
8 | intfloat--e5-large-v2 | 3 | 3 | 3 | 4 | 4 | 4 | 4 | |||||||||||||||||
9 | Alibaba-NLP--gte-base-en-v1.5 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | |||||||||||||||||
10 | BAAI--bge-large-en-v1.5 | 6 | 6 | 6 | 6 | 6 | 6 | 6 | |||||||||||||||||
11 | facebook--contriever-msmarco | 7 | 7 | 7 | 7 | 7 | 7 | 7 | |||||||||||||||||
12 | |||||||||||||||||||||||||
13 | |||||||||||||||||||||||||
14 | Actual Score | ||||||||||||||||||||||||
15 | model_name | nq_top_2_only | nq_top_5_only | nq_top_10_only | nq_top_50_only | nq_top_100_only | nq_top_500_only | Full | |||||||||||||||||
16 | nvidia--NV-Embed-v1 | 0.94463 | 0.87692 | 0.83325 | 0.75838 | 0.7376 | 0.71546 | 0.7058 | |||||||||||||||||
17 | Salesforce--SFR-Embedding-Mistral | 0.9324 | 0.86011 | 0.81118 | 0.72959 | 0.70874 | 0.68443 | 0.67531 | |||||||||||||||||
18 | intfloat--e5-mistral-7b-instruct | 0.92445 | 0.84097 | 0.78552 | 0.6955 | 0.67062 | 0.64518 | 0.63588 | |||||||||||||||||
19 | intfloat--e5-large-v2 | 0.92979 | 0.84552 | 0.78671 | 0.69419 | 0.66958 | 0.64429 | 0.63496 | |||||||||||||||||
20 | Alibaba-NLP--gte-base-en-v1.5 | 0.89824 | 0.7853 | 0.71434 | 0.59407 | 0.5672 | 0.53932 | 0.53079 | |||||||||||||||||
21 | BAAI--bge-large-en-v1.5 | 0.8882 | 0.77487 | 0.70224 | 0.57959 | 0.55306 | 0.52679 | 0.51753 | |||||||||||||||||
22 | facebook--contriever-msmarco | 0.86068 | 0.71905 | 0.62637 | 0.48225 | 0.45496 | 0.42857 | 0.41833 | |||||||||||||||||
23 | |||||||||||||||||||||||||
24 | |||||||||||||||||||||||||
25 | We could also make sure the relevant doc is in the top n, this is results with those | ||||||||||||||||||||||||
26 | adding relevant; score | ||||||||||||||||||||||||
27 | model_name | nq_top_2_only | nq_top_5_only | nq_top_10_only | nq_top_50_only | nq_top_100_only | nq_top_500_only | ||||||||||||||||||
28 | nvidia--NV-Embed-v1 | 0.94463 | 0.87692 | 0.83325 | 0.75838 | 0.7376 | 0.71546 | ||||||||||||||||||
29 | Salesforce--SFR-Embedding-Mistral | 0.9324 | 0.86011 | 0.81118 | 0.72959 | 0.70874 | 0.68443 | ||||||||||||||||||
30 | intfloat--e5-mistral-7b-instruct | 0.92445 | 0.84097 | 0.78552 | 0.6955 | 0.67062 | 0.64518 | ||||||||||||||||||
31 | intfloat--e5-large-v2 | 0.92979 | 0.84552 | 0.78671 | 0.69419 | 0.66958 | 0.64429 | ||||||||||||||||||
32 | Alibaba-NLP--gte-base-en-v1.5 | 0.89824 | 0.7853 | 0.71434 | 0.59407 | 0.5672 | 0.53932 | ||||||||||||||||||
33 | BAAI--bge-large-en-v1.5 | 0.8882 | 0.77487 | 0.70224 | 0.57959 | 0.55306 | 0.52679 | ||||||||||||||||||
34 | facebook--contriever-msmarco | 0.86068 | 0.71905 | 0.62637 | 0.48225 | 0.45496 | 0.42857 | ||||||||||||||||||
35 | |||||||||||||||||||||||||
36 | adding relevant; rank | ||||||||||||||||||||||||
37 | model_name | nq_top_2_only_w_correct | nq_top_5_only_w_correct | nq_top_10_only_w_correct | nq_top_50_only_w_correct | nq_top_100_only_w_correct | nq_top_500_only_w_correct | ||||||||||||||||||
38 | nvidia--NV-Embed-v1 | 1 | 1 | 1 | 1 | 1 | 1 | ||||||||||||||||||
39 | Salesforce--SFR-Embedding-Mistral | 2 | 2 | 2 | 2 | 2 | 2 | ||||||||||||||||||
40 | intfloat--e5-mistral-7b-instruct | 3 | 3 | 3 | 3 | 3 | 3 | ||||||||||||||||||
41 | intfloat--e5-large-v2 | 4 | 4 | 4 | 4 | 4 | 4 | ||||||||||||||||||
42 | Alibaba-NLP--gte-base-en-v1.5 | 5 | 5 | 5 | 5 | 5 | 5 | ||||||||||||||||||
43 | BAAI--bge-large-en-v1.5 | 6 | 6 | 6 | 6 | 6 | 6 | ||||||||||||||||||
44 | facebook--contriever-msmarco | 7 | 7 | 7 | 7 | 7 | 7 | ||||||||||||||||||
45 | |||||||||||||||||||||||||
46 | |||||||||||||||||||||||||
47 | |||||||||||||||||||||||||
48 | |||||||||||||||||||||||||
49 | |||||||||||||||||||||||||
50 | |||||||||||||||||||||||||
51 | |||||||||||||||||||||||||
52 | |||||||||||||||||||||||||
53 | |||||||||||||||||||||||||
54 | |||||||||||||||||||||||||
55 | |||||||||||||||||||||||||
56 | |||||||||||||||||||||||||
57 | |||||||||||||||||||||||||
58 | |||||||||||||||||||||||||
59 | |||||||||||||||||||||||||
60 | |||||||||||||||||||||||||
61 | |||||||||||||||||||||||||
62 | |||||||||||||||||||||||||
63 | |||||||||||||||||||||||||
64 | |||||||||||||||||||||||||
65 | |||||||||||||||||||||||||
66 | |||||||||||||||||||||||||
67 | |||||||||||||||||||||||||
68 | |||||||||||||||||||||||||
69 | |||||||||||||||||||||||||
70 | |||||||||||||||||||||||||
71 | |||||||||||||||||||||||||
72 | |||||||||||||||||||||||||
73 | |||||||||||||||||||||||||
74 | |||||||||||||||||||||||||
75 | |||||||||||||||||||||||||
76 | |||||||||||||||||||||||||
77 | |||||||||||||||||||||||||
78 | |||||||||||||||||||||||||
79 | |||||||||||||||||||||||||
80 | |||||||||||||||||||||||||
81 | |||||||||||||||||||||||||
82 | |||||||||||||||||||||||||
83 | |||||||||||||||||||||||||
84 | |||||||||||||||||||||||||
85 | |||||||||||||||||||||||||
86 | |||||||||||||||||||||||||
87 | |||||||||||||||||||||||||
88 | |||||||||||||||||||||||||
89 | |||||||||||||||||||||||||
90 | |||||||||||||||||||||||||
91 | |||||||||||||||||||||||||
92 | |||||||||||||||||||||||||
93 | |||||||||||||||||||||||||
94 | |||||||||||||||||||||||||
95 | |||||||||||||||||||||||||
96 | |||||||||||||||||||||||||
97 | |||||||||||||||||||||||||
98 | |||||||||||||||||||||||||
99 | |||||||||||||||||||||||||
100 |