| A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | AB | AC | AD | AE | AF | AG | AH | AI | AJ | AK | AL | AM | AN | AO | AP | AQ | AR | AS | AT | AU | AV | AW | AX | AY | AZ | BA | BB | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Train: 10 examples per class in en-US | |||||||||||||||||||||||||||||||||||||||||||||||||||||
2 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
3 | Cohere multilingual-22-12 | en-US | Avg (non English) | af-ZA | am-ET | ar-SA | az-AZ | bn-BD | ca-ES | cy-GB | da-DK | de-DE | el-GR | es-ES | fa-IR | fi-FI | fr-FR | he-IL | hi-IN | hu-HU | hy-AM | id-ID | is-IS | it-IT | ja-JP | jv-ID | ka-GE | km-KH | kn-IN | ko-KR | lv-LV | ml-IN | mn-MN | ms-MY | my-MM | nb-NO | nl-NL | pl-PL | pt-PT | ro-RO | ru-RU | sl-SL | sq-AL | sv-SE | sw-KE | ta-IN | te-IN | th-TH | tl-PH | tr-TR | ur-PK | vi-VN | zh-CN | zh-TW |
4 | Nearest Neighbor (cosine) | 51.3 | 42.9 | 45.4 | 40.6 | 34.8 | 41.2 | 44.4 | 40.8 | 35.1 | 47.3 | 45.6 | 41.6 | 42.2 | 45.4 | 45.7 | 47.3 | 40.3 | 45.5 | 44.2 | 40.5 | 47.2 | 40.2 | 44.2 | 45.9 | 32.9 | 34.8 | 32.4 | 43.5 | 44.7 | 44.1 | 45.3 | 41.9 | 43.9 | 41.7 | 46.7 | 48.4 | 46.0 | 45.1 | 45.6 | 46.0 | 44.9 | 43.6 | 48.6 | 35.9 | 43.2 | 45.1 | 40.0 | 40.0 | 44.4 | 40.1 | 43.5 | 46.2 | 43.1 |
5 | Nearest Neighbor (dot product) | 58.1 | 51.3 | 52.5 | 48.5 | 45.0 | 50.2 | 51.5 | 51.9 | 45.5 | 55.2 | 52.8 | 52.0 | 52.0 | 55.5 | 52.0 | 55.2 | 50.3 | 52.9 | 52.1 | 48.5 | 54.3 | 49.9 | 54.0 | 53.5 | 43.9 | 42.1 | 42.7 | 52.4 | 54.0 | 49.9 | 51.7 | 51.5 | 52.9 | 49.1 | 54.5 | 55.2 | 53.1 | 53.4 | 53.1 | 52.8 | 53.2 | 51.3 | 55.9 | 45.5 | 50.0 | 52.9 | 48.4 | 51.2 | 53.8 | 50.7 | 49.7 | 54.3 | 51.1 |
6 | Nearest Neighbor (euclidean) | 50.3 | 41.4 | 43.8 | 39.3 | 33.5 | 39.6 | 42.7 | 38.7 | 33.6 | 46.2 | 43.4 | 39.9 | 41.0 | 43.3 | 44.1 | 45.9 | 38.6 | 44.2 | 43.2 | 39.3 | 46.4 | 38.8 | 42.6 | 43.9 | 31.5 | 33.2 | 31.3 | 42.0 | 43.2 | 42.7 | 43.7 | 40.8 | 42.1 | 40.1 | 45.1 | 47.2 | 44.3 | 43.3 | 43.8 | 44.8 | 43.2 | 42.5 | 47.1 | 34.2 | 41.6 | 43.4 | 38.7 | 38.6 | 42.5 | 37.9 | 42.0 | 45.1 | 42.1 |
7 | Nearest Centroid (cosine) | 72.9 | 63.6 | 64.7 | 59.5 | 53.7 | 63.0 | 62.8 | 65.1 | 55.5 | 69.0 | 65.5 | 63.1 | 66.7 | 68.5 | 67.2 | 69.1 | 61.5 | 66.6 | 65.6 | 61.8 | 68.9 | 62.3 | 67.5 | 67.0 | 53.3 | 50.2 | 52.8 | 63.0 | 63.8 | 64.3 | 62.7 | 62.6 | 66.0 | 59.0 | 68.8 | 69.2 | 68.1 | 66.4 | 66.9 | 67.1 | 66.0 | 62.5 | 70.1 | 55.7 | 60.5 | 65.6 | 58.0 | 64.1 | 66.0 | 62.8 | 61.9 | 69.3 | 64.1 |
8 | Nearest Centroid (dot product) | 57.8 | 49.8 | 50.6 | 47.8 | 42.5 | 47.4 | 50.7 | 48.1 | 43.1 | 53.9 | 51.7 | 48.8 | 50.0 | 53.6 | 52.2 | 52.4 | 49.2 | 52.4 | 51.2 | 46.7 | 52.7 | 46.9 | 52.4 | 53.8 | 42.6 | 40.3 | 40.2 | 50.6 | 53.3 | 50.2 | 50.3 | 50.5 | 50.4 | 47.5 | 52.6 | 54.4 | 51.8 | 51.4 | 50.6 | 52.1 | 50.8 | 48.5 | 54.0 | 43.0 | 48.7 | 52.6 | 47.2 | 50.3 | 50.9 | 50.5 | 48.4 | 54.7 | 51.6 |
9 | Nearest Centroid (euclidean) | 73.1 | 63.8 | 64.8 | 59.7 | 53.6 | 63.3 | 62.6 | 65.3 | 55.6 | 69.2 | 65.7 | 63.1 | 66.9 | 68.6 | 67.5 | 69.4 | 61.7 | 66.8 | 65.8 | 61.9 | 69.1 | 62.5 | 67.7 | 67.2 | 53.4 | 50.1 | 52.6 | 63.3 | 63.8 | 64.3 | 63.0 | 62.4 | 66.6 | 59.1 | 69.0 | 69.6 | 68.3 | 66.7 | 66.8 | 67.3 | 66.3 | 62.7 | 70.2 | 55.8 | 60.6 | 65.4 | 58.0 | 64.3 | 66.3 | 62.8 | 61.9 | 69.3 | 64.2 |
10 | Logistic Regression Classifier | 73.5 | 62.7 | 64.9 | 59.2 | 52.3 | 62.2 | 62.4 | 62.6 | 55.6 | 68.4 | 65.6 | 63.0 | 65.9 | 67.0 | 65.7 | 68.5 | 59.8 | 65.8 | 65.8 | 60.2 | 67.1 | 61.3 | 65.1 | 65.0 | 53.4 | 50.1 | 51.7 | 61.7 | 63.0 | 63.6 | 62.0 | 61.5 | 64.8 | 58.1 | 67.8 | 69.2 | 65.9 | 65.7 | 65.6 | 65.6 | 65.5 | 62.9 | 69.4 | 56.6 | 59.0 | 64.1 | 57.3 | 63.4 | 64.6 | 61.6 | 59.6 | 67.3 | 63.0 |
11 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
12 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
13 | Sentence-Transformers (paraphrase-multilingual-mpnet-base-v2) | en-US | Avg (non English) | af-ZA | am-ET | ar-SA | az-AZ | bn-BD | ca-ES | cy-GB | da-DK | de-DE | el-GR | es-ES | fa-IR | fi-FI | fr-FR | he-IL | hi-IN | hu-HU | hy-AM | id-ID | is-IS | it-IT | ja-JP | jv-ID | ka-GE | km-KH | kn-IN | ko-KR | lv-LV | ml-IN | mn-MN | ms-MY | my-MM | nb-NO | nl-NL | pl-PL | pt-PT | ro-RO | ru-RU | sl-SL | sq-AL | sv-SE | sw-KE | ta-IN | te-IN | th-TH | tl-PH | tr-TR | ur-PK | vi-VN | zh-CN | zh-TW |
14 | Nearest Neighbor (cosine) | 59.8 | 46.4 | 43.7 | 29.0 | 43.8 | 41.1 | 40.0 | 51.5 | 14.6 | 53.6 | 50.7 | 53.4 | 55.5 | 53.2 | 51.4 | 55.2 | 49.2 | 53.4 | 56.6 | 46.5 | 54.9 | 27.9 | 53.7 | 52.4 | 27.3 | 41.6 | 34.3 | 38.7 | 52.3 | 50.6 | 43.7 | 44.3 | 51.4 | 44.9 | 53.8 | 54.5 | 54.5 | 55.3 | 53.3 | 53.1 | 52.8 | 53.0 | 55.3 | 10.8 | 39.6 | 39.3 | 50.1 | 25.2 | 53.2 | 46.6 | 49.8 | 53.1 | 51.3 |
15 | Nearest Neighbor (dot product) | 59.5 | 45.3 | 42.7 | 29.0 | 41.9 | 39.0 | 38.8 | 51.1 | 14.5 | 52.2 | 50.2 | 51.3 | 54.3 | 52.5 | 50.4 | 54.0 | 47.4 | 52.0 | 55.5 | 44.8 | 54.1 | 27.4 | 52.2 | 52.0 | 27.0 | 40.6 | 34.0 | 37.0 | 49.5 | 49.7 | 41.7 | 42.7 | 49.8 | 44.0 | 53.3 | 53.4 | 53.0 | 54.1 | 52.1 | 52.3 | 51.9 | 51.3 | 54.0 | 12.1 | 38.1 | 38.7 | 49.2 | 26.2 | 52.2 | 45.3 | 48.5 | 51.9 | 49.9 |
16 | Nearest Neighbor (euclidean) | 59.7 | 39.3 | 34.2 | 17.7 | 35.0 | 32.2 | 29.9 | 46.3 | 7.6 | 49.8 | 42.9 | 46.3 | 51.4 | 50.0 | 44.4 | 49.3 | 43.1 | 47.8 | 52.2 | 33.8 | 51.7 | 16.3 | 48.8 | 42.9 | 17.7 | 32.4 | 24.3 | 30.4 | 45.5 | 43.8 | 35.1 | 32.2 | 47.1 | 41.4 | 49.3 | 51.2 | 46.3 | 51.2 | 48.0 | 42.0 | 47.2 | 48.4 | 50.2 | 5.4 | 29.8 | 29.5 | 41.1 | 15.9 | 49.0 | 42.4 | 45.6 | 46.8 | 44.0 |
17 | Nearest Centroid (cosine) | 69.3 | 53.9 | 50.1 | 35.2 | 50.6 | 48.2 | 46.2 | 59.7 | 19.6 | 61.0 | 57.8 | 59.9 | 63.3 | 62.2 | 60.0 | 64.4 | 56.6 | 61.8 | 64.1 | 52.9 | 63.3 | 33.3 | 62.4 | 60.5 | 34.3 | 47.0 | 41.3 | 47.2 | 58.5 | 58.3 | 49.7 | 50.8 | 59.5 | 51.1 | 61.8 | 63.7 | 62.3 | 63.0 | 62.0 | 60.8 | 60.9 | 59.9 | 63.6 | 17.5 | 46.1 | 48.7 | 57.8 | 32.9 | 62.6 | 54.7 | 57.7 | 61.9 | 59.1 |
18 | Nearest Centroid (dot product) | 55.6 | 42.8 | 37.8 | 28.6 | 39.8 | 38.5 | 36.9 | 47.5 | 12.8 | 50.0 | 46.6 | 47.0 | 50.7 | 50.3 | 46.8 | 50.9 | 45.9 | 49.5 | 51.2 | 41.2 | 50.7 | 24.7 | 50.2 | 49.3 | 25.8 | 37.0 | 31.9 | 37.7 | 48.0 | 46.6 | 39.8 | 40.5 | 46.7 | 43.0 | 49.9 | 51.2 | 49.4 | 50.8 | 49.1 | 48.2 | 48.1 | 48.4 | 50.8 | 11.5 | 36.3 | 38.4 | 46.7 | 24.8 | 50.3 | 42.7 | 46.5 | 48.7 | 46.4 |
19 | Nearest Centroid (euclidean) | 72.1 | 51.5 | 44.0 | 30.7 | 47.1 | 44.6 | 41.5 | 59.1 | 16.6 | 60.6 | 54.3 | 57.5 | 63.3 | 62.4 | 57.2 | 63.0 | 54.0 | 61.5 | 63.4 | 47.7 | 62.9 | 25.5 | 62.1 | 56.7 | 30.3 | 42.3 | 35.6 | 42.9 | 57.3 | 55.7 | 46.6 | 46.2 | 59.0 | 51.8 | 61.0 | 63.4 | 60.3 | 63.0 | 61.2 | 56.7 | 60.6 | 60.3 | 63.3 | 13.0 | 42.2 | 43.9 | 54.8 | 28.2 | 61.7 | 53.4 | 57.0 | 60.9 | 58.1 |
20 | Logistic Regression Classifier | 72.0 | 54.4 | 49.4 | 32.2 | 50.6 | 48.5 | 46.0 | 61.5 | 17.8 | 63.2 | 58.9 | 61.1 | 66.0 | 63.8 | 60.9 | 65.4 | 57.1 | 63.2 | 66.5 | 53.2 | 64.9 | 31.0 | 63.6 | 60.3 | 32.9 | 45.8 | 39.5 | 45.5 | 60.0 | 59.1 | 50.2 | 50.6 | 60.8 | 52.6 | 64.2 | 64.7 | 64.2 | 65.3 | 63.7 | 61.4 | 62.5 | 61.5 | 65.7 | 14.5 | 45.7 | 47.7 | 58.8 | 30.4 | 65.1 | 56.3 | 57.9 | 63.7 | 60.8 |
21 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
22 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
23 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
24 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
25 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
26 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
27 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
28 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
29 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
30 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
31 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
32 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
33 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
34 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
35 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
36 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
37 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
38 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
39 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
40 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
41 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
42 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
43 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
44 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
45 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
46 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
47 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
48 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
49 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
50 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
51 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
52 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
53 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
54 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
55 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
56 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
57 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
58 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
59 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
60 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
61 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
62 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
63 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
64 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
65 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
66 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
67 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
68 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
69 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
70 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
71 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
72 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
100 |