A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Model | Costs encoding 1M docs | Performance | 20NewsgroupsClustering | AskUbuntuDupQuestions | BIOSSES | CQADupStack | QuoraRetrieval | RedditClustering | SICK-R | STSbenchmark | SciDocs | SprintDuplicateQuestions | StackExchangeClustering | StackOverflowDupQuestions | TwitterSemEval2015 | TwitterURLCorpus | ||||||||||
2 | OpenAI GPT-3 Embedding Models | ||||||||||||||||||||||||||
3 | text-similarity-ada | $800 | 61.86 | 36.51 | 53.21 | 78.21 | 17.58 | 79.61 | 43.2 | 77.26 | 83.76 | 71.05 | 77.83 | 54.26 | 40.85 | 69.04 | 83.63 | ||||||||||
4 | text-similarity-babbage | $1,200 | 62.62 | 42.01 | 54.68 | 78.12 | 17.74 | 78.25 | 45.64 | 77.02 | 84.32 | 72.78 | 76.46 | 53.01 | 40.65 | 70.85 | 85.08 | ||||||||||
5 | text-similarity-curie | $6,000 | 62.39 | 37.64 | 55.09 | 77.46 | 20.06 | 80.33 | 40.79 | 77.26 | 83.02 | 70.93 | 79.85 | 55.14 | 42.42 | 69.45 | 84.06 | ||||||||||
6 | text-similarity-davinci | $60,000 | 58.11 | 29.33 | 53.56 | 68.95 | 16.5 | 77.9 | 31.78 | 78.72 | 84.08 | 68.7 | 69.52 | 36.86 | 39.41 | 74.42 | 83.75 | ||||||||||
7 | |||||||||||||||||||||||||||
8 | |||||||||||||||||||||||||||
9 | Google Embedding Models | ||||||||||||||||||||||||||
10 | st5-base-1 | $0.70 | 67.84 | 48.5 | 59.99 | 76.06 | 24.29 | 82.65 | 52.91 | 79.76 | 85.53 | 73.95 | 91.23 | 62.12 | 48.43 | 78.25 | 86.05 | ||||||||||
11 | st5-large-1 | $2.40 | 68.74 | 49.18 | 61.5 | 78.93 | 26.2 | 82.83 | 55 | 79.86 | 85.37 | 74.88 | 89.02 | 64.44 | 49.3 | 79.75 | 86.14 | ||||||||||
12 | st5-3b-1 | $6.80 | 69.23 | 49.33 | 62.86 | 73.12 | 27.96 | 83.05 | 57.65 | 79.54 | 83.93 | 75.16 | 91.44 | 67.3 | 51.07 | 80.89 | 85.86 | ||||||||||
13 | universal-sentence-encoder-large-5 | $0.35 | 64.51 | 42.78 | 57.94 | 69.34 | 20.88 | 82.11 | 57.44 | 76.34 | 79.93 | 70.93 | 85.13 | 60.71 | 45.38 | 70.13 | 84.09 | ||||||||||
14 | |||||||||||||||||||||||||||
15 | |||||||||||||||||||||||||||
16 | Sentence-Transformers Model | ||||||||||||||||||||||||||
17 | all-MiniLM-L6-v2 | $0.12 | 68.06 | 46.29 | 63.48 | 81.64 | 28.6 | 84.92 | 49.86 | 77.15 | 82.03 | 87.11 | 94.55 | 53.93 | 50.76 | 67.86 | 84.7 | ||||||||||
18 | all-MiniLM-L12-v1 | $0.25 | 68.83 | 47.61 | 64.46 | 82.76 | 29.68 | 85.08 | 52.24 | 78.91 | 82.54 | 87.38 | 94.65 | 49.43 | 51.28 | 72.55 | 85.03 | ||||||||||
19 | all-mpnet-base-v1 | $0.70 | 69.98 | 50.22 | 65.74 | 78.3 | 31.86 | 84.61 | 56.05 | 80.5 | 83.02 | 88.75 | 94.42 | 52.38 | 52.24 | 76.27 | 85.43 | ||||||||||
20 | all-roberta-large-v1 | $2.40 | 70.23 | 50.12 | 66.78 | 82.93 | 32.84 | 83.36 | 55.86 | 81.42 | 83.47 | 88.68 | 92.07 | 53.15 | 52.18 | 75.28 | 85.14 | ||||||||||
21 | |||||||||||||||||||||||||||
22 | |||||||||||||||||||||||||||
23 | |||||||||||||||||||||||||||
24 | |||||||||||||||||||||||||||
25 | |||||||||||||||||||||||||||
26 | |||||||||||||||||||||||||||
27 | |||||||||||||||||||||||||||
28 | |||||||||||||||||||||||||||
29 | |||||||||||||||||||||||||||
30 | |||||||||||||||||||||||||||
31 | |||||||||||||||||||||||||||
32 | |||||||||||||||||||||||||||
33 | |||||||||||||||||||||||||||
34 | |||||||||||||||||||||||||||
35 | |||||||||||||||||||||||||||
36 | |||||||||||||||||||||||||||
37 | |||||||||||||||||||||||||||
38 | |||||||||||||||||||||||||||
39 | |||||||||||||||||||||||||||
40 | |||||||||||||||||||||||||||
41 | |||||||||||||||||||||||||||
42 | |||||||||||||||||||||||||||
43 | |||||||||||||||||||||||||||
44 | |||||||||||||||||||||||||||
45 | |||||||||||||||||||||||||||
46 | |||||||||||||||||||||||||||
47 | |||||||||||||||||||||||||||
48 | |||||||||||||||||||||||||||
49 | |||||||||||||||||||||||||||
50 | |||||||||||||||||||||||||||
51 | |||||||||||||||||||||||||||
52 | |||||||||||||||||||||||||||
53 | |||||||||||||||||||||||||||
54 | |||||||||||||||||||||||||||
55 | |||||||||||||||||||||||||||
56 | |||||||||||||||||||||||||||
57 | |||||||||||||||||||||||||||
58 | |||||||||||||||||||||||||||
59 | |||||||||||||||||||||||||||
60 | |||||||||||||||||||||||||||
61 | |||||||||||||||||||||||||||
62 | |||||||||||||||||||||||||||
63 | |||||||||||||||||||||||||||
64 | |||||||||||||||||||||||||||
65 | |||||||||||||||||||||||||||
66 | |||||||||||||||||||||||||||
67 | |||||||||||||||||||||||||||
68 | |||||||||||||||||||||||||||
69 | |||||||||||||||||||||||||||
70 | |||||||||||||||||||||||||||
71 | |||||||||||||||||||||||||||
72 | |||||||||||||||||||||||||||
73 | |||||||||||||||||||||||||||
74 | |||||||||||||||||||||||||||
75 | |||||||||||||||||||||||||||
76 | |||||||||||||||||||||||||||
77 | |||||||||||||||||||||||||||
78 | |||||||||||||||||||||||||||
79 | |||||||||||||||||||||||||||
80 | |||||||||||||||||||||||||||
81 | |||||||||||||||||||||||||||
82 | |||||||||||||||||||||||||||
83 | |||||||||||||||||||||||||||
84 | |||||||||||||||||||||||||||
85 | |||||||||||||||||||||||||||
86 | |||||||||||||||||||||||||||
87 | |||||||||||||||||||||||||||
88 | |||||||||||||||||||||||||||
89 | |||||||||||||||||||||||||||
90 | |||||||||||||||||||||||||||
91 | |||||||||||||||||||||||||||
92 | |||||||||||||||||||||||||||
93 | |||||||||||||||||||||||||||
94 | |||||||||||||||||||||||||||
95 | |||||||||||||||||||||||||||
96 | |||||||||||||||||||||||||||
97 | |||||||||||||||||||||||||||
98 | |||||||||||||||||||||||||||
99 | |||||||||||||||||||||||||||
100 |