A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Model | MedMCQA | MedQA | PubMedQA | MMLU | Avg | Actual Avg | OpenLLM | ||||||||||||||||||
2 | anatomy | clinical knowledge | college biology | college medicine | medical genetics | professional medicine | ||||||||||||||||||||
3 | Llama-2-7b | 34.38 | 31.97 | 71.4 | 42.96 | 43.77 | 44.44 | 42.77 | 47 | 43.38 | 38.03 | 44.67444444 | 50.97 | |||||||||||||
4 | Llama-2-7b-chat | 36.31 | 39.36 | 73.4 | 45.19 | 55.09 | 45.14 | 38.15 | 48 | 41.54 | 40.97 | 46.90888889 | 50.74 | |||||||||||||
5 | Llama-2-13b | 38.56 | 42.89 | 75.2 | 48.15 | 58.87 | 52.08 | 49.71 | 55 | 52.94 | 44.23 | 52.6 | 55.69 | |||||||||||||
6 | Llama-2-13b-chat | 39.04 | 43.99 | 73.8 | 51.85 | 58.87 | 58.33 | 42.2 | 58 | 49.63 | 44.54 | 52.85666667 | 54.91 | |||||||||||||
7 | Llama-2-70b | 48.08 | 56.01 | 74.4 | 55.56 | 70.19 | 78.47 | 68.79 | 72 | 76.84 | 54.93 | 66.70444444 | 67.87 | |||||||||||||
8 | Llama-2-70b-chat | 42.94 | 49.73 | 76.8 | 52.59 | 64.91 | 70.83 | 60.12 | 62 | 59.93 | 49.5 | 59.98333333 | 62.4 | |||||||||||||
9 | Mistral-7b-v0.1 | 47.96 | 50.82 | 75.8 | 56.3 | 69.43 | 68.75 | 57.8 | 71 | 68.75 | 53.22 | 62.95666667 | 60.97 | |||||||||||||
10 | Mistral-7b-Instruct-v0.2 | 46.09 | 50.51 | 76.2 | 58.52 | 66.79 | 64.58 | 57.23 | 63 | 66.54 | 51.72 | 60.118 | ||||||||||||||
11 | Mixtral-8x7b-v0.1 | 57.21 | 62.22 | 76.8 | 70.37 | 79.25 | 84.03 | 67.63 | 76 | 79.78 | 62.53 | 72.58777778 | 68.42 | |||||||||||||
12 | Mixtral-8x7b-Instruct-v0.1 | 56.23 | 61.04 | 79 | 71.11 | 78.49 | 84.03 | 70.52 | 77 | 82.35 | 62.06 | 72.183 | ||||||||||||||
13 | Yi-6b | 47.02 | 49.41 | 47 | 60 | 66.42 | 67.36 | 60.12 | 71 | 66.54 | 50.26 | 59.43 | 54.08 | |||||||||||||
14 | Yi-6b-chat | 46.95 | 48.55 | 67.2 | 61.48 | 69.06 | 63.58 | 63.58 | 79 | 67.65 | 51.88 | 63.00555556 | ||||||||||||||
15 | Yi-34b | 59.26 | 64.41 | 77.4 | 75.56 | 77.74 | 86.11 | 69.36 | 90 | 80.88 | 64.56 | 75.63555556 | 69.42 | |||||||||||||
16 | Yi-34b-chat | 59.41 | 62.77 | 79 | 72.59 | 81.13 | 88.19 | 71.68 | 85 | 80.88 | 64.56 | 75.62777778 | 65.32 | |||||||||||||
17 | StableLM-3b-4e1t | 33.13 | 34.88 | 73.6 | 46.67 | 46.79 | 41.67 | 36.42 | 45 | 36.4 | 37.64 | 43.84 | 46.58 | |||||||||||||
18 | StableBeluga2 | 51.11 | 57.19 | 74.2 | 58.52 | 75.09 | 79.86 | 63.58 | 66 | 69.12 | 56.69 | 66.07444444 | 67.42 | |||||||||||||
19 | Zephyr-7b-beta | 45.92 | 51.69 | 76.8 | 58.52 | 64.15 | 66.67 | 61.27 | 66 | 65.44 | 51.92 | 61.82888889 | 61.95 | |||||||||||||
20 | Qwen-7b | 40.78 | 43.83 | 67.8 | 49.63 | 63.4 | 59.03 | 57.23 | 61 | 56.62 | 45.95 | 54.527 | 59.19 | |||||||||||||
21 | Qwen-7b-chat | 41.6 | 42.42 | 61 | 49.63 | 60.75 | 58.33 | 60.12 | 63 | 55.51 | 45.64 | 53.8 | ||||||||||||||
22 | Qwen-72b | 64.86 | 66.38 | 79 | 71.11 | 82.26 | 93.75 | 78.61 | 82 | 83.09 | 68.79 | 77.89555556 | 73.6 | |||||||||||||
23 | Qwen-72b-chat | 61.46 | 64.34 | 77.6 | 68.15 | 80.75 | 90.28 | 75.14 | 82 | 80.51 | 65.93 | 75.58111111 | ||||||||||||||
24 | Meditron-70b | 48.39 | 58.05 | 76.2 | 54.07 | 67.92 | 78.47 | 63.58 | 76 | 74.26 | 55.33 | 66.32666667 | ||||||||||||||
25 | ||||||||||||||||||||||||||
26 | ||||||||||||||||||||||||||
27 | Med-PaLM | 57.6 | 67.6 | 79 | 63.7 | 80.4 | 88.9 | 76.3 | 75 | 83.8 | 74.7 | |||||||||||||||
28 | Med-PaLM 2 | 72.3 | 86.5 | 81.8 | 84.4 | 88.7 | 95.8 | 83.2 | 92 | 95.2 | 86.65555556 | |||||||||||||||
29 | GPT-4 | 79.1 | 90.2 | 82 | 89.6 | 95.8 | 97.9 | 89 | 98 | 95.2 | 90.75555556 | |||||||||||||||
30 | ||||||||||||||||||||||||||
31 | ||||||||||||||||||||||||||
32 | ||||||||||||||||||||||||||
33 | ||||||||||||||||||||||||||
34 | ||||||||||||||||||||||||||
35 | ||||||||||||||||||||||||||
36 | ||||||||||||||||||||||||||
37 | ||||||||||||||||||||||||||
38 | ||||||||||||||||||||||||||
39 | ||||||||||||||||||||||||||
40 | ||||||||||||||||||||||||||
41 | ||||||||||||||||||||||||||
42 | ||||||||||||||||||||||||||
43 | ||||||||||||||||||||||||||
44 | ||||||||||||||||||||||||||
45 | ||||||||||||||||||||||||||
46 | ||||||||||||||||||||||||||
47 | ||||||||||||||||||||||||||
48 | ||||||||||||||||||||||||||
49 | ||||||||||||||||||||||||||
50 | ||||||||||||||||||||||||||
51 | ||||||||||||||||||||||||||
52 | ||||||||||||||||||||||||||
53 | ||||||||||||||||||||||||||
54 | ||||||||||||||||||||||||||
55 | ||||||||||||||||||||||||||
56 | ||||||||||||||||||||||||||
57 | ||||||||||||||||||||||||||
58 | ||||||||||||||||||||||||||
59 | ||||||||||||||||||||||||||
60 | ||||||||||||||||||||||||||
61 | ||||||||||||||||||||||||||
62 | ||||||||||||||||||||||||||
63 | ||||||||||||||||||||||||||
64 | ||||||||||||||||||||||||||
65 | ||||||||||||||||||||||||||
66 | ||||||||||||||||||||||||||
67 | ||||||||||||||||||||||||||
68 | ||||||||||||||||||||||||||
69 | ||||||||||||||||||||||||||
70 | ||||||||||||||||||||||||||
71 | ||||||||||||||||||||||||||
72 | ||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||
100 |