| A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Perplexity is a good but not perfect model quality metric. See HF for better metrics and a wider range of models: Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4 | |||||||||||||||||||||||||||
2 | ||||||||||||||||||||||||||||
3 | model.size | quantization | blas | context.size | batch.size | perf | perplexity | efficiency | model src | pull / commit | hardware | |||||||||||||||||
4 | llama | 65B | q5_1 | 1 | 2048 | 512 | 19 | 3.31 | 0.0159 | FB | fab49c68 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 3090Ti, 16x PCIe Gen3 | ||||||||||||||||
5 | llama | 65B | q4_1 | 1 | 2048 | 512 | 346 | 3.36 | 0.0009 | FB | be87b6ed | AMD 1950X 3.4GHz 16-Core | ||||||||||||||||
6 | llama | 65B | q4_1 | 1 | 512 | 512 | 262 | 3.41 | 0.0011 | FB | be87b6ed | AMD 1950X 3.4GHz 16-Core | ||||||||||||||||
7 | gpt4-alpaca-lora | 30B | q5_0 | 1 | 1024 | 512 | 46 | 3.44 | 0.0063 | TheBloke/gpt4-alpaca-lora-30B-4bit-GGML · Hugging Face | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
8 | alpaca-lora | 65B | q4_0 | 1 | 2048 | 512 | 68 | 3.44 | 0.0043 | TheBloke/alpaca-lora-65B-GGML · Hugging Face | 8a0f8673 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 4x PCIe Gen3 | ||||||||||||||||
9 | gpt4-alpaca-lora | 30B | q4_2 | 1 | 1024 | 512 | 46 | 3.47 | 0.0063 | TheBloke/gpt4-alpaca-lora-30B-4bit-GGML · Hugging Face | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
10 | gpt4-alpaca-lora | 30B | q4_0 | 1 | 1024 | 512 | 43 | 3.48 | 0.0067 | TheBloke/gpt4-alpaca-lora-30B-4bit-GGML · Hugging Face | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
11 | alpaca-lora | 65B | q4_0 | 1 | 1024 | 1024 | 40 | 3.50 | 0.0071 | TheBloke/alpaca-lora-65B-GGML · Hugging Face | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
12 | alpaca-lora | 65B | q4_0 | 1 | 1024 | 512 | 43 | 3.50 | 0.0066 | TheBloke/alpaca-lora-65B-GGML · Hugging Face | 54bb60e2 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
13 | alpaca-lora | 65B | q4_0 | 1 | 1024 | 512 | 60 | 3.50 | 0.0048 | TheBloke/alpaca-lora-65B-GGML · Hugging Face | 8a0f8673 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 4x PCIe Gen3 | ||||||||||||||||
14 | alpaca-lora | 65B | q4_0 | 1 | 1024 | 512 | 302 | 3.50 | 0.0009 | TheBloke/alpaca-lora-65B-GGML · Hugging Face | PR896 | Intel Xeon Platinum 8272CL 2.6GHz 16-Core | ||||||||||||||||
15 | alpaca-lora | 65B | q4_0 | 1 | 1536 | 768 | 42 | 3.61 | 0.0066 | TheBloke/alpaca-lora-65B-GGML · Hugging Face | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
16 | alpaca-lora | 65B | q4_0 | 1 | 1536 | 1536 | 44 | 3.61 | 0.0063 | TheBloke/alpaca-lora-65B-GGML · Hugging Face | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
17 | alpaca-lora | 65B | q4_0 | 1 | 768 | 768 | 36 | 3.74 | 0.0074 | TheBloke/alpaca-lora-65B-GGML · Hugging Face | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
18 | llama | 65B | q4_1 | 1 | 1024 | 512 | 221 | 3.77 | 0.0012 | FB | be87b6ed | AMD 1950X 3.4GHz 16-Core | ||||||||||||||||
19 | alpaca-lora | 65B | q4_0 | 1 | 512 | 512 | 37 | 3.90 | 0.0069 | TheBloke/alpaca-lora-65B-GGML · Hugging Face | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
20 | alpaca-lora | 65B | q4_0 | 1 | 512 | 512 | 54 | 3.90 | 0.0048 | TheBloke/alpaca-lora-65B-GGML · Hugging Face | 8a0f8673 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 4x PCIe Gen3 | ||||||||||||||||
21 | alpaca-lora | 65B | q4_0 | 1 | 512 | 512 | 281 | 3.90 | 0.0009 | TheBloke/alpaca-lora-65B-GGML · Hugging Face | PR896 | Intel Xeon Platinum 8272CL 2.6GHz 16-Core | ||||||||||||||||
22 | gpt4-alpaca-lora | 30B | q5_1 | 1 | 1024 | 512 | 23 | 4.00 | 0.0109 | TheBloke/gpt4-alpaca-lora-30B-4bit-GGML · Hugging Face | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
23 | llama | 30B | q4_0 | 1 | 2048 | 512 | 194 | 4.01 | 0.0013 | FB | be87b6ed | AMD 1950X 3.4GHz 16-Core | ||||||||||||||||
24 | gpt4-alpaca-lora | 30B | q5_0 | 1 | 1024 | 512 | 23 | 4.01 | 0.0108 | TheBloke/gpt4-alpaca-lora-30B-4bit-GGML · Hugging Face | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
25 | llama | 30B | q4_0 | 1 | 1024 | 512 | 143 | 4.05 | 0.0017 | FB | be87b6ed | AMD 1950X 3.4GHz 16-Core | ||||||||||||||||
26 | gpt4-alpaca-lora | 30B | q4_2 | 1 | 1024 | 512 | 23 | 4.07 | 0.0107 | TheBloke/gpt4-alpaca-lora-30B-4bit-GGML · Hugging Face | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
27 | gpt4-alpaca-lora | 30B | q4_0 | 1 | 1024 | 512 | 22 | 4.09 | 0.0111 | TheBloke/gpt4-alpaca-lora-30B-4bit-GGML · Hugging Face | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
28 | llama | 30B | q4_0 | 1 | 512 | 512 | 118 | 4.49 | 0.0019 | FB | be87b6ed | AMD 1950X 3.4GHz 16-Core | ||||||||||||||||
29 | gpt4-alpaca-lora | 30B | q4_1 | 1 | 512 | 512 | 160 | 4.51 | 0.0014 | TheBloke/gpt4-alpaca-lora-30B-4bit-GGML · Hugging Face | PR896 | Intel Xeon Platinum 8272CL 2.6GHz 16-Core | ||||||||||||||||
30 | gpt4-alpaca-lora | 30B | q4_0 | 1 | 512 | 512 | 102 | 4.55 | 0.0022 | TheBloke/gpt4-alpaca-lora-30B-4bit-GGML · Hugging Face | PR896 | Intel Xeon Platinum 8272CL 2.6GHz 16-Core | ||||||||||||||||
31 | llama | 13B | q4_0 | 1 | 2048 | 512 | 93 | 4.90 | 0.0022 | FB | be87b6ed | AMD 1950X 3.4GHz 16-Core | ||||||||||||||||
32 | alpaca | 13B | q4_0 | 1 | 2048 | 512 | 94 | 4.91 | 0.0022 | be87b6ed | AMD 1950X 3.4GHz 16-Core | |||||||||||||||||
33 | llama | 13B | q4_0 | 1 | 1024 | 512 | 72 | 5.01 | 0.0028 | FB | be87b6ed | AMD 1950X 3.4GHz 16-Core | ||||||||||||||||
34 | alpaca | 13B | q4_0 | 1 | 1024 | 512 | 67 | 5.03 | 0.0030 | be87b6ed | AMD 1950X 3.4GHz 16-Core | |||||||||||||||||
35 | alpaca-lora | 65B | q2_0 | 1 | 512 | 512 | 390 | 5.20 | 0.0005 | TheBloke/alpaca-lora-65B-GGML · Hugging Face | PR896 | Intel Xeon Platinum 8272CL 2.6GHz 16-Core | ||||||||||||||||
36 | llama | 7B | fp_16 | 1 | 2048 | 512 | 8 | 5.32 | 0.0235 | FB | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
37 | llama | 13B | fp_16 | 1 | 512 | 512 | 6 | 5.46 | 0.0305 | FB | 08737ef7, ngl=0 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 3090Ti, 16x PCIe Gen3 | ||||||||||||||||
38 | llama | 13B | q8_0 | 1 | 512 | 512 | 5 | 5.46 | 0.0366 | FB | 08737ef7, ngl=0 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 3090Ti, 16x PCIe Gen3 | ||||||||||||||||
39 | llama | 7B | fp_16 | 1 | 1024 | 512 | 6 | 5.46 | 0.0305 | FB | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
40 | llama | 13B | q5_1 | 1 | 512 | 512 | 4 | 5.48 | 0.0456 | FB | 08737ef7, ngl=0 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 3090Ti, 16x PCIe Gen3 | ||||||||||||||||
41 | llama | 7B | q4_0 | 1 | 2048 | 512 | 7 | 5.56 | 0.0257 | FB | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
42 | llama | 7B | q4_0 | 1 | 2048 | 512 | 58 | 5.56 | 0.0031 | FB | be87b6ed | AMD 1950X 3.4GHz 16-Core | ||||||||||||||||
43 | llama | 13B | q4_1 | 1 | 512 | 512 | 4 | 5.58 | 0.0448 | FB | 08737ef7, ngl=0 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 3090Ti, 16x PCIe Gen3 | ||||||||||||||||
44 | llama | 13B | q4_0 | 1 | 512 | 512 | 54 | 5.61 | 0.0033 | FB | be87b6ed | AMD 1950X 3.4GHz 16-Core | ||||||||||||||||
45 | alpaca | 13B | q4_0 | 1 | 512 | 512 | 54 | 5.63 | 0.0033 | be87b6ed | AMD 1950X 3.4GHz 16-Core | |||||||||||||||||
46 | llama-custom1 | 7B | fp_16 | 1 | 2048 | 512 | 3 | 5.69 | 0.0586 | Custom Data Set | fab49c6, ngl=30 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 3090Ti, 16x PCIe Gen3 | ||||||||||||||||
47 | llama-custom2 | 7B | fp_16 | 1 | 2048 | 512 | 3 | 5.69 | 0.0586 | Custom Data Set | fab49c6, ngl=30 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 3090Ti, 16x PCIe Gen3 | ||||||||||||||||
48 | llama | 7B | q4_0 | 1 | 1024 | 512 | 40 | 5.71 | 0.0044 | FB | be87b6ed | AMD 1950X 3.4GHz 16-Core | ||||||||||||||||
49 | llama | 7B | q4_0 | 1 | 1024 | 512 | 6 | 5.71 | 0.0292 | FB | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
50 | alpaca | 7B | q4_0 | 1 | 2048 | 512 | 7 | 5.77 | 0.0248 | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | |||||||||||||||||
51 | alpaca | 7B | q4_0 | 1 | 2048 | 512 | 57 | 5.77 | 0.0030 | be87b6ed | AMD 1950X 3.4GHz 16-Core | |||||||||||||||||
52 | alpaca-lora | 65B | q2_0 | 1 | 512 | 512 | 371 | 5.80 | 0.0005 | TheBloke/alpaca-lora-65B-GGML · Hugging Face | q2q3 | Intel Xeon Platinum 8272CL 2.6GHz 16-Core | ||||||||||||||||
53 | alpaca | 7B | q4_0 | 1 | 1024 | 512 | 6 | 5.93 | 0.0281 | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | |||||||||||||||||
54 | alpaca | 7B | q4_0 | 1 | 1024 | 512 | 40 | 5.93 | 0.0042 | be87b6ed | AMD 1950X 3.4GHz 16-Core | |||||||||||||||||
55 | alpaca-native | 7B | q4_1 | 1 | 2048 | 512 | 7 | 6.02 | 0.0237 | Pi3141 / alpaca-7b-native-enhanced | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
56 | llama | 7B | fp_16 | 1 | 512 | 512 | 3 | 6.07 | 0.0549 | FB | 08737ef7, ngl=0 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 3090Ti, 16x PCIe Gen3 | ||||||||||||||||
57 | llama | 7B | q8_0 | 1 | 512 | 512 | 2 | 6.07 | 0.0823 | FB | 08737ef7, ngl=0 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 3090Ti, 16x PCIe Gen3 | ||||||||||||||||
58 | llama | 7B | q5_1 | 1 | 512 | 512 | 2 | 6.13 | 0.0816 | FB | 08737ef7, ngl=0 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 3090Ti, 16x PCIe Gen3 | ||||||||||||||||
59 | llama | 7B | fp_16 | 1 | 512 | 512 | 5 | 6.14 | 0.0326 | FB | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
60 | alpaca-native | 7B | q4_1 | 1 | 1024 | 512 | 6 | 6.23 | 0.0267 | Pi3141 / alpaca-7b-native-enhanced | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
61 | llama | 7B | q4_1 | 1 | 512 | 512 | 2 | 6.24 | 0.0802 | FB | 08737ef7, ngl=0 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 3090Ti, 16x PCIe Gen3 | ||||||||||||||||
62 | llama | 7B | q4_0 | 1 | 512 | 512 | 5 | 6.46 | 0.0309 | FB | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
63 | llama | 7B | q4_0 | 1 | 512 | 512 | 32 | 6.46 | 0.0049 | FB | be87b6ed | AMD 1950X 3.4GHz 16-Core | ||||||||||||||||
64 | llama-custom1 | 7B | q5_1 | 1 | 512 | 512 | 2 | 6.57 | 0.0761 | Custom Data Set | fab49c6, ngl=30 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 3090Ti, 16x PCIe Gen3 | ||||||||||||||||
65 | llama-custom2 | 7B | q5_1 | 1 | 512 | 512 | 2 | 6.57 | 0.0761 | Custom Data Set | fab49c6, ngl=30 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 3090Ti, 16x PCIe Gen3 | ||||||||||||||||
66 | alpaca | 7B | q4_0 | 1 | 512 | 512 | 5 | 6.65 | 0.0301 | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | |||||||||||||||||
67 | alpaca | 7B | q4_0 | 1 | 512 | 512 | 32 | 6.65 | 0.0047 | be87b6ed | AMD 1950X 3.4GHz 16-Core | |||||||||||||||||
68 | vicuna-GPTQ-128g | 13B | q4_1 | 1 | 1024 | 512 | 10 | 6.88 | 0.0145 | TheBloke/vicuna-13B-1.1-GPTQ-4bit-128g-GGML | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
69 | alpaca-native | 7B | q4_1 | 1 | 512 | 512 | 5 | 7.12 | 0.0281 | Pi3141 / alpaca-7b-native-enhanced | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
70 | vicuna-GPTQ-32g | 13B | q4_1 | 1 | 1024 | 512 | 10 | 7.19 | 0.0139 | TheBloke/vicuna-13B-1.1-GPTQ-4bit-128g-GGML | 7f15c5c4 | AMD 1950X 3.4GHz 16-Core, NVidia GTX 1080Ti, 16x PCIe Gen3 | ||||||||||||||||
72 | ||||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||||
100 | ||||||||||||||||||||||||||||
101 | ||||||||||||||||||||||||||||