Gotzmann LLM Score v2.4

	B	C	D	E	F	G	H	I	J	K	L	O	P	Q	R
1
2	V	Model	Size, GB	Quants	Sampling	ms / token	Full Test	[ Full Score ]	Mini Test	[ Combined Score ]	[ Perf Score ]	Total Q	29	Norm Q	33
3

4	2.4	Vicuna v1.3.0 UserPrompt 13B	13	6_K	Mirostat	90	70	79,7	26	82,8	66,6
5	2.4	Vicuna v1.3 Preview UserNLPrompt 13B	13	4_K_M	Mirostat	90	64	72,8	28	82,6	66,2
6		WizardLM 30B Uncensored	33	4_0	TopK	190	64	72,8	27	81	29,4
7		Airoboros-v1.1 LongPrompt 13B	13	6_K	Mirostat	115	69	78,5	24	78,9	48,6
8		Airoboros-v1.1 13B	13	4_K_M	TopK	85	67	76,2	24	77,7	61,6
9	2.4	Vicuna v1.3.0 UserPrompt 13B	13	4_K_M	Mirostat	90	64	72,8	25	77,7	58,6
10		Airoboros-v1.1 13B	13	4_K_M	Mirostat	85	66	75,1	24	77,2	60,8
11		Camel Combined 13B	13	4_K_M	Mirostat	85	66	75,1	24	77,2	60,8
12		Airoboros-v1.1 LongPrompt 13B	13	4_K_M	Mirostat	85	71	80,8	22	76,7	60
13		Camel Combined 13B	13	6_K	Mirostat	115	68	77,4	23	76,7	46
14		WizardLM 13B	13	4_0	Mirostat	80	65	74	24	76,6	63,1
15		Camel Combined LongPrompt 13B	13	6_K	Mirostat	115	61	69,4	25	76	45,1
16		Airoboros GPT4 1.2 LongPrompt 13B	13	4_K_M	Mirostat	85	65	74	23	75	57,4
17	2.3	Airoboros GPT4 v1.4 LongPrompt 13B	13	4_K_M	Mirostat	85	65	74	23	75	57,4
18	2.3	Vicuna v1.3 LongPrompt 13B	13	4_K_M	Mirostat	85	65	74	23	75	57,4
19		Airoboros GPT4 1.2 LongPrompt 13B	13	6_K	TopK	115	62	70,6	24	74,9	43,8
20		Camel Combined 13B	13	5_K_M	Mirostat	110	67	76,2	22	74,4	45
21		WizardLM v1.0 33B	33	4_0	TopK	190	66	75,1	22	73,9	24,5
22		Wizard Mega 13B	13	4_0	Mirostat	80	63	71,7	23	73,8	58,6
23		Wizard Vicuna 30B Uncensored	33	4_0	TopK	190	60	68,3	24	73,8	24,4
24	2.3	Wizard v1.0 Uncensored LongPrompt 13B	13	4_K_M	Mirostat	85	60	68,3	24	73,8	55,6
25		WizardLM 30B Uncensored	33	4_0	Mirostat	190	65	73,97	22	73,3	24,1
26		WizardLM v1.0 33B	33	4_0	Mirostat	190	66	75,1	21	72,2	23,4
27		WizardLM 1.1 13B	13	4_K_M	TopK	85	57	64,9	24	72,1	53
28		Manticore Chat 13B	13	5_1	Mirostat	115	62	70,6	22	71,6	40,1
29		Chronos Hermes 13B	13	4_K_M	Mirostat	85	59	67,1	23	71,5	52,2
30		WizardLM 1.1 13B	13	5_K_M	Mirostat	110	59	67,1	23	71,5	41,6
31		Airoboros-v1.1 13B	13	6_K	Mirostat	115	67	76,2	20	71,1	39,5
32		Manticore Chat 13B	13	4_0	Mirostat	80	58	66	23	71	54,2
33		Airoboros 13B	13	4_0	Mirostat	80	61	69,4	22	71	54,2
34		WizardLM 13B	13	5_0	Mirostat	110	61	69,4	22	71	41
35		WizardLM 13B	13	5_1	Mirostat	115	60	68,3	22	70,5	38,8
36		Manticore Chat 13B	13	8_0	Mirostat	130	63	71,7	21	70,5	34,8
37		Camel Combined LongPrompt 33B	33	5_K_M	Mirostat	250	60	68,3	22	70,5	17,6
38		Wizard Mega 13B	13	5_1	TopK	115	57	64,9	23	70,4	38,7
39		Minotaur Fixed 13B	13	4_K_M	TopK	85	65	74	20	70	50
40		WizardLM 13B	13	8_0	Mirostat	135	56	63,7	23	69,8	32,9
41		Camel Combined LongPrompt 13B	13	4_K_M	Mirostat	85	61	69,4	21	69,4	49,1
42		Camel Combined 13B	13	4_K_S	TopK	80	64	72,8	20	69,4	51,8
43		Wizard Mega 13B	13	4_0	TopK	80	58	66	22	69,3	51,6
44		WizardLM 13B	13	4_1	Mirostat	110	55	62,6	23	69,3	39
45		Wizard Vicuna 30B Uncensored	33	4_0	Mirostat	190	58	66	22	69,3	21,5
46		Airoboros 13B	13	4_1	Mirostat	85	63	71,7	20	68,9	48,4
47		Minotaur Fized 13B	13	4_K_M	Mirostat	85	63	71,7	20	68,9	48,4
48		Nous Hermes 13B	13	4_K_S	TopK	80	62	70,6	20	68,3	50,2
49		WizardLM 13B	13	8_0	TopK	135	59	67,1	21	68,2	31,4
50		Guanaco 33B	33	4_0	Mirostat	190	53	60,3	23	68,1	20,8
51		Manticore Chat 13B	13	8_0	TopK	130	58	66	21	67,7	32,1
52		Hippogriff 33B	33	4_0	TopK	190	55	62,6	22	67,6	20,5
53		Chronos Hermes 13B	13	4_K_S	TopK	80	60	68,3	20	67,2	48,6
54		Manticore Chat 13B	13	4_0	TopK	80	54	61,4	22	67	48,3
55		Airoboros 13B	13	4_0	TopK	80	59	67,1	20	66,6	47,7
56		WizardLM 13B	13	5_1	TopK	115	56	63,7	21	66,5	34,5
57		Tulu 13B	13	4_K_S	TopK	80	52	59,2	22	65,9	46,7
58		Manticore 13B	13	4_0	TopK	80	57	64,9	20	65,5	46,1
59		Tulu N-Shots 13B	13	4_K_M	Mirostat	85	57	64,9	20	65,5	43,8
60		Airoboros GPT4 1.2 13B	13	4_K_M	Mirostat	85	60	68,3	19	65,5	43,8
61		WizardLM 13B	13	4_1	TopK	110	57	64,9	20	65,5	34,9
62		Tulu 30B	33	4_K_M	TopK	200	54	61,4	21	65,4	18,4
63		Tulu N-Shots 13B	13	4_K_M	TopK	85	56	63,7	20	64,9	43
64		Wizard Mega 13B	13	5_1	Mirostat	115	59	67,1	19	64,9	32,9
65		Camel Combined LongPrompt 33B	33	4_K_M	Mirostat	200	58	66	19	64,4	17,8
66		Manticore 13B	13	4_0	Mirostat	80	55	62,6	20	64,3	44,5
67		Minotaur 13B	13	4_K_M	Mirostat	85	60	68,3	18	63,9	41,7
68		Airoboros GPT4 1.2 13B	13	5_K_M	Mirostat	110	60	68,3	18	63,9	33,2
69		Manticore Chat 13B	13	4_K_M	Mirostat	85	54	61,4	20	63,7	41,4
70		Tulu 30B	33	4_K_M	Mirostat	200	54	61,4	20	63,7	17,4
71		Airoboros 13B	13	4_1	TopK	85	59	67,1	18	63,3	40,9
72		Manticore Chat 13B	13	4_K_M	TopK	85	56	63,7	19	63,2	40,8
73		Manticore Chat 13B	13	5_0	Mirostat	105	53	60,3	20	63,2	33,8
74		Nous Hermes 13B	13	5_K_M	Mirostat	110	58	66	18	62,7	32
75		Minotaur 13B	13	4_K_M	TopK	85	56	63,7	18	61,6	38,7
76		Hippogriff 33B	33	4_0	Mirostat	190	50	56,9	20	61,5	17
77		Minotaur 13B	13	4_K_S	TopK	80	58	66	17	61,1	40,1
78		Manticore Chat 13B	13	4_K_S	TopK	80	55	62,6	18	61	40
79		Manticore Chat 13B	13	4_K_S	Mirostat	80	55	62,6	18	61	40
80		WizardLM 7B	7	5_0	Mirostat	55	53	60,3	18	59,9	57,9
81		Manticore Chat 13B	13	4_1	Mirostat	85	56	63,7	17	59,9	36,6
82		Tulu 13B	13	4_K_S	Mirostat	80	47	53,5	20	59,8	38,5
83		WizardLM 13B	13	4_0	TopK	80	55	62,6	17	59,4	37,9
84		Minotaur 13B	13	4_K_S	Mirostat	80	55	62,6	17	59,4	37,9
85		WizardLM 7B Uncensored	7	5_0	TopK	60	51	58	18	58,7	51,4
86		WizardLM 7B Uncensored	7	5_0	Mirostat	60	50	56,9	18	58,2	50,6
87		Manticore Chat 13B	13	5_0	TopK	105	50	56,9	18	58,2	28,7
88		Manticore 13B	13	5_0	Mirostat	110	53	60,3	17	58,2	27,5
89		Airoboros 13B	13	5_1	Mirostat	115	53	60,3	17	58,2	26,5
90		Manticore Chat 13B	13	5_1	TopK	115	49	55,8	18	57,6	25,9
91		Manticore 13B	13	5_0	TopK	110	53	60,3	16	56,6	26
92	2.3	Open LLaMA Open Instruct LongPrompt 13B	13	4_K_M	Mirostat	90	50	56,9	17	56,5	31
93		Airoboros 7B	7	4_0	TopK	45	46	52,3	18	55,9	60,1
94		WizardLM 7B	7	5_0	TopK	55	50	56,9	16	54,9	48,6
95		WizardLM 7B	7	4_0	TopK	45	52	59,2	15	54,4	56,9
96		Airoboros 13B	13	5_1	TopK	115	49	55,8	16	54,3	23
97		Tulu 13B	13	4_0	TopK	80	43	48,9	18	54,2	31,6
98		Airoboros GPT4 1.2 7B	7	4_K_M	Mirostat	45	50	56,9	15	53,2	54,4
99		WizardLM 13B	13	5_0	TopK	110	50	56,9	15	53,2	23
100		Tulu 13B	13	4_0	Mirostat	80	44	50,1	17	53,1	30,3