| A | B | C | D | E | F | G | H | I | |
|---|---|---|---|---|---|---|---|---|---|
1 | Model Id | Instance | TP | quantization | Virtual Users | Thorughput (tokens/second) | Latency (ms/token) min | Latency (ms/token) med | Latency (ms/token) p(95) |
42 | TheBloke/Llama-2-70B-GPTQ | ml.g5.12xlarge | 4 | gptq | 20 | 56.27288349 | 176.730343 | 341.661761 | 881.0674794 |
48 | TheBloke/Llama-2-70B-GPTQ | ml.g5.12xlarge | 4 | gptq | 10 | 40.26595298 | 149.492427 | 223.4119885 | 736.5148545 |
49 | TheBloke/Llama-2-70B-GPTQ | ml.g5.12xlarge | 4 | gptq | 5 | 33.33372399 | 79.705894 | 138.347928 | 314.0749226 |
50 | TheBloke/Llama-2-70B-GPTQ | ml.g5.12xlarge | 4 | gptq | 1 | 14.74898756 | 53.61672 | 57.2349955 | 376.2710645 |
52 | TheBloke/Llama-2-70B-GPTQ | ml.g5.48xlarge | 8 | gptq | 20 | 40.23324692 | 158.95156 | 458.318432 | 3190.25891 |
53 | TheBloke/Llama-2-70B-GPTQ | ml.g5.48xlarge | 8 | gptq | 10 | 39.61647879 | 95.791928 | 234.54207 | 824.8732 |
59 | TheBloke/Llama-2-70B-GPTQ | ml.g5.48xlarge | 8 | gptq | 5 | 30.51629575 | 97.981905 | 151.516079 | 493.6963765 |
60 | TheBloke/Llama-2-70B-GPTQ | ml.g5.48xlarge | 8 | gptq | 1 | 13.48442836 | 53.654342 | 56.1448115 | 179.2283558 |
62 | |||||||||
63 | |||||||||
64 | |||||||||
65 | |||||||||
66 | |||||||||
67 | |||||||||
68 | |||||||||
69 | |||||||||
70 | |||||||||
71 | |||||||||
72 | |||||||||
73 | |||||||||
74 | |||||||||
75 | |||||||||
76 | |||||||||
77 | |||||||||
78 | |||||||||
79 | |||||||||
80 | |||||||||
81 | |||||||||
82 | |||||||||
83 | |||||||||
84 | |||||||||
85 | |||||||||
86 | |||||||||
87 | |||||||||
88 | |||||||||
89 | |||||||||
90 | |||||||||
91 | |||||||||
92 | |||||||||
93 | |||||||||
94 | |||||||||
95 | |||||||||
96 | |||||||||
97 | |||||||||
98 | |||||||||
99 | |||||||||
100 | |||||||||
101 | |||||||||
102 | |||||||||
103 | |||||||||
104 | |||||||||
105 | |||||||||
106 | |||||||||
107 | |||||||||
108 | |||||||||
109 | |||||||||
110 | |||||||||
111 | |||||||||
112 | |||||||||
113 | |||||||||
114 | |||||||||
115 | |||||||||
116 | |||||||||
117 | |||||||||
118 | |||||||||
119 | |||||||||
120 | |||||||||
121 | |||||||||
122 | |||||||||
123 | |||||||||
124 | |||||||||
125 | |||||||||
126 | |||||||||
127 | |||||||||
128 | |||||||||
129 | |||||||||
130 | |||||||||
131 | |||||||||
132 | |||||||||
133 | |||||||||
134 | |||||||||
135 | |||||||||
136 | |||||||||
137 | |||||||||
138 | |||||||||
139 | |||||||||
140 | |||||||||
141 | |||||||||
142 | |||||||||
143 | |||||||||
144 | |||||||||
145 | |||||||||
146 | |||||||||
147 | |||||||||
148 | |||||||||
149 | |||||||||
150 | |||||||||
151 | |||||||||
152 |