| A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | AB | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Model | Size (b) | GPU | GPUs | VRAM GB | In GPU % | token/s | Estimated Cost | Bang for buck | Specs | GPU Type | OS | Ollama | Platform | Comment | |||||||||||||
2 | llama3.1 | 8 | A100 PCIe | 1 | 80 | 100 | 120,3 | 22.000€ | 5,47 | 117+14 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | Prices for Germany (September 2024) | |||||||||||||
3 | llama3.1 | 70 | A100 PCIe | 1 | 80 | 100 | 27,3 | 22.000€ | 1,24 | 117+14 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
4 | llama3.1 | 405 | A100 PCIe | 2 | 160 | 70 | 0,0 | 44.000€ | 0,00 | 234+62 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
5 | mistral-large | 123 | A100 PCIe | 2 | 160 | 100 | 17,7 | 44.000€ | 0,40 | 234+62 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
6 | llama3.1 | 8 | A100 PCIe | 2 | 160 | 100 | 135,0 | 44.000€ | 3,07 | 234+62 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
7 | llama3.1 | 70 | A100 PCIe | 2 | 160 | 100 | 27,4 | 44.000€ | 0,62 | 234+62 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
8 | llama3.1 | 8 | A40 | 1 | 48 | 100 | 88,3 | 5.700€ | 15,49 | 50+9 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | GPU | New | Used | |||||||||||
9 | llama3.1 | 70 | A40 | 1 | 48 | 100 | 13,3 | 5.700€ | 2,33 | 50+9 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | RTX A5000 | 2.300€ | 1.700€ | |||||||||||
10 | llama3.1 | 8 | Apple Silicon | 1 | 16 | 100 | 11,1 | 800€ | 13,88 | M1 16GB | Consumer | macOS 15.0 | 0.3.10 | Physical | ||||||||||||||
11 | mistral | 12 | Apple Silicon | 1 | 16 | 100 | 7,3 | 800€ | 9,13 | M1 16GB | Consumer | macOS 15.0 | 0.3.10 | Physical | RTX A6000 | 4.900€ | 4.200€ | |||||||||||
12 | llama3.1 | 70 | Apple Silicon | 1 | 64 | 100 | 7,9 | 2.400€ | 3,29 | M1 Max 64GB | Consumer | macOS ??.? | 0.3.9 | Physical | RTX 4090 | 1.800€ | 1.500€ | |||||||||||
13 | llama3.1 | 8 | Apple Silicon | 1 | 32 | 100 | 34,6 | 2.000€ | 17,30 | M2 Pro 32GB | Consumer | macOS 14.4.1 | 0.3.9 | Physical | A100 (40GB) | 14.000€ | 5.000€ | |||||||||||
14 | mistral-nemo | 12 | Apple Silicon | 1 | 32 | 100 | 23,2 | 2.000€ | 11,60 | M2 Pro 32GB | Consumer | macOS 14.4.1 | 0.3.9 | Physical | A100 (80GB) | 22.000€ | 17.500€ | |||||||||||
15 | llama3.1 | 405 | H100 PCIe | 1 | 80 | 36 | 0,1 | 40.000€ | 0,00 | 176+16 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | H100 (80GB) | 40.000€ | 30.000€ | |||||||||||
16 | mistral-large | 123 | H100 PCIe | 1 | 80 | 100 | 20,0 | 40.000€ | 0,50 | 176+16 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | A40 | 5.700€ | 4.000€ | |||||||||||
17 | llama3.1 | 8 | H100 PCIe | 1 | 80 | 100 | 150,0 | 40.000€ | 3,75 | 176+16 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | RTX 3090 | 1.500€ | 800€ | |||||||||||
18 | llama3.1 | 70 | H100 PCIe | 1 | 80 | 100 | 32,0 | 40.000€ | 0,80 | 176+16 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | L40 | 8.700€ | 5.800€ | |||||||||||
19 | mistral-large | 123 | H100 PCIe | 2 | 160 | 100 | 20,0 | 80.000€ | 0,25 | 500+32 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | L40S | 9.000€ | 8.500€ | |||||||||||
20 | llama3.1 | 8 | H100 PCIe | 2 | 160 | 100 | 150,0 | 80.000€ | 1,88 | 500+32 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | RTX 2000 Ada | 700€ | 790€ | |||||||||||
21 | llama3.1 | 70 | H100 PCIe | 2 | 160 | 100 | 32,0 | 80.000€ | 0,40 | 500+32 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | RTX 4000 Ada | 1.400€ | 1.500€ | |||||||||||
22 | llama3.1 | 8 | L40 | 1 | 48 | 100 | 99,0 | 8.700€ | 11,38 | 250+16 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | RTX 6000 Ada | 7.700€ | 8.000€ | |||||||||||
23 | llama3.1 | 70 | L40 | 1 | 48 | 100 | 16,4 | 8.700€ | 1,89 | 250+16 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | RTX 4070 Ti | 800€ | 700€ | |||||||||||
24 | mistral-nemo | 12 | L40 | 1 | 48 | 100 | 72,8 | 8.700€ | 8,37 | 250+17 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | M1 16GB | 800€ | ||||||||||||
25 | command-r (08-2024) | 35 | L40S | 1 | 48 | 100 | 32,6 | 9.000€ | 3,62 | 62+16 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | M1 Max 64GB | 2.400€ | ||||||||||||
26 | llama3.1 | 8 | L40S | 1 | 48 | 100 | 100,0 | 9.000€ | 11,11 | 62+16 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | M2 Pro 32GB | 2.000€ | ||||||||||||
27 | mistral-nemo | 12 | L40S | 1 | 48 | 100 | 72,5 | 9.000€ | 8,06 | 62+16 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | RTX 3070 Ti | 350€ | ||||||||||||
28 | llama3.1 | 70 | L40S | 1 | 48 | 100 | 16,6 | 9.000€ | 1,84 | 62+16 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
29 | mistral-nemo | 12 | RTX 2000 Ada | 1 | 16 | 100 | 28,7 | 700€ | 41,00 | 31+6 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
30 | llama3.1 | 8 | RTX 2000 Ada | 1 | 16 | 100 | 42,5 | 700€ | 60,71 | 31+6 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
31 | llama3.1 | 8 | RTX 3070 Ti | 1 | 8 | 100 | 82,2 | 350€ | 234,86 | i7 16GB RAM | Consumer | Windows 11 | 0.3.10 | Physical | ||||||||||||||
32 | mistral-nemo | 12 | RTX 3070 Ti | 1 | 8 | 76 | 4,5 | 350€ | 12,86 | i7 16GB RAM | Consumer | Windows 11 | 0.3.10 | Physical | ||||||||||||||
33 | llama3.1 | 8 | RTX 3090 | 1 | 24 | 100 | 108,0 | 1.500€ | 72,00 | 125+32 | Consumer | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
34 | mistral-nemo | 12 | RTX 3090 | 1 | 24 | 100 | 79,0 | 1.500€ | 52,67 | 125+32 | Consumer | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
35 | mistral-nemo | 12 | RTX 4000 Ada | 1 | 20 | 100 | 40,3 | 1.400€ | 28,79 | 39+9 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
36 | llama3.1 | 8 | RTX 4000 Ada | 1 | 20 | 100 | 58,5 | 1.400€ | 41,79 | 39+9 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | Modell | File size | VRAM size | |||||||||||
37 | llama3.1 | 70 | RTX 4070 Ti | 2 | 24 | 54 | 1,2 | 1.600€ | 0,75 | 62+32 | Consumer | Ubuntu 22.04 | 0.3.9 | runpod.io | llama3.1:8b | 4.7 | 6.7 | |||||||||||
38 | mistral-nemo | 12 | RTX 4070 Ti | 2 | 24 | 100 | 55,0 | 1.600€ | 34,38 | 62+32 | Consumer | Ubuntu 22.04 | 0.3.9 | runpod.io | llama3.1:70b | 39 | 44 - 46 | |||||||||||
39 | llama3.1 | 8 | RTX 4070 Ti | 2 | 24 | 100 | 77,0 | 1.600€ | 48,13 | 62+32 | Consumer | Ubuntu 22.04 | 0.3.9 | runpod.io | llama3.1:405b | 228 | 237 - 260 | |||||||||||
40 | command-r (08-2024) | 35 | RTX 4070 Ti | 2 | 24 | 93 | 11,5 | 1.600€ | 7,19 | 62+32 | Consumer | Ubuntu 22.04 | 0.3.9 | runpod.io | mistral-large:123b | 69 | 74 - 90 | |||||||||||
41 | llama3.1 | 8 | RTX 4090 | 2 | 48 | 100 | 115,0 | 3.600€ | 31,94 | 124+32 | Consumer | Ubuntu 22.04 | 0.3.9 | runpod.io | mistral-nemo:12b | 7.1 | 7.8 - 9.3 | |||||||||||
42 | mistral-large | 123 | RTX 4090 | 2 | 48 | 67 | 1,1 | 3.600€ | 0,31 | 124+34 | Consumer | Ubuntu 22.04 | 0.3.9 | runpod.io | command-r (08-2024) | 18 | 22 | |||||||||||
43 | llama3.1 | 70 | RTX 4090 | 2 | 48 | 100 | 20,3 | 3.600€ | 5,64 | 124+33 | Consumer | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
44 | llama3.1 | 70 | RTX 4090 | 4 | 96 | 100 | 20,0 | 7.200€ | 2,78 | 248+64 | Consumer | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
45 | command-r-plus | 104 | RTX 4090 | 4 | 96 | 100 | 14,0 | 7.200€ | 1,94 | 248+64 | Consumer | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
46 | llama3.1 | 8 | RTX 4090 | 4 | 96 | 100 | 115,4 | 7.200€ | 16,03 | 248+64 | Consumer | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
47 | mistral-large | 123 | RTX 4090 | 4 | 96 | 100 | 12,4 | 7.200€ | 1,72 | 248+64 | Consumer | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
48 | llama3.1 | 70 | RTX 6000 Ada | 1 | 48 | 100 | 20,2 | 7.700€ | 2,62 | 62+14 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
49 | llama3.1 | 8 | RTX 6000 Ada | 1 | 48 | 100 | 130,0 | 7.700€ | 16,88 | 62+14 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
50 | mistral-nemo | 12 | RTX 6000 Ada | 1 | 48 | 100 | 93,0 | 7.700€ | 12,08 | 62+14 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
51 | llama3.1 | 70 | RTX A5000 | 1 | 24 | 60 | 0,4 | 2.300€ | 0,17 | 25+8 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
52 | llama3.1 | 8 | RTX A5000 | 1 | 24 | 100 | 93,0 | 2.300€ | 40,43 | 25+8 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
53 | llama3.1 | 70 | RTX A5000 | 2 | 48 | 100 | 15,4 | 4.600€ | 3,35 | 100+18 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
54 | llama3.1 | 8 | RTX A5000 | 2 | 48 | 100 | 94,0 | 4.600€ | 20,43 | 100+18 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
55 | llama3.1 | 70 | RTX A5000 | 4 | 96 | 100 | 15,8 | 9.200€ | 1,72 | 200+36 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
56 | llama3.1 | 8 | RTX A5000 | 4 | 96 | 100 | 95,0 | 9.200€ | 10,33 | 200+36 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
57 | mistral-large | 123 | RTX A5000 | 4 | 96 | 100 | 9,6 | 9.200€ | 1,04 | 200+36 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
58 | llama3.1 | 70 | RTX A6000 | 6 | 288 | 100 | 15,8 | 29.400€ | 0,54 | 300+54 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
59 | llama3.1 | 8 | RTX A6000 | 6 | 288 | 100 | 106,0 | 29.400€ | 3,61 | 300+54 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
60 | llama3.1 | 405 | RTX A6000 | 6 | 288 | 100 | 3,0 | 29.400€ | 0,10 | 300+54 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
61 | mistral-large | 123 | RTX A6000 | 6 | 288 | 100 | 9,6 | 29.400€ | 0,33 | 300+54 | Professional | Ubuntu 22.04 | 0.3.9 | runpod.io | ||||||||||||||
62 | ||||||||||||||||||||||||||||
63 | ||||||||||||||||||||||||||||
64 | ||||||||||||||||||||||||||||
65 | ||||||||||||||||||||||||||||
66 | ||||||||||||||||||||||||||||
67 | ||||||||||||||||||||||||||||
68 | ||||||||||||||||||||||||||||
69 | ||||||||||||||||||||||||||||
70 | ||||||||||||||||||||||||||||
71 | ||||||||||||||||||||||||||||
72 | ||||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||||
100 | ||||||||||||||||||||||||||||