A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | AB | AC | AD | AE | AF | AG | AH | ||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Provider | System | Overall | Access | Total price/hr excl data uploaded/downloaded | Total base GPU price/hr | Storage price/hr for 300GB | CPU pricing | RAM pricing | Upload pricing | Download pricing | Availability? | Signup issues? | Confusing or difficult website? | Total GPU ram | System ram | Other details | User notes | URL | ||||||||||||||||
2 | Vastai | 2x A6000 (Not A6000 Ada, and Not RTX 6000 - same applies to all below) | Sometimes good, sometimes bad | Instant | $1.35 | $1.16 | $0.19 | Included | Included | $0.03 per GB | $0.01 per GB | Yes | No | Slightly | 96 GB | 129 GB | 815 GB SSD | "In Vast AI, I’ve had good experiences but also bad. Sometimes, really cheap providers in remote areas like St Petersburg, Russia or Sweden turn out to be not reliable at all. The training is extremely slow even though it’s supposedly a 3090, so I’d say vast ai is a use at your own risk" "hard to get availability in US zones, easier at nighttime with some hosts in Sweden" "One thing to note about vastai , is that their spot instances can be flaky and hard to reserve" | https://cloud.vast.ai/ | ||||||||||||||||
3 | FluidStack | 2x A6000 | Best | Instant | $1.60 | $1.60 | Included | Included | Included | Included | Included | Yes | No | No | 96 GB | 110 GB | 12 vCPUs, 1TB SSD | https://console2.fluidstack.io/deploy | |||||||||||||||||
4 | Lambda | 2x A6000 | Best | Instant | $1.60 | $1.60 | Included | Included | Included | Included | Included | Yes | No | No | 96 GB | 200 GB | 1TB SSD | https://cloud.lambdalabs.com/instances | |||||||||||||||||
5 | Runpod | 2x A40 or 2x A6000 | Best | Instant | $1.62 | $1.58 | $0.04 | Included | Included | Included | Included | Yes | No | No | 96 GB | 377 GB | https://www.runpod.io/console/gpu-secure-cloud | ||||||||||||||||||
6 | Crusoe | 2x A100 80GB PCIe | Not recommended | Waitlist | $1.84 | $1.84 | Included | Included | Included | Included, I think | Included, I think | No instant signup | Yes, no instant signup | 96 GB | 240 GB | 2TB SSD | https://crusoecloud.com/pricing/ | ||||||||||||||||||
7 | Oracle | 4x A10 | Not recommended | My account failed verification | $2.44 | $2.00 | $0.01 | $0.43 | Included | Included to 10TB | Included to 10TB | Yes | Yes | - | 96 GB | 1024 GB | 7.68 TB SSD | "Probably easier if you are from an enterprise" | https://www.oracle.com/cloud/compute/pricing/ and https://docs.oracle.com/en-us/iaas/Content/Compute/References/computeshapes.htm | ||||||||||||||||
8 | Oblivus | 2x A40 or 2xA6000 | Good but higher pricing | Instant | $3.03 | $2.80 | $0.03 | $0.13 | $0.07 | Included | Included | Yes | No | No | 96 GB | 110 GB | 12 vCPUs. Rate is approx 8% lower if you pay with bank transfer and use a business account, instead of credit card | https://console.oblivus.com/dashboard/oblivuscloud/deploy/ | |||||||||||||||||
9 | CoreWeave | 2x A40 or 2x A6000 | Not recommended | Manual approval | $3.50 | $2.56 | $0.03 | $0.16 | $0.75 | Included | Included | Yes | Yes, took a while to get verified | Kinda | 96 GB | 150 GB | 16 vCPU, 300 GB SSD | https://www.coreweave.com/gpu-cloud-pricing and https://cloud.coreweave.com/virtualservers | |||||||||||||||||
10 | AWS | 4x A10 | Not recommended | Instant | $5.70 | $5.67 | $0.03 | Included | Included | Included | 100 GB included | Yes | No | Yes | 96 GB | 192 GB | https://instances.vantage.sh/aws/ec2/g5.12xlarge and https://aws.amazon.com/ebs/pricing/ | ||||||||||||||||||
11 | Azure | 2x A100 80GB (NC48ads) | Not recommended | Instant | $7.35 | $7.35 | $0.01 | Included | Included | Included | Included | Yes | No | Yes | 160 GB | 440 GB | Yes, it's a better setup than 2xA6000s, but if you want 2x A100s, the other providers are cheaper anyway. | "Requires filing a support ticket for some number of VCPUs" | https://instances.vantage.sh/azure/vm/nc48ads-v4 and https://azure.microsoft.com/en-us/pricing/details/storage/blobs/ | ||||||||||||||||
12 | Google Cloud | 2x A100 80GB (a2-ultragpu-2g) | Not recommended | Instant | $10.09 | $7.85 | $0.04 | $2.20 | Included | Included | $0.11 per GB | Yes | No | Yes | 160 GB | 340 GB | Yes, it's a better setup than 2xA6000s, but if you want 2x A100s, the other providers are cheaper anyway. | https://console.cloud.google.com/compute/instancesAdd | |||||||||||||||||
13 | |||||||||||||||||||||||||||||||||||
14 | https://llm-utils.org/Nvidia+H100+and+A100+GPUs+-+comparing+available+capacity+at+GPU+cloud+providers | ||||||||||||||||||||||||||||||||||
15 | |||||||||||||||||||||||||||||||||||
16 | Thanks to Ravi, Nitish, Jakob, Doruk, Sashank and César for comments. | ||||||||||||||||||||||||||||||||||
17 | |||||||||||||||||||||||||||||||||||
18 | |||||||||||||||||||||||||||||||||||
19 | |||||||||||||||||||||||||||||||||||
20 | |||||||||||||||||||||||||||||||||||
21 | |||||||||||||||||||||||||||||||||||
22 | |||||||||||||||||||||||||||||||||||
23 | |||||||||||||||||||||||||||||||||||
24 | |||||||||||||||||||||||||||||||||||
25 | |||||||||||||||||||||||||||||||||||
26 | |||||||||||||||||||||||||||||||||||
27 | |||||||||||||||||||||||||||||||||||
28 | |||||||||||||||||||||||||||||||||||
29 | |||||||||||||||||||||||||||||||||||
30 | |||||||||||||||||||||||||||||||||||
31 | |||||||||||||||||||||||||||||||||||
32 | |||||||||||||||||||||||||||||||||||
33 | |||||||||||||||||||||||||||||||||||
34 | |||||||||||||||||||||||||||||||||||
35 | |||||||||||||||||||||||||||||||||||
36 | |||||||||||||||||||||||||||||||||||
37 | |||||||||||||||||||||||||||||||||||
38 | |||||||||||||||||||||||||||||||||||
39 | |||||||||||||||||||||||||||||||||||
40 | |||||||||||||||||||||||||||||||||||
41 | |||||||||||||||||||||||||||||||||||
42 | |||||||||||||||||||||||||||||||||||
43 | |||||||||||||||||||||||||||||||||||
44 | |||||||||||||||||||||||||||||||||||
45 | |||||||||||||||||||||||||||||||||||
46 | |||||||||||||||||||||||||||||||||||
47 | |||||||||||||||||||||||||||||||||||
48 | |||||||||||||||||||||||||||||||||||
49 | |||||||||||||||||||||||||||||||||||
50 | |||||||||||||||||||||||||||||||||||
51 | |||||||||||||||||||||||||||||||||||
52 | |||||||||||||||||||||||||||||||||||
53 | |||||||||||||||||||||||||||||||||||
54 | |||||||||||||||||||||||||||||||||||
55 | |||||||||||||||||||||||||||||||||||
56 | |||||||||||||||||||||||||||||||||||
57 | |||||||||||||||||||||||||||||||||||
58 | |||||||||||||||||||||||||||||||||||
59 | |||||||||||||||||||||||||||||||||||
60 | |||||||||||||||||||||||||||||||||||
61 | |||||||||||||||||||||||||||||||||||
62 | |||||||||||||||||||||||||||||||||||
63 | |||||||||||||||||||||||||||||||||||
64 | |||||||||||||||||||||||||||||||||||
65 | |||||||||||||||||||||||||||||||||||
66 | |||||||||||||||||||||||||||||||||||
67 | |||||||||||||||||||||||||||||||||||
68 | |||||||||||||||||||||||||||||||||||
69 | |||||||||||||||||||||||||||||||||||
70 | |||||||||||||||||||||||||||||||||||
71 | |||||||||||||||||||||||||||||||||||
72 | |||||||||||||||||||||||||||||||||||
73 | |||||||||||||||||||||||||||||||||||
74 | |||||||||||||||||||||||||||||||||||
75 | |||||||||||||||||||||||||||||||||||
76 | |||||||||||||||||||||||||||||||||||
77 | |||||||||||||||||||||||||||||||||||
78 | |||||||||||||||||||||||||||||||||||
79 | |||||||||||||||||||||||||||||||||||
80 | |||||||||||||||||||||||||||||||||||
81 | |||||||||||||||||||||||||||||||||||
82 | |||||||||||||||||||||||||||||||||||
83 | |||||||||||||||||||||||||||||||||||
84 | |||||||||||||||||||||||||||||||||||
85 | |||||||||||||||||||||||||||||||||||
86 | |||||||||||||||||||||||||||||||||||
87 | |||||||||||||||||||||||||||||||||||
88 | |||||||||||||||||||||||||||||||||||
89 | |||||||||||||||||||||||||||||||||||
90 | |||||||||||||||||||||||||||||||||||
91 | |||||||||||||||||||||||||||||||||||
92 | |||||||||||||||||||||||||||||||||||
93 | |||||||||||||||||||||||||||||||||||
94 | |||||||||||||||||||||||||||||||||||
95 | |||||||||||||||||||||||||||||||||||
96 | |||||||||||||||||||||||||||||||||||
97 | |||||||||||||||||||||||||||||||||||
98 | |||||||||||||||||||||||||||||||||||
99 | |||||||||||||||||||||||||||||||||||
100 |