| A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | compared to GPT-4o | Claude 3.5 Sonnet | compared to Gemini 1.5 Pro | compared to Mistral-Large | |||||||||||||||||||||||
2 | Provider | Model | input price per 1M Token | output price per 1M Token | input token | output token | input token | output token | input token | output token | input token | output token | |||||||||||||||
3 | (Azure) OpenAI | GPT-4o | $2.50 | $10.00 | 0.00% | 0.00% | -16.67% | -33.33% | -28.57% | -4.76% | -37.50% | -16.67% | |||||||||||||||
4 | GPT-4o-mini | $0.15 | $0.60 | -94.00% | -94.00% | -99.00% | -99.20% | -40.00% | -52.00% | -70.00% | -60.00% | ||||||||||||||||
5 | GPT-4 (8K) | $30.00 | $60.00 | 1100.00% | 500.00% | 900.00% | 300.00% | 757.14% | 471.43% | 650.00% | 400.00% | ||||||||||||||||
6 | GPT-4 Turbo | $10.00 | $30.00 | 300.00% | 200.00% | 233.33% | 100.00% | 185.71% | 185.71% | 150.00% | 150.00% | ||||||||||||||||
7 | (Amazon Bedrock) Anthropic | Claude 3 (Opus) | $15.00 | $75.00 | 500.00% | 650.00% | 400.00% | 400.00% | 328.57% | 614.29% | 275.00% | 525.00% | |||||||||||||||
8 | Claude 3.5 (Sonnet) | $3.00 | $15.00 | 20.00% | 50.00% | 0.00% | 0.00% | -14.29% | 42.86% | -25.00% | 25.00% | ||||||||||||||||
9 | Claude 3 (Haiku) | $0.25 | $1.25 | -90.00% | -87.50% | -91.67% | -91.67% | -92.86% | -88.10% | -93.75% | -89.58% | ||||||||||||||||
10 | Google Vertex AI | Gemini 1.5 Pro | $3.50 | $10.50 | 40.00% | 5.00% | 16.67% | -30.00% | 0.00% | 0.00% | -12.50% | -12.50% | |||||||||||||||
11 | Gemini 1.5 Flash | $0.075 | $0.35 | -97.00% | -96.50% | -97.50% | -97.67% | -97.86% | -96.67% | -98.13% | -97.08% | ||||||||||||||||
12 | (Amazon Bedrock) Cohere | Command R+ | $3.00 | $15.00 | 20.00% | 50.00% | 0.00% | 0.00% | -14.29% | 42.86% | -25.00% | 25.00% | |||||||||||||||
13 | Command R | $0.50 | $1.50 | -80.00% | -85.00% | -83.33% | -90.00% | -85.71% | -85.71% | -87.50% | -87.50% | ||||||||||||||||
14 | Mistral | mistral-large-2402 | $4.00 | $12.00 | 60.00% | 20.00% | 33.33% | -20.00% | 14.29% | 14.29% | 0.00% | 0.00% | |||||||||||||||
15 | codestral-2405 | $1.00 | $3.00 | -60.00% | -70.00% | -66.67% | -80.00% | -71.43% | -71.43% | -75.00% | -75.00% | ||||||||||||||||
16 | open-mixtral-8x22b | $2.00 | $6.00 | -20.00% | -40.00% | -33.33% | -60.00% | -42.86% | -42.86% | -50.00% | -50.00% | ||||||||||||||||
17 | open-mixtral-8x7b | $0.70 | $0.70 | -72.00% | -93.00% | -76.67% | -95.33% | -80.00% | -93.33% | -82.50% | -94.17% | ||||||||||||||||
18 | Deepspeek | deepseek-chat | $0.14 | $0.28 | -94.40% | -97.20% | -95.33% | -98.13% | -96.00% | -97.33% | -96.50% | -97.67% | |||||||||||||||
19 | deepseek-coder | $0.14 | $0.28 | -94.40% | -97.20% | -95.33% | -98.13% | -96.00% | -97.33% | -96.50% | -97.67% | ||||||||||||||||
20 | Together.AI | Mistral-small (8x7B) | $0.60 | $0.60 | -76.00% | -94.00% | -80.00% | -96.00% | -82.86% | -94.29% | -85.00% | -95.00% | |||||||||||||||
21 | Llama 3 70b | $0.90 | $0.90 | -64.00% | -91.00% | -70.00% | -94.00% | -74.29% | -91.43% | -77.50% | -92.50% | ||||||||||||||||
22 | Meta Llama 3.1 405B Turbo | $5.00 | $5.00 | 100.00% | -50.00% | 66.67% | -66.67% | 42.86% | -52.38% | 25.00% | -58.33% | ||||||||||||||||
23 | Cerebras | Llama 3 70b | $0.60 | $0.60 | -76.00% | -94.00% | -80.00% | -96.00% | -82.86% | -94.29% | -85.00% | -95.00% | |||||||||||||||
24 | Perplexity API | Llama 3 70b | $1.00 | $1.00 | -60.00% | -90.00% | -66.67% | -93.33% | -71.43% | -90.48% | -75.00% | -91.67% | |||||||||||||||
25 | Mixtral 8x7B | $0.60 | $0.60 | -76.00% | -94.00% | -80.00% | -96.00% | -82.86% | -94.29% | -85.00% | -95.00% | ||||||||||||||||
26 | Replicate | Llama 3 70b | $0.65 | $2.75 | -74.00% | -72.50% | -78.33% | -81.67% | -81.43% | -73.81% | -83.75% | -77.08% | |||||||||||||||
27 | Mixtral 8x7B | $0.30 | $1.00 | -88.00% | -90.00% | -90.00% | -93.33% | -91.43% | -90.48% | -92.50% | -91.67% | ||||||||||||||||
28 | meta-llama-3.1-405b-instruct | $9.50 | $9.50 | 280.00% | -5.00% | 216.67% | -36.67% | 171.43% | -9.52% | 137.50% | -20.83% | ||||||||||||||||
29 | IBM WatsonX | Llama 3 70b | $1.80 | $1.80 | -28.00% | -82.00% | -40.00% | -88.00% | -48.57% | -82.86% | -55.00% | -85.00% | |||||||||||||||
30 | Llama 3.1 405B | $5.00 | $35.00 | 100.00% | 250.00% | 66.67% | 133.33% | 42.86% | 233.33% | 25.00% | 191.67% | ||||||||||||||||
31 | Mistral Large | $10.00 | $10.00 | 300.00% | 0.00% | 233.33% | -33.33% | 185.71% | -4.76% | 150.00% | -16.67% | ||||||||||||||||
32 | Groq | Llama 3 70b | $0.59 | $0.79 | -76.40% | -92.10% | -80.33% | -94.73% | -83.14% | -92.48% | -85.25% | -93.42% | |||||||||||||||
33 | Mixtral 8x7B | $0.24 | $0.24 | -90.40% | -97.60% | -92.00% | -98.40% | -93.14% | -97.71% | -94.00% | -98.00% | ||||||||||||||||
34 | Fireworks | Llama 3 70b | $0.90 | $0.90 | -64.00% | -91.00% | -70.00% | -94.00% | -74.29% | -91.43% | -77.50% | -92.50% | |||||||||||||||
35 | Mixtral 8x7B | $0.50 | $0.50 | -80.00% | -95.00% | -83.33% | -96.67% | -85.71% | -95.24% | -87.50% | -95.83% | ||||||||||||||||
36 | Meta Llama 3.1 405B | $3.00 | $3.00 | 20.00% | -70.00% | 0.00% | -80.00% | -14.29% | -71.43% | -25.00% | -75.00% | ||||||||||||||||
37 | Yi-Large | $3.00 | $3.00 | 20.00% | -70.00% | 0.00% | -80.00% | -14.29% | -71.43% | -25.00% | -75.00% | ||||||||||||||||
38 | 01.ai | Yi-Large | $3.00 | $3.00 | 20.00% | -70.00% | 0.00% | -80.00% | -14.29% | -71.43% | -25.00% | -75.00% | |||||||||||||||
39 | |||||||||||||||||||||||||||
40 | |||||||||||||||||||||||||||
41 | |||||||||||||||||||||||||||
42 | |||||||||||||||||||||||||||
43 | |||||||||||||||||||||||||||
44 | |||||||||||||||||||||||||||
45 | |||||||||||||||||||||||||||
46 | |||||||||||||||||||||||||||
47 | |||||||||||||||||||||||||||
48 | |||||||||||||||||||||||||||
49 | |||||||||||||||||||||||||||
50 | |||||||||||||||||||||||||||
51 | |||||||||||||||||||||||||||
52 | |||||||||||||||||||||||||||
53 | |||||||||||||||||||||||||||
54 | |||||||||||||||||||||||||||
55 | |||||||||||||||||||||||||||
56 | |||||||||||||||||||||||||||
57 | |||||||||||||||||||||||||||
58 | |||||||||||||||||||||||||||
59 | |||||||||||||||||||||||||||
60 | |||||||||||||||||||||||||||
61 | |||||||||||||||||||||||||||
62 | |||||||||||||||||||||||||||
63 | |||||||||||||||||||||||||||
64 | |||||||||||||||||||||||||||
65 | |||||||||||||||||||||||||||
66 | |||||||||||||||||||||||||||
67 | |||||||||||||||||||||||||||
68 | |||||||||||||||||||||||||||
69 | |||||||||||||||||||||||||||
70 | |||||||||||||||||||||||||||
71 | |||||||||||||||||||||||||||
72 | |||||||||||||||||||||||||||
73 | |||||||||||||||||||||||||||
74 | |||||||||||||||||||||||||||
75 | |||||||||||||||||||||||||||
76 | |||||||||||||||||||||||||||
77 | |||||||||||||||||||||||||||
78 | |||||||||||||||||||||||||||
79 | |||||||||||||||||||||||||||
80 | |||||||||||||||||||||||||||
81 | |||||||||||||||||||||||||||
82 | |||||||||||||||||||||||||||
83 | |||||||||||||||||||||||||||
84 | |||||||||||||||||||||||||||
85 | |||||||||||||||||||||||||||
86 | |||||||||||||||||||||||||||
87 | |||||||||||||||||||||||||||
88 | |||||||||||||||||||||||||||
89 | |||||||||||||||||||||||||||
90 | |||||||||||||||||||||||||||
91 | |||||||||||||||||||||||||||
92 | |||||||||||||||||||||||||||
93 | |||||||||||||||||||||||||||
94 | |||||||||||||||||||||||||||
95 | |||||||||||||||||||||||||||
96 | |||||||||||||||||||||||||||
97 | |||||||||||||||||||||||||||
98 | |||||||||||||||||||||||||||
99 | |||||||||||||||||||||||||||
100 | |||||||||||||||||||||||||||