| A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Agent name | Average score (%) | Level 1 score (%) | Level 2 score (%) | Level 3 score (%) | organisation | Model family | |||||||||||||||||||
2 | 35.55 | 50.54 | 33.33 | 14.29 | Trase Systems | Fine-tuned GPT-4o | 4/9/2024 | |||||||||||||||||||
3 | Trase Agent v0.1 | |||||||||||||||||||||||||
4 | Sibyl System v0.2 | 34.55 | 47.31 | 32.7 | 16.33 | Baichuan Inc. | GPT-4o | 3/11/2023 | ||||||||||||||||||
5 | Hugging Face Agents + GPT-4o | 33.33 | 49.46 | 28.3 | 18.75 | Hugging Face 🤗 | GPT-4o | 27/6/2024 | ||||||||||||||||||
6 | Multi-Agent Experiment v0.1 (powered by AutoGen) | 32.33 | 47.31 | 28.93 | 14.58 | MSR AI Frontiers | GPT-4-turbo | 1/3/2024 | ||||||||||||||||||
7 | Modified Hugging Face Agents + GPT-4o | 31.23 | 45.16 | 28.3 | 14.29 | GPT-4o | 3/9/2024 | |||||||||||||||||||
8 | MMAC v1.1 | 25.91 | 45.16 | 20.75 | 6.12 | GPT4V Gemini 1.5 GPT4 | 19/4/2024 | |||||||||||||||||||
9 | Modified Sibyl System | 25.91 | 35.48 | 24.53 | 12.24 | GPT-4o | 29/8/2024 | |||||||||||||||||||
10 | MAAC_V1 | 25.58 | 41.94 | 22.64 | 4.08 | 1/4/2024 | ||||||||||||||||||||
11 | UK AI Safety Institute Internal | 25 | 33.33 | 25.16 | 8.33 | UK AI Safety Institute | GPT-4-Turbo | 21/4/2024 | ||||||||||||||||||
12 | FRIDAY | 24.25 | 40.86 | 20.13 | 6.12 | OS-Copilot | GPT-4-turbo | 24/1/2024 | ||||||||||||||||||
13 | FRIDAY_without_learning | 21.59 | 36.56 | 17.61 | 6.12 | OS-Copilot | GPT-4-turbo | 30/1/2024 | ||||||||||||||||||
14 | Ceylon | 17.06 | 21.74 | 16.35 | 10.42 | 19/4/2024 | ||||||||||||||||||||
15 | DIP | 15.95 | 13.98 | 20.13 | 6.12 | GPT-4-turbo | 2/4/2024 | |||||||||||||||||||
16 | Chamomile | 14.67 | 16.13 | 17.61 | 2.08 | 5/3/2024 | ||||||||||||||||||||
17 | GPT4 + manually selected plugins | 14.6 | 30.3 | 9.7 | 0 | GAIA authors | GPT4 | 3/11/2023 | ||||||||||||||||||
18 | Clarity v1 | 14.05 | 23.91 | 10.69 | 6.25 | GPT4 | 27/2/2024 | |||||||||||||||||||
19 | Warm-up Act | 12.96 | 22.58 | 10.69 | 2.04 | GPT-4-Turbo | 22/2/2024 | |||||||||||||||||||
20 | FRC v5 | 12 | 16.13 | 10.69 | 8.33 | 19/4/2024 | ||||||||||||||||||||
21 | SomeDayv1.2 | 10.3 | 32.26 | 0 | 2.04 | 16/6/2024 | ||||||||||||||||||||
22 | SomeDayv1.1 | 9.97 | 31.18 | 0 | 2.04 | 16/6/2024 | ||||||||||||||||||||
23 | FRC v4 | 9.33 | 13.98 | 8.81 | 2.08 | 18/4/2024 | ||||||||||||||||||||
24 | stealth3 | 9.3 | 18.28 | 6.92 | 0 | 20/2/2024 | ||||||||||||||||||||
25 | stealth2 | 8.97 | 17.2 | 6.29 | 2.04 | 20/2/2024 | ||||||||||||||||||||
26 | SomeDay1 | 8.97 | 27.96 | 0 | 2.04 | 16/6/2024 | ||||||||||||||||||||
27 | FRC v3 | 8.67 | 10.75 | 8.18 | 6.25 | 9/4/2024 | ||||||||||||||||||||
28 | stealth | 8.64 | 17.2 | 6.29 | 0 | 19/2/2024 | ||||||||||||||||||||
29 | GPT4 Turbo | 6.67 | 9.68 | 6.92 | 0 | GAIA authors | GPT4 | 14/11/2023 | ||||||||||||||||||
30 | SomeDay | 6.31 | 19.35 | 0 | 2.04 | 16/6/2024 | ||||||||||||||||||||
31 | AutoGPT4 | 5 | 15.05 | 0.63 | 0 | AutoGPT | GPT4 + AutoGPT | 3/11/2023 | ||||||||||||||||||
32 | GPT4 | 4 | 9.68 | 1.89 | 0 | GAIA authors | GPT4 | 9/11/2023 | ||||||||||||||||||
33 | GPT3.5 | 2.67 | 4.3 | 1.89 | 2.08 | GAIA authors | GPT3 | 17/11/2023 | ||||||||||||||||||
34 | ||||||||||||||||||||||||||
35 | ||||||||||||||||||||||||||
36 | ||||||||||||||||||||||||||
37 | ||||||||||||||||||||||||||
38 | ||||||||||||||||||||||||||
39 | ||||||||||||||||||||||||||
40 | ||||||||||||||||||||||||||
41 | ||||||||||||||||||||||||||
42 | ||||||||||||||||||||||||||
43 | ||||||||||||||||||||||||||
44 | ||||||||||||||||||||||||||
45 | ||||||||||||||||||||||||||
46 | ||||||||||||||||||||||||||
47 | ||||||||||||||||||||||||||
48 | ||||||||||||||||||||||||||
49 | ||||||||||||||||||||||||||
50 | ||||||||||||||||||||||||||
51 | ||||||||||||||||||||||||||
52 | ||||||||||||||||||||||||||
53 | ||||||||||||||||||||||||||
54 | ||||||||||||||||||||||||||
55 | ||||||||||||||||||||||||||
56 | ||||||||||||||||||||||||||
57 | ||||||||||||||||||||||||||
58 | ||||||||||||||||||||||||||
59 | ||||||||||||||||||||||||||
60 | ||||||||||||||||||||||||||
61 | ||||||||||||||||||||||||||
62 | ||||||||||||||||||||||||||
63 | ||||||||||||||||||||||||||
64 | ||||||||||||||||||||||||||
65 | ||||||||||||||||||||||||||
66 | ||||||||||||||||||||||||||
67 | ||||||||||||||||||||||||||
68 | ||||||||||||||||||||||||||
69 | ||||||||||||||||||||||||||
70 | ||||||||||||||||||||||||||
71 | ||||||||||||||||||||||||||
72 | ||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||
100 |