A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | AB | AC | AD | AE | AF | AG | AH | AI | AJ | AK | AL | AM | AN | AO | AP | AQ | AR | AS | AT | AU | AV | AW | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Dataset | Baseline (reference-free AM) | Baseline (reference-free FM) | Baseline (reference-free deep AMFM) | team 1 submission 1 | team 1 submission 2 | team 1 submission 3 | team 1 submission 4 | team 1 submission 5 | team 2 submission 1 | team 2 submission 2 | team 3 submission 1 | team 3 submission 2 | team 3 submission 3 | team 3 submission 4 | team 3 submission 5 | team 4 submission 1 | team 4 submission 2 | team 4 submission 3 | team 4 submission 5 | Team 5 submission 1 | team 6 submission 1 | team 7 submission 1 | team 8 submission 1 | team 9 submission 1 | ||||||||||||||||||||||||
2 | Convai2-Grade | 0.0803 | 0.0721 | 0.0938 | 0.1590 | 0.3656 | 0.3618 | 0.5043 | 0.5241 | 0.0601 | 0.0723 | 0.3317 | 0.3723 | 0.3317 | 0.4101 | 0.3723 | 0.0739 | 0.0429 | 0.0518 | 0.1731 | 0.5843 | 0.6042 | 0.5700 | 0.6043 | 0.5307 | ||||||||||||||||||||||||
3 | Dailydialog-Grade | 0.0151 | 0.1703 | 0.1548 | 0.0850 | 0.3554 | 0.3613 | 0.3630 | 0.2361 | 0.0261 | 0.0345 | 0.0739 | 0.0353 | 0.0739 | 0.1116 | 0.0353 | 0.0205 | 0.1461 | 0.0679 | 0.1986 | 0.3342 | 0.3000 | 0.6442 | 0.3006 | 0.4189 | ||||||||||||||||||||||||
4 | Dailydialog-Gupta | 0.1496 | 0.1362 | 0.1770 | 0.0404 | 0.1583 | 0.1830 | 0.5678 | 0.5044 | 0.0210 | 0.0276 | 0.3432 | 0.3547 | 0.3432 | 0.3816 | 0.3547 | 0.0473 | 0.0676 | 0.0191 | 0.1139 | 0.6325 | 0.6137 | 0.7885 | 0.6084 | 0.4669 | ||||||||||||||||||||||||
5 | Dailydialog-Zhao | 0.0539 | 0.2257 | 0.2225 | 0.1456 | 0.1874 | 0.2189 | 0.3694 | 0.3493 | 0.2051 | 0.2096 | 0.3353 | 0.3166 | 0.3353 | 0.3309 | 0.3166 | 0.0562 | 0.1129 | 0.0439 | 0.1985 | 0.4803 | 0.5299 | 0.5450 | 0.5279 | 0.2870 | ||||||||||||||||||||||||
6 | DSTC6 | 0.1121 | 0.0615 | 0.0996 | 0.2488 | 0.2027 | 0.2218 | 0.2446 | 0.2792 | 0.0091 | 0.0805 | 0.4808 | 0.5022 | 0.4808 | 0.4795 | 0.5022 | 0.0039 | 0.0684 | 0.0428 | 0.0426 | 0.1794 | 0.1835 | 0.6163 | 0.1831 | 0.1854 | ||||||||||||||||||||||||
7 | DSTC7 | 0.0158 | 0.0315 | 0.0267 | 0.0764 | 0.0992 | 0.0728 | 0.3397 | 0.3491 | 0.2145 | 0.1978 | 0.2443 | 0.2601 | 0.2443 | 0.2575 | 0.2601 | 0.0070 | 0.0166 | 0.0036 | 0.1214 | 0.3248 | 0.3415 | 0.3130 | 0.3412 | 0.3316 | ||||||||||||||||||||||||
8 | Empathetic-Grade | 0.0996 | 0.0497 | 0.0251 | 0.1841 | 0.3282 | 0.3600 | 0.3952 | 0.3837 | 0.0754 | 0.0638 | 0.1746 | 0.1820 | 0.1746 | 0.2259 | 0.1820 | 0.0589 | 0.0564 | 0.1001 | 0.0470 | 0.3057 | 0.2462 | 0.5010 | 0.2465 | 0.3650 | ||||||||||||||||||||||||
9 | FED-Dialogue | 0.1648 | 0.0919 | 0.1118 | 0.3583 | 0.1509 | 0.1865 | 0.2692 | 0.3212 | 0.2686 | 0.2522 | 0.0415 | 0.0452 | 0.0415 | 0.0570 | 0.0452 | 0.2726 | 0.0677 | 0.1090 | 0.0593 | 0.4689 | 0.4931 | 0.7742 | 0.4931 | 0.4026 | ||||||||||||||||||||||||
10 | FED-Turn | 0.0799 | 0.0804 | 0.0509 | 0.1940 | 0.1219 | 0.1856 | 0.2385 | 0.2203 | 0.0985 | 0.0949 | 0.1473 | 0.1425 | 0.1473 | 0.1196 | 0.1425 | 0.1260 | 0.0920 | 0.0846 | 0.1927 | 0.3038 | 0.3301 | 0.3515 | 0.3288 | 0.1987 | ||||||||||||||||||||||||
11 | HUMOD | 0.0998 | 0.0969 | 0.1173 | 0.0604 | 0.1239 | 0.1332 | 0.3286 | 0.3049 | 0.0081 | 0.0193 | 0.2919 | 0.2996 | 0.2919 | 0.3111 | 0.2996 | 0.0103 | 0.0243 | 0.0053 | 0.0416 | 0.3320 | 0.3383 | 0.2245 | 0.3383 | 0.2228 | ||||||||||||||||||||||||
12 | Persona-See | 0.0904 | 0.0914 | 0.0808 | 0.0496 | 0.0913 | 0.0822 | 0.0570 | 0.0322 | 0.0505 | 0.0350 | 0.0677 | 0.0624 | 0.0677 | 0.0695 | 0.0624 | 0.0327 | 0.0821 | 0.0173 | 0.0369 | 0.0878 | 0.1292 | 0.2752 | 0.1292 | 0.0627 | ||||||||||||||||||||||||
13 | Persona-USR | 0.0537 | 0.1507 | 0.1442 | 0.0832 | 0.1179 | 0.1444 | 0.2725 | 0.3066 | 0.1558 | 0.1222 | 0.2515 | 0.2514 | 0.2515 | 0.2161 | 0.2514 | 0.0529 | 0.1039 | 0.0424 | 0.2669 | 0.4036 | 0.3551 | 0.4788 | 0.3617 | 0.2260 | ||||||||||||||||||||||||
14 | Persona-Zhao | 0.2461 | 0.4459 | 0.4679 | 0.1227 | 0.3851 | 0.4142 | 0.5521 | 0.5107 | 0.2166 | 0.2423 | 0.5178 | 0.5002 | 0.5178 | 0.5019 | 0.5002 | 0.0489 | 0.1883 | 0.0037 | 0.0523 | 0.6132 | 0.6424 | 0.7640 | 0.6458 | 0.5570 | ||||||||||||||||||||||||
15 | Topical-USR | 0.0695 | 0.1878 | 0.1410 | 0.0462 | 0.0429 | 0.0249 | 0.2184 | 0.1956 | 0.2767 | 0.2959 | 0.2239 | 0.3042 | 0.2239 | 0.1706 | 0.3042 | 0.0955 | 0.2128 | 0.0875 | 0.2779 | 0.3908 | 0.3868 | 0.4549 | 0.4024 | 0.1373 | ||||||||||||||||||||||||
16 | Average | 0.0950 | 0.1351 | 0.1367 | 0.1324 | 0.1951 | 0.2108 | 0.3372 | 0.3227 | 0.1204 | 0.1248 | 0.2518 | 0.2592 | 0.2518 | 0.2602 | 0.2592 | 0.0648 | 0.0916 | 0.0485 | 0.1302 | 0.3887 | 0.3924 | 0.5215 | 0.3937 | 0.3138 | ||||||||||||||||||||||||
17 | Rank | 21 | 16 | 15 | 17 | 14 | 13 | 5 | 6 | 20 | 19 | 11 | 9 | 11 | 8 | 9 | 23 | 22 | 24 | 18 | 4 | 3 | 1 | 2 | 7 | ||||||||||||||||||||||||
18 | |||||||||||||||||||||||||||||||||||||||||||||||||
19 | |||||||||||||||||||||||||||||||||||||||||||||||||
20 | |||||||||||||||||||||||||||||||||||||||||||||||||
21 | |||||||||||||||||||||||||||||||||||||||||||||||||
22 | |||||||||||||||||||||||||||||||||||||||||||||||||
23 | |||||||||||||||||||||||||||||||||||||||||||||||||
24 | |||||||||||||||||||||||||||||||||||||||||||||||||
25 | |||||||||||||||||||||||||||||||||||||||||||||||||
26 | |||||||||||||||||||||||||||||||||||||||||||||||||
27 | |||||||||||||||||||||||||||||||||||||||||||||||||
28 | |||||||||||||||||||||||||||||||||||||||||||||||||
29 | |||||||||||||||||||||||||||||||||||||||||||||||||
30 | |||||||||||||||||||||||||||||||||||||||||||||||||
31 | |||||||||||||||||||||||||||||||||||||||||||||||||
32 | |||||||||||||||||||||||||||||||||||||||||||||||||
33 | |||||||||||||||||||||||||||||||||||||||||||||||||
34 | |||||||||||||||||||||||||||||||||||||||||||||||||
35 | |||||||||||||||||||||||||||||||||||||||||||||||||
36 | |||||||||||||||||||||||||||||||||||||||||||||||||
37 | |||||||||||||||||||||||||||||||||||||||||||||||||
38 | |||||||||||||||||||||||||||||||||||||||||||||||||
39 | |||||||||||||||||||||||||||||||||||||||||||||||||
40 | |||||||||||||||||||||||||||||||||||||||||||||||||
41 | |||||||||||||||||||||||||||||||||||||||||||||||||
42 | |||||||||||||||||||||||||||||||||||||||||||||||||
43 | |||||||||||||||||||||||||||||||||||||||||||||||||
44 | |||||||||||||||||||||||||||||||||||||||||||||||||
45 | |||||||||||||||||||||||||||||||||||||||||||||||||
46 | |||||||||||||||||||||||||||||||||||||||||||||||||
47 | |||||||||||||||||||||||||||||||||||||||||||||||||
48 | |||||||||||||||||||||||||||||||||||||||||||||||||
49 | |||||||||||||||||||||||||||||||||||||||||||||||||
50 | |||||||||||||||||||||||||||||||||||||||||||||||||
51 | |||||||||||||||||||||||||||||||||||||||||||||||||
52 | |||||||||||||||||||||||||||||||||||||||||||||||||
53 | |||||||||||||||||||||||||||||||||||||||||||||||||
54 | |||||||||||||||||||||||||||||||||||||||||||||||||
55 | |||||||||||||||||||||||||||||||||||||||||||||||||
56 | |||||||||||||||||||||||||||||||||||||||||||||||||
57 | |||||||||||||||||||||||||||||||||||||||||||||||||
58 | |||||||||||||||||||||||||||||||||||||||||||||||||
59 | |||||||||||||||||||||||||||||||||||||||||||||||||
60 | |||||||||||||||||||||||||||||||||||||||||||||||||
61 | |||||||||||||||||||||||||||||||||||||||||||||||||
62 | |||||||||||||||||||||||||||||||||||||||||||||||||
63 | |||||||||||||||||||||||||||||||||||||||||||||||||
64 | |||||||||||||||||||||||||||||||||||||||||||||||||
65 | |||||||||||||||||||||||||||||||||||||||||||||||||
66 | |||||||||||||||||||||||||||||||||||||||||||||||||
67 | |||||||||||||||||||||||||||||||||||||||||||||||||
68 | |||||||||||||||||||||||||||||||||||||||||||||||||
69 | |||||||||||||||||||||||||||||||||||||||||||||||||
70 | |||||||||||||||||||||||||||||||||||||||||||||||||
71 | |||||||||||||||||||||||||||||||||||||||||||||||||
72 | |||||||||||||||||||||||||||||||||||||||||||||||||
73 | |||||||||||||||||||||||||||||||||||||||||||||||||
74 | |||||||||||||||||||||||||||||||||||||||||||||||||
75 | |||||||||||||||||||||||||||||||||||||||||||||||||
76 | |||||||||||||||||||||||||||||||||||||||||||||||||
77 | |||||||||||||||||||||||||||||||||||||||||||||||||
78 | |||||||||||||||||||||||||||||||||||||||||||||||||
79 | |||||||||||||||||||||||||||||||||||||||||||||||||
80 | |||||||||||||||||||||||||||||||||||||||||||||||||
81 | |||||||||||||||||||||||||||||||||||||||||||||||||
82 | |||||||||||||||||||||||||||||||||||||||||||||||||
83 | |||||||||||||||||||||||||||||||||||||||||||||||||
84 | |||||||||||||||||||||||||||||||||||||||||||||||||
85 | |||||||||||||||||||||||||||||||||||||||||||||||||
86 | |||||||||||||||||||||||||||||||||||||||||||||||||
87 | |||||||||||||||||||||||||||||||||||||||||||||||||
88 | |||||||||||||||||||||||||||||||||||||||||||||||||
89 | |||||||||||||||||||||||||||||||||||||||||||||||||
90 | |||||||||||||||||||||||||||||||||||||||||||||||||
91 | |||||||||||||||||||||||||||||||||||||||||||||||||
92 | |||||||||||||||||||||||||||||||||||||||||||||||||
93 | |||||||||||||||||||||||||||||||||||||||||||||||||
94 | |||||||||||||||||||||||||||||||||||||||||||||||||
95 | |||||||||||||||||||||||||||||||||||||||||||||||||
96 | |||||||||||||||||||||||||||||||||||||||||||||||||
97 | |||||||||||||||||||||||||||||||||||||||||||||||||
98 | |||||||||||||||||||||||||||||||||||||||||||||||||
99 | |||||||||||||||||||||||||||||||||||||||||||||||||
100 |