| A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | AB | AC | AD | AE | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | |||||||||||||||||||||||||||||||
2 | Dear Expert: After assessing the frequency and severity of each of the problems identified by each of the evaluators, all the information is centralized. Here, the average criticality of the evaluators will be calculated in order to prioritize the problems identified as requiring priority attention. | ||||||||||||||||||||||||||||||
3 | |||||||||||||||||||||||||||||||
4 | |||||||||||||||||||||||||||||||
5 | ID | Problem definition | Evaluator 1 | Evaluator 2 | Evaluator 3 | Evaluator 4 | Evaluator 5 | Average | Standard deviation | ||||||||||||||||||||||
6 | S | F | C | S | F | C | S | F | C | S | F | C | S | F | C | S | F | C | S | F | C | ||||||||||
7 | P01 | Application executes an action different from the purpose of the selected one. | 2 | 1 | 3 | 4 | 3 | 7 | 4 | 1 | 5 | 3 | 1 | 4 | 3 | 1 | 4 | 3.2 | 1.4 | 4.6 | 0.8366600265 | 0.894427191 | 1.516575089 | ||||||||
8 | P02 | Monotonous sounds | 2 | 3 | 5 | 1 | 3 | 4 | 3 | 3 | 6 | 1 | 3 | 4 | 2 | 3 | 5 | 1.8 | 3 | 4.8 | 0.8366600265 | 0 | 0.8366600265 | ||||||||
9 | P03 | No configuration of visual elements | 2 | 1 | 3 | 2 | 2 | 4 | 4 | 1 | 5 | 1 | 2 | 3 | 2 | 1 | 3 | 2.2 | 1.4 | 3.6 | 1.095445115 | 0.5477225575 | 0.894427191 | ||||||||
10 | P04 | Inability to change name after wrong name entry | 1 | 1 | 2 | 3 | 2 | 5 | 4 | 1 | 5 | 2 | 2 | 4 | 2 | 1 | 3 | 2.4 | 1.4 | 3.8 | 1.140175425 | 0.5477225575 | 1.303840481 | ||||||||
11 | P05 | Confrontational questions | 3 | 2 | 5 | 2 | 1 | 3 | 3 | 3 | 6 | 3 | 3 | 6 | 3 | 2 | 5 | 2.8 | 2.2 | 5 | 0.4472135955 | 0.8366600265 | 1.224744871 | ||||||||
12 | P06 | Missing demonstrative tutorial | 2 | 2 | 4 | 2 | 2 | 4 | 2 | 1 | 3 | 2 | 2 | 4 | 2 | 2 | 4 | 2 | 1.8 | 3.8 | 0 | 0.4472135955 | 0.4472135955 | ||||||||
13 | P07 | No feedback between questions | 3 | 1 | 4 | 2 | 1 | 3 | 4 | 3 | 7 | 2 | 4 | 6 | 3 | 2 | 5 | 2.8 | 2.2 | 5 | 0.8366600265 | 1.303840481 | 1.58113883 | ||||||||
14 | P08 | Distractors between questions | 2 | 2 | 4 | 1 | 1 | 2 | 2 | 2 | 4 | 2 | 4 | 6 | 2 | 2 | 4 | 1.8 | 2.2 | 4 | 0.4472135955 | 1.095445115 | 1.414213562 | ||||||||
15 | P09 | No feedback on responses | 3 | 2 | 5 | 3 | 3 | 6 | 3 | 3 | 6 | 2 | 4 | 6 | 3 | 3 | 6 | 2.8 | 3 | 5.8 | 0.4472135955 | 0.7071067812 | 0.4472135955 | ||||||||
16 | P10 | Delayed reward | 2 | 1 | 3 | 2 | 2 | 4 | 2 | 2 | 4 | 2 | 4 | 6 | 2 | 2 | 4 | 2 | 2.2 | 4.2 | 0 | 1.095445115 | 1.095445115 | ||||||||
17 | P11 | Limited auditory feedback | 3 | 2 | 5 | 1 | 2 | 3 | 3 | 3 | 6 | 2 | 4 | 6 | 2 | 3 | 5 | 2.2 | 2.8 | 5 | 0.8366600265 | 0.8366600265 | 1.224744871 | ||||||||
18 | P12 | Does not work Configuration | 3 | 2 | 5 | 3 | 2 | 5 | 3 | 1 | 4 | 2 | 3 | 5 | 3 | 2 | 5 | 2.8 | 2 | 4.8 | 0.4472135955 | 0.7071067812 | 0.4472135955 | ||||||||
19 | P13 | Difficulty in date selection | 3 | 1 | 4 | 3 | 4 | 7 | 2 | 1 | 3 | 2 | 3 | 5 | 3 | 2 | 5 | 2.6 | 2.2 | 4.8 | 0.5477225575 | 1.303840481 | 1.483239697 | ||||||||
20 | P14 | Text size in selection options | 3 | 2 | 5 | 1 | 1 | 2 | 3 | 3 | 6 | 2 | 3 | 5 | 2 | 2 | 4 | 2.2 | 2.2 | 4.4 | 0.8366600265 | 0.8366600265 | 1.516575089 | ||||||||
21 | P15 | The game design is repetitive | 3 | 2 | 5 | 2 | 2 | 4 | 2 | 3 | 5 | 1 | 3 | 4 | 2 | 3 | 5 | 2 | 2.6 | 4.6 | 0.7071067812 | 0.5477225575 | 0.5477225575 | ||||||||
22 | P16 | No use of icons | 2 | 1 | 3 | 1 | 1 | 2 | 2 | 1 | 3 | 1 | 2 | 3 | 2 | 1 | 3 | 1.6 | 1.2 | 2.8 | 0.5477225575 | 0.4472135955 | 0.4472135955 | ||||||||
23 | P17 | No quick start | 2 | 1 | 3 | 3 | 1 | 4 | 3 | 1 | 4 | 3 | 3 | 6 | 3 | 2 | 5 | 2.8 | 1.6 | 4.4 | 0.4472135955 | 0.894427191 | 1.140175425 | ||||||||
24 | P18 | The color of the chest lights is not distinguishable. | 1 | 1 | 2 | 1 | 1 | 2 | 2 | 1 | 3 | 3 | 3 | 6 | 2 | 1 | 3 | 1.8 | 1.4 | 3.2 | 0.8366600265 | 0.894427191 | 1.643167673 | ||||||||
25 | P19 | Progress is not shown | 2 | 2 | 4 | 2 | 2 | 4 | 2 | 1 | 3 | 2 | 3 | 5 | 2 | 2 | 4 | 2 | 2 | 4 | 0 | 0.7071067812 | 0.7071067812 | ||||||||
26 | P20 | Difficulty cannot be changed | 2 | 1 | 3 | 3 | 1 | 4 | 3 | 1 | 4 | 3 | 3 | 6 | 3 | 2 | 5 | 2.8 | 1.6 | 4.4 | 0.4472135955 | 0.894427191 | 1.140175425 | ||||||||
27 | P21 | Questions are not supported by an image | 2 | 2 | 4 | 1 | 3 | 4 | 2 | 3 | 5 | 2 | 3 | 5 | 2 | 3 | 5 | 1.8 | 2.8 | 4.6 | 0.4472135955 | 0.4472135955 | 0.5477225575 | ||||||||
28 | P22 | No default avatar | 2 | 1 | 3 | 1 | 2 | 3 | 2 | 3 | 5 | 1 | 3 | 4 | 1 | 2 | 3 | 1.4 | 2.2 | 3.6 | 0.5477225575 | 0.8366600265 | 0.894427191 | ||||||||
29 | P23 | No indication of the start of the round of questions is given | 2 | 1 | 3 | 1 | 4 | 5 | 3 | 1 | 4 | 2 | 4 | 6 | 2 | 3 | 5 | 2 | 2.6 | 4.6 | 0.7071067812 | 1.516575089 | 1.140175425 | ||||||||
30 | P24 | Button incorrect operation | 2 | 1 | 3 | 4 | 2 | 6 | 4 | 1 | 5 | 3 | 1 | 4 | 3 | 1 | 4 | 3.2 | 1.2 | 4.4 | 0.8366600265 | 0.4472135955 | 1.140175425 | ||||||||
31 | P25 | In-game animations | 2 | 2 | 4 | 1 | 3 | 4 | 2 | 3 | 5 | 1 | 4 | 5 | 1 | 3 | 4 | 1.4 | 3 | 4.4 | 0.5477225575 | 0.7071067812 | 0.5477225575 | ||||||||
32 | |||||||||||||||||||||||||||||||
33 | |||||||||||||||||||||||||||||||
34 | |||||||||||||||||||||||||||||||
35 | |||||||||||||||||||||||||||||||
36 | |||||||||||||||||||||||||||||||
37 | |||||||||||||||||||||||||||||||
38 | |||||||||||||||||||||||||||||||
39 | |||||||||||||||||||||||||||||||
40 | |||||||||||||||||||||||||||||||
41 | |||||||||||||||||||||||||||||||
42 | |||||||||||||||||||||||||||||||
43 | |||||||||||||||||||||||||||||||
44 | |||||||||||||||||||||||||||||||
45 | |||||||||||||||||||||||||||||||
46 | |||||||||||||||||||||||||||||||
47 | |||||||||||||||||||||||||||||||
48 | |||||||||||||||||||||||||||||||
49 | |||||||||||||||||||||||||||||||
50 | |||||||||||||||||||||||||||||||
51 | |||||||||||||||||||||||||||||||
52 | |||||||||||||||||||||||||||||||
53 | |||||||||||||||||||||||||||||||
54 | |||||||||||||||||||||||||||||||
55 | |||||||||||||||||||||||||||||||
56 | |||||||||||||||||||||||||||||||
57 | |||||||||||||||||||||||||||||||
58 | |||||||||||||||||||||||||||||||
59 | |||||||||||||||||||||||||||||||
60 | |||||||||||||||||||||||||||||||
61 | |||||||||||||||||||||||||||||||
62 | |||||||||||||||||||||||||||||||
63 | |||||||||||||||||||||||||||||||
64 | |||||||||||||||||||||||||||||||
65 | |||||||||||||||||||||||||||||||
66 | |||||||||||||||||||||||||||||||
67 | |||||||||||||||||||||||||||||||
68 | |||||||||||||||||||||||||||||||
69 | |||||||||||||||||||||||||||||||
70 | |||||||||||||||||||||||||||||||
71 | |||||||||||||||||||||||||||||||
72 | |||||||||||||||||||||||||||||||
73 | |||||||||||||||||||||||||||||||
74 | |||||||||||||||||||||||||||||||
75 | |||||||||||||||||||||||||||||||
76 | |||||||||||||||||||||||||||||||
77 | |||||||||||||||||||||||||||||||
78 | |||||||||||||||||||||||||||||||
79 | |||||||||||||||||||||||||||||||
80 | |||||||||||||||||||||||||||||||
81 | |||||||||||||||||||||||||||||||
82 | |||||||||||||||||||||||||||||||
83 | |||||||||||||||||||||||||||||||
84 | |||||||||||||||||||||||||||||||
85 | |||||||||||||||||||||||||||||||
86 | |||||||||||||||||||||||||||||||
87 | |||||||||||||||||||||||||||||||
88 | |||||||||||||||||||||||||||||||
89 | |||||||||||||||||||||||||||||||
90 | |||||||||||||||||||||||||||||||
91 | |||||||||||||||||||||||||||||||
92 | |||||||||||||||||||||||||||||||
93 | |||||||||||||||||||||||||||||||
94 | |||||||||||||||||||||||||||||||
95 | |||||||||||||||||||||||||||||||
96 | |||||||||||||||||||||||||||||||
97 | |||||||||||||||||||||||||||||||
98 | |||||||||||||||||||||||||||||||
99 | |||||||||||||||||||||||||||||||
100 | |||||||||||||||||||||||||||||||