Anastasia Lemetti, Lothar Meyer, Maximilian Peukert, Tatiana Polishchuk, Christiane Schmidt, Helene Alpfjord Wylde

25 September 2024

EYE IN THE SKY: PREDICTING AIR TRAFFIC CONTROLLER WORKLOAD THROUGH EYE-TRACKING BASED MACHINE LEARNING

NY POWERPOINTMALL

Ny inledningssida med samlad information om föredagshållare, tema på föredraget samt bildruta för egen anpassning av foto som följer temat för föredraget. Bildbank med färdiga format – se särskild mapp på R-disken med bildbibliotek för presentationer.

Format: 16:9 (widescreen) för att passa nya datorskärmar, projektorer och motsvara filmformat.

Mallen finns i LFVs nya färger och kan användas fritt oberoende av område. Blanda dock inte fler än 2 färger + svart per bild (gäller ej diagram).

Färger: I färgpaletten är LFVs färger fördefinierade i toppraden och toningar följer vertikalt under respektive färg. Använd enbart dessa.

©LFV

VIKTIGT! Nytt per 2021: Informationsfältet ligger inte längre längst ner i sidfoten på varje sida utan enbart på första sidan. Powerpoint har begränsningar som gör att det inte går att skapa fält som automatiskt kopplas till Advantum. Därför behöver du fylla i det manuellt vid behov.

Fyll i manuellt fältet med följande information: namn, skapat datum, Advantumnummer och sekretesskategori om det krävs.

Behövs inte informationen är det bara att radera textblocket.

©LFV

Basics of Workload

• Hart and Staveland (1988) defined WL as “a hypothetical construct that represents the cost incurred by a human operator to achieve a particular level of performance’”.

2

Strength of electrical stimulus to rapidity of learning by Robert M. Yerkes and John D. Dodson (1908)

Source: Longo, L., & Rajendran, M. (2021)

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

Managing Workload in ATC

• How is workload managed today
• Which tools are used
• How accurate are human in self assessment
• Safety risks
• Benefits of a WL monitoring tool
• Non-instruive requirement
• Eye tracking

3

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

CFMU - WL Assessment based on Traffic Prediction

4

ENBART RUBRIKSIDA

- Plats för beskrivande rubrik och fri placering av innehåll: bilder, grafer, illustrationer, tidningsurklipp etc.

©LFV

Experimental Simulation Setup

5

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

Simulation-Study Setup

• 18 licensed ATCOs
• ACC Malmö, Topsky
• 3 runs per ATCO (light/moderate/heavy task load scenarios)
• 54 simulation runs in total, each lasted 35-45 minutes
• WL self assessment, Cooper-Harper scale, every 3 minutes
• Camera and a screen-grabbing system
• Large primary screen for radar +

two smaller screens

• Eye tracking: Smart Eye XO
• EEG: Mindtooth

​

6

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

Adapted Cooper-Harper Scale

7

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

Multivariat Approach

8

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

Machine Learning Approach

9

Left/right Blink Amplitude and Speed, Pupil Diameter, Amplitude and Speed of Eyelid Closing and Opening, Saccade, Fixation, Head Heading, Pitch and Roll

15 eye-tracking and head-movement variables

Mean, Standard Deviation, Median, Minimum, Maximum,

Total Number and Duration

​

​

58 statistical summary features

​

Cooper-Harper Scale scores

EEG variable Workload

Label

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

Classification Tasks

10

CHS scores stats:

​

1 - 52%

2 - 23%

3 - 18%

≥ 4 - 7%

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

Machine Learning Models

• Logistic Regression (LR)
• Decision Tree (DT)
• Random Forest (RF)
• Support Vector Classifier (SVC)
• Histogram-based Gradient Boosting Classification Tree (HGBC)

​

Additional ML techniques:

• Class weights
• Hold-out strategy
• Feature normalization prior to the model fitting stage for training and test set separately
• Hyperparameters tuning using Randomized Search with k-fold Cross Validation

​

• Model evaluation metrics:
• Accuracy: Proportion of all correct predicition
• macro F1-score: precision and recall, accounting for imbalanced data

​

11

In case of questions

anastasia.lemetti@liu.se

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

Accuracy Results

12

Algorithms’ accuracies in classifying three and two levels of ATCO WL using 58 features

F1-scores show same best models

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

Reduction of Features

Why?

• Eye tracking generates a large number of features (NoF), but including all of them in ML models may not necessarily improve prediction accuracy.
• Problems may include
• Overfitting
• Computational complexity
• Multicollinearity
• Reduced accuracy and reliability (Hughes phenomenon), Hughes, G. (1968)

​

13

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

Reduction and Feature Selection

• Recursive Feature Elimination (RFE) with permutation importance
• Removes the least informative feature based on its impact on model performance
• Determine the knee point (best economy)

14

Knee point

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

Reduction Results

15

Best economy

6 to 13 features

Accuracy between 0.82 and 0.94, F1 score 0.7 and 0.82

Best performance

34 to 57 features

Accuracy between 0.85 and 0.96, F1 score 0.74 and 0.87

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

Grafik Interpretation of Results

16

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

Conclusion

• CHS labelling
• 3 classes: accuracy - 0.85, F1-score - 0.73 (HGBC model)
• binary: accuracy - 0.96, F1-score - 0.87 (SVC model)
• EEG labelling
• 3 classes: accuracy - 0.84, F1-score - 0.77 (HGBC model)
• binary: accuracy - 0.96, F1-score - 0.84 (RF model)
• We showcase a considerable potential of machine learning techniques in predicting ATCOs workload solely based on eye-tracking and head-movement characteristics
• Reduction of NoF possible with minor losses of prediction accuracy.
• Removal of Head Movements with no predicion loss
• Possible Future Work: subject-independent and subject specific approaches, investigating various feature selection and combination techniques

​

17

RUBRIK OCH INNEHÅLL

Rubrik – max 2 rader.

Innehåll – håll nere textmängden. Rekommenderat max 3–4 bullits per slide. Dela hellre upp på 2 separata slides. Tänk talarstöd och inte talarmanus.

©LFV

18

Thank you

TOM SIDA

- Plats för fri placering av bilder, illustrationer, tidningsartiklar, grafer, etc

©LFV