Άμεση μετάβαση σε:
- Ευρωπαϊκή πολυμεσική βιβλιοθήκη
- αλληλεπίδραση ανθρώπου-υπολογιστή
- συστήματα και τεχνολογίες γνώσης
Θεματική ενότητα: ευφυή συστήματα
Εξαγωγή σχέσεων μεταξύ οντοτήτων από το αρχείο της εφημερίδας «ΤΑ ΝΕΑ» με χρήση τεχνικών μη-επιβλεπόμενης μάθησης [link]
Επικοινωνία: Καθ. Α.-Γ. Σταφυλοπάτης (andreas@cs.ntua.gr), Γ. Σπανάκης (jerry@islab.ntua.gr)
Μηχανική Μάθηση & Video Games: υλοποίηση ευφυούς χειριστή για το Super Mario Bros [link]
Επικοινωνία: Καθ. Α.-Γ. Σταφυλοπάτης (andreas@cs.ntua.gr), Δρ. Γ. Σιόλας (gsiolas@islab.ntua.gr)
Ταξινομητής κειμένων πολλαπλών θεματικών κατηγοριών τύπου “ECOC” με εφαρμογή στο αρχείο της εφημερίδας «ΤΑ ΝΕΑ» [link]
Επικοινωνία: Καθ. Α.-Γ. Σταφυλοπάτης (andreas@cs.ntua.gr), Δρ. Γ. Σιόλας (gsiolas@islab.ntua.gr)
Από-"ανωνυμοποίηση" των κοινωνικών δικτύων διαμέσου της πρόβλεψης των σχέσεων μεταξύ των χρηστών τους [link]
Επικοινωνία: Καθ. Α.-Γ. Σταφυλοπάτης (andreas@cs.ntua.gr), Γ. Αλεξανδρίδης (gealexandri@islab.ntua.gr)
Εύρεση και Ανάλυση της Δυναμικής Συμπεριφοράς των Χρηστών από τα Δεδομένα Χρήσης του Παγκοσμίου Ιστού [link]
Επικοινωνία: Καθ. Α.-Γ. Σταφυλοπάτης (andreas@cs.ntua.gr), Γ. Αλεξανδρίδης (gealexandri@islab.ntua.gr)
Διασύνδεση Εγγραφών με χρήση Τεχνικών Εκμάθησης Μηχανής [link]
Επικοινωνία: Καθ. Α.-Γ. Σταφυλοπάτης (andreas@cs.ntua.gr), Γ. Αλεξανδρίδης (gealexandri@islab.ntua.gr)
Θεματική ενότητα: Ανάπτυξη πολυμεσικής Ευρωπαϊκής πολιτιστικής βιβλιοθήκης (Europeana):
1. Ψηφιακό μουσικό αναλόγιο: σύστημα οπτικής αναγνώρισης και εμφάνισης μουσικής σήμανσης
Το ψηφιακό μουσικό αναλόγιο προτείνεται ως καινοτόμο σύστημα οπτικής αναγνώρισης και εμφάνισης μουσικής σήμανσης στην οθόνη του χρήστη. Το επίπεδο επεξεργασίας του ψηφιακού μουσικού αναλογίου βρίσκεται μεταξύ (α) των κλασικών συστημάτων αναγνώρισης μουσικής σήμανσης τα οποία εκτελούν πλήρη ταυτοποίηση των μουσικών συμβόλων της παρτιτούρας προκειμένου να τα αντικαταστήσουν από τα αντίστοιχα πρότυπα σύμβολα κατά την προβολή της παρτιτούρας στην οθόνη, και (β) των συστημάτων εμφάνισης της ψηφιοποιημένης παρτιτούρας στην οθόνη.
Πλεονεκτήματα του ψηφιακού μουσικού αναλογίου αποτελούν τα εξής:
1) Δεν απαιτείται τέλεια ευθυγράμμιση του χειρογράφου ή εξάλειψη του θορύβου ο οποίος ενυπάρχει στις ψηφιοποιημένες παρτιτούρες, δεν αφαιρούνται οι γραμμές του πενταγράμμου και δεν εφαρμόζεται πλήρης αναγνώριση των μουσικών σημάνσεων. Αυτά τα χαρακτηριστικά καθιστούν το ψηφιακό μουσικό αναλόγιο εναλλακτική λύση ελάχιστης επεξεργασίας σε σχέση με τα κλασικά συστήματα αναγνώρισης μουσικής σήμανσης.
2) Μετά τον διαχωρισμό κάθε σελίδας της παρτιτούρας σε συστήματα, επάνω και κάτω σειρές των συστημάτων, μέτρα της κάθε σειράς και υποψήφια μουσικά σύμβολα του κάθε μέτρου, η αναγνώριση των μουσικών συμβόλων περιορίζεται στα κλειδιά, τις χρονικές υπογραφές και τις αλλοιώσεις που ενυπάρχουν σε κάθε μέτρο. Η εστιασμένη αναγνώριση μουσικών συμβόλων (και όχι όλων των μουσικών συμβόλων, όπως στα κλασικά συστήματα αναγνώρισης μουσικής σήμανσης) επαρκεί προκειμένου το χειρόγραφο να εμφανίζεται στην οθόνη σύμφωνα με τον επιθυμητό αριθμό μέτρων ανά σύστημα και αριθμό συστημάτων ανά οθόνη χωρίς λάθη τονικότητας ή χρονισμού της μουσικής σήμανσης.
Το ψηφιακό μουσικό αναλόγιο προτείνεται ως υποκατάστατο του παραδοσιακού συνδυασμού μουσικού αναλογίου-παρτιτούρας και απευθύνεται στο σύνολο των ερασιτεχνών και επαγγελματιών μουσικών, καθώς και των χορωδιών, σε όλες τις περιπτώσεις συμπεριλαμβανομένων και ατόμων με προβλήματα όρασης. Η σε πραγματικό χρόνο ρυθμιζόμενη παρουσίαση της παρτιτούρας στην οθόνη επιτυγχάνεται μέσω των εξής τρόπων επισκόπησης:
· Στατική προβολή, η οποία αποτελεί τον απλούστερο τρόπο παρουσίασης. Ο χρήστης καθορίζει το επιθυμητό μέγεθος της μουσικής σήμανσης, το οποίο εκφράζεται είτε μέσω του αριθμού των συστημάτων στην οθόνη και των μέτρων ανά σύστημα, είτε μέσω του (κατά προσέγγιση) μεγέθους των μουσικών συμβόλων. Ακολούθως, το πρώτο - κατάλληλα διαμορφωμένο - μέρος της παρτιτούρας εμφανίζεται στην οθόνη, με μεταβάσεις σε επόμενες/προηγούμενες οθόνες ή αλλαγές στις συνθήκες θέασης να πραγματοποιούνται με το πάτημα προκαθορισμένων πλήκτρων.
· Δυναμική προβολή, η οποία αποτελεί επέκταση της στατικής προβολής. Ο χρήστης καθορίζει το επιθυμητό μέγεθος των μουσικών συμβόλων, καθώς και τον ρυθμό εκτέλεσης της παρτιτούρας. Ο ψηφιακός μετρονόμος του ψηφιακού μουσικού αναλογίου ενεργοποιείται ώστε να πραγματοποιείται αυτόματη αλλαγή της σελίδας μόλις παρέλθει ο χρόνος ο οποίος απαιτείται για την εκτέλεση των μέτρων τα οποία εμφανίζονται στην οθόνη.
· Κύλιση, όπου - όπως και κατά την δυναμική προβολή - ο χρήστης καθορίζει το επιθυμητό μέγεθος των μουσικών συμβόλων καθώς και τον ρυθμό εκτέλεσης της παρτιτούρας. Η παρτιτούρα παρουσιάζεται στην οθόνη ως ενιαίο σύστημα (αποτέλεσμα συνένωσης διαδοχικών μέτρων) το οποίο κυλά από δεξιά προς αριστερά με σταθερή ταχύτητα με ταχύτητα καθορισμένη από τον επιθυμητό ρυθμό. Η κύλιση ελαχιστοποιεί την οριζόντια καθώς και την κατακόρυφη κίνηση του κεφαλιού και των ματιών του χρήστη κατά τη διάρκεια της εξάσκησης και εκτέλεσης μουσικής. Με αυτό τον τρόπο βοηθούνται σημαντικά οι μουσικοί με προβλήματα όρασης, cervicalgia και συναφή προβλήματα να κρατούν το βλέμμα τους σταθερό στο κέντρο της οθόνης.
Συμπληρωματικά με την υποστήριξη επαγγελματιών και ερασιτεχνών μουσικών καθώς και μελών χορωδιών (συμπεριλαμβανομένων αυτών με προβλήματα όρασης) κατά τη διάρκεια της μελέτης, πρόβας και παράστασης, το ψηφιακό μουσικό αναλόγιο προτείνεται ως τρόπος παρουσίασης της παρτιτούρας:
° Σε ορχήστρες/χορωδίες, μέσω ενός κεντρικού χειριστηρίου το οποίο συντονίζει τα ψηφιακά αναλόγια των μουσικών/τραγουδιστών/διευθυντών ορχήστρας κλπ. έτσι ώστε τα μέτρα τα οποία εκτελούνται να εμφανίζονται ταυτόχρονα σε όλες τις οθόνες, ανεξάρτητα από την ατομική επιλογή των συνθηκών επισκόπησης.
° Από ηλεκτρονική υπηρεσία κατά παραγγελίαν και σε πραγματικό χρόνο εμφάνισης παρτιτούρων, όπου ο επιθυμητός τρόπος προβολής πραγματοποιείται αφενός με την εκ των προτέρων επεξεργασία για παρτιτούρες οι οποίες είναι ήδη αποθηκευμένες στο αποθετήριο της υπηρεσίας και άμεσα για παρτιτούρες οι οποίες μεταφορτώνονται από τον χρήστη στην υπηρεσία.
Συνεχίζοντας σε προηγούμενη έρευνα/διπλωματική εργασία, όπου
(i) έχει ολοκληρωθεί ο διαχωρισμός των συστημάτων, και
(ii) έχει υλοποιηθεί, μερικώς ο διαχωρισμός μέτρων και η αναγνώριση των μπυσικών συμβόλων κλειδιών,
η παρούσα διπλωματική εργασία εστιάζεται στην συμπλήρωση του (ii) και στην παρουσίαση της παρτιτούρας στην οθόνη μέσω των προαναφερθέντων τριων τρόπων επισκόπησης.
Επικοινωνία: Καθ. Στέφανος Κόλλιας, stefanos@cs.ntua.gr, Δρ. Τατιάνα Ταμπουρατζή
Θεματική ενότητα: ανάλυση περιεχομένου
Ανίχνευση σημαντικών σημείων/περιοχών σε εικόνες με χρήση τεχνικών απλοποίησης πλέγματος
Στόχος της εργασίας είναι η χρήση τελεστών διαφορικής γεωμετρίας σε πλέγμα, το οποίο έχει προκύψει από ομοιόμορφη ή επιλεκτική δειγματοληψία της επιφάνειας της εικόνας. Στο πλαίσιο της διπλωματικής εργασίας θα επιλεχθεί κατάλληλη πλατφόρμα υλοποίησης, θα μελετηθούν αλγόριθμοι ανάλυσης και απλοποίησης πλεγματος (mesh simplification) και θα υλοποιηθούν τεχνικές ανίχνευσης περιοχών. Θα γίνει εκτενής σύγκριση με σχετικές μεθόδους σε σύνολα φυσικών εικόνων.
Προαπαιτούμενα: Kαλή γνώση C++
Επικοινωνία: Δρ. Γιάννης Αβρίθης, iavr@image.ece.ntua.gr, Δρ. Κων/νος Ραπαντζίκος rap@image.ece.ntua.gr
Ακμές, τοπικά χαρακτηριστικά, ή κατάτμηση; Μια ενοποιημένη προσέγγιση ανάλυσης εικόνων
Στην εργασία αυτή θα μελετηθεί μία προσέγγιση ανάλυσης εικόνων που συνδυάζει χαρακτηριστικά ενός αριθμού τυπικά «ανταγωνιστικών» τεχνικών, όπως είναι η ανίχνευση τοπικών χαρακτηριστικών (περιοχών ή γωνιών), η κατάτμηση και η ανίχνευση ακμών. Βασικό συστατικό της προσέγγισης είναι μία γενικευμένη αναπαράσταση σκελετού που προκύπτει απευθείας από grayscale εικόνες και συνδυάζει τις τοπικές μεταβολές φωτεινότητας με τη συνολική γεωμετρία της εικόνας. Θα εξετασθούν εφαρμογές όπως η ανίχνευση αντικειμένων με βάση το σχήμα, η σύγκριση εικόνων με σκίτσα, και η αναζήτηση εικόνων.
Προαπαιτούμενα: Πολύ καλή γνώση C++
Επικοινωνία: Δρ. Γιάννης Αβρίθης, iavr@image.ece.ntua.gr
Γεωμετρικά κριτήρια στην αναζήτηση εικόνων
Στο ταίριασμα και την αναζήτηση εικόνων με χρήση τοπικών χαρακτηριστικών, τοπικών περιγραφών και μεθόδων συσταδοποίησης (clustering) δημιουργούνται αντιστοιχίες ανάμεσα σε δύο εικόνες. Κάθε αντιστοιχία είναι μία ψήφος για την ομοιότητα των εικόνων. Στόχος της εργασίας είναι η χρήση γεωμετρικών κριτηρίων στο ταίριασμα μεταξύ δύο εικόνων με αποτέλεσμα την συνολική βελτίωση της αναζήτησης σε μεγάλες βάσεις εικόνων. Το παραπάνω μπορεί να πραγματοποιηθεί για παράδειγμα με αναζήτηση περιοχών υψηλής πυκνότητας στο χώρο των γεωμετρικών μετασχηματισμών, καθώς κάθε αντιστοιχία μεταξύ τοπικών χαρακτηριστικών ορίζει κι ένα γεωμετρικό μετασχηματισμό. Είναι επίσης δυνατή η ομαδοποίηση χαρακτηριστικών τα οποία με συγκεκριμένη διάταξη αντιστοιχούν σε μέρη αντικειμένων.
Προαπαιτούμενα: καλή γνώση C++
Επικοινωνία: Δρ. Γιάννης Αβρίθης, iavr@ιmage.ece.ntua.gr, Γιώργος Τόλιας tolias@image.ece.ntua.gr
Ανίχνευση αντικειμένων σε εικόνες και γεωμετρικοί μετασχηματισμοί
Στόχος της εργασίας είναι η ανίχνευση κατηγοριών αντικειμένων σε εικόνες, ανεξάρτητα από την θέση τους, την κλίμακα ή την περιστροφή τους. Οι μέθοδοι ανίχνευσης αντικειμένων που θα εξεταστούν θα περιλαμβάνουν: α)εξαγωγή τοπικών χαρακτηριστικών της εικόνας (feature detection), β)εξαγωγή περιγραφέων από τα χαρακτηριστικά αυτά (descriptors) και γ)ταξινόμηση, όπου εφαρμόζονται μέθοδοι μηχανικής μάθησης (machine learning). Ιδιαίτερη έμφαση θα δοθεί στο στάδιο της ταξινόμησης όπου θα μελετηθούν εκτενώς οι πιο επιτυχημένες μέθοδοι της βιβλιογραφίας (SVMs, Generalized Hough transform, Random Forests κ.α.).
Στα πλαίσια της διπλωματικής θα υλοποιηθεί μέθοδος για την ανίχνευση αντικειμένων, η οποία θα συγκριθεί με άλλες μεθόδους σε διάφορα σύνολα εικόνων.
Προαπαιτούμενα: καλή γνώση C++
Επικοινωνία: Δρ.Γιάννης Αβρίθης, iavr@image.ntua.gr, Χρήστος Βαρυτιμίδης, chrisvar@image.ntua.gr
Αναγνώριση τοποθεσίας μέσω οπτικής αναζήτησης εικόνων
Στην οπτική αναζήτηση εικόνων το «ερώτημα» (query) του χρήστη είναι μια εικόνα και σκοπός είναι να βρεθούν οπτικά παρόμοιες εικόνες από μια βάση εκατομμυρίων. Αυτή η αναζήτηση μπορεί να οδηγήσει στην αυτόματη αναγνώριση τοποθεσίας, δηλαδή αυτόματη εκτίμηση της γεωγραφικής θέσης όπου τραβήχτηκε η εικόνα του ερωτήματος. Για να γίνει αυτό, απαιτούνται πολλά στάδια επεξεργασίας εικόνας και όρασης υπολογιστών, όπως: εξαγωγή οπτικών χαρακτηριστικών και αναπαράσταση του οπτικού περιεχομένου της εικόνας, δημιουργία οπτικού λεξικού, γρήγορη δεικτοδότηση (indexing) των εικόνων και γεωμετρικό ταίριασμα. Στο πλαίσιο της διπλωματικής εργασίας θα επιλεχθεί ένας (ή και περισσότεροι) από τους παραπάνω τομείς, θα μελετηθεί η σχετική βιβλιογραφία καθώς και διάφοροι σχετικοί αλγόριθμοι. Η πρακτική εφαρμογή και αποτίμηση των αλγορίθμων θα γίνει σε διαθέσιμη βάση με πάνω από 2 εκατομμύρια εικόνες από το Flickr.
Προαπαιτούμενα: καλή γνώση C++
Επικοινωνία: Δρ.Γιάννης Αβρίθης, iavr@image.ntua.gr, Γιάννης Καλαντίδης, ykalant@image.ntua.gr, Γιώργος Τόλιας, tolias@image.ece.ntua.gr
Μελέτη και υλοποίηση τεχνικών προσωπικοποίησης πολυμεσικού περιεχομένου
O όγκος της πληροφορίας που διοχετεύεται σήμερα προς τον τελικό χρήστη στο πλαίσιο ενός δικτυακού πολυμεσικού περιβάλλοντος ποικίλει από απλές φωτογραφίες και σελίδες υπερκειμένου έως ταινίες και πολύπλοκα, αλληλεπιδραστικά περιβάλλοντα ενός ή και περισσοτέρων διαστάσεων (3D). Το «πλούσιο» αυτό υλικό χρησιμοποιείται σε μια πληθώρα συσκευών χρήστη (λ.χ. PC, smart phones, set-top-boxes, TVs), ικανών για την αναπαραγωγή, αποθήκευση και επεξεργασία του πολυμεσικού περιεχομένου. Ως εκ τούτου, η ερευνητική κοινότητα, αλλά και η αγορά, επενδύει συνεχώς στις τεχνολογίες που χρησιμοποιούν και αναπτύσσουν τεχνικές προσαρμογής και εξατομίκευσης του δημοφιλούς πολυμεσικού περιεχομένου.
Στο παραπάνω πλαίσιο, ένας από τους βασικούς στόχους της προσωποποίησης πολυμεσικού περιεχομένου είναι η ανάπτυξη και επέκταση επιπλέον δυνατοτήτων και καινοτομιών σε επίπεδο υπηρεσιών, οι οποίες να διευκολύνουν τους τελικούς χρήστες στις διεργασίες τους και στην αλληλεπίδραση τους με αυτό. Στην παρούσα εργασία καλείται ο φοιτητής να διερευνήσει και να προτείνει ευφυείς τεχνικές προσωποποίησης και εξατομίκευσης πολυμεσικού περιεχομένου, στις οποίες το περιεχόμενο θα προσαρμόζεται με βάση τις προτιμήσεις και τα ενδιαφέροντα των τελικών χρηστών, βρίσκοντας εφαρμογή σε σύγχρονα περιβάλλοντα, όπως είναι τα «έξυπνα» κινητά τηλέφωνα (λ.χ. iPhone, Android) ή οι διαδικτυακές εφαρμογές.
Μετά τη μελέτη της σύγχρονης βιβλιογραφίας όσον αφορά μεθόδους προσωποποίησης και μοντελοποίησης χρηστών, ζητείται η σχεδίαση και υλοποίηση με απλές γλώσσες προγραμματισμού (Java) ευφυών λειτουργικών προτάσεων προσωποποίησης περιεχομένου, καθώς και η αξιολόγηση αυτών πάνω σε πραγματικά δεδομένα και συσκευές.
Η προτεινόμενη διπλωματική εργασία μπορεί να συμπεριλάβει μέρος ή όλα από τα παρακάτω:
- Μελέτη της κλασικής βιβλιογραφίας του χώρου και των σύγχρονων τεχνικών προσωποποίησης, αναζήτησης και ανάκτησης πολυμεσικού περιεχομένου.
- Ανάπτυξη και υλοποίηση (σε Java ή/και Android/iPhone OS) τεχνικών τεχνητής νοημοσύνης, προκειμένου να προβλεφθεί με επιτυχία η επόμενη κίνηση του χρήστη.
- Ανάπτυξη και υλοποίηση (σε Java ή/και Android/iPhone OS) των προτεινόμενων ιδεών εξαγωγής σημασιολογικών προτιμήσεων και προφίλ χρηστών σε μορφή αλγορίθμων.
Προαπαιτούμενα: Καλή γνώση προγραμματισμού, Java ή C++/C#
Επιθυμητή γνώση: Android OS, iPhone OS, βασικές γνώσεις τεχνικών εξατομίκευσης περιεχομένου
Επικοινωνία: Δρ. Φοίβος Μυλωνάς, fmylonas@image.ntua.gr
Μελέτη και υλοποίηση τεχνικών ανάλυσης πληροφορίας κειμένου σε πολυμεσικό περιεχόμενο
Είναι γεγονός ότι στον σημερινό ψηφιακό κόσμο, ο όγκος των ψηφιακών πληροφοριών τείνει ολοένα και αυξανόμενος. Ο μέσος άνθρωπος/χρήστης έρχεται καθημερινά αντιμέτωπος με ένα «ψηφιακό χάος», είτε αυτό αφορά την εργασία του είτε την ψυχαγωγία του. Στο πλαίσιο ενός τέτοιου περιβάλλοντος ο χρήστης «βομβαρδίζεται» καθημερινά από ψηφιακό πολυμεσικό περιεχόμενο: ψηφιακές φωτογραφίες, σελίδες υπερκειμένου (hypertext), blogs, forum, MMS, ψηφιακές ταινίες και σειρές, μέχρι πολύπλοκα αλληλεπιδραστικά περιβάλλοντα δύο ή περισσοτέρων διαστάσεων (3D). Εν έτει 2010, το πολυδύναμο αυτό ψηφιακό υλικό αλληλεπιδρά με μια πληθώρα συσκευών χρήστη (όπως λ.χ. Η/Υ, smart phones, set-top-boxes, TVs, κ.α.), οι οποίες αποτελούν πλέον μικρούς υπολογιστές και είναι ικανές για την αναπαραγωγή, αποθήκευση και επεξεργασία του πολυμεσικού αυτού περιεχομένου. Καθώς το τελευταίο αυτό περιεχόμενο συνοδεύεται σχεδόν πάντα από επιπρόσθετες πληροφορίες κειμένου που το εμπλουτίζουν και το κάνουν πιο φιλικό προς τον εκάστοτε χρήστη του (όπως π.χ. γίνεται με την προσθήκη tags στις φωτογραφίες), η σχετική ερευνητική κοινότητα επενδύει συνεχώς στις τεχνολογίες που χρησιμοποιούν και αναπτύσσουν τεχνικές ανάλυσης και αξιοποίησης αυτών των συνοδευτικών πληροφοριών σε πραγματικό ή μη χρόνο.
Στο παραπάνω πλαίσιο, λαμβάνοντας υπόψη και την ίδια τη μορφή αυτών των δεδομένων κειμένου, καθίσταται σαφές ότι απαιτείται η εφαρμογή προηγμένων μεθόδων πληροφορικής για την ανάλυση και κυρίως τον αποδοτικό συνδυασμό τους με το υπόλοιπο πολυμεσικό υλικό (φωτογραφίες, βίντεο). Έτσι, στο πλαίσιο της παρούσας διπλωματικής εργασίας, θα πρέπει να μελετηθούν αναλυτικά τα στάδια της ανάλυσης δεδομένων κειμένου και να υλοποιηθούν μέρος ή όλα από τα παρακάτω:
Προαπαιτούμενα: Καλή γνώση προγραμματισμού, Java ή C++/C#
Επιθυμητή γνώση: Android OS, iPhone OS, Γνώση τεχνολογιών web
Επικοινωνία: Δρ. Φοίβος Μυλωνάς, fmylonas@image.ntua.gr
Μελέτη τεχνικών αξιοποίησης του οπτικού εννοιολογικού πλαισίου στην ανάλυση εικόνας
Σε πολλά προβλήματα ταξινόμησης πολυμεσικών εγγράφων ή αναγνώρισης αντικειμένων σε εικόνες ή ακολουθίες βίντεο, οι παραδοσιακές ερευνητικές προσεγγίσεις που χρησιμοποιούν ανιχνευτές εννοιών υψηλού επιπέδου κρίνονται πλέον ανεπαρκείς, ιδίως όταν εφαρμόζονται σε μεγάλο όγκο ετερογενών δεδομένων. Σε τέτοιες περιπτώσεις, θεωρείται αναγκαία η χρήση του οπτικού εννοιολογικού πλαισίου (visual context), καθώς αυτό αποτελεί, εν γένει, την πληροφορία εκείνη που σχετίζεται με το οπτικό περιεχόμενο της σκηνής μιας ακίνητης εικόνας ή μιας ακολουθίας βίντεο, διευκολύνοντας σημαντικά την ανίχνευση των εννοιών. Π.χ., μια «πράσινη» περιοχή είναι πιο λογικό να αντιστοιχεί στην έννοια «βλάστηση», όταν η σκηνή στην οποία περιέχεται έχει ήδη αναγνωριστεί ως
«βουνό», και στην έννοια «γήπεδο», όταν η σκηνή έχει ήδη αναγνωριστεί ως «ποδόσφαιρο».
Αρχικά, ο φοιτητής καλείται να εξοικειωθεί με κάποιες από τις υφιστάμενες μεθοδολογίες και αλγόριθμους ανάλυσης εικόνας, αλγορίθμους αξιοποίησης του οπτικού εννοιολογικού πλαισίου κατά τη διαδικασία της ανάλυσης, καθώς και να μελετήσει τη σχετική βιβλιογραφία. Στη συνέχεια, θα ακολουθηθούν μέρος ή όλα από τα εξής βήματα:
Προαπαιτούμενα: Καλή γνώση προγραμματισμού Java ή C++/C#
Επιθυμητή γνώση: Βασικές τεχνικές επεξεργασίας εικόνας ή/και επεξεργασίας γνώσης
Επικοινωνία: Δρ. Φοίβος Μυλωνάς, fmylonas@image.ntua.gr
Θεματική ενότητα: αλληλεπίδραση ανθρώπου-υπολογιστή
Εφαρμογές εικονικής πραγματικότητας με πολιτιστικό περιεχόμενο
Το Google Cardboard είναι μια φθηνή τεχνολογική λύση για εφαρμογές εικονικής και επαυξημένης πραγματικότητας, η οποία εκμεταλλεύεται το κινητό τηλέφωνο του χρήστη για την εμφάνιση περιεχομένου, την αλληλεπίδραση με αυτό, και την αλληλεπίδραση και καταγραφή των κινήσεών του. Αντικείμενο της διπλωματικής είναι η ανάπτυξη μιας εφαρμογής εικονικού μουσείου με βάση πανοραμικές φωτογραφίες μιας τοποθεσίας και με εμφάνιση εικονικών μοντέλων πολιτιστικών εκθεμάτων (πίνακες, αγάλματα, κλπ.). Παράλληλα με τη πλοήγηση, η εφαρμογή θα πρέπει να εμφανίζει και πληροφορίες για το περιεχόμενο, οι οποίες θα αντλούνται από τη Wikipedia ή από άλλη εξωτερική πηγή.
Προαπαιτούμενα: Unity3D
Επικοινωνία: Δρ. Κώστας Καρπούζης (kkarpou@cs.ntua.gr)
Παραγωγή cinematic replays για τη σύνοψη της εξέλιξης ενός ψηφιακού παιχνιδιού
Το Siren είναι ένα παιχνίδι πραγματικού χρόνου και πολλαπλών παικτών (multi-player) στο οποίο οι παίκτες ολοκληρώνουν αποστολές σε ένα εικονικό περιβάλλον, ανταλλάσσοντας αγαθά μεταξύ τους. Το γενικότερο πλαίσιο του παιχνιδιού προωθεί την ιδέα της συνεργασίας ανάμεσα στους παίκτες, εκπαιδεύοντάς τους στην επίλυση των διαφορών (conflict resolution) ανάμεσά τους. Κατά τη διάρκεια του game play, το παιχνίδι καταγράφει σε αρχείο κειμένου τις ενέργειες των παικτών (αν ζητάνε/ολοκληρώνουν ανταλλαγές, ποια συναισθήματα αναφέρουν ότι αισθάνονται, και το επίπεδο διαμάχης που αναφέρουν ότι υπάρχει στο παιχνίδι) - αντικείμενο της διπλωματικής είναι η αυτόματη δημιουργία cinematic replays με βάση αυτά τα logs, τα οποία θα λειτουργήσουν σαν σύνοψη της εξέλιξης του παιχνιδιού. Το cinematic replay θα πρέπει να εκμεταλλεύεται όλα τα στοιχεία που καταγράφονται από το παιχνίδι (ενέργειες και είσοδοι από τους παίκτες) και να αξιοποιεί τις σύγχρονες τεχνικές game design σε ό,τι αφορά στη σκηνοθεσία των εικονικών παικτών και της συνθετικής κάμερας.
Δείτε ακόμα: Game Cinematography: From Camera Control to Player Emotions
Προαπαιτούμενα: Unity3D
Επικοινωνία: Δρ. Κώστας Καρπούζης (kkarpou@cs.ntua.gr)
Εφαρμογές εντοπισμού σε εσωτερικούς χώρους (indoor GPS) με τη χρήση beacons και κινητών τηλεφώνων
Τα beacons είναι πομποί χαμηλής έντασης που εκπέμπουν πληροφορίες για τη θέση και την κατάστασή τους χρησιμοποιώντας τεχνολογία Bluetooth Low Energy (BLE) - οι πληροφορίες αυτές μπορούν να καταγραφούν από κινητά τηλέφωνα, κάνοντας εύκολη την επικοινωνία των “φάρων” με τις συσκευές των χρηστών. Πιθανές εφαρμογές των beacons είναι η ταυτοποίηση χρηστών που μπαίνουν σε μια περιοχή ή ο εντοπισμός της ακριβούς θέσης τους σε έναν κλειστό χώρο (όπου το GPS δε μπορεί να χρησιμοποιηθεί) και, κατόπιν, η χρήση αυτών των πληροφοριών για την εξατομίκευση της εμπειρίας χρήστη (διαφήμιση, εκπαίδευση, ασφάλεια). Στόχος της διπλωματικής είναι η ανάπτυξη εφαρμογών πλοήγησης σε κλειστούς χώρους, με βάση το χάρτη ενός δωματίου και τις μετρήσεις των αισθητήρων ενός κινητού τηλεφώνου.
Προαπαιτούμενα: Java/C#/C++
Επικοινωνία: Δρ. Κώστας Καρπούζης (kkarpou@cs.ntua.gr)
Αυτόματη ανίχνευση αρνητικής/θετικής γνώμης χρηστών από δικτυακές πηγές (sentiment analysis)
Το Web 2.0 παρέχει στους χρήστες τη δυνατότητα να σχολιάσουν κάθε μορφή πληροφορίας και κειμένου είναι διαθέσιμη και, παράλληλα, τους δίνει τη δυνατότητα να φιλτράρουν το περιεχόμενο με βάση τις προτιμήσεις τους, αλλά και τα σχόλια των άλλων χρηστών. Σε αυτό το πλαίσιο, είναι πολύ χρήσιμο ένα αυτοματοποιημένο σύστημα που θα μπορεί να διακρίνει τις θετικές και αρνητικές γνώμες για ένα συγκεκριμένο αντικείμενο και θα πληροφορεί το χρήστη, βοηθώντας τον για την επιλογή του, Στη συγκεκριμένη εργασία, θέλουμε να δημιουργήσουμε ένα σύστημα μηχανικής μάθησης το οποίο θα εκμεταλλεύεται σχόλια χρηστών σε δικτυακούς τόπους που σχετίζονται με τα ταξίδια και τις διακοπές (booking.com, tripadvisor, lastminute.com) με τη βοήθεια συντακτικής ανάλυσης και υπολογισμού του συναισθηματικού υποβάθρου του περιεχομένου (δηλαδή αν το σχόλιο είναι θετικό ή αρνητικό και σε ποιο βαθμό). Γι’ αυτό το σκοπό, κάθε λέξη ενδιαφέροντος ελέγχεται με βάση ένα λεξικό συναισθηματικού περιεχομένου, έτσι ώστε να υπολογιστεί το τελικό αρνητικό ή θετικό σκορ της δημοσίευσης.
Προαπαιτούμενα: Matlab ή C/C++, εισαγωγικές γνώσης μηχανικής μάθησης
Επικοινωνία: Δρ. Κώστας Καρπούζης (kkarpou@cs.ntua.gr)
Ανάλυση κοινωνικής και συναισθηματικής συμπεριφοράς παικτών σε περιβάλλοντα FPS
Υπόθεση: η ενασχόληση με ένα παιχνίδι υπολογιστή και ο τρόπος με τον οποίο με τον οποίο εκφραζόμαστε διαφοροποιείται όταν παίζουμε με φίλους ή έστω άλλους χρήστες σε σχέση με το παιχνίδι εναντίον υπολογιστή (non-player character). Σε αυτήν τη διπλωματική θα γίνει καταγραφή των παικτών με Kinect και φορητή συσκευή καταγραφής εγκεφαλογραφήματος κατά τη διάρκεια παιχνιδιών με το Cube 2 first person shooter - από το παιχνίδι μπορούμε να καταγράψουμε όλα τα σημαντικά γεγονότα (πυροβολισμός, “θάνατος”, χτύπημα, κινήσεις) και να εξετάσουμε τις τυχόν συσχετίσεις με αυτό που καταγράφουμε με τους αισθητήρες. Μας ενδιαφέρει ακόμα και ο βαθμός ενδιαφέροντος/προσήλωσης του παίκτη και ο βαθμός εμπάθειας με το χαρακτήρα του, αν δηλαδή μιμείται τις κινήσεις του χαρακτήρα με το σώμα του (παρόμοια με την κλίση του σώματος σε ένα παιχνίδι με αυτοκίνητα). Παρόμοια μελέτη έχει γίνει από το εργαστήριό μας για παιχνίδια πλατφόρμας (τύπου Super Mario) με έναν παίκτη.
Προαπαιτούμενα: Matlab ή C/C++
Επικοινωνία: Δρ. Κώστας Καρπούζης (kkarpou@cs.ntua.gr)
Θεματική ενότητα: Συστήματα και Τεχνολογίες Γνώσης
Αναζήτηση πολιτιστικού περιεχομένου με χρήση τεχνολογιών Σημασιολογικού Ιστού
Η διάσωση και προβολή της ευρωπαϊκής πολιτιστικής κληρονομιάς με τη χρήση νέων τεχνολογιών είναι ένα από τα βασικότερα ζητήματα που θέτει η Ευρωπαϊκή Ένωση τα τελευταία χρόνια, στο πεδίο της ανάπτυξης ψηφιακού περιεχομένου στον Παγκόσμιο Ιστό. Ιδιαίτερη έμφαση έχει δωθεί στη χρήση νέων τεχνολογιών του Σημασιολογικού Ιστού και τεχνολογιών Web 2.0, που δίνουν τη δυνατότητα για απάντηση ερωτημάτων με βάση το σημασιολογικό περιεχόμενο. Στο πλαίσιο αυτό, απαιτείται η ανάπτυξη διεπαφών που θα επιτρέπουν στο χρήστη όχι μόνο να έχει μια γενική εποπτεία της γνώσης και του περιεχομένου, αλλά και να θέτει περίπλοκα ερωτήματα με εύκολο τρόπο, βελτιώνοντας την πρόσβασή του στο πολιτιστικό περιεχόμενο. Στο πλαίσιο της διπλωματικής αυτής εργασίας προτείνεται:
1. Η εξοικείωση με βασικές έννοιες των τεχνολογιών γνώσης, των Περιγραφικών Λογικών, της ανάπτυξης γνώσης και οντολογιών, της συλλογιστικής σε Περιγραφικές Λογικές.
2. Εμβάθυνση σε τεχνολογίες σημασιολογικής αναζήτησης Βάσεων Δεδομένων.
3. H μελέτη και δημιουργία καινοτόμων συστημάτων αναζήτησης και παρουσίασης της πληροφορίας με έμφαση στις τεχνολογίες του Σημασιολογικού Ιστού, Web 2.0, facet browsing, timeline services και google maps.
Επιθυμητή γνώση:
Γνώση προγραμματισμού για υπηρεσίες διαδικτύου, Βασικές γνώσεις αναπαράστασης γνώσης και συλλογιστικής
Επικοινωνία: Καθ. Γ. Στάμου, gstam@cs.ntua.gr, Ελένη Τσαλαπάτη, etsalap@mage.ece.ntua.gr
Σύστημα συνδυασμένης σημασιολογικής απάντησης ερωτημάτων για την OWL2
Οι αλγόριθμοι απάντησης ερωτημάτων για εκφραστικές περιγραφικές λογικές υποφέρουν από μεγάλη υπολογιστική πολυπλοκότητα, μεγαλύτερη από τα προβλήματα ικανοποιησιμότητας και υπαγωγής. Οι αλγόριθμοι γίνονται μη πρακτικοί στις περιπτώσεις που καλούνται να διαχειριστούν μεγάλο αριθμό δεδομένων και ο χρόνος απόκρισης έχει ιδιαίτερη σημασία. Η αντιμετώπιση του εν λόγω προβλήματος έχει προσανατολιστεί στη χρήση τεχνικών των συστημάτων διαχείρισης σχεσιακών βάσεων δεδομένων. Προς την κατεύθυνση αυτή αναπτύχθηκε η οικογένεια γλωσσών περιγραφικής λογικής DL- Lite η οποία θεμελιώνει το προφίλ της γλώσσας OWL 2 (Web Ontology Language) QL. Η βασική ιδέα που προτείνεται αφορά την αναγωγή του συστήματος γνώσης σε λογική πρώτης τάξης και την αναδιατύπωση του ερωτήματος, ώστε τελικά να εφαρμόζονται τεχνικές των σχεσιακών βάσεων δεδομένων στο παραγόμενο SQL ερώτημα. Η ιδέα της αναγωγής του συστήματος βάσης γνώσης σε σύστημα λογικής πρώτης τάξης προσεγγίζεται με δύο τρόπους. Ο πρώτος τρόπος αφορά στην αναδιατύπωση του ερωτήματος λαμβάνοντας υπόψιν όλη τη γνώση του σώματος ορολογίας TBox, και την ανάκτηση των απαντήσεων από το σώμα ισχυρισμών ABox, το οποίο αντιμετωπίζεται ως σχεσιακή βάση δεδομένων. Ο δεύτερος τρόπος αφορά στην επέκταση του σώματος ισχυρισμών με βάση τα αξιώματα του σώματος ορολογίας. Με άλλα λόγια, το ΤBox εισάγεται στο ABox και όχι στο ερώτημα, ενώ η μετατροπή του ερωτήματος είναι περιορισμένη. Σκοπός της εργασίας είναι η υλοποίηση ενός αλγορίθμου απάντησης ερωτημάτων ο οποίος εφαρμόζει τη δεύτερη προτεινόμενη τεχνική για τη γλώσσα περιγραφικής λογικής DL-LiteR. Στο πλαίσιο της διπλωματικής αυτής εργασίας προτείνεται:
1. Η εξοικείωση με βασικές έννοιες των τεχνολογιών γνώσης, των Περιγραφικών Λογικών, της ανάπτυξης γνώσης και οντολογιών, της συλλογιστικής σε Περιγραφικές Λογικές.
2. Η ανασκόπηση της οικογένειας των Περιγραφικών Λογικών DL- Lite.
3. Η υλοποίηση του αλγόριθμου απάντησης ερωτημάτων σύμφωνα με την τεχνική επέκτασης του σώματος ισχυρισμών για την Περιγραφική Λογική DL-LiteR.
Επιθυμητή γνώση: Γνώση προγραμματισμού για υπηρεσίες διαδικτύου, Βασικές γνώσεις αναπαράστασης γνώσης και συλλογιστικής
Επικοινωνία: Καθ, Γιώργος Στάμου, gstam@cs.ntua.gr, Δέσποινα Τριβέλα, despoina@mage.ece.ntua.gr
Τεχνολογίες Άντλησης Πληροφορίας από Διασυνδεδεμένα Δεδομένα Παγκοσμίου Ιστού
Στο πλαίσιο του Σημασιολογικού Ιστού προτείνεται η δημιουργία διασυνδέσεων μεταξύ των δεδομένων (και όχι μεταξύ των πηγών δεδομένων, δηλαδή των ιστοσελίδων) έτσι ώστε να είναι δυνατή η σημασιολογική εξερεύνηση του Παγκόσμιου Ιστού με μεγαλύτερη ακρίβεια. Με αυτό τον τρόπο, όταν μας δίνεται κάποιος πόρος, μέσω των διασυνδέσεων του με άλλους πόρους, μπορούμε να εμπλουτίσουμε τη γνώση μας γι αυτόν αναζητώντας πληροφορίες οι οποίες μπορεί να δημοσιεύονται σε οποιαδήποτε πηγή δεδομένων στον Παγκόσμιο Ιστό. Οι πληροφορίες αυτές είναι συνήθως κωδικοποιημένες σε RDF/XML, περιγράφοντας ένα σύνολο από έννοιες και συσχετίσεις για τον αρχικό μας πόρο. Στο πλαίσιο της διπλωματικής ζητείται η υλοποίηση ενός συστήματος το οποίο θα συγκεντρώνει πληροφορίες για κάποια συγκεκριμένη οντότητα, από κάποιο ιστότοπο, ακολουθώντας το μονοπάτι των διασυνδεδεμένων δεδομένων που σχετίζονται με αυτή την οντότητα μέχρι κάποιο προκαθορισμένο επίπεδο ανάλυσης. Πιο συγκεκριμένα προτείνεται:
1. Η εξοικείωση με βασικές έννοιες των τεχνολογιών γνώσης, των Περιγραφικών Λογικών, της ανάπτυξης γνώσης και οντολογιών, των προτύπων αναπαράστασης σημασιολογικών δεδομένων στον Παγκόσμιο Ιστό.
2. Η μελέτη των τεχνολογιών διασύνδεσης δεδομένων.
3. Η μελέτη των τεχνολογιών απάντησης επερωτήσεων για συνδεδεμένα δεδομένα.
4. Η ανάπτυξη ενός συστήματος στο οποίο θα συγκεντρώνονται πληροφορίες για οντότητες εώς κάποιο συγκεκριμένο βάθος από διάφορους ιστότοπους.
Επιθυμητή γνώση:
Γνώση προγραμματισμού για υπηρεσίες διαδικτύου, Γνώση αναπαράστασης και διαχείρισης δεδομένων σε RDF
Επικοινωνία: Καθ. Γιώργος Στάμου, gstam@cs.ntua.gr, Τάσος Βενέτης, avenet@mage.ece.ntua.gr
Αξιολόγηση Επίδοσης Συστημάτων Αποθήκευσης Σημασιολογικών Δεδομένων
Οι οντολογίες περιγράφουν με δομημένο τρόπο τη γνώση που αφορά ένα συγκεκριμένο πεδίο ενδιαφέροντος και τη συσχέτιση μεταξύ των εννοιών του πεδίου αυτού. Οι πιο διαδεδομένες γλώσσες για την περιγραφή οντολογικής γνώσης είναι οι OWL, RDF(S), ενώ για την αποτελεσματική αποθήκευση και προσπέλασή της έχουν προταθεί διάφορα συστήματα αποθήκευσης (Jena and TDB, Sesame, OWLim, Virtuoso Open Source κλπ). Στόχος της συγκεκριμένης εργασίας είναι να εξεταστούν ως προς διαφορετικές παραμέτρους οι επιδόσεις των συστημάτων αυτών. Στο πλαίσιο της διπλωματικής αυτής εργασίας προτείνεται:
1) Η εξοικείωση με βασικές έννοιες των τεχνολογιών γνώσης , των Περιγραφικών Λογικών [, της ανάπτυξης γνώσης και οντολογιών, των προτύπων αναπαράστασης σημασιολογικών δεδομένων στον Παγκόσμιο Ιστό κλπ.
2) Η εγκατάσταση και οργάνωση συστημάτων αποθήκευσης σημασιολογικών δεδομένων στον Παγκόσμιο Ιστό (Jena and TDB, Sesame, OWLim, Virtuoso Open Source).
3) Η ανασκόπηση μεθόδων και προτύπων αξιολόγησης συστημάτων πρόσβασης σε σημασιολογικά δεδομένα.
4) Η συγκριτική αξιολόγηση των συστημάτων αποθήκευσης σημασιολογικών δεδομένων ως προς τις χρονικές επιδόσεις κάθε συστήματος, την ικανότητα κλιμάκωσης κάθε συστήματος, την εκφραστικότητα της γλώσσας επερωτημάτων κάθε συστήματος και τη δυνατότητα διασύνδεσης με εξωτερικές μηχανές συλλογιστικής.
Επιθυμητή γνώση:
Γνώση προγραμματισμού για υπηρεσίες διαδικτύου, Βασικές γνώσεις αναπαράστασης γνώσης και συλλογιστικής
Επικοινωνία: Καθ. Γιώργος Στάμου, gstam@cs.ntua.gr, Θεόφιλος Μαΐλης, theofilos@mage.ece.ntua.gr
Διαχείριση σημασιολογικών δεδομένων (RDF, OWL, SPARQL) με τεχνολογίες NoSQL
Ο όρος NoSQL χρησιμοποιείται για να περιγράψει συστήματα διαχείρισης βάσεων δεδομένων τα οποία δεν ακολουθούν το κλασσικό σχεσιακό μοντέλο. Αποτελεί έναν ευρύτερο όρο στον οποίο οι σχεσιακές βάσεις δεδομένων αποτελούν υποσύνολο και αναφέρονται στην βιβλιογραφία ως δομημένοι μέθοδοι αποθήκευσης. Συνήθως αυτές οι μέθοδοι αποθήκευσης δεδομένων δεν απαιτούν κάποιο συγκεκριμένο σχήμα το οποίο να περιγραφεί σαφώς την δομή της βάσης. Αντίστοιχα συνήθως αποφεύγονται κλασσικοί τελεστές της σχεσιακής άλγεβρας όπως για παράδειγμα αυτός του "Join" ενώ ταυτόχρονα χαρακτηρίζονται από την δυνατότητα της οριζόντιας κλιμάκωσης (horizontal scaling).
Το μοντέλο δεδομένων RDF έχει πολλά κοινά στοιχεία με τις κλασσικές προσεγγίσεις της εννοιολογικής μοντελοποίησης, όπως τα διαγράμματα κλάσεων και οι σχέσεις οντοτήτων, ενώ βασικές του έννοιες είναι οι δηλώσεις (statements) αναφορικά με πόρους του διαδικτύου της μορφής "υποκείμενο", "κατηγόρημα", "αντικείμενο". Από πολλές απόψεις το συγκεκριμένο μοντέλο δεδομένων ανήκει σε υποκατηγορία των NoSQL συστημάτων. Υπό αυτή την προοπτική, είναι λογικό να προκύψει πως οι συγκεκριμένες λύσεις θα αποτελούσαν αποδοτικό τρόπο για την αποθήκευση και την εκτέλεση βασικών λειτουργιών σε δεδομένα τα οποία περιγράφονται από το μοντέλο RDF.
Οι αντικειμενικοί στόχοι της διπλωματικής είναι:
1) Συγκριτική παρουσίαση των διαθέσιμων NoSQL τεχνολογιών αιχμής (state of the art)(π.χ. HBase, Cassandra, Document DBs όπως MongoDB και CouchDB κλπ).
2) Να διερευνηθεί η δυνατότητα αποθήκευσης και προσπέλασης σε αυτά, δεδομένων σε μορφή RDF
3) Να διερευνηθεί η δυνατότητα υλοποίησης κάποιας καθιερωμένης γλώσσας ερωτημάτων για RDF σε κάποια από αυτές τις λύσεις (π.χ. SPARQL interface για την προσέγγιση HBase & Map-Reduce).
4) Να γίνει συγκριτική παρουσίαση της χρήσης NoSQL προσεγγίσεων έναντι των καθιερωμένων λύσεων για την αποθήκευση και προσπέλαση δεδομένων σε μορφή RDF (π.χ. RDF triple stores).
Επιθυμητή γνώση: Γνώση προγραμματισμού για υπηρεσίες διαδικτύου, Γνώση αναπαράστασης και διαχείρισης δεδομένων σε XML ή/και RDF
Επικοινωνία: Δρ. Νάσος Δροσόπουλος, ndroso@image.ece.ntua.gr, Δρ. Βασίλης Τζουβάρας, tzouvaras@mage.ece.ntua.gr