Διαχείριση Μεγάλων Γεωχωρικών Δεδομένων

Περιγραφή Μαθήματος

Τα δεδομένα μεγάλου όγκου απαιτούν αποθήκευση, οργάνωση και επεξεργασία σε κλίμακα και αποδοτικότητα που υπερβαίνουν κατά πολύ τις δυνατότητες των συμβατικών τεχνολογιών. Τέτοιου είδους δεδομένα είναι και τα γεωχωρικά δεδομένα που παράγονται με καταιγιστικούς ρυθμούς, παρέχονται σε διαφορετικές μορφές και από ποικιλόμορφες και ετερογενείς πηγές. Στα πλαίσια του μαθήματος, οι φοιτητές θα κατανοήσουν τις έννοιες της παράλληλης/κατανεμημένης επεξεργασίας δεδομένων μεγάλου όγκου, με έμφαση στα γεωχωρικά δεδομένα, χρησιμοποιώντας τα υπολογιστικά παραδείγματα MapReduce και Spark και παρέχοντας πληροφορίες για την ανάπτυξη εφαρμογών πάνω από την πλατφόρμα Hadoop.

Τα μεγάλα δεδομένα εγείρουν επίσης νέες προκλήσεις στην εξόρυξη δεδομένων. Δεδομένης της κλίμακας και της ταχύτητας των δεδομένων που πρέπει να υποστούν επεξεργασία, καθώς και της ποικιλίας των παραμέτρων που πρέπει να ληφθούν υπόψη, αμφισβητούνται επίσης οι υπερσύγχρονοι αλγόριθμοι μηχανικής εκμάθησης που αναμένουν ομοιογενή και καθαρά δεδομένα. Προς αυτή την κατεύθυνση, οι φοιτητές θα αποκτήσουν τόσο το θεωρητικό όσο και το τεχνικό υπόβαθρο στο σχεδιασμό αλγορίθμων Big Data Mining που να υποστηρίζουν ακόμα και συνεχείς ροές δεδομένων. Το μάθημα θα υιοθετήσει μια αλγοριθμική οπτική: η εξόρυξη δεδομένων αφορά την εφαρμογή αλγορίθμων σε δεδομένα, αντί για την χρησιμοποίηση δεδομένων προς εκπαίδευση μοντέλων μηχανικής μάθησης.