An innovative data mining procedure, using clean algorithm and factor analysis, for irregularly sampled temporal environmental data sets

Résumé El En

Οι περιβαλλοντικές βάσεις δεδομένων συχνά αντιμετωπίζουν τα προβλήματα της άτακτης δειγματοληψίας στον χρόνο και της έλλειψης μετρήσεων για κάποιες περιόδους. Το γεγονός αυτό εμποδίζει τη χρήση των κλασικών μεθόδων ανάλυσης χρονοσειρών, οι οποίες απαιτούν σταθερό χρονικό βήμα ενώ ταυτόχρονα τα χρονικά κενά εισάγουν δυσκολίες στην χρήση των περισσοτέρων μεθόδων πολυδιάστατης σταπστικής ανάλυσης. Η παρούσα εργασία προτείνει ένα πλήρες μεθοδολογικό σχήμα ανάλυσης χρονικών περιβαλλονπκών δεδομένων με δειγματοληπτική ανομοιογένεια, στο οποίο γίνεται χρήση του αλγορίθμου CLEAN και της Παραγοντικής ανάλυσης (Factor Analysis). Ο αλγόριθμος CLEAN έχει την ικανότητα να αναπλάθει τις αρχικές χρονοσειρές της βάσης δεδομένων χρησιμοποιώντας φασματική ανάλυση και να δημιουργεί καινούργιες με σταθερό χρονικό βήμα και έλλειψη κενών. Λαμβάνει χώρα δηλαδή τόσο συμπλήρωση των κενών τ?/ς βάσης, όσο και «εξυγίανση» της δειγματοληψίας της. Η παραγοντική ανάλυση ομαδοποιεί τις μεταβλητές, ανάλογα με τον περιβαλλοντικό μηχανισμό από τον οποίο κάθε μια ελέγχεται και επιπλέον αποκαλύπτει τη χαρακτηριστική χρονική διακύμανση της κάθε ομάδας. Το συγκεκριμένο μεθοδολογικό σχήμα εφαρμόστηκε με πλήρη επιτυχία σε μια βάση υδροχημικών δεδομένων μεγάλης χρονικής περιόδου (1980-94) στον ποταμό Στρυμόνα

Environmental data are often irregularly collected in the time domain due to various reasons which affect the field sampling schedule. As a result, data sets with uneven time step and time periods with no measurements are frequently built. Many problems occur in such data sets when processed owing to that neither statistical nor spectral analysis methods can easily be applied to them without any specific pre-treatment. In our study it is demonstrated a unified methodological scheme especially designed to deal with incomplete and unevenly sampled temporal data sets. This method consists of the CLEAN algorithm and the Factor analysis. The proposed methodology is successfully applied to data sets that belong to two sampling sites of the Greek river Strimonas