Όταν η AI μπερδεύει το παρελθόν με το μέλλον: Το σφάλμα που ανησυχεί τους επιστήμονες
Η Τεχνητή Νοημοσύνη έχει ήδη αρχίσει να αλλάζει το πρόσωπο της υγειονομικής περίθαλψης, βελτιώνοντας διαγνώσεις, προβλέψεις και διαδικασίες λήψης αποφάσεων. Ωστόσο, όταν η τεχνολογία εισέρχεται σε πεδία όπου η διαφορά ανάμεσα στη ζωή και τον θάνατο μπορεί να κριθεί σε λίγα λεπτά, η βιασύνη μπορεί να αποδειχθεί επικίνδυνη.
Αυτό ακριβώς επισημαίνει ο Shengpu Tang, επίκουρος καθηγητής Επιστήμης Υπολογιστών στο Πανεπιστήμιο Emory, ο οποίος μαζί με συνεργάτες του εντόπισε ένα κρίσιμο ελάττωμα σε σειρά επιστημονικών μελετών που χρησιμοποιούν ενισχυτική μάθηση (reinforcement learning) για την καθοδήγηση της θεραπείας της σήψης.
Τα ευρήματα της ομάδας δημοσιεύθηκαν στο επιστημονικό περιοδικό npj Digital Medicine και φέρνουν στο φως ένα πρόβλημα που, σύμφωνα με τους ερευνητές, επηρεάζει τη μεγάλη πλειονότητα των σχετικών ερευνών της τελευταίας δεκαετίας.
Ένα σφάλμα που κρυβόταν πίσω από εντυπωσιακά αποτελέσματα
Μέσα από εκτεταμένα πειράματα προσομοίωσης, οι ερευνητές διαπίστωσαν ότι μια ευρέως χρησιμοποιούμενη μέθοδος προεπεξεργασίας και ευρετηρίασης δεδομένων για τη θεραπεία της σήψης δημιουργεί μια ανεπαίσθητη αλλά καθοριστική χρονική μετατόπιση.
Η συνέπεια είναι εντυπωσιακή: ο αλγόριθμος Τεχνητής Νοημοσύνης καταλήγει να χρησιμοποιεί πληροφορίες που προέρχονται από το μέλλον για να ερμηνεύσει ή να προβλέψει το παρελθόν.
Όπως προειδοποιούν οι ερευνητές, όταν και τα δεδομένα αξιολόγησης έχουν ευθυγραμμιστεί με τον ίδιο λανθασμένο τρόπο, το πρόβλημα παραμένει αόρατο. Έτσι δημιουργείται μια παραπλανητική εικόνα υψηλής απόδοσης.
«Το ελάττωμα καλύπτεται πίσω από “φουσκωμένες” μετρήσεις απόδοσης που φαίνονται εξαιρετικές στα χαρτιά, αλλά θα αποτύχουν στην πράξη», τονίζει ο καθηγητής Shengpu Tang.
Οι συνέπειες δεν είναι θεωρητικές. Σύμφωνα με τα αποτελέσματα της μελέτης, εάν τέτοια ελαττωματικά συστήματα εφαρμόζονταν σε πραγματικά νοσοκομειακά περιβάλλοντα, θα οδηγούσαν σε υπερθεραπεία ή υποθεραπεία σχεδόν στις μισές καταστάσεις ασθενών.
«Κάναμε κι εμείς το ίδιο λάθος»
Το πιο εντυπωσιακό εύρημα ήταν ίσως η έκταση του προβλήματος. «Διαπιστώσαμε ότι η μεγάλη πλειοψηφία των εργασιών που χρησιμοποιούν ενισχυτική μάθηση για την ανάλυση της θεραπείας της σήψης την τελευταία δεκαετία έκανε αυτό το λάθος χρονικής ευθυγράμμισης, συμπεριλαμβανομένης της δικής μας εργασίας», παραδέχεται ο καθηγητής Tang, ο οποίος είναι και ο πρώτος συγγραφέας της μελέτης.
Η ερευνητική ομάδα ανέπτυξε μια απλή αλλά ουσιαστική λύση, η οποία αλλάζει θεμελιωδώς τον τρόπο με τον οποίο διατυπώνονται τα προβλήματα ενισχυτικής μάθησης στην υγειονομική περίθαλψη.
Τα αποτελέσματα των προσομοιώσεων, που βασίστηκαν σε πραγματικά κλινικά δεδομένα, έδειξαν ότι όταν το συγκεκριμένο σφάλμα παραμένει στο μοντέλο, ο αλγόριθμος δεν επηρεάζει ουσιαστικά τη θνησιμότητα των ασθενών.
Όταν όμως η χρονική μετατόπιση διορθώνεται, η εικόνα αλλάζει δραματικά: οι προσομοιώσεις κατέγραψαν μείωση της θνησιμότητας κατά 8% έως 10%.
«Ελπίζουμε ότι αυτή η εργασία θα λειτουργήσει ως αφύπνιση και ταυτόχρονα ως οδικός χάρτης για την ανάπτυξη ασφαλέστερων και πιο αξιόπιστων μοντέλων ενισχυτικής μάθησης στην κλινική πράξη», υπογραμμίζει ο καθηγητής Tang.
Συνυπογράφουν τη μελέτη η Sonali Parbhoo, επίκουρη καθηγήτρια Ηλεκτρολογίας και Ηλεκτρονικής Μηχανικής στο Imperial College του Λονδίνου, η Jenna Wiens, καθηγήτρια Επιστήμης Υπολογιστών και Μηχανικής στο Πανεπιστήμιο του Μίσιγκαν, καθώς και ο Jiayu Yao, ο οποίος συμμετείχε στην έρευνα ως μεταδιδακτορικός ερευνητής στο Πανεπιστήμιο Columbia.
Η σήψη εξακολουθεί να αποτελεί μια σιωπηλή απειλή
Η σήψη είναι μια εξαιρετικά σοβαρή κατάσταση που προκαλείται όταν μια λοίμωξη ενεργοποιεί μια ακραία και απειλητική για τη ζωή αντίδραση του οργανισμού.
Οι νοσηλευόμενοι ασθενείς, ιδιαίτερα όσοι έχουν εξασθενημένο ανοσοποιητικό σύστημα, βρίσκονται σε αυξημένο κίνδυνο. Σύμφωνα με τα Κέντρα Ελέγχου και Πρόληψης Νοσημάτων (CDC), ένας στους τρεις ενήλικες που πεθαίνουν σε νοσοκομείο είχε εμφανίσει σήψη κατά τη διάρκεια της νοσηλείας του.
Ήδη πολλά συστήματα υγείας χρησιμοποιούν εργαλεία Τεχνητής Νοημοσύνης για την παρακολούθηση του κινδύνου εμφάνισης σήψης. Τα συστήματα αυτά βασίζονται συνήθως σε εποπτευόμενη μάθηση, όπου μεγάλα σύνολα δεδομένων με ζωτικά σημεία και κλινικές παραμέτρους ασθενών χρησιμοποιούνται για την εκπαίδευση των αλγορίθμων.
Αφού εκπαιδευτούν, τα μοντέλα μπορούν να ειδοποιούν το ιατρικό προσωπικό όταν ένας ασθενής παρουσιάζει αυξημένη πιθανότητα να αναπτύξει σήψη.
Από την πρόβλεψη κινδύνου στη λήψη θεραπευτικών αποφάσεων
Η επιτυχία των εργαλείων πρόβλεψης κινδύνου οδήγησε πολλούς επιστήμονες στο επόμενο βήμα: τη χρήση της Τεχνητής Νοημοσύνης για την καθοδήγηση της ίδιας της θεραπείας.
Η πρόκληση, ωστόσο, είναι πολύ μεγαλύτερη.
Σε αντίθεση με την εκτίμηση κινδύνου, η επιλογή θεραπείας απαιτεί τον συγχρονισμό πολλών διαφορετικών μεταβλητών σε ένα συνεχώς μεταβαλλόμενο περιβάλλον: χορήγηση ενδοφλέβιων υγρών, αντιβιοτικών, αγγειοδραστικών φαρμάκων ή χειρουργικών παρεμβάσεων, διαφορετικές δοσολογίες, διάρκεια θεραπείας, μεταβολές στα ζωτικά σημεία και τελικά την επιβίωση ή τη θνησιμότητα του ασθενούς.
Γιατί η ενισχυτική μάθηση θεωρήθηκε η ιδανική λύση
Η ενισχυτική μάθηση είναι ειδικά σχεδιασμένη για περιβάλλοντα όπου οι αποφάσεις λαμβάνονται διαδοχικά και τα δεδομένα μεταβάλλονται συνεχώς.
Το κλασικό παράδειγμα είναι το σκάκι: ο αλγόριθμος παρατηρεί τη θέση των κομματιών, επιλέγει μια κίνηση, ο αντίπαλος απαντά και η διαδικασία επαναλαμβάνεται.
Με παρόμοια λογική, στην υγειονομική περίθαλψη ο αλγόριθμος παρατηρεί τη φυσιολογική κατάσταση του ασθενούς, επιλέγει μια θεραπευτική παρέμβαση και στη συνέχεια αξιολογεί πώς εξελίσσεται η κατάσταση.
Τα τελευταία χρόνια, η μέθοδος αυτή χρησιμοποιείται ολοένα και περισσότερο για την ανάλυση ιστορικών ακολουθιών θεραπείας και την εξαγωγή βέλτιστων στρατηγικών φροντίδας.
Η στιγμή που οι ερευνητές υποψιάστηκαν ότι κάτι δεν πάει καλά
Ο καθηγητής Tang είχε ήδη εργαστεί το 2020 σε μελέτη που αξιοποιούσε την ενισχυτική μάθηση για την ανάλυση θεραπευτικών πρακτικών στη σήψη.
Μετά την ολοκλήρωση εκείνης της έρευνας άρχισε να αμφιβάλλει για τη μέθοδο προεπεξεργασίας δεδομένων που χρησιμοποιούσαν πολλά μοντέλα.
Μαζί με τους συνεργάτες του αποφάσισε να εξετάσει το ζήτημα σε βάθος. Η έρευνα αποκάλυψε ένα πρόβλημα που παρέμενε κρυμμένο για χρόνια.
Όταν τα δεδομένα χάνουν τον συγχρονισμό τους
Σε αντίθεση με τα κλασικά περιβάλλοντα ενισχυτικής μάθησης, όπου οι χρονικές ακολουθίες είναι σαφώς ορισμένες, τα δεδομένα της υγειονομικής περίθαλψης προέρχονται συχνά από ακανόνιστα χρονικά σημεία.
Οι καταχωρήσεις στα ηλεκτρονικά αρχεία υγείας μπορεί να γίνουν άμεσα ή με καθυστέρηση, ενώ οι θεραπείες και οι κλινικές μετρήσεις δεν καταγράφονται πάντοτε συγχρονισμένα.
Για να εκπαιδευτούν οι αλγόριθμοι, τα δεδομένα τεμαχίζονται σε χρονικά παράθυρα ίσης διάρκειας. Στη συνέχεια, δημιουργούνται ζεύγη «κατάστασης-δράσης» που τροφοδοτούν το μοντέλο.
Εκεί ακριβώς εντοπίστηκε το πρόβλημα.
Ο αλγόριθμος αντιλαμβάνεται την κατάσταση του ασθενούς μέσω μιας περίληψης των ζωτικών σημείων που υπολογίζεται μόνο στο τέλος του χρονικού παραθύρου. Την ίδια στιγμή όμως θεωρεί ότι η θεραπευτική απόφαση λήφθηκε στην αρχή αυτού του παραθύρου.
«Σε έναν ασθενή μπορεί να έχει δοθεί ένα χάπι στη μέση του χρονικού παραθύρου ή να έχει ξεκινήσει μια έγχυση πολύ νωρίτερα. Παρ’ όλα αυτά, ο παράγοντας Τεχνητής Νοημοσύνης θεωρεί ότι η απόφαση για τη χορήγηση αυτών των θεραπειών βασίστηκε σε μια περίληψη της κατάστασης του ασθενούς που καθορίστηκε μόνο στο τέλος του παραθύρου», εξηγεί ο καθηγητής Tang.
Το 80% των μελετών χρησιμοποιούσε την ίδια λανθασμένη πρακτική
Η ομάδα προχώρησε σε ανασκόπηση της διεθνούς βιβλιογραφίας και διαπίστωσε ότι περίπου το 80% των ερευνών που αξιοποιούσαν ενισχυτική μάθηση για τη θεραπεία της σήψης ακολουθούσαν την ίδια προβληματική μεθοδολογία.
Η λύση αποδείχθηκε εκπληκτικά απλή: η μετατόπιση του δείκτη δράσης κατά ένα χρονικό βήμα προς τα πίσω αποκαθιστά τη σωστή χρονική ευθυγράμμιση.
Κατά τον καθηγητή Tang, πολλοί ερευνητές υπέθεσαν λανθασμένα ότι οι τεχνικές διαχείρισης δεδομένων που λειτουργούν στα μοντέλα εποπτευόμενης μάθησης μπορούν να εφαρμοστούν αυτούσιες και στην ενισχυτική μάθηση.
«Πολλοί άνθρωποι δεν σταματούν ποτέ να σκεφτούν πώς λειτουργούν οι δείκτες σε διαφορετικές καταστάσεις. Είναι σημαντικό να μην εργαζόμαστε στον αυτόματο πιλότο, ώστε να αποφεύγονται λάθη στην προεπεξεργασία και την ευρετηρίαση των δεδομένων», σημειώνει.
Έκκληση για μεγαλύτερη προσοχή στην ανάπτυξη της Τεχνητής Νοημοσύνης
Παρότι η συγκεκριμένη έρευνα επικεντρώνεται στη σήψη, ο καθηγητής Tang εκφράζει την ανησυχία του ότι η ίδια λανθασμένη τεχνική μπορεί να έχει διεισδύσει και σε άλλες εφαρμογές ενισχυτικής μάθησης.
Ως ερευνητής που εργάζεται για την ανάπτυξη εργαλείων Τεχνητής Νοημοσύνης τα οποία θα υποστηρίζουν τους επαγγελματίες υγείας στη λήψη αποφάσεων, ζητά πιο προσεκτικούς και μετρήσιμους ρυθμούς εξέλιξης.
«Είμαι άνθρωπος της παλιάς σχολής. Πιστεύω ότι η Τεχνητή Νοημοσύνη κινείται πολύ γρήγορα σε ορισμένες περιπτώσεις και ότι χρειάζεται περισσότερος έλεγχος», δηλώνει.
Και καταλήγει με μια προειδοποίηση που ξεπερνά τα όρια της συγκεκριμένης μελέτης: «Οι άνθρωποι φαίνεται να κάνουν το ίδιο λάθος ξανά και ξανά. Θέλουμε να ενημερώσουμε περισσότερους ερευνητές και προγραμματιστές Τεχνητής Νοημοσύνης, τόσο στον χώρο της υγείας όσο και σε ευρύτερες εφαρμογές, ώστε να γνωρίζουν αυτό το ζήτημα και να το αποφύγουν στο μέλλον».