Η αυτόνομη τεχνητή νοημοσύνη (AI) υπόσχεται να μεταμορφώσει τον τρόπο λειτουργίας των οργανισμών. Σε αντίθεση με τα προηγούμενα εργαλεία AI που σχεδιάστηκαν για να συνοψίζουν έγγραφα ή να δημιουργούν περιεχόμενο, αυτά τα συστήματα μπορούν να ενεργούν αυτόνομα, να εκτελούν εργασίες και να αλληλεπιδρούν με εταιρικά συστήματα. Για τα διοικητικά συμβούλια που επιβλέπουν τον τεχνολογικό κίνδυνο, αυτή η αλλαγή εισάγει μια θεμελιωδώς διαφορετική κατηγορία ανησυχίας ασφαλείας. Η Laura I. Harder, Αντιπρόεδρος του Information Systems Security Association (ISSA) International και αξιωματικός επιθετικής κυβερνοασφάλειας στην Εφεδρεία της Πολεμικής Αεροπορίας των ΗΠΑ, πιστεύει ότι πολλοί ηγέτες υποτιμούν το πόσο γρήγορα μπορούν να εκδηλωθούν αυτοί οι κίνδυνοι. "Ο κίνδυνος για τους οργανισμούς πραγματικά καταλήγει στο να έχουν υπερβολική αυτονομία," λέει η Harder. "Οι πράκτορες μπορούν να αλλάξουν δικαιώματα, να αλλάξουν λειτουργικότητα και να δημιουργήσουν ενέργειες που ίσως δεν περιμένατε." Καθώς οι οργανισμοί μεταβαίνουν από το πειραματισμό με την AI στην επιχειρησιακή λειτουργία αυτόνομων πρακτόρων, τα διοικητικά συμβούλια πρέπει να κινηθούν εξίσου γρήγορα για να δημιουργήσουν δομές διακυβέρνησης, προστατευτικά μέτρα και μηχανισμούς εποπτείας ικανούς να διαχειρίζονται συστήματα που μπορούν να λαμβάνουν αποφάσεις και να λαμβάνουν μέτρα χωρίς ανθρώπινη παρέμβαση.
Η Αυτόνομη AI Αλλάζει την Εξίσωση Ασφαλείας
Τα τελευταία χρόνια, οι περισσότερες εταιρικές αναπτύξεις AI επικεντρώθηκαν σε εργαλεία που αναλύουν πληροφορίες ή δημιουργούν αποτελέσματα. Αυτές οι δυνατότητες εισήγαγαν ανησυχίες απορρήτου και ακεραιότητας δεδομένων, αλλά τα ίδια τα συστήματα σπάνια εκτελούσαν ενέργειες μέσα σε εταιρικά περιβάλλοντα. Η αυτόνομη AI αλλάζει αυτή τη δυναμική. Αντί να προσφέρουν απλώς συστάσεις ή να φιλτράρουν βιογραφικά, οι πράκτορες μπορούν να ενεργοποιήσουν ροές εργασίας, να έχουν πρόσβαση σε βάσεις δεδομένων και να αλληλεπιδρούν με συστήματα λογισμικού σε έναν οργανισμό. "Τώρα δεν μας δίνει απλώς συμβουλές. Λαμβάνει δράση και ενεργεί από μόνη της," λέει η Harder.
Αυτή η αυτονομία δημιουργεί νέες προκλήσεις ασφαλείας επειδή τα συστήματα μπορούν να χειραγωγηθούν. Όπως οι άνθρωποι μπορούν να πέσουν θύματα κοινωνικής μηχανικής, οι πράκτορες AI μπορούν να εξαπατηθούν ώστε να εκτελέσουν ακούσιες εργασίες μέσω τεχνικών όπως η ένεση εντολών. Η Harder επισημαίνει παραδείγματα από την πραγματική ζωή όπου κρυφές οδηγίες που ενσωματώνονται στις εισόδους αλλάζουν τον τρόπο λειτουργίας της AI. "Η AI θα συμπεριφερθεί με βάση τις οδηγίες που της δίνονται," λέει. Αυτές οι απειλές επιδεινώνονται από την αδιαφανή φύση πολλών μοντέλων AI. Οι οργανισμοί συχνά βασίζονται σε εργαλεία τρίτων χωρίς πλήρη ορατότητα στον τρόπο λήψης αποφάσεων. Το αποτέλεσμα είναι ένα σύστημα ικανό να εκτελεί ενέργειες ενώ λειτουργεί με τρόπους που είναι δύσκολο να προβλεφθούν.
Ο Κρυφός Κίνδυνος που τα Διοικητικά Συμβούλια Συχνά Παραβλέπουν
Όταν τα διοικητικά συμβούλια αρχίζουν να αξιολογούν την αυτόνομη AI, η Harder λέει ότι η πιο υποτιμημένη ευπάθεια είναι τα δικαιώματα. Κάθε πράκτορας AI λειτουργεί μέσα σε ένα δίκτυο συστημάτων, πηγών δεδομένων και εφαρμογών. Το επίπεδο πρόσβασης που παρέχεται σε αυτά τα συστήματα καθορίζει την πιθανή ζημιά εάν κάτι πάει στραβά. Η Harder το περιγράφει ως την "ακτίνα έκρηξης" του συστήματος. Ένας πράκτορας στον οποίο δίνονται ευρεία δικαιώματα μπορεί να είναι σε θέση να αλληλεπιδράσει με πολύ περισσότερα δεδομένα και υποδομή από όσο συνειδητοποιούν οι ηγέτες.
Ένα συνηθισμένο παράδειγμα συμβαίνει όταν τα συστήματα AI συνδέονται με εσωτερικά εργαλεία συνεργασίας ή αποθετήρια εγγράφων. Εάν ένας ευρέως κοινόχρηστος φάκελος περιέχει ευαίσθητες πληροφορίες, ένας πράκτορας που λειτουργεί σε αυτό το περιβάλλον θα μπορεί να έχει πρόσβαση και να χρησιμοποιήσει αυτά τα δεδομένα εντός των δικαιωμάτων που παρέχονται στον χρήστη, τον λογαριασμό υπηρεσίας ή την ενσωμάτωση υπό την οποία εκτελείται. Στην πράξη, αυτό σημαίνει ότι ο πράκτορας μπορεί να αναδείξει ή να ενεργήσει επί πληροφοριών που μπορεί να ήταν ευρέως προσβάσιμες αλλά όχι ενεργά παρακολουθούμενες.
Οι υπηρεσίες AI τρίτων εισάγουν ένα πρόσθετο επίπεδο κινδύνου. "Εάν χρησιμοποιείτε ένα μοντέλο, σε ποιες πληροφορίες έχει πρόσβαση αυτό το μοντέλο και μπορούν οι πληροφορίες σας να χρησιμοποιηθούν για την εκπαίδευση αυτού του μοντέλου;" ρωτά η Harder. Χωρίς σαφείς ελέγχους, ιδιόκτητες πληροφορίες, διανοητική ιδιοκτησία ή ευαίσθητα δεδομένα πελατών θα μπορούσαν ακούσια να εγκαταλείψουν τον οργανισμό μέσω αλληλεπιδράσεων AI.
Δημιουργία Διακυβέρνησης που Μπορεί να Συμβαδίσει με την AI
Η διακυβέρνηση AI πρέπει να αντιμετωπιστεί ως δομημένο πρόγραμμα και όχι ως τεχνολογική προσθήκη. Οι οργανισμοί πρέπει να ξεκινήσουν δημιουργώντας ένα αφιερωμένο συμβούλιο διακυβέρνησης AI, που συχνά βασίζεται σε υφιστάμενες επιτροπές διακυβέρνησης απορρήτου ή κινδύνου. Αυτή η ομάδα πρέπει να υιοθετήσει καθιερωμένα πλαίσια όπως το NIST AI Risk Management Framework ή διεθνή πρότυπα όπως το ISO 42001. "Η διακυβέρνηση AI και οι προστασίες AI δεν είναι απλώς ένα προϊόν που μπορείτε να αγοράσετε," λέει.
Αυτά τα πλαίσια παρέχουν καθοδήγηση σχετικά με πολιτικές, αξιολογήσεις κινδύνου και λειτουργικούς ελέγχους. Αλλά εξακολουθούν να απαιτούν από τους οργανισμούς να ορίσουν πώς θα λειτουργήσει η AI μέσα στο περιβάλλον τους και σε ποια δεδομένα θα επιτρέπεται να έχει πρόσβαση. "Χρειάζεστε πολιτικές, διαδικασίες και απογραφές," λέει η Harder. "Αυτά τα κομμάτια θα βοηθήσουν στην κατασκευή της υποδομής από την οποία μπορούν να εργαστούν οι ομάδες σας." Μια αναδυόμενη πρακτική είναι η δημιουργία ενός "καταλόγου υλικών AI" που απογράφει κάθε εργαλείο AI που χρησιμοποιείται μέσα στον οργανισμό, σε ποια συστήματα συνδέεται και σε ποια δεδομένα μπορεί να έχει πρόσβαση. Χωρίς αυτή την ορατότητα, οι οργανισμοί δεν μπορούν να κατανοήσουν πλήρως την έκθεση που δημιουργείται από αυτόνομα συστήματα που αλληλεπιδρούν με την εταιρική υποδομή.
Προστατευτικά Μέτρα που Αποτρέπουν την AI από το να Βγει Εκτός Ελέγχου
Ακόμη και με δομές διακυβέρνησης σε ισχύ, τα αυτόνομα συστήματα απαιτούν τεχνικές διασφαλίσεις που περιορίζουν τον τρόπο λειτουργίας τους. Η πιο αποτελεσματική στρατηγική είναι να σχεδιαστούν έλεγχοι ασφαλείας από την αρχή. Τα συστήματα πρέπει αρχικά να αναπτύσσονται μέσα σε κλειστά, ελεγχόμενα περιβάλλοντα sandbox χρησιμοποιώντας δεδομένα δοκιμής (όχι δεδομένα παραγωγής) και περιορισμένα προνόμια. "Καθώς κατασκευάζετε το αυτόνομο σύστημά σας, πρέπει να το κάνετε σε ένα sandbox," λέει. "Είναι ένα ελεγχόμενο περιβάλλον όπου τα συνθετικά συστήματα μπορούν να λειτουργήσουν με χαμηλό κίνδυνο και χωρίς προνόμια."
Οι δοκιμές πρέπει επίσης να περιλαμβάνουν red teaming, όπου επαγγελματίες ασφαλείας προσπαθούν να σπάσουν το σύστημα ή να χειραγωγήσουν τη συμπεριφορά του. Αυτές οι ασκήσεις εκθέτουν τις ευπάθειες πριν τα συστήματα αναπτυχθούν σε περιβάλλοντα παραγωγής. "Η ύπαρξη ανθρώπου στον βρόχο διασφαλίζει ότι εάν και όταν το εργαλείο AI σας αποφασίσει να λάβει μια απόφαση που ίσως δεν θέλατε, υπάρχει κάποιου είδους περιορισμός," λέει η Harder. Οι τεχνικές απομόνωσης μπορούν επίσης να περιορίσουν τον κίνδυνο. Σε ορισμένες αρχιτεκτονικές, οι πράκτορες περιορίζονται μέσα σε εικονικές μηχανές όπου οι πολιτικές περιορίζουν ποιες εντολές μπορούν να εκτελέσουν και σε ποια συστήματα μπορούν να έχουν πρόσβαση.
Η Εποπτεία του Διοικητικού Συμβουλίου Έχει Τελικά Σημασία
Για τα διοικητικά συμβούλια, η άνοδος της αυτόνομης AI είναι μια πρόκληση διακυβέρνησης και λογοδοσίας και η Harder τονίζει ότι οι οργανισμοί παραμένουν υπεύθυνοι για τις ενέργειες που αναλαμβάνουν τα συστήματα AI τους. "Δεν μπορείτε να επιστρέψετε και να πείτε, 'Δεν ήξερα ότι μπορούσε να το κάνει αυτό'," λέει. "Πρέπει να κάνετε τη δέουσα επιμέλειά σας." Αυτή η ευθύνη φέρει τόσο νομικές όσο και καταπιστευτικές συνέπειες. Τα διοικητικά συμβούλια πρέπει να διασφαλίσουν ότι οι αυτόνομες τεχνολογίες εφαρμόζονται με σαφή εποπτεία, περιορισμένη εξουσία και συνεχή παρακολούθηση. "Μην συνδέετε πράκτορες σε προνομιακά εργαλεία μέχρι να μπορέσετε να αποδείξετε ότι έχει περιορισμένη εξουσία, ανθρώπινα σημεία ελέγχου και παρακολούθηση," λέει η Harder. Καθώς η αυτόνομη AI συνεχίζει να μετακινείται από τον πειραματισμό στις βασικές λειτουργίες, οι οργανισμοί που θα πετύχουν θα είναι εκείνοι που αντιμετωπίζουν τη διακυβέρνηση και την ασφάλεια ως θεμελιώδεις απαιτήσεις και όχι ως μεταγενέστερες σκέψεις.
Ακολουθήστε τη Laura I. Harder στο LinkedIn για περισσότερες πληροφορίες.
