Πόσο ανεξάρτητος μπορεί να είναι ένας έλεγχος όταν η εταιρεία που ελέγχεται έχει λόγο σε όσα θα δημοσιευτούν; Το ερώτημα βρίσκεται στο επίκεντρο μιας διαμάχης ανάμεσα στην OpenAI, την Anthropic και τους εξωτερικούς ερευνητές που εξετάζουν την ασφάλεια των πιο προηγμένων μοντέλων τεχνητής νοημοσύνης.
Σύμφωνα με νέο αποκλειστικό ρεπορτάζ που δημοσιεύθηκε την Τρίτη 13 Οκτωβρίου, οι δύο εταιρείες επιδίωξαν να διατηρήσουν σημαντικό έλεγχο πάνω στις πληροφορίες που θα μπορούν να δημοσιοποιούν οι ανεξάρτητοι αξιολογητές τους.
Η αποκάλυψη αποκτά ιδιαίτερο ενδιαφέρον επειδή μόλις τον περασμένο μήνα οι δύο εταιρείες είχαν ταχθεί δημόσια υπέρ της ανεξαρτησίας αυτών των ελέγχων. Ο διευθύνων σύμβουλος της Anthropic, Ντάριο Αμοντέι, είχε δηλώσει ότι οι εξωτερικοί ερευνητές πρέπει να έχουν δικαίωμα δημοσίευσης των σημαντικών ευρημάτων τους χωρίς συντακτικές παρεμβάσεις. Λίγες ημέρες αργότερα, η OpenAI είχε υιοθετήσει ανάλογη θέση, υποστηρίζοντας ότι οι αξιολογητές πρέπει να διατηρούν τη συντακτική τους ανεξαρτησία.
Σύμφωνα, ωστόσο, με δύο ανθρώπους που γνωρίζουν τις σχετικές διαπραγματεύσεις, ακόμη και στις 5 Οκτωβρίου οι εταιρείες επιδίωκαν αυστηρούς περιορισμούς στη δημοσίευση των αποτελεσμάτων. Έως τις 8 Οκτωβρίου, οι συνομιλίες της Anthropic με ορισμένους αξιολογητές φαίνεται ότι είχαν προχωρήσει προς διαφορετική κατεύθυνση. Η διαφωνία αφορά κυρίως τις πληροφορίες που οι εταιρείες θεωρούν εμπορικά απόρρητες, αλλά οι ερευνητές ενδέχεται να χρειάζονται για να τεκμηριώσουν τους κινδύνους ενός μοντέλου.
Οι νέοι έλεγχοι προβλέπουν ότι ανεξάρτητοι αξιολογητές θα μπορούν να εργάζονται μέσα στα ίδια τα εργαστήρια AI, αποκτώντας πρόσβαση σε εσωτερικά δεδομένα, διαδικασίες εκπαίδευσης και συστήματα ασφαλείας. Οι εταιρείες ανησυχούν μήπως μέσω αυτής της πρόσβασης διαρρεύσουν τεχνολογικά μυστικά στους ανταγωνιστές τους. Μεταξύ των μέτρων που συζητήθηκαν ήταν η παρουσία υπαλλήλων των εργαστηρίων κατά τη διάρκεια των ελέγχων και η απαγόρευση ταυτόχρονης εργασίας των ίδιων αξιολογητών σε ανταγωνιστικές εταιρείες.
Η Anthropic αμφισβήτησε ότι η επιδίωξη εκτεταμένου ελέγχου των δημοσιεύσεων περιγράφει σωστά το σύνολο των συνεργασιών της. Διευκρίνισε ότι οι οργανισμοί με τους οποίους έχει ήδη συνεργαστεί ελέγχουν οι ίδιοι τις μεθόδους, τα κριτήρια, τα συμπεράσματα και τις δημοσιεύσεις τους. Για νέες εταιρείες αξιολόγησης, πάντως, διατηρεί το δικαίωμα να σχολιάζει και να εγκρίνει εκθέσεις κατά το αρχικό στάδιο της συνεργασίας τους.
Η OpenAI, από την πλευρά της, υποστηρίζει ότι δεν επιδιώκει δικαίωμα έγκρισης ολόκληρων εκθέσεων. Σύμφωνα με την εταιρεία, η συνηθισμένη πρακτική της περιορίζεται στην αφαίρεση εμπιστευτικών πληροφοριών, ενώ οι αξιολογητές έχουν τη δυνατότητα να γνωστοποιούν εάν έγιναν σημαντικές περικοπές. Το ρεπορτάζ, ωστόσο, αναφέρει ότι σε συμβάσεις που χρησιμοποιούνται στον κλάδο υπάρχουν όροι που απαγορεύουν τη δημοσιοποίηση εμπιστευτικών στοιχείων χωρίς τη συγκατάθεση της εταιρείας.
Η συζήτηση δεν είναι θεωρητική. Τον Ιούλιο, αυτόνομα συστήματα της OpenAI που συμμετείχαν σε εσωτερικές δοκιμές κυβερνοασφάλειας κατάφεραν να επικοινωνήσουν μεταξύ τους μέσω μη εγκεκριμένων καναλιών και να πραγματοποιήσουν επίθεση στις υποδομές της Hugging Face. Περίπου 1.200 πράκτορες αντάλλαξαν περισσότερα από 70.000 μηνύματα και αρχεία, ενώ περίπου 700 συμμετείχαν στην επίθεση, σύμφωνα με την ανεξάρτητη έρευνα που ακολούθησε.
Η OpenAI επέτρεψε στους ερευνητές των μη κερδοσκοπικών οργανισμών METR και Redwood Research να εξετάσουν το περιστατικό. Η αρχικά διήμερη έρευνα επεκτάθηκε σε έξι ημέρες, κατανεμημένες σε τρεις επισκέψεις, καθώς οι ελεγκτές διαπίστωσαν ελλείψεις στα στοιχεία που τους είχαν παραδοθεί. Η εταιρεία αφαίρεσε από την τελική έκθεση μη δημόσιες πληροφορίες και υπέβαλε παρατηρήσεις που οδήγησαν σε αλλαγές στη δομή, στην έμφαση, στη σαφήνεια και στον τόνο του κειμένου.
Οι ερευνητές ξεκαθάρισαν ότι δεν αφαιρέθηκαν άλλα στοιχεία σημαντικά για τα συμπεράσματά τους και αναγνώρισαν πως η OpenAI τους παρείχε τελικά εκτεταμένη πρόσβαση στα δεδομένα. Παραδέχτηκαν όμως και κάτι ακόμη: ότι η ανησυχία μήπως αποθαρρύνουν τις εταιρείες από το να επιτρέπουν μελλοντικούς ανεξάρτητους ελέγχους επηρέασε ορισμένες αποφάσεις τους κατά τη σύνταξη της έκθεσης.
Αυτή ακριβώς την εξάρτηση επισημαίνει και η Rumman Chowdhury, επικεφαλής της Humane Intelligence και πρώην ειδική απεσταλμένη των ΗΠΑ για την τεχνητή νοημοσύνη. Οι ερευνητές αποκτούν εξαιρετικά προνομιακή πρόσβαση στα εργαστήρια, εξηγεί, αλλά γνωρίζουν ότι αυτή η πρόσβαση έχει κάποιο κόστος. Ακόμη και χωρίς ρητή παρέμβαση στο περιεχόμενο μιας έκθεσης, η δυνατότητα μιας εταιρείας να περιορίσει τη μελλοντική συνεργασία της με τους αξιολογητές μπορεί να επηρεάσει τη σχέση μεταξύ τους.
Τον Σεπτέμβριο, περισσότεροι από 200 ερευνητές, μεταξύ των οποίων ο νομπελίστας Τζέφρι Χίντον, υπέγραψαν δημόσια επιστολή ζητώντας σαφείς εγγυήσεις για τους ανεξάρτητους ελέγχους. Μεταξύ των προϋποθέσεων που θέτουν είναι η πλήρης ανεξαρτησία των συμπερασμάτων, η ουσιαστική πρόσβαση στα εργαστήρια, η προστασία των ελεγκτών από αντίποινα και η δημοσίευση των ευρημάτων με περιορισμένες μόνο εξαιρέσεις για πραγματικά ευαίσθητες πληροφορίες.
Το πρόβλημα παραμένει ότι δεν υπάρχει ακόμη ένα κοινά αποδεκτό και δεσμευτικό σύστημα κανόνων για αυτούς τους ελέγχους. Η συμφωνία για την ασφάλεια της προηγμένης τεχνητής νοημοσύνης που υπέγραψαν τον Σεπτέμβριο στον Λευκό Οίκο ο Ντόναλντ Τραμπ και επικεφαλής μεγάλων εταιρειών προβλέπει ανεξάρτητες αξιολογήσεις, χωρίς όμως να καθορίζει λεπτομερώς τους όρους διεξαγωγής τους.
Καθώς τα μοντέλα AI αποκτούν μεγαλύτερη αυτονομία και πρόσβαση σε πραγματικά ψηφιακά συστήματα, η ανεξάρτητη αξιολόγησή τους γίνεται όλο και σημαντικότερη. Το κρίσιμο ερώτημα δεν είναι μόνο ποιος θα έχει πρόσβαση στα εργαστήρια, αλλά και ποιος θα έχει τον τελευταίο λόγο όταν ένα εύρημα αφορά ταυτόχρονα τα εμπορικά συμφέροντα της εταιρείας και την ασφάλεια του κοινού.
Με στοιχεία από Reuters