Στον… πάγο βάζει η OpenAI την εκπαίδευση της νέας γενιάς μοντέλων της, με την ονομασία Astra, λίγες εβδομάδες μετά την «απόδραση» πρακτόρων ΑΙ που «επιτέθηκαν» σε άλλες εταιρείες χωρίς αυτό να γίνει αντιληπτό.
H εταιρεία του ChatGPT ανακοίνωσε ακόμα ότι αναστέλλει τις δοκιμές όλων των μοντέλων της για δύο εβδομάδες
Εν μέσω ανησυχίας για τις απρόβλεπτες συμπεριφορές της ΑΙ, η εταιρεία του ChatGPT ανακοίνωσε ακόμα ότι αναστέλλει τις δοκιμές όλων των μοντέλων της για δύο εβδομάδες και αναπτύσσει συστήματα που θα παρακολουθούν τη συμπεριφορά πρακτόρων ΑΙ στη διάρκεια δοκιμών.
Οι «πράκτορες» (AI agents) είναι προγράμματα που αναλαμβάνουν να εκτελούν σύνθετες εργασίες πολλαπλών βημάτων ζητώντας οδηγίες από μοντέλα τεχνητής νοημοσύνης όπως το ChatGPT.
Στα τέλη Ιουλίου, η OpenAI ανέφερε ότι ένας πράκτοράς της βρήκε τρόπο να συνδεθεί στο Διαδίκτυο και να επιτεθεί στο Hugging Face, μια πλατφόρμα για προγραμματιστές, στην οποία θα μπορούσε να βρει λύση για να πετύχει τον στόχο που του είχε δοθεί στις δοκιμές.
Όπως έγινε αργότερα γνωστό, το AI agent δρούσε εκτός ελέγχου για μια ολόκληρη εβδομάδα πριν το αντιληφθείθ η OpenAI.
Όπως σχολιάζει το Reuters, η ανακοίνωση είναι μια ασυνήθιστη κίνηση για την εταιρεία, η οποία το τελευταίο διάστημα πατούσε γκάζι στην ανάπτυξη νέων μοντέλων για να αντιμετωπίσει τον αυξανόμενο ανταγωνισμό της Anthropic.
Αυξάνονται τα προβλήματα
Μη αναμενόμενες συμπεριφορές παρατηρήθηκαν αυτό τον μήνα και στο μοντέλο Mythos 5 της Anthropic, το οποίο προχώρησε σε «αυτόνομες, μη εξουσιοδοτημένες ενέργειες στο πραγματικό Διαδίκτυο, στοχεύοντας πραγματικούς ανθρώπους και οργανισμούς».
Το ίδιο διάστημα, η Meta ανέφερε ότι ένα μοντέλο απέδρασε από το περιβάλλον δοκιμών και χάκαρε μια άλλη εταιρεία.
Σύμφωνα με το Reuters, στελέχη της OpenAI αναγνώρισαν ότι υπάρχουν ανοιχτά ερωτήματα σχετικά με την αποτελεσματικότητα ενός βασικού μέτρου που χρησιμοποιεί για την ενίσχυση των συστημάτων δοκιμών, μια πρακτική που ονομάζεται «παρακολούθηση της αλυσίδας σκέψης» (chain-of-thought monitoring).
Σε αυτό το είδος παρακολούθησης, οι ερευνητές μπορούν να εξετάζουν τη διαδικασία συλλογισμού ενός μοντέλου και να παίερνουν μια εικόνα των στρατηγικών που χρησιμοποιεί για να πετύχει τους στόχους του.
Ορισμένες έρευνες δείχνουν ωστόσο ότι τα μοντέλα μπορεί να αποκρύπτουν τις προθέσεις τους στην αλυσίδα σκέψης.
Πηγή in.gr
