Mistral: Αυτή είναι η γαλλική startup που θέλει να ξεπεράσει την OpenAI

Πίσω από την ανάπτυξη της τεχνολογίας της τεχνητής νοημοσύνης βρίσκονται τα λεγόμενα μεγάλα γλωσσικά μοντέλα (LLM). Δηλαδή αλγόριθμοι που τροφοδοτούν τη δημιουργική τεχνητή νοημοσύνη που μπορεί να παράγει κείμενο και άλλα αποτελέσματα που μοιάζουν με τα ανθρώπινα.

Σε αυτή την… κούρσα φαίνεται να προηγείται η αμερικανική OpenAI που δημιούργησε το ChatGPT και έχει αναπτύξει το ισχυρότερο LLM στον κόσμο, την έκδοση GPT-4. Σύμφωνα με άρθρο του Economist, η εταιρεία, που έχει την απεριόριστη υποστήριξη της Microsoft, καταβροχθίζει ταλέντα, δεδομένα και υπολογιστική ισχύ για την κατασκευή πιο έξυπνων μοντέλων. Ως αποτέλεσμα, προσελκύει περισσότερους χρήστες και μαζί τους περισσότερα κεφάλαια για να τα διοχετεύσει σε ακόμη πιο εξελιγμένα μοντέλα.

Πόσο νερό καταναλώνουν τα data center της δημιουργικής AI;

Σε αυτή την εικόνα μπαίνει… σφήνα μία γαλλική νεοφυής επιχείρηση, η Mistral, που επιχειρεί να φρενάρει την ξέφρενη πορεία της OpenAI στον τομέα της τεχνητής νοημοσύνης. Στις 26 Φεβρουαρίου η Mistral κυκλοφόρησε ένα νέο LLM.

Το μοντέλο, που ονομάζεται Mistral-Large, είναι μικρότερο από το GPT-4, μετρούμενο από τον αριθμό των παραμέτρων που χρησιμοποιεί. Ακόμα κι έτσι, σχεδόν συναγωνίζεται το GPT-4 σε σημαντικές πτυχές της απόδοσης, όπως η συλλογιστική, αναφέρει ο Economist.

Η Mistral παρουσίασε επίσης έναν ανταγωνιστή του ChatGPT με «κινητήρα» Mistral-Large, το Le Chat (από τη γαλλική λέξη για τη γάτα). Συγχρόνως, ανακοίνωσε μια συμφωνία με τη Microsoft, ένα μεγαθήριο της τεχνητής νοημοσύνης που έχει ήδη βαθιά συνεργασία με το OpenAI. Ο τεχνολογικός γίγαντας θα αποκτήσει ένα μικρό μερίδιο της Mistral και θα διαθέσει τα μοντέλα της γαλλικής εταιρείας μέσω του νέφους Azure

Μια βιομηχανία πιο ανοιχτή και λιγότερο αμερικανική

Η Mistral είναι η απόδειξη ότι η βιομηχανία της τεχνητής νοημοσύνης γίνεται ήδη πιο ανοιχτή – και λιγότερο αμερικανική. Επιπλέον, εμφανίζεται μια σημαντική πρόκληση για την OpenAI, κάτι που επιβεβαιώνει την υποψία ότι στη βιομηχανία της δημιουργικής τεχνητής νοημοσύνης το μέγεθος δεν είναι το παν. «Δεν έχει πλέον να κάνει με το να είσαι μεγαλύτερος – έχει να κάνει με το να είσαι δημιουργικός και γρήγορος», λέει χαρακτηριστικά ο Άρθουρ Μενς, διευθύνων σύμβουλος της Mistral.

Άρθουρ Μενς, συνιδρυτής και CEO της Mistral AI στην AI Safety Summit στο Bletchley Park, November 2, 2023. REUTERS/Toby Melville/Pool/File Photo

Η άνοδος της γαλλικής εταιρείας ήταν τόσο γρήγορη όσο και ο βορειοδυτικός χειμωνιάτικος άνεμος από τον οποίο πήρε το όνομά της. Ιδρύθηκε πριν από λιγότερο από ένα χρόνο και εξακολουθεί να απασχολεί μόλις 25 υπαλλήλους.

Παρά το γεγονός αυτό, τα LLM της ηγούνται της αυξανόμενης ομάδας μοντέλων ανοικτού κώδικα, τα στατιστικά ενδότερα των οποίων είναι, σε αντίθεση με τα ιδιόκτητα όπως το GPT-4, δημόσια διαθέσιμα και μπορούν να τροποποιηθούν από οποιονδήποτε. Αυτό επέτρεψε στη Mistral να αντλήσει μια εντυπωσιακή χρηματοδότηση ύψους 490 εκατ. ευρώ, αποτιμώντας την εταιρεία σε περισσότερα από 2 δισ. δολάρια.

Στους μεγάλους επενδυτές περιλαμβάνονται κορυφαίοι επενδυτές επιχειρηματικών κεφαλαίων της Silicon Valley, όπως η Andreessen Horowitz και η General Catalyst, καθώς και προσωπικότητες της τεχνολογίας, όπως ο Έρικ Σμιντ, πρώην διευθύνων σύμβουλος της Google.

Η Mistral οφείλει την πρώιμη επιτυχία της στην έξυπνη ανάμειξη των κύριων τεχνικών συστατικών της τεχνητής νοημοσύνης -ταλέντο, δεδομένα και υπολογιστική ισχύς- με την πολιτική, η οποία αποκτά ολοένα και μεγαλύτερη σημασία για τη βιομηχανία της τεχνητής νοημοσύνης, καθώς οι κυβερνήσεις σε όλο τον κόσμο μελετούν τις δυνατότητες της τεχνολογίας.

Ξεκινήστε με το ταλέντο

Η Mistral είναι ένα «προξενιό που έγινε στον παράδεισο» μεταξύ της γαλλικής εκπαίδευσης μηχανικών και των αμερικανικών εταιρειών μεγάλης τεχνολογίας, λέει στον Economist ο Στανισλάς Πολί, συνιδρυτής της Dust, μιας άλλης από τις επιχειρήσεις τεχνητής νοημοσύνης που έχουν εμφανιστεί στο Παρίσι.

Τρεις από τους έξι ιδρυτές της Mistral και τεχνικοί εγκέφαλοί της – ο Μενς, ο Τιμοτέ Λακρουά και ο Γκιγιόμ Λαμπλ – είναι προϊόντα των ελίτ τεχνικών σχολών της Γαλλίας.

Όπως και πολλοί άλλοι κορυφαίοι επιστήμονες της τεχνητής νοημοσύνης, έχουν εργαστεί στα ερευνητικά εργαστήρια της Google και της Meta, αν και στην περίπτωση του συγκεκριμένου τρίο έκαναν μεταπτυχιακά στα παρακλάδια αυτών των εργαστηρίων στο Παρίσι και όχι στο Λονδίνο ή στη Silicon Valley. Αυτό τους τοποθετεί ανάμεσα στους περίπου 100 ανθρώπους παγκοσμίως που γνωρίζουν πραγματικά πώς να εκπαιδεύουν μοντέλα αιχμής.

Συγκέντρωση δεδομένων

Φαίνεται ότι ήταν ιδιαίτερα επιδέξιοι στη συγκέντρωση δεδομένων για την εκπαίδευση των μοντέλων τους -το δεύτερο συστατικό της επιτυχίας της τεχνητής νοημοσύνης, αναφέρει το άρθρο του Economist. Ο Μενς δεν δημοσιεύει το πώς ακριβώς η Mistral επιμελείται τα σύνολα εκπαίδευσής της- είναι η πηγή του ανταγωνιστικού πλεονεκτήματος της εταιρείας του, λέει.

Όμως οι γνώστες του κλάδου επιβεβαιώνουν ότι η Mistral είναι, σύμφωνα με τα λόγια ενός από αυτούς, «πραγματικά έξυπνη» στην επιμέλεια, για παράδειγμα φιλτράροντας τις πληροφορίες που επαναλαμβάνονται ή δεν έχουν νόημα. Αυτό επέτρεψε στα μοντέλα της Mistral να είναι πολύ μικρότερα: τα στατιστικά βάρη, ή «παράμετροι», των μοντέλων της Mistral μετράνε δισεκατομμύρια, σε σύγκριση με τα εκτιμώμενα 1,8 τρισ. για το GPT-4 της OpenAI (και οι δύο εταιρείες δεν μιλούν για τα ακριβή μεγέθη).

Αυτό επιτρέπει στους πελάτες να τα εκτελούν στους δικούς τους υπολογιστές και όχι σε ένα τεράστιο κέντρο δεδομένων, το οποίο χρησιμοποιούν πολλά ιδιόκτητα μοντέλα.

Υπολογιστική ισχύς

Σύμφωνα με τον Μενς, η εστίαση της Mistral στην επιμέλεια των δεδομένων επιτρέπει στην εταιρεία να χρησιμοποιεί την υπολογιστική ισχύ, το τρίτο κρίσιμο συστατικό της AI, πιο αποτελεσματικά από τους ανταγωνιστές της.

Η εκπαίδευση του τελευταίου μοντέλου της Mistral κόστισε πολύ λιγότερο από τα 100 εκατ. δολάρια που προφανώς δαπάνησε η OpenAI για την ανάπτυξη του GPT-4. Η προσέγγιση της Mistral καθιστά επίσης φθηνότερη για τους πελάτες τόσο τη λεπτομερή ρύθμιση των μοντέλων της με τα δικά τους δεδομένα όσο και τη μετέπειτα εκτέλεσή τους.

Το πλεονέκτημα του δεύτερου

Από τεχνικής άποψης, οι νεοφυείς επιχειρήσεις όπως η Mistral απολαμβάνουν το «πλεονέκτημα του δεύτερου παίκτη», επωφελούμενες από όλη τη δουλειά που έχουν κάνει η OpenAI και άλλοι, υποστηρίζει η Ζινέτ τσου Φέστενμπεργκ της General Catalyst. Κρίσιμα, στην περίπτωση της Mistral αυτά τα τεχνικά προσόντα συμπληρώνονται από πολιτική νοημοσύνη, η οποία είναι χρήσιμη δεδομένου ότι πολλές κυβερνήσεις πιστεύουν ότι τα εγχώρια LLM θα προσδώσουν οικονομικά και στρατηγικά πλεονεκτήματα.

Έτσι, βοηθά το γεγονός ότι ένας άλλος από τους συνιδρυτές της Mistral είναι ο Σεντρίκ Ο, πρώην υπουργός ψηφιακής τεχνολογίας της Γαλλίας. Ο Σεντρίκ O διατηρεί άμεση επαφή με τον πρόεδρο της χώρας, Εμανουέλ Μακρόν, ο οποίος έχει δείξει έντονο ενδιαφέρον για όλα τα θέματα που αφορούν την τεχνητή νοημοσύνη.

Όταν πέρυσι ένα σχέδιο νόμου της Ευρωπαϊκής Ένωσης για την Τεχνητή Νοημοσύνη απειλούσε να αναγκάσει τη Mistral να αποκαλύψει τη συνταγή των δεδομένων της, ο O συντόνισε, με την υποστήριξη του Μακρόν, μια επιτυχημένη γαλλογερμανική προσπάθεια να αντιταχθεί σε τέτοιες διατάξεις. Αυτές απαλείφθηκαν τελικά από τον ευρωπαϊκό νόμο.

Τα έσοδα και οι μελλοντικοί πελάτες

Το ερώτημα τώρα είναι κατά πόσον η Mistral, η οποία δεν έχει ακόμη δημιουργήσει σημαντικά έσοδα, μπορεί να μετατρέψει αυτό το δελεαστικό τεχνο-πολιτικό μείγμα σε κέρδη. Το στοίχημα της εταιρείας είναι ότι πολλές επιχειρήσεις, ιδίως ευρωπαϊκές, θέλουν περισσότερο έλεγχο των LLM που χρησιμοποιούν από ό,τι είναι διατεθειμένη να τους δώσει η OpenAI και δεν θέλουν να βρεθούν «κλειδωμένοι» σε μια άλλη αμερικανική τεχνολογική πλατφόρμα.

Αυτοί οι πελάτες, αναφέρει το άρθρο, θα ήταν πρόθυμοι να πληρώσουν τη Mistral για να συντηρεί και να τρέχει τα μοντέλα τους.

Ένα ερώτημα που μπορεί να θέσουν οι δυνητικοί πελάτες είναι πώς ο κόσμος θα ρυθμίσει τα μοντέλα ανοιχτού κώδικα. Μια έντονη συζήτηση σχετικά με το αν θα επιτρέψουν για παράδειγμα σε τρομοκράτες να κατασκευάσουν βιολογικά και κυβερνο-όπλα έχει καταλαγιάσει.

Αντί να συζητούν για τους κινδύνους, η συζήτηση μεταξύ των φορέων χάραξης πολιτικής στρέφεται στα πιθανά οφέλη: μεγαλύτερη διαφάνεια, περισσότερη καινοτομία και λιγότερη εξάρτηση από μια χούφτα ισχυρών εταιρειών που έχουν ελέγξει την τεχνολογία.

Οι ρυθμιστικές αρχές και στις δύο πλευρές του Ατλαντικού έχουν μέχρι στιγμής ανεχθεί τα LLM ανοικτού κώδικα. Αλλά ο κ. Ο μπορεί να έχει και πάλι τα χέρια του γεμάτα αν αυτά τα μοντέλα συνεχίσουν να γίνονται πιο ισχυρά ή αν διαπιστωθεί ότι χρησιμοποιούνται καταχρηστικά, για παράδειγμα βοηθώντας στη διάδοση της παραπληροφόρησης κατά τη διάρκεια των φετινών εκλογικών αναμετρήσεων σε όλο τον κόσμο.

Το μέλλον θα δείξει

Η αποφυγή πολιτικών αντιδράσεων είναι, προφανώς, προς το συμφέρον της Mistral, αλλά η επιτυχία της άσκησης πίεσης έχει και μια άλλη πλευρά. Η ρυθμιστική ανοχή θα οδηγούσε σχεδόν σίγουρα σε περισσότερο ανταγωνισμό ανοικτού κώδικα.

Στις 20 Φεβρουαρίου η Silo AI, μια φινλανδική εταιρεία, παρουσίασε ένα νέο LLM που είναι ακόμη πιο ανοιχτό από αυτό της Mistral, παρέχοντας πληροφορίες σχετικά με τα δεδομένα στα οποία εκπαιδεύτηκε και το λογισμικό που έκανε τη δουλειά. Μια νέα έκδοση, που θα κυκλοφορήσει σε λίγους μήνες, θα είναι εξίσου καλή στις περισσότερες ευρωπαϊκές γλώσσες όπως είναι τώρα στα φινλανδικά και τα αγγλικά.

Το πιο σημαντικό, δεν είναι ακόμη σαφές αν το μέγεθος έχει σημασία για τη δημιουργική τεχνητή νοημοσύνη. Μια δοκιμή θα γίνει όταν η OpenAI κυκλοφορήσει επιτέλους το επόμενο μοντέλο της, το GPT-5. Αν αφήσει το Mistral-Large και άλλα μικρότερα μοντέλα ανοιχτού κώδικα στη σκόνη, τότε τα λόγια του Μενς για δημιουργικότητα και ταχύτητα μπορεί να ακούγονται κενά. Μέχρι τότε, ωστόσο, η ιστορία της Mistral θα συνεχίσει να έχει απήχηση.