Η OpenAI και άλλες εταιρείες τεχνητής νοημοσύνης προσπαθούν να ξεπεράσουν τις προκλήσεις και τις καθυστερήσεις που προκύπτουν στην ανάπτυξη ολοένα και πιο εξελιγμένων γλωσσικών μοντέλων. Αντί να επικεντρώνονται αποκλειστικά στην κλίμακα, εξερευνούν νέες τεχνικές εκπαίδευσης που προσομοιώνουν πιο ανθρώπινες διαδικασίες σκέψης για τους αλγόριθμους.
Δεκάδες επιστήμονες, ερευνητές και επενδυτές στον τομέα της τεχνητής νοημοσύνης έχουν δηλώσει στο Reuters ότι αυτές οι καινοτόμες τεχνικές, οι οποίες υποστηρίζουν το πρόσφατα κυκλοφορηθέν μοντέλο o1 της OpenAI, θα μπορούσαν να αναμορφώσουν τον ανταγωνισμό στην τεχνητή νοημοσύνη. Αυτό θα έχει σημαντικές επιπτώσεις στους πόρους που ζητούν οι εταιρείες τεχνητής νοημοσύνης, όπως η ενέργεια και διάφοροι τύποι ημιαγωγών.
Ερευνητές σε κορυφαία εργαστήρια τεχνητής νοημοσύνης αντιμετωπίζουν καθυστερήσεις και απογοητευτικά αποτελέσματα στον αγώνα για την ανάπτυξη ενός γλωσσικού μοντέλου που θα ξεπεράσει το GPT-4 της OpenAI, το οποίο κυκλοφόρησε πριν από σχεδόν δύο χρόνια.
Μετά την επιτυχία του ChatGPT chatbot, που έγινε viral πριν από δύο χρόνια, πολλές τεχνολογικές εταιρείες που είδαν τις αποτιμήσεις τους να εκτοξεύονται λόγω της έκρηξης της τεχνητής νοημοσύνης υποστηρίζουν ότι η «κλιμάκωση» των υφιστάμενων μοντέλων μέσω της προσθήκης περισσότερων δεδομένων και υπολογιστικής ισχύος θα συνεχίσει να οδηγεί σε βελτιωμένα αποτελέσματα. Ωστόσο, ορισμένοι από τους πιο γνωστούς επιστήμονες της τεχνητής νοημοσύνης αρχίζουν να εκφράζουν αμφιβολίες σχετικά με την προσέγγιση «το μεγαλύτερο είναι το καλύτερο».
OpenAI: Τα σημερινά μοντέλα AI φτάνουν σε όρια
Ο Ilya Sutskever, συνιδρυτής των εργαστηρίων AI Safe Superintelligence (SSI) και OpenAI, δήλωσε πρόσφατα ότι τα αποτελέσματα από την κλιμάκωση της προεκπαίδευσης—μια διαδικασία που χρησιμοποιεί μεγάλα ποσά μη ετικετοποιημένων δεδομένων για να κατανοήσει γλωσσικά μοτίβα—έχουν φτάσει σε «ταβάνι». Ο Sutskever, ο οποίος έχει αναγνωριστεί ως πρωτοπόρος στη χρήση περισσότερων δεδομένων και υπολογιστικής ισχύος για την ανάπτυξη της τεχνητής νοημοσύνης, άφησε την OpenAI νωρίτερα φέτος για να ιδρύσει την SSI.
«Η δεκαετία του 2010 ήταν η εποχή της κλιμάκωσης, ενώ τώρα επιστρέφουμε στην εποχή των θαυμάτων και των ανακαλύψεων. Όλοι αναζητούν το επόμενο μεγάλο βήμα», ανέφερε ο Sutskever. «Η κλιμάκωση του σωστού πράγματος είναι πιο σημαντική από ποτέ».
Οι λεγόμενες «εκπαιδευτικές διαδρομές» για μεγάλα μοντέλα κοστίζουν δεκάδες εκατομμύρια δολάρια και απαιτούν τη συγχρονισμένη λειτουργία εκατοντάδων τσιπ. Ωστόσο, η πολυπλοκότητα του συστήματος αυξάνει την πιθανότητα αποτυχίας λόγω υλικού. Οι ερευνητές συχνά δεν γνωρίζουν την τελική απόδοση των μοντέλων μέχρι την ολοκλήρωση της δοκιμής, η οποία μπορεί να διαρκέσει μήνες.
Ένα επιπλέον πρόβλημα είναι ότι τα μοντέλα μεγάλων γλωσσών απαιτούν τεράστιες ποσότητες δεδομένων και οι εταιρείες έχουν εξαντλήσει τα εύκολα προσβάσιμα δεδομένα. Οι ελλείψεις ηλεκτρικής ενέργειας έχουν επίσης επιπτώσεις στην εκπαίδευση, καθώς η διαδικασία απαιτεί σημαντική κατανάλωση ενέργειας.
Για να αντιμετωπίσουν αυτές τις προκλήσεις, οι ερευνητές εξερευνούν την τεχνική του «υπολογισμού χρόνου δοκιμής», η οποία ενισχύει τα υπάρχοντα μοντέλα κατά τη φάση των συμπερασμάτων. Αντί να επιλέγουν αμέσως μια απάντηση, τα μοντέλα μπορούν να δημιουργούν και να αξιολογούν πολλές πιθανές λύσεις σε πραγματικό χρόνο, επιλέγοντας τελικά την καλύτερη.
Αυτή η μέθοδος επιτρέπει στα μοντέλα να αφιερώνουν περισσότερη επεξεργαστική ισχύ σε απαιτητικές εργασίες, όπως μαθηματικά ή προγραμματισμό, καθώς και σε σύνθετες διαδικασίες που απαιτούν ανθρώπινη λογική και λήψη αποφάσεων. Ο Noam Brown, ερευνητής της OpenAI, ανέφερε ότι η σκέψη ενός bot για 20 δευτερόλεπτα σε μια παρτίδα πόκερ είχε την ίδια ενισχυτική απόδοση με την κλιμάκωση του μοντέλου κατά 100.000 φορές.
Η OpenAI έχει υιοθετήσει αυτήν την τεχνική στο νέο της μοντέλο o1, το οποίο μπορεί να «σκέφτεται» τα προβλήματα με έναν πολυδιάστατο τρόπο, παρόμοιο με τον ανθρώπινο. Το μοντέλο αυτό περιλαμβάνει επίσης δεδομένα και ανατροφοδότηση από ειδικούς του κλάδου.
Εν τω μεταξύ, ερευνητές σε άλλες κορυφαίες εταιρείες τεχνητής νοημοσύνης, όπως η Anthropic, η xAI και η Google DeepMind, εργάζονται επίσης για την ανάπτυξη παρόμοιων τεχνικών.
«Βλέπουμε πολλές ευκαιρίες για γρήγορη βελτίωση αυτών των μοντέλων», δήλωσε ο Kevin Weil, επικεφαλής προϊόντων στην OpenAI, σε πρόσφατη τεχνολογική διάσκεψη. «Θα προσπαθήσουμε να είμαστε τρία βήματα μπροστά από τους ανταγωνιστές μας».
Οι συνέπειες αυτών των εξελίξεων θα μπορούσαν να αλλάξουν το τοπίο του ανταγωνισμού στον τομέα του υλικού τεχνητής νοημοσύνης, το οποίο μέχρι σήμερα κυριαρχείται από την αυξανόμενη ζήτηση για τσιπ της Nvidia. Επενδυτές επιχειρηματικών κεφαλαίων, όπως η Sequoia και η Andreessen Horowitz, που έχουν επενδύσει δισεκατομμύρια για την ανάπτυξη μοντέλων AI, παρακολουθούν τις εξελίξεις και αξιολογούν τον αντίκτυπο στα στοιχήματά τους.
Η ζήτηση για τσιπ της Nvidia έχει εκτοξευθεί, καθιστώντας την την πιο πολύτιμη εταιρεία στον κόσμο, ξεπερνώντας την Apple τον Οκτώβριο. Αν και η Nvidia κυριαρχεί στην αγορά τσιπ εκπαίδευσης, ενδέχεται να αντιμετωπίσει μεγαλύτερο ανταγωνισμό στην αγορά συμπερασμάτων.
Απαντώντας για τον πιθανό αντίκτυπο στη ζήτηση των προϊόντων της, η Nvidia τόνισε τις πρόσφατες παρουσιάσεις της σχετικά με τη σημασία της τεχνικής πίσω από το μοντέλο o1. Ο Διευθύνων Σύμβουλος Jensen Huang έχει μιλήσει για την αυξανόμενη ζήτηση για τη χρήση των τσιπ της στην εξαγωγή συμπερασμάτων.
«Ανακαλύψαμε τώρα έναν δεύτερο νόμο κλιμάκωσης, που αφορά την κλιμάκωση στη στιγμή των συμπερασμάτων. Όλοι αυτοί οι παράγοντες έχουν οδηγήσει σε εξαιρετικά υψηλή ζήτηση για το Blackwell, το τελευταίο τσιπ AI της εταιρείας», δήλωσε ο Huang σε πρόσφατη διάσκεψη στην Ινδία.
Πηγή: OT.gr
