Το iPhone 17 Pro κατάφερε να τρέξει ένα γλωσσικό μοντέλο με 400 δισεκατομμύρια παραμέτρους απευθείας στη συσκευή του, κάτι που φαντάζει απίθανο για ένα απλό smartphone. Οι προγραμματιστές το έκαναν πραγματικότητα χωρίς να βασιστούν μόνο στην ισχύ του hardware, αλλά με έξυπνες αλλαγές στον τρόπο που φορτώνει το μοντέλο. Αυτό το επίτευγμα δείχνει πόσο γρήγορα προχωράει η τεχνητή νοημοσύνη σε κινητά.
Πώς τρέχει μεγάλο μοντέλο σε μικρή μνήμη
Αντί να βάλει όλο το γλωσσικό μοντέλο στη RAM των 12 GB, η ομάδα ενεργοποιεί μόνο κομμάτια κάθε φορά. Μεταφέρει δεδομένα από τον αποθηκευτικό χώρο στη GPU της συσκευής, που βοηθά να μην κολλήσει το σύστημα. Τέτοια μοντέλα συνήθως χρειάζονται 200 GB μνήμης, ακόμα και συμπιεσμένα, αλλά εδώ τα κατάφεραν με βελτιστοποίηση.
Αργή απόδοση, αλλά πολλά υποσχόμενο μέλλον
Η ταχύτητα βγαίνει μόλις 0,6 tokens ανά δευτερόλεπτο, οπότε δεν γίνεται για καθημερινή χρήση. Παρόλα αυτά, δείχνει ότι τα smartphones μπορούν να χειριστούν ισχυρά εργαλεία AI τοπικά στο μέλλον. Με καλύτερες βελτιστοποιήσεις, θα έχουμε ιδιωτικότητα στα δεδομένα και λειτουργία χωρίς internet. Στα κινητά όπως το iPhone 17 Pro, η τεχνητή νοημοσύνη γίνεται όλο και πιο παρούσα.
Running 400B model on iPhone!
0.6 t/s
Credit @danveloper @alexintosh @danpacary @anemll pic.twitter.com/LZCLqsvSUP— Anemll (@anemll) March 23, 2026