Το Cloudflare προκαλεί το AWS φέρνοντας την τεχνητή νοημοσύνη χωρίς διακομιστή στην άκρη

Η Cloudflare, η κορυφαία εταιρεία συνδεσιμότητας cloud, ανακοίνωσε πρόσφατα τη γενική διαθεσιμότητα της πλατφόρμας Workers AI, καθώς και αρκετές νέες δυνατότητες που στοχεύουν στην απλοποίηση του τρόπου με τον οποίο οι προγραμματιστές δημιουργούν και αναπτύσσουν εφαρμογές AI. Αυτή η ανακοίνωση αντιπροσωπεύει ένα σημαντικό βήμα προόδου στις προσπάθειες του Cloudflare να εκδημοκρατίσει την τεχνητή νοημοσύνη και να την καταστήσει πιο προσιτή στους προγραμματιστές σε όλο τον κόσμο.

Μετά από μήνες που ήταν σε ανοιχτή beta, η πλατφόρμα Workers AI του Cloudflare έχει πλέον φτάσει σε κατάσταση γενικής διαθεσιμότητας. Αυτό σημαίνει ότι η υπηρεσία έχει υποβληθεί σε αυστηρές δοκιμές και βελτιώσεις για να διασφαλιστεί μεγαλύτερη αξιοπιστία και απόδοση.

Το Cloudflare’s Workers AI είναι μια πλατφόρμα συμπερασμάτων που επιτρέπει στους προγραμματιστές να εκτελούν μοντέλα μηχανικής εκμάθησης στο παγκόσμιο δίκτυο του Cloudflare με λίγες μόνο γραμμές κώδικα. Παρέχει μια επεκτάσιμη λύση χωρίς διακομιστή για συμπέρασμα τεχνητής νοημοσύνης με επιτάχυνση GPU, επιτρέποντας στους προγραμματιστές να αξιοποιήσουν προεκπαιδευμένα μοντέλα για εργασίες όπως η δημιουργία κειμένου, η αναγνώριση εικόνων και η αναγνώριση ομιλίας χωρίς την ανάγκη διαχείρισης υποδομής ή GPU.

Με το Workers AI, οι προγραμματιστές μπορούν πλέον να εκτελούν μοντέλα μηχανικής εκμάθησης στο παγκόσμιο δίκτυο του Cloudflare, αξιοποιώντας την κατανεμημένη υποδομή της εταιρείας για την παροχή δυνατοτήτων συμπερασμάτων χαμηλής καθυστέρησης.

Η Cloudflare διαθέτει λειτουργικές GPU σε περισσότερα από 150 από τα κέντρα δεδομένων της από τώρα, με σχέδια να επεκταθεί σε σχεδόν όλα τα 300+ κέντρα δεδομένων της παγκοσμίως έως το τέλος του 2024.

Επεκτείνοντας τη συνεργασία του με το Hugging Face, το Cloudflare προσφέρει τώρα μια επιμελημένη λίστα με δημοφιλή μοντέλα ανοιχτού κώδικα που είναι ιδανικά για συμπέρασμα GPU χωρίς διακομιστή στο εκτεταμένο παγκόσμιο δίκτυό του. Οι προγραμματιστές μπορούν να αναπτύξουν μοντέλα από το Hugging Face με ένα μόνο κλικ. Αυτή η συνεργασία καθιστά το Cloudflare ένα από τα λίγα που προσφέρουν συμπεράσματα GPU χωρίς διακομιστή για μοντέλα Hugging Face.

Επί του παρόντος, υπάρχουν 14 επιλεγμένα μοντέλα Hugging Face βελτιστοποιημένα για την πλατφόρμα συμπερασμάτων χωρίς διακομιστή του Cloudflare, που υποστηρίζουν εργασίες όπως δημιουργία κειμένου, ενσωμάτωση και ομοιότητα προτάσεων. Οι προγραμματιστές μπορούν απλώς να επιλέξουν ένα μοντέλο Hugging Face, να κάνουν κλικ στο “Deploy to Cloudflare Workers AI” και να το διανείμουν άμεσα στο παγκόσμιο δίκτυο του Cloudflare με περισσότερες από 150 πόλεις με GPU που έχουν αναπτυχθεί.

Οι προγραμματιστές μπορούν να αλληλεπιδράσουν με LLM όπως τα Mistral, Llama 2 και άλλα μέσω ενός απλού REST API. Μπορούν επίσης να χρησιμοποιήσουν προηγμένες τεχνικές, όπως η δημιουργία επαυξημένης ανάκλησης για τη δημιουργία chatbot για συγκεκριμένο τομέα που μπορούν να έχουν πρόσβαση σε δεδομένα συμφραζομένων.

Ένα από τα βασικά πλεονεκτήματα του Workers AI είναι η φύση του χωρίς διακομιστή, που επιτρέπει στους προγραμματιστές να πληρώνουν μόνο για τους πόρους που καταναλώνουν χωρίς να χρειάζεται να διαχειρίζονται ή να κλιμακώνουν GPU ή υποδομές. Αυτό το pay-as-you-go μοντέλο κάνει τα συμπεράσματα AI πιο προσιτά και προσβάσιμα, ειδικά για μικρότερους οργανισμούς και νεοφυείς επιχειρήσεις.

Ως μέρος της έκδοσης GA, το Cloudflare έχει εισαγάγει αρκετές βελτιώσεις απόδοσης και αξιοπιστίας στο Workers AI. Οι δυνατότητες εξισορρόπησης φορτίου έχουν ενημερωθεί, επιτρέποντας τη δρομολόγηση αιτημάτων σε περισσότερες GPU στο παγκόσμιο δίκτυο του Cloudflare. Αυτό διασφαλίζει ότι εάν ένα αίτημα περιμένει σε μια ουρά σε μια συγκεκριμένη τοποθεσία, μπορεί να δρομολογηθεί απρόσκοπτα σε άλλη πόλη, μειώνοντας τον λανθάνοντα χρόνο και βελτιώνοντας τη συνολική απόδοση.

Επιπλέον, το Cloudflare αύξησε τα όρια ρυθμού για τα περισσότερα μοντέλα μεγάλων γλωσσών σε 300 αιτήματα ανά λεπτό, από 50 αιτήματα ανά λεπτό κατά τη φάση beta. Τα μικρότερα μοντέλα έχουν πλέον όρια τιμών που κυμαίνονται από 1.500 έως 3.000 αιτήματα ανά λεπτό, βελτιώνοντας περαιτέρω την επεκτασιμότητα και την ανταπόκριση της πλατφόρμας.

Ένα από τα πιο απαιτούμενα χαρακτηριστικά του Workers AI ήταν η δυνατότητα εξαγωγής ακριβών συμπερασμάτων. Το Cloudflare έχει κάνει ένα βήμα προς αυτή την κατεύθυνση, ενεργοποιώντας το Bring Your Own Low-Rank Adaptation. Αυτή η τεχνική BYO LoRA επιτρέπει στους προγραμματιστές να προσαρμόσουν ένα υποσύνολο παραμέτρων ενός μοντέλου σε μια συγκεκριμένη εργασία, αντί να ξαναγράψουν όλες τις παραμέτρους όπως σε ένα πλήρως συντονισμένο μοντέλο.

Η υποστήριξη του Cloudflare για προσαρμοσμένα βάρη LoRA και προσαρμογείς επιτρέπει την αποτελεσματική πολλαπλή μίσθωση στη φιλοξενία μοντέλων, επιτρέποντας στους πελάτες να αναπτύσσουν και να έχουν πρόσβαση σε βελτιωμένα μοντέλα με βάση τα προσαρμοσμένα σύνολα δεδομένων τους.

Αν και υπάρχουν επί του παρόντος ορισμένοι περιορισμοί, όπως τα κβαντισμένα μοντέλα LoRA που δεν υποστηρίζονται και περιορισμοί μεγέθους και εμβέλειας προσαρμογέα, το Cloudflare σχεδιάζει να επεκτείνει περαιτέρω τις δυνατότητες συντονισμού του και τελικά να υποστηρίξει εργασίες συντονισμού και πλήρως συντονισμένα μοντέλα απευθείας στο AI. Workers. πλατφόρμα.

Το Cloudflare προσφέρει επίσης το AI Gateway, το οποίο είναι μια ισχυρή πλατφόρμα που λειτουργεί ως επίπεδο ελέγχου για τη διαχείριση και τη διαχείριση της χρήσης μοντέλων και υπηρεσιών AI σε έναν οργανισμό.

Βρίσκεται μεταξύ εφαρμογών και παρόχων τεχνητής νοημοσύνης όπως το OpenAI, το Hugging Face και το Replicate, επιτρέποντας στους προγραμματιστές να συνδέσουν τις εφαρμογές τους σε αυτούς τους παρόχους με μία μόνο γραμμή αλλαγής κώδικα.

Το Cloudflare AI Gateway χρησιμεύει ως επίπεδο ελέγχου διαχείρισης και διακυβέρνησης για μοντέλα τεχνητής νοημοσύνης και χρήση υπηρεσιών εντός των επιχειρήσεων. Λειτουργεί ως αγωγός μεταξύ παρόχων μοντέλων και οργανισμών, προσφέροντας μια απλοποιημένη μέθοδο στους προγραμματιστές να συνδέσουν τις εφαρμογές τους με αυτές τις υπηρεσίες με ελάχιστες προσαρμογές κώδικα.

Αυτή η πύλη προσφέρει κεντρικό έλεγχο, επιτρέποντας μια ενιαία διεπαφή για πολλαπλές υπηρεσίες τεχνητής νοημοσύνης, απλοποιώντας έτσι την ενοποίηση και βελτιώνοντας την κατανάλωση χωρητικότητας AI του οργανισμού. Προσφέρει παρατηρησιμότητα μέσω εκτεταμένης ανάλυσης και παρακολούθησης, διασφαλίζοντας την απόδοση της εφαρμογής και τη διαφάνεια χρήσης. Αντιμετωπίζει κρίσιμα ζητήματα ασφάλειας και διακυβέρνησης, επιτρέποντας την επιβολή της πολιτικής και τον έλεγχο πρόσβασης.

Τέλος, το Cloudflare πρόσθεσε την υποστήριξη Python στο Workers, την πλατφόρμα χωρίς διακομιστή για την ανάπτυξη εφαρμογών και λειτουργιών ιστού. Από την έναρξή του, το Workers έχει υποστηρίξει μόνο JavaScript ως γλώσσα για τη σύνταξη συναρτήσεων εκτέλεσης ακμών. Με την προσθήκη της Python, το Cloudflare εξυπηρετεί πλέον τη μεγάλη κοινότητα προγραμματιστών Python, επιτρέποντάς τους να χρησιμοποιούν τη δύναμη του παγκόσμιου δικτύου Cloudflare στις εφαρμογές τους.

Το Cloudflare προκαλεί το AWS βελτιώνοντας συνεχώς τις δυνατότητες του δικτύου αιχμής του. Η πλατφόρμα χωρίς διακομιστές της Amazon, AWS Lambda, δεν υποστηρίζει ακόμη την εξαγωγή συμπερασμάτων μοντέλων βάσει GPU, ενώ οι εξισορροπητές φορτίου και η πύλη API δεν έχουν ενημερωθεί για τα τελικά σημεία συμπερασμάτων AI. Είναι ενδιαφέρον ότι το AI Gateway του Cloudflare περιλαμβάνει ενσωματωμένη υποστήριξη για τα τελικά σημεία του Amazon Bedrock API, παρέχοντας στους προγραμματιστές μια συνεπή διεπαφή.

Με το Cloudflare να επεκτείνει τη διαθεσιμότητα των κόμβων GPU σε πολλά σημεία παρουσίας, οι προγραμματιστές μπορούν πλέον να έχουν πρόσβαση σε μοντέλα AI επόμενης γενιάς με χαμηλό λανθάνοντα χρόνο και την καλύτερη αναλογία τιμής/απόδοσης. Το AI Gateway του προσφέρει αποδεδειγμένη διαχείριση και διακυβέρνηση API για τη διαχείριση τελικών σημείων AI που προσφέρονται από πολλούς προμηθευτές.

Leave a Reply

Your email address will not be published. Required fields are marked *