Avec le Nouveaux grappes de bras C1le nouveau Ensemble d’instructions SME2. Un ensemble présent dans tous les nouveaux noyaux qui sont venus Améliorez vos capacités dans l’intelligence artificielle. Bien que le GPU soit généralement l’option idéale pour les grandes charges de travail, le nouveau CPU C1 du bras avec SME2 Ils offrent un De meilleures performances dans les petites charges de travail.
Maintenant, le CPU peut exécuter de petites charges de travail avec des performances plus importantes que le GPU
Avec l’aide de SME2 pour accélérer les processus basés sur l’IA est une réalité, obtenir multiplier les performances Merci à cet ensemble d’instructions avec le Performances optimales de ces processeurs de la série C1.
Le bras a expliqué comment exemple Certaines des tâches les plus courantes effectuées localement sur des appareils mobiles. Parmi eux nous trouvons le génération audio À partir du texte, où l’utilisation de SMD2 et de Kleidiai a a réussi à réduire de 27 à moins de 10 secondes le temps nécessaire Pour obtenir l’audio, il s’agit d’une performance 2,8 fois plus élevée.
Avec PME2, il est possible de réduire la latence à Whisper Base presque 5 fois
Il a également offert des personnages incroyables, tels que passer de près de 1 500 ms latence à seulement 315 ms En reconnaissance vocale avec Whisper Base, cela implique une augmentation des performances de 4,7 fois de plus, ou ce qui est pareil, Vous aurez besoin de presque 5 fois moins de temps Pour effectuer cette tâche. Un autre des chiffres offerts par ARM a été dans le Génération de jetonsse déplaçant de 84 Jusqu’à 398 t / s avec gemma 3Multipliant presque par 5 grâce à SME2.
Ceci est réalisé grâce à ces instructions, où elle a été réalisée grâce au Multiplication des matrices et vecteursen même temps que le transfert d’informations vers d’autres accélérateurs n’est pas nécessaire.
Support avancé pour les matrices et les vecteurs Multiplication
Sme2 Mettre en évidence le protagoniste le processeur dans de petites charges d’intelligence artificielleaméliorant les performances générales de ce type de tâches.
