Les modèles LLM locaux arrivent à l’iPhone
Dans ce guide, je vais vous montrer un outil qui vous permet de télécharger E Installez des modèles de langue sur votre iPhone. Il s’agit d’une application totalement gratuite qui fonctionne de manière similaire à Ollama, une application basée sur l’application avec laquelle vous pouvez installer DepseEK-R1 sur votre PC. Et quel est l’objectif de ce guide?
Mon intention est de vous apprendre à interagir avec des modèles de langage qui, en raison de sa taille, Ils sont totalement fonctionnels sur un iPhone plus ou moins moderne. Par ici, Vous gardez votre intimité et éliminer l’exigence de la connexion Internet que la plupart des chatbots ont. Il n’est pas non plus nécessaire d’ouvrir un compte en ligne ou de fournir vos données à quiconque. Quoi que vous fassiez avec les modèles Il ne laisse pas votre iPhone. Avons-nous du travail?
Exigences pour exécuter un LLM sur l’iPhone
Pour exécuter des modèles locaux sur l’iPhone, aucune exigence spéciale ne doit être satisfaite. Pour ma part, j’ai essayé cette méthode dans un iPhone 14 Pro. À l’époque j’écris ces lignes, Ceci est un modèle qui est à deux générations derrière le modèle le plus actuel. Laissant de côté que c’est mon appareil personnel et que je n’ai plus accès à un iPhone plus actuel, la vérité est que l’utilisation de cet appareil me semble une bonne idée.
N’oubliez pas qu’Apple Intelligence, le package d’outils AI, est disponible auprès de l’iPhone 15 Pro. Il n’est pas nécessaire d’essayer un LLM local pour confirmer les soi-même d’Apple: La restriction de ces fonctions aux modèles les plus récents n’est rien de plus qu’une stratégie marketing.
Ma recommandation, quel que soit l’iPhone que vous avez, est que Suivez les étapes que je vous montre ci-dessous. Ensuite, essayez différents modèles pour voir à quel point votre appareil donne. Vous pouvez essayer avec Total Tranquility Large Models sans craindre d’endommager votre iPhone. Dans le cas où le modèle est trop lourd, l’application s’effondrera. Il suffira d’y accéder à nouveau pour essayer un modèle différent.
Deepseek-R1 7B et d’autres modèles locaux sur votre iPhone grâce à PocketPal
Certaines applications sont déjà apparues dans l’App Store qui vous permettent de baisser et d’utiliser divers modèles de langue. Celui qui a le mieux fonctionné pour moi est Poche. Il y a certaines choses que j’ai beaucoup aimées sur cette application, bien que je vous les explique.
Pour l’instant, voyons comment le configurer. La première chose que vous devriez faire est de télécharger PocketPal depuis l’App Store. Une fois que vous l’avez sur votre appareil, suivez ces étapes:
- Appuyez sur le bouton Aller aux modèles Pour voir la liste des modèles disponibles.
- Atténuer Télécharger Pour abaisser certains de ceux que vous voyez sur la liste.
- Si vous préférez explorer des modèles de Visage étreintcliquez sur le bouton Plus loin. Puis sélectionnez l’option correspondante.
- Utilisez le moteur de recherche pour trouver le modèle que vous souhaitez utiliser. J’ai trouvé l’un des Deepseek-R1 distillé avec Qwen. A une taille de 7 milliards de paramètres. La progression du téléchargement apparaît dans le jaune.
- Si vous revenez à la liste principale, vous verrez que les modèles téléchargent.
- Une fois que les modèles apparaissent dans la section Prêt à l’emploila dernière étape consiste à appuyer dans Charger.
- Ouvrez un nouveau chat et écrivez votre demande.
- Enfin, laissez le modèle réagir.
Les performances dépendront de votre processeur d’iPhone. Plus les modèles seront plus récents, plus les modèles. Ma recommandation est que, dans les appareils les plus récents, Vous exécutez 7 ou 8 milliards de modèles. Vous pouvez peut-être exécuter un peu plus grand, tant que vous êtes patient. Les modèles plus petits peuvent vous aider à résoudre des doutes rapides, à résumer le texte et à traiter les données de base.
Le point fort de cette application, en plus de ne pas nécessiter de connexion et de connexion avec un compte, est qu’il est livré avec des outils supplémentaires. Par exemple, cela permet Faire une référence à l’appareil à l’aide de n’importe quel modèle que vous avez téléchargé.
De plus, il a des options de chatpt typiques. Par exemple, il vous permet de modifier les demandes après avoir été envoyée. Il est également compatible avec Metal, l’API graphique d’Apple, qui vous permet de tirer le meilleur parti du GPU iPhone (il doit être activé dans les ajustements). Maintenant, son Intégration avec un visage étreint C’est sans aucun doute son meilleur atout. Ce dernier ouvre les portes, non seulement pour utiliser des modèles de langue dans local et depuis l’iPhone, mais pour exécuter des modèles de diffusion pour créer des images directement à partir de votre appareil.
