Qu'est-ce que le modèle de langage Pathways (PaLM) ?

Le modèle de langage Pathways est le nom d'une famille de grands modèles de langage d'IA développés par Google. L'effort tire son nom d'une initiative de Google Research visant à créer ce que les chercheurs ont appelé des voies, dans une approche conçue pour créer un modèle puissant unique qui pourrait servir de base à de multiples cas d'utilisation.

Il existe plusieurs versions du Pathways Language Model (PaLM). Parmi les versions de PaLM 2 figurent Med-PaLM 2, qui est adapté aux sciences de la vie et aux informations médicales ; et Sec-PaLM, qui est destiné à être utilisé dans les déploiements de cybersécurité pour accélérer l'analyse des menaces.

En mai 2023, Google a déclaré publiquement que sa technologie d'intelligence artificielle conversationnelle Bard est alimentée par PaLM 2. Le modèle de grand langage (LLM) PaLM 2 permet également des capacités d'IA génératives dans la suite d'applications Google Workspace, y compris Gmail et Docs. comme Google Cloud avec une technologie connue sous le nom de Duet AI.

PaLM -- et plus précisément PaLM 2 -- peut fournir de nombreuses fonctions, dont les suivantes :

PaLM utilise un modèle basé sur un réseau neuronal de transformateur communément appelé transformateur. À un niveau de base, PaLM est similaire aux modèles concurrents basés sur des transformateurs, y compris les modèles GPT-3 et GPT-4 d'OpenAI.

PaLM utilise le système d'apprentissage automatique Pathways développé par Google pour entraîner un modèle sur plusieurs pods d'unités de traitement de tenseurs. Le modèle utilise une technique connue sous le nom d'apprentissage en quelques coups qui lui permet d'apprendre à partir d'un nombre limité d'exemples étiquetés - ou plans - pour l'aider à s'adapter et à généraliser rapidement de nouvelles tâches ou classes avec un étiquetage minimal des données.

En tant que réseau de transformateurs, PaLM comprend et crée des modèles à travers le contenu, y compris le texte et le code. Le modèle de transformateur subit un processus d'apprentissage complet, révélant des modèles statistiques et des connexions qui existent entre les mots et les phrases dans le contenu. Ces connaissances acquises permettent à PaLM de générer des réponses à la fois cohérentes et pertinentes dans divers contextes.

Bien que PaLM soit puissant, il présente les limitations d'utilisation et de capacités suivantes, ainsi que d'autres éléments préoccupants.

"Les systèmes de dialogue assisté construits à partir de PaLM 2 continuent de produire des dommages langagiers toxiques et de présenter des modèles de biais dans la façon dont ces dommages varient selon la langue et les requêtes liées aux termes d'identité", ont écrit les chercheurs de Google dans le "Rapport technique PaLM 2".

Il existe de nombreuses similitudes et différences entre PaLM et GPT-3 d'OpenAI - et les GPT-4 plus récents - LLM. Les deux ensembles de technologies sont généralement appelés IA générative et bénéficient tous deux de l'utilisation d'un modèle de transformateur pour l'apprentissage en profondeur. Les deux technologies peuvent également créer, résumer et comprendre du texte.

Développeur

Google DeepMind

OpenAI

Interface chatbot

Barde

ChatGPT

Génération de codes

Modèle entièrement intégré

S'appuie sur les données du Codex LLM d'OpenAI

Capacités multilingues

PaLM 2 prend actuellement en charge plus de 40 langues

GPT-4 prend actuellement en charge 26 langues

Google a annoncé PaLM en avril 2022, avec la version initiale du modèle de langage fournissant 540 milliards de paramètres.

Les chercheurs de Google ont fourni des mesures préliminaires sur les performances de PaLM dans un document de recherche intitulé "PaLM : Scaling Language Modeling with Pathways", y compris des détails complets expliquant les innovations introduites par le modèle. Le modèle est resté privé jusqu'au 17 mars 2023, date à laquelle Google a fourni un premier ensemble d'API publiques pour permettre aux développeurs d'essayer le modèle. Le 10 mai 2023, PaLM 2 a été annoncé publiquement lors de la conférence Google I/O.

Au moment du lancement de PaLM 2, Google n'a pas divulgué publiquement la taille du modèle en termes de paramètres, bien qu'il ait fait de nombreuses affirmations selon lesquelles le modèle était plus grand, plus performant et offrait globalement de meilleures performances que son modèle initial.

Google a révélé que PaLM 2 est utilisé comme IA fondamentale derrière bon nombre de ses efforts d'IA générative, y compris Bard.

Pour l'avenir, il n'est pas clair s'il y aura un modèle PaLM 3. Lors de l'événement Google I/O 2023, les dirigeants de l'entreprise ont déclaré que le LLM de nouvelle génération développé par l'organisation s'appelle Gemini. La relation entre Gemini et l'approche basée sur PaLM n'est pas claire.

Apple iOS est un système d'exploitation mobile propriétaire qui s'exécute sur des appareils mobiles tels que l'iPhone et l'iPad.