Modèle Transformer

Définition

Un modèle Transformer est une architecture de réseau de neurones qui traite d'un seul coup une séquence entière de texte, en utilisant un mécanisme d'attention pour pondérer le lien entre chaque mot et tous les autres ; c'est le socle de presque tous les grands modèles de langage modernes.

Aussi connu sous : architecture Transformermodèle fondé sur l'attention

Comment cela fonctionne

Les Transformers ont été présentés dans l'article de 2017 « Attention Is All You Need ». Leur innovation clé est l'auto-attention : pour chaque token, le modèle calcule la pertinence de tous les autres tokens de l'entrée, ce qui lui permet de saisir un contexte à longue portée (par exemple à quel nom renvoie un pronom) sans traiter les mots strictement un par un.

Le texte est d'abord découpé en tokens, puis converti en vecteurs numériques (embeddings). Des couches d'attention empilées transforment ensuite ces vecteurs, et le modèle prédit le token suivant. Comme l'attention s'exécute en parallèle, les Transformers s'entraînent efficacement sur d'énormes jeux de données — c'est ce qui a rendu possibles les grands modèles de langage d'aujourd'hui.

Pourquoi c'est important pour le support

Presque tous les agents de support IA que vous croiserez reposent sur un Transformer. Comprendre l'architecture explique à la fois ses forces et ses limites.

Il lit toute une conversation en contexte, et non mot à mot
Sa fenêtre de contexte fixe plafonne la quantité d'historique qu'il peut prendre en compte d'un coup
Il prédit du texte probable, d'où l'importance de l'ancrage dans vos propres données (RAG) pour l'exactitude

Questions fréquentes

Qu'est-ce que le Transformer dans un grand modèle de langage ?

Le Transformer est l'architecture de réseau de neurones sous-jacente. Un grand modèle de langage est un très gros Transformer entraîné sur d'immenses corpus de texte pour prédire et générer du langage.

À quoi sert le mécanisme d'attention ?

L'attention permet au modèle de pondérer la pertinence de chaque mot de l'entrée par rapport à tous les autres, afin de comprendre le contexte et les relations sur un long passage plutôt que de lire chaque mot isolément.

Termes liés

Grand modèle de langage (LLM)

Un grand modèle de langage (LLM) est un réseau de neurones entraîné sur d'immenses volumes de texte pour prédire et générer du langage, ce qui lui permet de comprendre des questions, de résumer, de classer et de rédiger des réponses proches de l'écriture humaine..

Embeddings

Les embeddings sont des représentations vectorielles numériques de texte (ou d'images, de code, etc.) qui capturent le sens : des contenus de sens proche se retrouvent ainsi côte à côte dans un espace de grande dimension..

Fenêtre de contexte

La fenêtre de contexte est la quantité maximale de texte — mesurée en tokens — qu'un modèle de langage peut prendre en compte en une seule fois, en incluant à la fois l'entrée que vous lui fournissez et la sortie qu'il génère..

Tokens (LLM)

Les tokens sont les petits fragments de texte — mots, morceaux de mots ou caractères — qu'un modèle de langage lit et génère ; ils constituent l'unité de base avec laquelle les modèles mesurent l'entrée, la sortie, les limites de contexte et, le plus souvent, la facturation..

Modèle de fondation

Un modèle de fondation est un grand modèle d'IA entraîné à grande échelle sur des données larges et généralistes, que l'on peut adapter à de nombreuses tâches en aval — par prompting, par recherche documentaire ou par fine-tuning — au lieu d'être conçu pour une seule tâche étroite..

Passez à l'action

Macha est une couche d'agents IA qui se pose sur le help desk que vous utilisez déjà, Zendesk, Freshdesk, Front, Intercom ou Gorgias.

Démarrer l'essai