Intelligence Artificielle - IA Générative : Créer un model type ChatGPT

Viens apprendre à créer un Transformer type ChatGPT qui imite le style unique d’un auteur, en mode pratique et fun !

Intelligence Artificielle - IA Générative : Construire un Transformer type ChatGPT et générer du texte dans le style d’un auteur.

Animateur : Patrice, ingénieur diplômé de Centrale Nantes et consultant senior Data & IA, intervient également lors d’événements organisés au sein d’écoles d’ingénieurs en informatique.

Description

Places limitées à 16 participants afin de garantir un accompagnement personnalisé, Les premières places sont proposées à tarif réduit.

Découvrez comment construire progressivement un modèle génératif de texte, jusqu’à une architecture de type Transformer inspirée des modèles modernes comme ChatGPT.

Lors de cet atelier intensif en présentiel sur 3 jours, vous développerez pas à pas un modèle de langage : depuis les bases de l’apprentissage jusqu’à la génération de texte cohérente dans le style d’un auteur.

L’approche est résolument pratique : vous codez, entraînez et observez l’évolution du modèle à chaque étape.

Objectifs

L’objectif n’est pas simplement d’utiliser un modèle existant, mais de comprendre concrètement :

• le fonctionnement de l’apprentissage différentiable
• le rôle des gradients et de l’optimisation
• la modélisation séquentielle du langage
• les embeddings et la représentation du texte
• la prise en compte du contexte
• les principes fondamentaux d’un Transformer

À l’issue de l’atelier, vous aurez construit et entraîné un modèle capable de générer du texte dans le style d'un auteur.

Public

Cet atelier s’adresse à :

• data scientists
• ML engineers
• développeurs Python
• ingénieurs IA
• profils techniques souhaitant comprendre en profondeur les modèles génératifs

Prérequis

• bases en Python
• notions de machine learning recommandées

Programme (3 jours)

Jour 1 — Fondations et premier modèle génératif

• principes de l’apprentissage (loss, gradients, optimisation)
• introduction à la modélisation du langage
• construction d’un premier modèle génératif (type bigram ou modèle simple)
• entraînement sur un corpus littéraire
• premières générations de texte

Le modèle produit déjà du texte dès cette première journée.

Jour 2 — Représentations et passage au Transformer

Matin :

• limites des modèles simples
• embeddings et représentation vectorielle du texte
• prise en compte d’un contexte plus riche
• amélioration de la qualité des générations

Après-midi :

• introduction à l’attention (self-attention)
• compréhension des mécanismes Q / K / V
• construction des premières briques d’un Transformer
• première implémentation d’un modèle de type GPT

Cette journée marque la transition vers les architectures modernes.

Jour 3 — Transformer et génération avancée

• approfondissement de l’architecture Transformer
• entraînement du modèle
• génération de texte avancée
• analyse des résultats
• comparaison avec les modèles précédents

Le modèle final permet de générer du texte dans le style de l’auteur choisi.

Spécificités de l’atelier

• approche from scratch, sans boîte noire
• progression pédagogique structurée
• utilisation d’un corpus littéraire
• mise en pratique continue
• groupe restreint favorisant les échanges

Résultats

Les participants repartent avec :

• une compréhension solide des modèles de langage
• un modèle qu’ils ont eux-mêmes construit et entraîné
• une vision claire du fonctionnement d’un Transformer