Que sont les Auto-encodeurs Variationnels (VAEs) ?

Un Auto-encodeur Variationnel (VAE) est un type de réseau de neurones génératif qui excelle dans l’apprentissage de la structure sous-jacente d’un ensemble de données. Il se compose de deux parties principales : un encodeur et un décodeur. L’encodeur compresse les données d’entrée (comme une image) dans un espace latent continu de faible dimension. Contrairement à un auto-encodeur standard, un VAE mappe l’entrée à une distribution de probabilité (généralement une gaussienne) dans cet espace latent. Le décodeur échantillonne ensuite à partir de cette distribution pour générer de nouvelles données similaires aux données d’entraînement originales. Cette approche probabiliste permet aux VAE non seulement de reconstruire les entrées, mais aussi de créer des variations nouvelles et plausibles.

Fonctionnalités Clés

Capacité Générative : Les VAE peuvent générer de nouveaux échantillons de données qui ressemblent aux données d’entraînement en échantillonnant depuis l’espace latent appris.
Espace Latent Continu et Structuré : L’espace latent est lisse, ce qui signifie que de petits changements dans un vecteur latent correspondent à de petits changements significatifs dans la sortie. Cela permet l’interpolation entre les points de données (par exemple, transformer un visage en un autre).
Encodage Probabiliste : Au lieu de mapper une entrée à un seul point, l’encodeur produit une distribution de probabilité, ce qui rend le modèle plus robuste et meilleur pour capturer l’incertitude des données.
Entraînement Stable : Comparés à d’autres modèles génératifs comme les GANs, les VAE sont généralement plus faciles et plus stables à entraîner, car ils optimisent une seule fonction de perte bien définie (la borne inférieure de l’évidence, ou ELBO).
Apprentissage Non Supervisé : Les VAE apprennent des caractéristiques significatives à partir des données sans nécessiter d’étiquettes explicites, ce qui en fait des outils puissants pour l’extraction de caractéristiques non supervisée.

Cas d’Utilisation

Génération d’Images et de Vidéos : Création d’images inédites de visages, de chiffres manuscrits ou d’autres objets.
Compression de Données : L’encodeur peut être utilisé comme une technique puissante de réduction de dimensionnalité non linéaire.
Détection d’Anomalies : En mesurant l’erreur de reconstruction, les VAE peuvent identifier les points de données qui sont significativement différents de la distribution d’entraînement.
Découverte de Médicaments et Génération de Molécules : Génération de nouvelles structures moléculaires avec les propriétés souhaitées en apprenant à partir d’une base de données de molécules existantes.
Débruitage et Complétion d’Images : Reconstruire des images corrompues ou incomplètes en remplissant les parties manquantes en se basant sur la distribution de données apprise.

Pour Commencer

Voici un exemple simplifié de “Hello World” d’un VAE utilisant PyTorch, entraîné sur l’ensemble de données MNIST de chiffres manuscrits.

```python import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader

Définir le modèle VAE

class VAE(nn.Module): def init(self): super(VAE, self).init() # Encodeur self.fc1 = nn.Linear(784, 400) self.fc21 = nn.Linear(400, 20) # Moyenne self.fc22 = nn.Linear(400, 20) # Log-variance # Décodeur self.fc3 = nn.Linear(20, 400) self.fc4 = nn.Linear(400, 784) self.relu = nn.ReLU() self.sigmoid = nn.Sigmoid()

def encode(self, x):
    h1 = self.relu(self.fc1(x))
    return self.fc21(h1), self.fc22(h1)

def reparameterize(self, mu, logvar):
    std = torch.exp(0.5 * logvar)
    eps = torch.randn_like(std)
    return mu + eps * std

def decode(self, z):
    h3 = self.relu(self.fc3(z))
    return self.sigmoid(self.fc4(h3))

def forward(self, x):
    mu, logvar = self.encode(x.view(-1, 784))
    z = self.reparameterize(mu, logvar)
    return self.decode(z), mu, logvar

Fonction de perte

def loss_function(recon_x, x, mu, logvar): BCE = nn.functional.binary_cross_entropy(recon_x, x.view(-1, 784), reduction=’sum’) KLD = -0.5 * torch.sum(1 + logvar - mu.pow(2) - logvar.exp()) return BCE + KLD

— Entraînement (simplifié) —

1. Charger le jeu de données MNIST

2. Initialiser le modèle VAE et l’optimiseur

3. Boucler sur les époques et les lots :

a. Passer les données à travers le modèle

b. Calculer la perte

c. Rétropropager et mettre à jour les poids

4. Après l’entraînement, vous pouvez échantillonner depuis l’espace latent (par ex., torch.randn(1, 20))

et le passer au décodeur pour générer une nouvelle image de chiffre.

Tarification

Les Auto-encodeurs Variationnels sont un concept algorithmique open-source. Les implémentations sont largement disponibles gratuitement dans tous les principaux frameworks d’apprentissage profond comme TensorFlow, PyTorch et JAX. Il n’y a aucun coût de licence associé à l’utilisation de l’architecture VAE elle-même.

VAEs vs. GANs

Un point de comparaison courant se situe entre les VAE et les Réseaux Antagonistes Génératifs (GANs).

Stabilité de l’Entraînement : Les VAE sont généralement plus stables à entraîner. Les GANs impliquent un jeu délicat à deux joueurs entre un générateur et un discriminateur, qui peut être difficile à équilibrer.
Qualité de Sortie : Les GANs sont réputés pour produire des images nettes et de haute fidélité, tandis que les VAE produisent souvent des résultats légèrement plus flous et plus lisses. Cela est dû au fait que les VAE optimisent une perte de reconstruction au niveau du pixel, qui a tendance à moyenner les possibilités.
Espace Latent : L’espace latent d’un VAE est continu et bien structuré par conception, ce qui le rend idéal pour des tâches comme l’interpolation. L’espace latent d’un GAN peut être moins lisse et plus enchevêtré.
Évaluation : Les VAE ont une fonction objectif claire (l’ELBO) à optimiser et à suivre. Les GANs n’ont pas de fonction objectif similaire, ce qui rend plus difficile la quantification de leurs progrès pendant l’entraînement.

Variational Autoencoders (VAEs)