Autoencoder Variacional: comprimir, y volver a imaginar

Un VAE bueno ¿para qué?

No hay un "mejor VAE" en abstracto. Según el objetivo, miras cosas distintas:

• Reconstruir / detectar defectos → error de reconstrucción bajo. β pequeño.
• Generar datos nuevos → muestras del prior plausibles. β ≥ 1 y sin huecos.
• Representar para otro modelo → rendimiento de ese modelo posterior.
• Interpretar factores → desenredo, con todas las reservas del párrafo siguiente.

Sobre el desenredo, con honestidad

β > 1 favorece que cada factor caiga en su propia dimensión (Higgins et al., 2017), y en este laboratorio se ve. Pero un estudio a gran escala mostró que el desenredo no supervisado es imposible sin supuestos previos, que las métricas discrepan entre sí y que el resultado depende tanto de la semilla como del hiperparámetro (Locatello et al., 2019). Trátalo como una propiedad deseable que hay que verificar, no como algo que β garantice.

Qué cambia respecto a un modelo clásico

• Cada evaluación es cara (entrenar una red entera), así que el número de pruebas es pequeño: aquí brillan la optimización bayesiana y Hyperband, que descarta pronto las configuraciones malas usando pocas épocas (Li et al., 2018).
• Hay más hiperparámetros y muchos interactúan; la búsqueda aleatoria sigue siendo la referencia mínima (Bergstra & Bengio, 2012).
• La varianza entre semillas es mayor: compara siempre con al menos 3 repeticiones.
• Las épocas son un recurso ideal para métodos de baja fidelidad: entrena 10 épocas a muchas configuraciones y solo sigue con las prometedoras.

El capítulo 4 de Isolation Forest compara grid, random, bayesiana y successive halving con el mismo presupuesto; esos criterios se aplican igual aquí.

Ejemplo en Python (PyTorch + Optuna, Akiba et al., 2019)

import optuna

def objective(trial):
    beta    = trial.suggest_float("beta", 0.2, 8.0, log=True)
    latent  = trial.suggest_int("latent_dim", 2, 32, log=True)
    hidden  = trial.suggest_categorical("hidden", [64, 128, 256])
    lr      = trial.suggest_float("lr", 1e-4, 1e-2, log=True)

    model = VAE(latent_dim=latent, hidden=hidden)
    for epoch in range(MAX_EPOCHS):
        train_one_epoch(model, loader, lr=lr, beta=kl_warmup(beta, epoch))
        val = evaluate(model, val_loader)          # rec + KL, con beta=1 para comparar
        trial.report(val["loss"], epoch)
        if trial.should_prune():                   # Hyperband descarta lo que no promete
            raise optuna.TrialPruned()

    if val["active_dims"] == 0:                    # colapso: configuración inservible
        raise optuna.TrialPruned()
    return val["loss"]

study = optuna.create_study(direction="minimize",
                            pruner=optuna.pruners.HyperbandPruner())
study.optimize(objective, n_trials=40)

Detalle importante: se descarta explícitamente el modelo colapsado. Sin esa comprobación, una búsqueda automática puede premiar configuraciones que no representan nada.

Flujo de trabajo recomendado

1. Define el objetivo: ¿reconstruir, generar, representar o detectar? De ahí sale la dirección de β.
2. Normaliza las entradas al rango que asume tu verosimilitud (aquí [0,1] con entropía cruzada).
3. Ajusta la tasa de aprendizaje y comprueba que la curva baja.
4. Sube la capacidad hasta que la reconstrucción se aplane.
5. Busca β y latent_dim juntos, descartando configuraciones colapsadas.
6. Verifica: dimensiones activas, reconstrucciones y muestras del prior a ojo.
7. Repite con 3+ semillas antes de declarar un ganador.
8. Monitorea el KL y la distribución del error tras desplegar.

Errores comunes

• Mirar solo la pérdida total y no darse cuenta del colapso.
• Comparar modelos con β distintos por su pérdida.
• Subir latent_dim esperando mejora cuando β ya apagó las dimensiones.
• Interpretar las dimensiones latentes como variables con significado sin verificarlo.
• Entrenar el detector de anomalías con datos contaminados de anomalías.
• Culpar a la arquitectura de lo que era una tasa de aprendizaje mal puesta.
• Esperar muestras nítidas: el VAE genera borroso por diseño del objetivo.

Límites del VAE

• Muestras borrosas frente a modelos de difusión o GAN.
• El colapso posterior con decoders potentes.
• El desenredo no está garantizado (Locatello et al., 2019).
• En detección de anomalías, puede reconstruir demasiado bien lo que nunca vio si tiene demasiada capacidad.
• Alternativas según el caso: autoencoder simple (más fiel), VQ-VAE (latente discreto, van den Oord et al., 2017), difusión (mejor generación), o Isolation Forest si tus datos son tabulares y pequeños.