Fine Tuning con Hugging Face: Crea personajes IA consistentes

Influencers virtuales, modelos de inteligencia artificial, actores generados por computadora… Abundan en las redes sociales y no paran de aparecer. Pero, ¿te has preguntado cómo los crean y, más importante aún, cómo logran que siempre se vean igual?

El mayor desafío técnico de los creadores de contenido con IA es la consistencia. Si generas a un personaje, este no puede cambiar la forma de su nariz o el color de sus ojos entre una escena y otra.

Si piensas que esto se soluciona simplemente copiando y pegando el mismo prompt súper detallado, te equivocas. Las “alucinaciones” de la IA y la temperatura del modelo siempre generarán pequeñas variaciones que rompen la ilusión.

La verdadera solución profesional se llama Fine-Tuning (Ajuste Fino), y en este artículo te explicaré, de forma sencilla, cómo entrenamos un modelo de Inteligencia Artificial de código abierto usando Hugging Face para crear nuestro propio personaje consistente.

¿Qué es el Fine-Tuning y qué es LoRA? (La Teoría)

Los modelos de IA generadores de imágenes (como Stable Diffusion o Flux) son entrenados con miles de millones de fotos para entender estadísticamente qué es un perro, qué es un auto o qué es una persona. Todo ese “conocimiento” es una red neuronal compleja.

Si tenemos un modelo de pesos abiertos (código abierto), podemos modificarlo. Podríamos reescribir toda su red para enseñarle cómo luce exactamente nuestro personaje, pero hacer un Fine-Tuning completo es carísimo y requiere equipos gigantescos.

En su lugar, usamos una técnica mucho más inteligente, barata y eficiente llamada LoRA (Low-Rank Adaptation).

En lugar de reescribir la red neuronal, LoRA funciona como si le pegáramos “notas adhesivas” (post-its) al modelo original. Estas notas le dicen a la IA: “Oye, cuando escuches esta palabra clave inventada, no busques en tu memoria general, mira esta notita y responde con estos rasgos específicos”. Al dejar intacta la red original, el proceso se vuelve rapidísimo y económico.

El Proceso paso a paso: Creando a “Mika”

Para este ejercicio práctico, decidimos entrenar a una Idol virtual que llamamos Mika, utilizando el modelo abierto Flux 2 (versión de 4 billones de parámetros). Todo el proceso lo hicimos en la nube de Hugging Face.

1. El Dataset (Las imágenes de entrenamiento) Lo primero es crear un banco de imágenes (dataset). Subimos alrededor de 25 fotos de Mika en diferentes ángulos a nuestro espacio de trabajo en Hugging Face. Cada imagen va acompañada de un texto descriptivo que resalta las diferencias entre cada foto y, muy importante, incluye nuestra palabra clave secreta: MKR1 idol.

(Nota: Para proyectos serios, se recomienda usar fotos de personas reales en lugar de imágenes generadas para evitar el “colapso del modelo”).

2. La máquina y el entorno Como entrenar una IA requiere mucha potencia gráfica, no usamos nuestra computadora local. Hugging Face nos permite arrendar GPUs (Tarjetas Gráficas) en la nube por horas. Para nuestro pequeño dataset, el proceso tomó menos de una hora y costó apenas un par de dólares.

3. El Script de Entrenamiento Mediante un script de Python que utiliza la librería Diffusers, le dimos instrucciones al servidor remoto. El proceso es fascinante:

• El script toma una foto de Mika y le inyecta “ruido” (la distorsiona).

• Le pide al modelo Flux que intente reconstruir la imagen.

• El script calcula la diferencia algorítmica entre el intento de la IA y la foto real de Mika.

• Esa diferencia se convierte en nuestra “nota adhesiva” (el LoRA), forzando al modelo a corregir el rumbo la próxima vez que genere la imagen.

Este ciclo se repitió durante 1,500 pasos.

4. Evaluando la evolución de la IA Durante el entrenamiento, configuramos “puntos de control” (checkpoints) cada cierta cantidad de pasos para ver cómo aprendía el modelo:

• Paso 0: El modelo no sabe quién es MKR1 idol y dibuja a una persona aleatoria.

• Paso 500: Ya empieza a reconocer a nuestro personaje, pero los accesorios (como un prendedor en el cabello) se ven borrosos y sin forma.

• Paso 1,000: La definición mejora drásticamente, los accesorios toman forma y los rasgos faciales se estabilizan.

• Paso 1,500: ¡Entrenamiento finalizado! Los rasgos de Mika, sus proporciones y los detalles más finos se generan de manera idéntica y consistente cada vez que usamos la palabra clave.

Pruébalo tú mismo Entender el proceso es genial, pero probarlo es aún mejor. Para que veas la diferencia real, he creado un “Space” (espacio de trabajo público) en Hugging Face donde puedes probar el modelo original (Flux) frente a nuestro modelo con Fine-Tuning.

Podrás escribir tus propios prompts y ver cómo, al agregar la palabra MKR1 idol, la IA genera a nuestro personaje de forma perfecta y consistente.

Mira el video completo aquí para ver el código, los costos exactos y el enlace al entorno de pruebas

La creación de influencers virtuales y el entrenamiento personalizado de modelos ya no es ciencia ficción ni requiere millones de dólares. Con herramientas como Hugging Face, puedes empezar hoy mismo. Si tienes dudas o te atascas replicando este experimento, ¡déjame un comentario en el video y con gusto te ayudaré!