Más allá de LoRA

📐LoRA como referencia#

A y B de bajo rango añadidas a pesos congelados

LoRA congela los pesos base y aprende una actualización de bajo rango B, A. Sus debilidades son estructurales: A se inicializa con ruido y B con ceros, A y B comparten una única tasa de aprendizaje y la geometría de actualización es fija y difiere de la del ajuste fino completo.

🎯Mejor inicialización#

Partir de lo que importa

En lugar de usar A aleatoria y B con ceros, inicializa los adaptadores a partir de las direcciones más informativas del peso existente, para que el entrenamiento comience cerca de la solución y no desde el ruido.

🧮PiSSA#

Inicialización SVD con componentes principales

PiSSA aplica SVD al peso original W e inicializa A, B con los vectores singulares principales, congelando el residuo. Mejoras reportadas: Mistral-7B en GSM8K, 72.86% frente al 67.7% de LoRA; QPiSSA de 4 bits superó a QLoRA en LLaMA-3-70B (86.05% frente a 81.73%).

🧭Descomposición de pesos#

Separar magnitud y dirección

Divide cada peso en una magnitud que se puede aprender y una dirección, y luego adapta solo la dirección. Esto modifica la actualización de LoRA para acercarla al ajuste fino completo, con un coste en parámetros casi idéntico y conservando la posibilidad de fusionar los pesos.

🧩DoRA#

Actualización de bajo rango solo de la dirección

DoRA (NVIDIA, ICML 2024 Oral) aplica LoRA únicamente al componente direccional y añade solo un vector de magnitud. Razonamiento de sentido común en LLaMA-7B: 78.4% frente al 74.7% de LoRA (+3.7), con ~0.01% más de parámetros entrenables y sin coste adicional en inferencia.

🗂️Parámetros compartidos#

Cuando el almacenamiento es el cuello de botella

Si debes servir muchos adaptadores específicos de cada usuario o tarea, la restricción determinante es el tamaño de los puntos de control, no la precisión pura, así que reduce los parámetros entrenables al mínimo posible.

🎲VeRA#

Matrices aleatorias congeladas y compartidas, vectores de escala mínimos

VeRA congela un único par de matrices aleatorias de bajo rango compartido por todas las capas y entrena solo pequeños vectores de escala por capa. Las matrices aleatorias se regeneran a partir de una semilla, por lo que los puntos de control son diminutos: ~10x menos parámetros entrenables que LoRA con el mismo rendimiento.

⚙️Mejoras adicionales sin coste#

Más rendimiento con el mismo cómputo

Algunas mejoras apenas tienen coste: cambian un hiperparámetro en lugar de la arquitectura y se pueden combinar con los métodos existentes.

📈LoRA+#

Tasas de aprendizaje distintas para A y B

Compartir una única LR entre A y B no es óptimo para modelos anchos. LoRA+ asigna a B una LR mayor, manteniendo una proporción fija: una mejora del 1-2% y un ajuste fino hasta ~2x más rápido con el mismo cómputo.

💾Límite de memoria#

Cuantizar para alojar modelos grandes en una GPU

Cuando la restricción es la VRAM, la cuantización es lo primero. QLoRA realiza el ajuste fino de un modelo de 65B en una única GPU de 48GB mediante NF4 de 4 bits, doble cuantización y optimizadores paginados. Guanaco alcanzó el 99.3% del rendimiento de ChatGPT en Vicuna tras 24 horas de GPU.

⚖️Elegir en la frontera de Pareto#

Tarea, presupuesto y tipo de servicio

Ajuste fino completo para ámbitos donde la precisión es crítica; DoRA/PiSSA cuando buscas una calidad más cercana al ajuste completo con el presupuesto de LoRA; VeRA cuando sirves muchos adaptadores; QLoRA cuando la memoria es el límite; LoRA+ como complemento casi gratuito. Las evaluaciones de Beyond-LoRA (por ejemplo, OFT supera a LoRA en una tarea de imágenes usando menos memoria) ilustran la idea: elige en la frontera.