Dale a tu adaptación la capacidad que necesita.

Define la ganancia que justificará tu campaña.

Define una tarea observable: clasificar un ticket, extraer campos o respetar una forma de respuesta. Trabaja primero una instrucción de referencia y conserva sus salidas. Si un cambio de prompt basta, se convierte en un candidato que comparar. Sin este testigo, una ganancia atribuida al fine-tuning puede provenir simplemente de una mejor formulación o de otro tratamiento de las respuestas.

Separa la validez del formato y la exactitud del contenido. Un objeto JSON que pasa el analizador puede contener la categoría equivocada. Añade los comportamientos que debes preservar, por ejemplo el tratamiento de un campo ausente o una clase poco frecuente. Fija las reglas de aceptación y los motivos de rechazo antes de elegir el rango, la tasa de aprendizaje o el número de pasos.

Elige datos que permitan decidir.

Mantén las variantes de una misma conversación, de un mismo documento o de una misma fuente en un solo conjunto cuando su proximidad amenace la independencia de la evaluación. Haz la separación antes de las transformaciones aprendidas o de los ajustes guiados por los resultados. Un reparto aleatorio línea por línea puede dar una impresión de progreso con ejemplos que ya se han visto casi por completo.

Ejemplo pedagógico: 1.200 tickets agrupados por conversación se reparten en 840 ejemplos de aprendizaje, 180 de validación y 180 de prueba tras respetar los grupos. Estas cifras describen un plan ilustrativo, no un corpus proporcionado. La validación sirve para elegir la variante; la prueba final se mantiene aparte. Examina las categorías y las longitudes en cada conjunto en lugar de creer que la sola proporción garantiza su calidad.

Retén la adaptación que vas a comparar con tu referencia.

La adaptación completa modifica los pesos correspondientes de la base. LoRA añade matrices de bajo rango a los módulos objetivo y aprende su contribución. El rango, los módulos objetivo, la escala y las opciones elegidas definen el experimento. Un rango superior aumenta el número de parámetros del adaptador, sin demostrar que mejorará tu tarea.

Para una matriz ilustrativa de 4.096 × 4.096, dos matrices LoRA de rango 8 contienen 8 × (4.096 + 4.096) = 65.536 valores, frente a 16.777.216 en la matriz densa, sin contar sesgos y otros módulos. Esa proporción de cifras no describe ni todo el modelo ni el pico de memoria: la base, las activaciones y los estados de los parámetros aprendidos siguen siendo factores a considerar.

Fuentes técnicas: PEFT — configuración y matrices LoRA

Elige la precisión para todo el ciclo de trabajo.

Que una base se cargue en cuatro bits no significa que todas las operaciones, todos los tensores y la caché usen cuatro bits. Los metadatos de cuantización y los módulos que se conservan en otra precisión influyen en la asignación. En bitsandbytes, el entrenamiento de modelos cargados en cuatro u ocho bits afecta a parámetros adicionales; no es una actualización general de los pesos cuantizados.

Registra el formato de la base, el tipo de cálculo, los módulos entrenables y las versiones. Compara un paso real, la evaluación y la operación de exportación que quieres utilizar. Fusionar, desquantizar o producir otro formato puede requerir un espacio distinto del de entrenamiento. Un método que aguanta durante la adaptación todavía no es una prueba de que todo el ciclo aguantará en la misma tarjeta.

Fuentes técnicas: Transformers 5.17 — bitsandbytes y parámetros adicionales

Compara tus variantes con un presupuesto de ensayos definido.

En el conjunto ilustrativo, mantén una referencia sin adaptación, una LoRA de rango 8 y una variante de rango 16, con los mismos módulos, datos, presupuesto de pasos y reglas de evaluación. El rango es entonces el factor estudiado. Si cambias a la vez el rango y la tasa de aprendizaje, creas otra pregunta; la guía de ablaciones explica cómo hacer legible esa interacción.

Antes de cada ensayo, revisa algunos ejemplos tokenizados y las porciones que contribuyen a la pérdida. Después del ensayo, contrasta las predicciones identificadas con el mismo evaluador. Anota las salidas ausentes y las regresiones, no solo la media. Una clase poco frecuente que se vuelve sistemáticamente incorrecta puede invalidar una mejora global según tu contrato de calidad.

Documenta también alpha, dropout e inicialización. Con el ajuste LoRA clásico, la escala es alpha/r; indica si mantienes alpha o la relación alpha/r cuando cambia el rango. Estos protocolos no responden exactamente a la misma pregunta. Otra regla de escala, como rsLoRA, debe identificarse por separado.

Fuentes técnicas: PEFT — rango, alpha y reglas de escala de LoRA

Decide qué corregir antes de comprometer más cómputo.

Una pérdida que baja mientras la calidad de validación se estanca exige un análisis, no automáticamente más pasos. Examina los errores de etiquetas, la repetición de formulaciones, las entradas truncadas y las divergencias entre el formato de entrenamiento y el de inferencia. Conserva una muestra de errores por categoría para elegir la corrección.

Si corriges una taxonomía o el parsing, versiona el evaluador y recalcula las puntuaciones de los candidatos necesarios. No compares directamente dos cifras obtenidas con reglas distintas. Si inspeccionas el test final para elegir una corrección, este pasa a formar parte del desarrollo: prepara una nueva evaluación independiente para la próxima conclusión.

Verifica el resultado que quieres reutilizar.

El formato PEFT conserva los parámetros del adaptador y su configuración; generalmente no contiene los pesos de la base. Por lo tanto, guarda el identificador y la revisión exacta de esa base junto con el artefacto. Un nombre de modelo solo que apunte a una versión cambiante no basta para reconstruir las condiciones.

Recarga en un proceso nuevo el resultado realmente destinado al uso. Reejecuta algunas entradas de control y después el protocolo de evaluación. Archiva el tokenizer, la plantilla, los parámetros de generación, las dependencias, las métricas y la procedencia de los datos. Si el artefacto está fusionado, anota esa transformación y controla sus salidas; constituye un paso que hay que verificar, no una formalidad invisible.

Fuentes técnicas: PEFT — contenido del checkpoint y modelo base

Elige el siguiente paso a partir de los resultados.

Compara las GPU a partir del pico del paso completo y de la evaluación, de las entradas máximas necesarias y de la pila de software compatible. Reserva dentro del plan tiempo para el control, las variantes prioritarias, la lectura de errores y la recuperación. La elección de un entorno al hacer el pedido expresa una preparación deseada, sin calificar automáticamente tu adaptación.

La conclusión debe nombrar el candidato retenido o la ausencia de ganancia suficiente, los grupos cubiertos, las regresiones conocidas y las condiciones de recarga. Tu cuaderno conserva las referencias y el motivo de la elección. El pack de medición de memoria ayuda a entender la instrumentación; no proporciona un entrenamiento LoRA probado en tu lugar.