Fine-Tuning y Adaptación de Modelos

Distinguir cuándo el prompting y el aprendizaje en contexto bastan para cambiar el comportamiento observable sin entrenamiento.

Decidir cuándo usar recuperación aumentada para aportar conocimiento actualizado o trazable sin reentrenar el modelo.

Reconocer cuándo el ajuste supervisado es adecuado para volver persistente un patrón de respuesta, formato o especialización de tarea.

Construir una decisión técnica reproducible entre prompting, RAG, fine-tuning y combinaciones.

Explicar y aplicar el mecanismo matemático esencial de LoRA para reducir los parámetros entrenables.

Construir una configuración LoRA razonada y susceptible de evaluación en lugar de copiar hiperparámetros a ciegas.

Explicar cómo QLoRA reduce memoria y configurar los elementos esenciales de cuantización para entrenamiento.

Configurar un entrenamiento SFT con PEFT controlando qué tokens generan pérdida y cómo se empaquetan las secuencias.

Definir un esquema de datos que represente exactamente la conducta que se quiere enseñar.

Construir criterios de selección de ejemplos que maximicen señal útil y reduzcan redundancia o respuestas mediocres.

Aplicar una secuencia de limpieza que reduzca duplicación y evite contaminar la evaluación.

Separar training, validation y test y verificar que el preprocesamiento no destruya la señal.

Construir una línea base reproducible que permita atribuir el cambio al ajuste y no a diferencias de evaluación.

Interpretar pérdida de validación y perplexity como señales de modelado, no como sustitutos de métricas de tarea.

Elegir métricas que correspondan a la forma de error de la tarea en vez de usar una métrica universal.

Integrar métricas automáticas, comparación pareada y costos para decidir si el modelo ajustado supera realmente al base.