RAG o fine-tuning: cómo elegir para tu proyecto de IA

La respuesta depende del tipo de error

El asistente da un dato equivocado. Antes de pensar en entrenarlo, mira qué información recibió. Si le falta el manual, quizá necesite buscarlo. Si responde sobre existencias, debería consultar el sistema que las mantiene al día.

RAG hace precisamente esa primera parte: buscar información y entregársela al modelo para que responda con ella. El fine-tuning modifica un modelo ya entrenado mediante ejemplos adicionales. Como explica Microsoft en Foundry, resuelven necesidades distintas.

Si el modelo ya tiene la información correcta pero sigue fallando al realizar la tarea, mejora primero las instrucciones y mide el resultado. Ese fallo observado es un punto de partida más útil para valorar un ajuste del modelo.

Cuándo basta con mejorar las instrucciones

Un prompt contiene instrucciones y puede incluir ejemplos y datos. Antes de preparar un entrenamiento, comprueba si has explicado qué resultado necesitas, qué información debe utilizar y qué hacer cuando falte un dato.

Puedes pedir una ficha con nombre, medida y fuente, y mostrar una respuesta correcta. Si resuelve la tarea de forma consistente, quizá baste. Debes comprobarlo con tus entradas; un prompt más largo no garantiza mejores respuestas.

Anthropic recomienda definir criterios de éxito y una forma de evaluarlos antes de ajustar instrucciones. También advierte de que algunos problemas, como coste o latencia, pueden requerir otra elección de modelo.

RAG permite consultar datos que cambian

La aplicación recupera el contenido pertinente y se lo proporciona al modelo junto a la pregunta. Google describe una implementación que divide documentos en fragmentos, crea un índice y busca información relevante. Los fragmentos recuperados sirven de contexto para responder.

Actualizar la información requiere mantener también la recuperación. Si cambias una ficha pero el índice conserva su versión anterior, el asistente puede seguir usando el dato antiguo. AWS explica que los documentos y sus representaciones deben actualizarse para mantener vigente esa información.

RAG no exige siempre una búsqueda vectorial. Microsoft contempla búsqueda por palabras clave, semántica, vectorial o híbrida. Tampoco garantiza una respuesta correcta: recuperar un fragmento incompleto o equivocado puede producir errores. Las fuentes deben permitir comprobar de dónde sale cada dato.

Cuándo consultar una API o una base de datos

RAG puede recuperar datos estructurados y documentos. Azure Databricks incluye SQL y APIs entre sus fuentes. Una herramienta puede realizar esa consulta y entregar el resultado al modelo. Recuperación y herramientas pueden formar parte del mismo recorrido.

Para una referencia exacta, empezaría por una función de lectura que reciba su identificador. En las herramientas propias de Claude, el modelo solicita la llamada y la aplicación la ejecuta. Limitaría los campos devueltos y comprobaría los permisos en el servidor, sin dar acceso general a la base de datos.

Un total de ventas exige definir periodo, moneda y filtros. Sumar fragmentos recuperados por semejanza puede dejar fuera filas necesarias. Propondría una consulta o cálculo controlado que devuelva el total, periodo y fuente. Una conexión directa sigue exigiendo comprobar la vigencia de sus datos.

Fine-tuning puede adaptar un comportamiento repetido

El ajuste fino modifica los pesos del modelo mediante entrenamiento adicional. Según Microsoft, puede ayudar a aprender patrones de una tarea, mantener una estructura, mejorar el uso de herramientas o aprovechar el contexto recuperado. Necesita datos de entrenamiento adecuados y una evaluación frente al modelo de partida.

Lo valoraría cuando las instrucciones no bastan y tienes ejemplos revisados del comportamiento buscado. En un ajuste supervisado, muestran entradas y respuestas deseadas. Reserva otros casos para evaluar si resuelve situaciones nuevas.

Un modelo ajustado puede seguir usando RAG. El entrenamiento no sustituye la consulta de información reciente ni los controles de acceso. Revisa si el modelo admite ajuste y las condiciones de despliegue. Compara entrenamiento y servicio con la alternativa inicial, sin dar por hecho un ahorro o una mejora.

Un ejemplo con una tienda de lámparas

Imagina un asistente para una tienda de lámparas. Es un ejemplo hipotético. El catálogo cambia y una persona pregunta si la lámpara Alba se vende en azul. Recuperaría la ficha vigente y pediría una respuesta con el color y su fuente. Si ese dato no aparece, el resultado debería señalar que no se ha encontrado.

Si pregunta si quedan dos unidades azules, consultaría existencias por referencia y variante. La respuesta debería indicar cuándo se obtuvo el dato. Si el servicio falla, el asistente tendría que reconocer que no puede confirmar disponibilidad. Consultar stock no equivale a reservarlo: otra compra puede cambiarlo después. La reserva necesitaría una operación y controles propios.

Si recupera las fichas correctas pero redacta recomendaciones vagas, probaría instrucciones, ejemplos y comprobaciones. Si persiste, estudiaría un ajuste con entradas y resúmenes revisados. Las conversiones de unidades las resolvería con código y validaciones.

Compara alternativas con las mismas preguntas

Prepara una muestra con preguntas claras, datos ausentes y fichas de versiones diferentes. Añade una referencia ambigua, stock que cambia y una API sin respuesta. Comprueba dato, fuente, fecha y si reconoce lo que no sabe. Así podrás distinguir un problema de información de uno de comportamiento.

Separaría los fallos de recuperación de los de generación. Si no llega la ficha correcta, revisa la búsqueda. Si llega y la respuesta la contradice, revisa instrucciones, modelo y controles del resultado. Mide también tiempo y coste del recorrido completo, incluidos búsqueda y mantenimiento de datos.

Cuando haya información restringida, aplica permisos antes de entregar los documentos al modelo. La documentación de Microsoft advierte del riesgo de exponer contenido y de las instrucciones maliciosas en documentos recuperados. Un buen índice no sustituye esos controles. Elige la opción más sencilla que supere tus pruebas y vuelve a evaluarla cuando cambien datos o modelo.

Fuentes