Ingeniería de IA

LangSmith permite buscar fallos de un agente describiendo lo que ocurrió

«Dijo que había terminado, pero no creó la incidencia». AI Search permite buscar conversaciones así y volver a las acciones para comprobar qué pasó.

Buscar una conducta con una frase

Tienes muchas conversaciones de un agente y quieres encontrar aquellas en las que aseguró haber terminado sin confirmación de la herramienta. Una búsqueda por palabras ayuda poco si cada respuesta lo dice de una forma. AI Search permite describir esa conducta.

LangChain anunció la función el 13 de octubre de 2026 como beta pública de LangSmith Cloud en GCP US, EU y APAC. La activa un administrador de la organización. Una coincidencia indica dónde mirar; todavía tienes que comprobar qué ocurrió.

Los filtros reducen dónde buscar

Primero puedes acotar fechas, estados o etiquetas. Después, según LangChain, un modelo de decisión revisa las conversaciones candidatas. La trayectoria reúne mensajes y acciones en orden, sin repetir el historial de cada llamada. La traza completa sigue siendo el lugar donde consultar el detalle de una herramienta o un reintento.

Cómo revisar un recorrido de agente con Transect

La incidencia que quizá sí se creó

Imagina un asistente de un proyecto de código abierto. Le pides abrir una incidencia y responde que ya está. Buscarías las conversaciones donde falta una confirmación de creación y abrirías cada una para revisar la petición, la llamada y el mensaje final.

Si la herramienta devolvió un error explícito, tienes una evidencia distinta de un timeout. En este último caso, la incidencia puede haberse creado aunque no llegara la respuesta. Hay que consultar su estado antes de concluir que no existe. Es un ejemplo de revisión, no una prueba ejecutada con AI Search.

La búsqueda no ve todo lo que ve la traza

El anuncio describe un presupuesto de 8K tokens por trayectoria, dando prioridad a mensajes del usuario y respuestas del agente. Otros mensajes pueden recortarse. Si buscas un error de herramienta y ese detalle quedó fuera, no encontrarlo no demuestra que nunca ocurriera.

La documentación también excluye del análisis el contenido de subagentes, middleware y mensajes de compactación. Los estados y metadatos se buscan con filtros estructurados. Estos límites importan tanto como redactar bien la consulta.

Guarda también lo que preguntaste

La descripción de AI Search no queda en la URL copiada. Para repetir la revisión, guarda la pregunta, el periodo, los filtros y los identificadores de las conversaciones. Puedes empezar con algunos casos conocidos y comprobar si encuentra los esperados y omite los demás.

Cómo evaluar agentes con casos de prueba concretos

Activarla también es una decisión sobre los datos

La documentación advierte de transferencia y procesamiento en Estados Unidos, aunque la interfaz esté disponible en una región europea. Revisa qué contienen tus trazas y las condiciones de tu organización antes de habilitarla. Puedes empezar con conversaciones ficticias para comprobar el alcance antes de utilizar registros reales.

Separar permisos y acciones de las instrucciones del agente

Fuentes

LangChain: AI Search, anuncio del 13 de octubre de 2026 LangChain: filtros, alcance, límites y activación de AI Search LangChain: trayectorias y detalle de las trazas, 24 de septiembre

/ TRABAJEMOS JUNTOS

¿Tienes un proyecto
en mente?

Cuéntame qué quieres resolver y en qué punto estás. Te ayudo con IA, decisiones técnicas y desarrollo de producto.

Escríbeme por email

adrianalbujaira@gmail.com

También en LinkedIn