Ingeniería de IA
ReplaySSM: qué cambia en los modelos híbridos de IA
ReplaySSM guarda un estado y unas entradas recientes para evitar trabajo repetido al generar texto. La mejora depende de las capas y del motor que uses.
Recordar lo anterior también tiene un coste
Mientras genera texto, un modelo híbrido mantiene información de lo que ya ha procesado. Leer y actualizar ese estado consume recursos. ReplaySSM combina un estado guardado con un registro corto de entradas recientes para evitar escribirlo completo en cada paso.
NVIDIA explicó la técnica el 12 de octubre de 2026. El paper es del día 9 y parte del código de Mamba2 ya estaba integrado en vLLM desde julio. La publicación reciente explica y evalúa el enfoque; no estrena todo ese código.
Qué parte del modelo cambia
Los modelos de este tipo combinan atención con capas recurrentes como Mamba-2 o Gated DeltaNet. Estas últimas conservan un estado de tamaño fijo respecto al contexto. Fijo no significa gratuito: ocupa memoria y se multiplica entre capas y solicitudes.
Los autores señalan que mover ese estado puede limitar el rendimiento al servir varias secuencias. ReplaySSM cambia cómo se representa y actualiza en el motor de inferencia.
Un marcador y las últimas jugadas
Imagina una partida con un marcador confirmado y una lista corta de jugadas recientes. Para mostrar el resultado provisional puedes combinar ambos. Al confirmar ese bloque, actualizas el marcador guardado y empiezas otra lista.
Si una jugada propuesta se rechaza, dejas de contarla. La analogía ayuda a separar el estado consolidado de cambios que aún puedes descartar. ReplaySSM usa cálculos matriciales y entradas acotadas, no guarda indefinidamente toda la conversación ni implementa un marcador.
Proponer varios tokens y aceptar solo algunos
La decodificación especulativa propone unidades de texto y luego comprueba cuáles acepta el modelo. Si rechaza una parte, necesita continuar desde el último punto válido.
ReplaySSM puede ignorar las entradas rechazadas ajustando la posición del registro. En esa ruta evita guardar un estado recurrente completo por cada token propuesto. La ventaja depende de cuánto cueste proponer, verificar y continuar.
La carga decide cuánto se nota
NVIDIA compara cuatro modelos en H100 y B300. En esas pruebas mejora la generación con lotes grandes, pero no consigue aceleración con una sola secuencia. Es una diferencia importante si atiendes a una persona o muchas peticiones simultáneas.
Compara el mismo modelo y hardware con una carga parecida a la de tu servicio. Mide generación completa, memoria y resultados correctos, además del ritmo de salida.
Una integración concreta no cubre todas las opciones
El repositorio de investigación incluye Mamba2 y Gated DeltaNet sobre una versión derivada de vLLM, con licencia Apache 2.0 y rutas estándar y especulativas. La PR 48018 permite contrastar la integración estándar de Mamba2.
Comprueba la capa, versión y ruta que ejecuta tu modelo. Tener una integración no demuestra soporte de todas las combinaciones de hardware, precisión o especulación. Ese es el punto de partida para valorar si la técnica afecta a tu despliegue.