Actualidad de IA
Hugging Face busca acelerar BERT antes de que el modelo lea el texto
Preparar el texto también lleva tiempo. Una propuesta para tokenizers intenta reducir ese trabajo sin cambiar los tokens que recibe BERT.
El cuello de botella puede estar antes del modelo
Tu buscador tarda en preparar miles de documentos y piensas en cambiar de modelo. Pero parte de la espera puede estar antes: en convertir el texto en tokens. Hugging Face explicó el 15 de octubre de 2026 una propuesta para acelerar la normalización de BERT en tokenizers.
En la revisión de esta pieza, la pull request 2508 seguía como borrador. Es trabajo en curso, no una mejora que debas dar por instalada al actualizar cualquier versión estable.
Qué hace un tokenizador
El tokenizador transforma las palabras en identificadores numéricos que el modelo puede procesar. Antes puede normalizar el texto, dividirlo y aplicar otras operaciones según su configuración. Todo eso consume CPU, aunque todavía no estés calculando embeddings ni generando una respuesta.
Hacer menos trabajo para obtener los mismos tokens
La propuesta detecta fragmentos ASCII y procesa muchos bytes juntos con instrucciones vectoriales de la CPU. Para otros caracteres reutiliza comprobaciones de bloques Unicode y evita copias de memoria cuando puede. La condición es respetar la configuración original, incluida la conversión a minúsculas cuando corresponda.
El anuncio de tokenizers v1 de septiembre describía una versión candidata. Esta optimización de octubre es posterior y específica de los normalizadores. Instalar aquella versión no demuestra que incluya esta propuesta.
Una tilde sirve para ponerlo a prueba
En un manual en español puedes encontrar «acción» con la ó como un carácter o con una o seguida de un acento combinante. Se ven iguales, pero su representación es distinta. NFC permite llevarlas a una forma común; eso no significa que debas cambiar por tu cuenta lo que espera el modelo.
Para comparar las versiones, utiliza los mismos títulos, textos con tildes y fragmentos de código. Comprueba que devuelven los mismos identificadores, además de medir cuánto tardan. Esa es la prueba que importa si la promesa es acelerar sin cambiar el resultado.
La mejora de una etapa no es la de todo el buscador
El autor publica un reproductor con las revisiones utilizadas. También señala regresiones en algunas entradas pequeñas y casos con caracteres chinos. Son mediciones del equipo, con esas entradas y condiciones.
Separa la carga inicial del tokenizador del procesamiento de texto y registra hardware, hilos y lote. Después mide hasta que los documentos se puedan buscar. Si el tiempo se va en leer archivos o escribir en la base vectorial, esa parte seguirá ahí aunque normalizar sea más rápido.