Gemini Computer Use ya es GA: el clic es solo la mitad del trabajo

La novedad es la disponibilidad, no un modelo nuevo

Google ha llevado Computer Use a disponibilidad general en Gemini API desde el 30 de octubre, tanto en Interactions como en GenerateContent. La herramienta permite construir agentes que trabajan con interfaces, pero tu aplicación sigue teniendo que ejecutar y comprobar sus acciones.

El soporte para navegador, móvil y escritorio ya formaba parte de la preview anunciada en junio. El cambio de esta semana es su paso a GA. Conviene separar ambas cosas: no se ha estrenado de golpe un asistente que pueda manejar cualquier aplicación sin integración.

Gemini decide el movimiento; tu código lo realiza

La aplicación envía una captura del estado actual. El modelo propone una acción, como pulsar o escribir, y el cliente la ejecuta con su herramienta de automatización. Después recoge el nuevo estado para continuar. Esa separación deja en tu código el control efectivo del entorno.

La implementación de referencia de Google muestra una ruta de navegador con Playwright local o Browserbase. Sirve para estudiar las piezas de integración, no para asumir que todas las plataformas o modelos tienen idéntico soporte. Su README conserva nombres de modelos anteriores; la guía actual de la API debe prevalecer al elegir uno.

El ejemplo práctico: descargar el informe correcto

Un caso propuesto sería obtener un informe de pedidos de un portal sin API de exportación disponible para tu integración. El agente localiza el periodo, aplica los filtros y pulsa Descargar. Hasta ahí solo ha completado una secuencia de interfaz.

El cliente todavía debe esperar el archivo y guardarlo. En Playwright existe un evento de descarga; además, los archivos temporales se eliminan al cerrar el contexto que los produjo si no se han conservado. Un mensaje del agente diciendo que terminó no sustituye esa gestión.

Para dar el encargo por resuelto comprobaría también que el documento corresponde al periodo solicitado y tiene las columnas esperadas. Si el portal muestra varias empresas, verificaría la empresa seleccionada antes de exportar. Son criterios propuestos para este caso, no resultados de una prueba con Gemini.

Esto ayuda a medir el coste por tarea: contabilizaría las ejecuciones que entregan un archivo válido, incluidas las correcciones y los intentos fallidos. Comparar solo el número de clics puede premiar una automatización rápida que descarga el informe equivocado.

Una confirmación no puede convertirse en un trámite automático

La respuesta puede incluir una decisión de seguridad que exija confirmación. El cliente debe detener esa acción, pedir aprobación y devolver el reconocimiento correspondiente cuando la persona la haya dado. Marcarla como aprobada por defecto vacía de sentido la aprobación.

La detección adicional de prompt injection en capturas es optativa y aparece desactivada por defecto. Activarla añade una defensa, pero el entorno sigue necesitando permisos limitados y restricciones propias. Una instrucción que aparece dentro de una web no adquiere autoridad sobre el encargo.

Dónde encaja y qué conviene mantener fuera

Usaría esta vía para resolver pasos visuales que una integración más directa no cubra. Si existe una API adecuada para obtener el informe, empezaría por ella: ofrece un contrato de datos explícito y evita depender de la disposición de botones o ventanas.

Para una integración nueva, Google recomienda Interactions; GenerateContent continúa soportada. Elegir la API no elimina el trabajo de construir el ejecutor, gestionar sus estados y decidir cuándo termina la tarea.

El paso a GA facilita plantear una integración estable, pero no demuestra la fiabilidad de tu recorrido concreto. Antes de ampliarlo, probaría cambios de filtros, ventanas inesperadas, descargas fallidas y acciones que deban detenerse. La medida útil es cuántos encargos llegan al resultado correcto con los límites previstos.

Fuentes