Google está desarrollando un nuevo marco estandarizado de agentes de inteligencia artificial, que lo ha denominado Computer Control y está ideado para permitir el control automatizado de aplicaciones de Android en segundo plano. Así parece haber tomado como referencia el trabajo de Rabbit R1.
Rabbit R1 es un dispositivo con un formato cuadrado que solo tiene un botón, un micrófono y una pantalla táctil de 2,88 pulgadas, que integra opciones avanzadas de inteligencia artificial. De hecho, este asistente de bolsillo solo necesita conocer un patrón de uso para replicar la acción y funcionar en otros escenarios.
Con su lanzamiento, otros fabricantes de hardware empezaron a interesarse en este dispositivo, ya que hasta ahora los procesos repetitivos en los que interviene la IA en los móviles son manuales y requieren que el usuario aporte detalles en las frases y acciones de entrada.
Uno de ellos fue Google, que ya está trabajando en una función similar a la que da significado a Rabbit R1y que está destinada a automatizar las aplicaciones de Android y brindar soporte como IA agéntica, tal y como ha avanzado recientemente Android Authority.
Este medio recuerda que, actualmente, Gemini en Chrome es el producto más destacado de Google, pero que esta herramienta solo puede realizar acciones dentro del navegador y no en otras aplicaciones. De esa manera, para automatizar ciertas tareas hay que emplear herramientas de terceros, como Tasker.
Para que estas alternativas funcionen correctamente, es necesario establecer unas tareas y unos límites previamente para cada acción. Esto significa que no pueden realizar tareas generalizadas a partir de una única instrucción en lenguaje natural.
El gigante de Mountain View quiere cambiar eso con lo que se conoce como Proyecto Astra, que pretende ser un asistente de inteligencia artificial universal y que comprende el contexto, diseña planes de acción y actúa en nombre de los usuarios dentro del sistema operativo de Google.
Así lo evidenció en una muestra de su potencial, cuando el asistente encontró un documento online, lo revisó para encontrar información específica y después buscó vídeos relacionados con ese tema en YouTube. Todo, sin la intervención del usuario.
Marco estandarizado para el control automático de las apps
Para ir un paso más allá, Google ha estado trabajando en un nuevo marco estandarizado para que los agentes de IA controlen las aplicaciones de Android. Se llama Computer Control y está diseñado para permitir el control automatizado de diferentes plataformas en segundo plano.
Según lo que ha advertido el comentado medio en el código de Android, Google ha agregado una opción identificada como Computer Control Session, que estaría pensada para facilitar el control automatizado de las aplicaciones de Android.
En este apartado, cada sesión de automatización incluye una interfaz virtual única que aloja la aplicación que se quiere automatizar y ésta, a su vez, está vinculada a dispositivos de entrada virtuales, para enviar acciones de ratón (pulsaciones) y de teclado.
Estas aplicaciones, por su parte, utilizan el marco de trabajo de Computer Control deben especificar los valores de la pantalla virtual que utilizan. Entre ellos, el nombre, la altura, la anchura o la densidad, así como si debe permanecer desbloqueada cuando el dispositivo está bloqueado para seguir trabajando de forma autónoma.
Con ello, Android Authority ha advertido que las aplicaciones cliente deben establecer una superficie de salida para el contenido de la pantalla virtual. Esto les permite acceder a los fotogramas de pantalla en bruto, para luego transmitirlos a un dispositivo conectado en remoto.
Otro detalle importante del funcionamiento de este framework es que tiene la capacidad de replicar la pantalla virtual principal en otra interactiva independiente, que puede tener dimensiones distintas a la original. Esta arquitectura permite a los usuarios visualizar e interactuar manualmente con la aplicación que se está automatizando, sin interrumpir el proceso de automatización.
Por último, desde Android Authority han señalado que este marco está limitado a aplicaciones de confianza con privilegios elevados y deben solicitar permiso previo al usuario para poder funcionar con Computer Control, tanto para la sesión que se esté llevando a cabo en ese momento como para las próximas ocasiones.
Conoce cómo trabajamos en ComputerHoy.