Gemini Computer Use chega à versão final: a IA do Google agora opera telas

O Google liberou o Gemini Computer Use em disponibilidade geral (GA). A novidade permite criar agentes de IA capazes de operar interfaces de navegador, celular e desktop: o modelo “vê” a tela por meio de capturas, interpreta o que está nela e sugere ações como clicar, digitar, rolar e arrastar.

A ferramenta chega por meio das APIs Interactions e GenerateContent e não traz mudanças que quebram integrações feitas durante o período de prévia — quem já testava o recurso não precisa migrar nada. O modelo recomendado pelo Google é o Gemini 3.8 Flash; para fluxos que exigem raciocínio mais complexo, a empresa indica o Gemini 4 Argon. Também há suporte no Gemini 3.5 Flash-Lite e no Gemini 3 Flash Preview.

Como funciona

É importante entender o limite do recurso: o Gemini apenas propõe cada ação. A execução fica por conta da aplicação do desenvolvedor, que usa ferramentas como o Playwright para transformar as coordenadas normalizadas (de 0 a 1000) em cliques reais e devolver uma nova captura de tela ao modelo. O ciclo se repete até a tarefa terminar ou atingir um limite definido pelo desenvolvedor.

Segurança em cada ação

Cada resposta traz um campo de intenção que explica por que o modelo escolheu aquela ação, e uma decisão de segurança que classifica a ação como permitida, bloqueada ou dependente de confirmação do usuário. As políticas embutidas cobrem transações financeiras, alterações em registros sensíveis, envio autônomo de mensagens, criação de contas e aceite de termos. Há ainda uma detecção opcional de injeção de prompt em capturas de tela, para identificar conteúdos maliciosos que tentem desviar o agente.

O que dá para fazer

Entre os usos sugeridos pelo Google para o Gemini Computer Use estão a automação de preenchimento de formulários e entrada de dados repetitiva, os testes automatizados de aplicações web e a pesquisa em vários sites — por exemplo, comparar preços e avaliações de produtos em lojas online antes de uma compra.

O uso do Gemini Computer Use não tem taxa própria: a cobrança segue as tarifas normais de tokens de cada modelo no plano pago, sem acesso no nível gratuito. O Google disponibiliza um ambiente de referência em Docker no GitHub e uma demonstração hospedada pela Browserbase para quem quiser testar o ciclo de interação antes de construir a própria execução. A empresa recomenda supervisão humana em tarefas com consequências relevantes, já que a detecção pode falhar e o modelo pode escolher a ação errada.

Leia também no Geekiki: Google anuncia Gemini 4 Carbon, modelo de IA com liderança em cibersegurança e tarefas de longo prazo.

Crédito da imagem: diagrama do ciclo de interação do Computer Use, da documentação oficial do Google AI Studio (Google).

Fontes

Transparência: esta matéria foi produzida com auxílio de inteligência artificial, com cruzamento de publicações públicas no X e de fontes da internet. Consulte as fontes originais para confirmar os detalhes.

Muse