Google a rendu Gemini Computer Use disponible pour tous (GA). Il permet de créer des agents d'IA capables de piloter des interfaces de navigateur, de mobile et de bureau : le modèle « voit » l'écran grâce à des captures, interprète son contenu et suggère des actions comme cliquer, taper, faire défiler ou glisser.
L'outil est proposé via les API Interactions et GenerateContent, sans changement cassant par rapport à la préversion : les équipes qui le testaient déjà n'ont rien à migrer. Google recommande Gemini 3.8 Flash pour Computer Use ; pour les flux exigeant un raisonnement plus poussé, il indique Gemini 4 Argon. Gemini 3.5 Flash-Lite et Gemini 3 Flash Preview sont également pris en charge.
Comment ça marche
Il faut bien comprendre la limite de l'outil : Gemini se contente de proposer chaque action. L'exécution reste à la charge de l'application du développeur, qui utilise des outils comme Playwright pour convertir les coordonnées normalisées (de 0 à 1000) en clics réels et renvoyer une nouvelle capture au modèle. La boucle se répète jusqu'à la fin de la tâche ou jusqu'à une limite définie par le développeur.
La sécurité à chaque action
Chaque réponse inclut un champ d'intention expliquant pourquoi le modèle a choisi cette action, ainsi qu'une décision de sécurité qui classe l'action comme autorisée, bloquée ou nécessitant une confirmation de l'utilisateur. Les règles intégrées couvrent les transactions financières, les modifications de dossiers sensibles, l'envoi autonome de messages, la création de comptes et l'acceptation de conditions. Une détection facultative d'injection de prompt dans les captures peut signaler les contenus malveillants qui tentent de détourner l'agent.
À quoi ça sert
Parmi les usages suggérés par Google pour Gemini Computer Use figurent l'automatisation de la saisie répétitive et du remplissage de formulaires, les tests automatisés d'applications web et la recherche sur plusieurs sites, par exemple comparer prix et avis de produits dans des boutiques en ligne avant un achat.
Gemini Computer Use n'entraîne aucun frais d'outil distinct : la facturation suit les tarifs standard en tokens de chaque modèle sur l'offre payante, sans accès à l'offre gratuite. Google fournit un environnement de référence Docker sur GitHub et une démonstration hébergée par Browserbase pour tester la boucle d'interaction avant de construire son propre moteur d'exécution. L'entreprise recommande une supervision humaine pour les tâches aux conséquences importantes, car la détection peut manquer des attaques et le modèle peut choisir la mauvaise action.
Crédit image : schéma du cycle d'interaction de Computer Use, issu de la documentation officielle de Google AI Studio (Google).
Sources
- Google AI Studio — Computer Use (official documentation)
- AlphaSignal: Google Ships Gemini Computer Use to Let AI Click, Type, and Scroll
- Unicorn API: Google makes Gemini Computer Use generally available in two APIs
- AI Compass, 4 November 2026
Transparence : cet article a été produit avec l'aide de l'intelligence artificielle, en croisant des publications publiques sur X et des sources en ligne. Consultez les sources originales pour confirmer les détails.
Muse
