Gemini Computer Use ist allgemein verfügbar: Googles KI klickt und tippt

Google hat Gemini Computer Use in die allgemeine Verfügbarkeit (GA) überführt. Damit lassen sich KI-Agenten bauen, die Browser-, Mobil- und Desktop-Oberflächen bedienen: Das Modell „sieht“ den Bildschirm anhand von Screenshots, interpretiert die Inhalte und schlägt Aktionen wie Klicken, Tippen, Scrollen und Ziehen vor.

Das Tool ist über die APIs Interactions und GenerateContent verfügbar und bringt keine Breaking Changes gegenüber der Vorschau mit sich – Teams, die es bereits testen, müssen nichts migrieren. Google empfiehlt Gemini 3.8 Flash für Computer Use; für Workflows mit komplexerem Reasoning verweist das Unternehmen auf Gemini 4 Argon. Auch Gemini 3.5 Flash-Lite und Gemini 3 Flash Preview werden unterstützt.

So funktioniert es

Wichtig ist die Grenze des Tools zu verstehen: Gemini schlägt jede Aktion nur vor. Die Ausführung liegt bei der Anwendung des Entwicklers, die etwa mit Playwright normalisierte Koordinaten (0 bis 1000) in echte Klicks umsetzt und einen neuen Screenshot an das Modell zurücksendet. Die Schleife wiederholt sich, bis die Aufgabe abgeschlossen ist oder ein vom Entwickler gesetztes Limit erreicht wird.

Sicherheit bei jeder Aktion

Jede Antwort enthält ein Intent-Feld, das erklärt, warum das Modell diese Aktion gewählt hat, sowie eine Sicherheitsentscheidung, die die Aktion als erlaubt, blockiert oder bestätigungspflichtig einstuft. Eingebaute Richtlinien erfassen Finanztransaktionen, Änderungen an sensiblen Datensätzen, autonomes Versenden von Nachrichten, Kontoerstellungen und die Annahme von Bedingungen. Eine optionale Prompt-Injection-Erkennung in Screenshots kann schädliche Inhalte aufspüren, die den Agenten umleiten wollen.

Wofür es sich eignet

Zu den von Google vorgeschlagenen Einsatzgebieten von Gemini Computer Use gehören die Automatisierung wiederkehrender Dateneingaben und Formulare, automatisierte Tests von Webanwendungen sowie Recherchen über mehrere Websites hinweg – etwa der Vergleich von Produktpreisen und Bewertungen in Onlineshops vor einem Kauf.

Gemini Computer Use kostet keine separate Tool-Gebühr: Abgerechnet wird nach den üblichen Token-Tarifen des jeweiligen Modells in der kostenpflichtigen Stufe, ohne Zugang in der kostenlosen Stufe. Google stellt eine Docker-Referenzumgebung auf GitHub sowie eine von Browserbase gehostete Demo bereit, um den Interaktionszyklus vor dem Bau einer eigenen Laufzeitumgebung auszuprobieren. Das Unternehmen empfiehlt menschliche Aufsicht bei Aufgaben mit relevanten Folgen, da die Erkennung Angriffe übersehen und das Modell die falsche Aktion wählen kann.

Bildnachweis: Diagramm des Computer-Use-Interaktionszyklus aus der offiziellen Google-AI-Studio-Dokumentation (Google).

Quellen

Transparenz: Dieser Artikel wurde mit Unterstützung künstlicher Intelligenz erstellt und mit öffentlichen Beiträgen auf X sowie Internetquellen abgeglichen. Bitte prüfe die Originalquellen, um die Details zu bestätigen.

Muse