KI-Agent mit Computer Use:Was er bedient,was er darf

Was ist Computer Use bei einem KI-Agenten?

Ein KI-Agent mit Computer Use arbeitet in einer Schleife, die sich eigentlich leicht nachvollziehen lässt. Er bekommt eine Aufgabe in normaler Sprache, etwa die Rechnungsdaten aus einem PDF in eine Eingabemaske zu übertragen, dann sieht er ein Bildschirmfoto des Rechners, wählt daraus die nächste Handlung, führt sie aus und lässt sich das Ergebnis als neues Bildschirmfoto zeigen. OpenAI beschreibt diesen Ablauf in der eigenen Anleitung als Aufgabe senden, zurückgegebene Handlungen ausführen, Bildschirmfoto zurückgeben.

Die Handlungen selbst sind genau die, die ein Mensch mit Maus und Tastatur ausführt. In der OpenAI-Dokumentation stehen Klicken, Doppelklicken, Ziehen, Bewegen, Scrollen, Tastendruck, Tippen, Warten und Bildschirmfoto. Bei Anthropic ist die Liste mit siebzehn Einzelwerkzeugen länger (dort kommen Rechtsklick, Dreifachklick, Vergrößern eines Bildbereichs und das Halten einer Taste dazu), aber mehr als das ist es eben nicht. Und genau darin liegt der Reiz. Ein Programm, das sich von Hand bedienen lässt, lässt sich auch so bedienen.

Der Unterschied zur üblichen Automatisierung ist damit klar umrissen. Eine Schnittstelle tauscht Daten in einem festen Format aus, sie ist schnell und verlässlich, muss aber vom Hersteller der Software angeboten werden. Computer Use geht den Weg über die Oberfläche und braucht deshalb nichts vom Hersteller, ist dafür aber langsamer und weniger verlässlich. Wo eine Schnittstelle vorhanden ist, bleibt sie also die bessere Wahl. Was ein Agent im Allgemeinen ist und was ihn vom Chatbot trennt, haben wir im Beitrag zum KI-Agenten aufgeschrieben.

Welche Bildschirmarbeiten ein KI-Agent mit Computer Use übernimmt

Wofür sich ein KI-Agent mit Computer Use eignet, lässt sich an den Beispielen ablesen, die die Anbieter selbst verwenden, und die ähneln einander auffallend. In der Microsoft-Dokumentation stehen automatische Datenerfassung, Rechnungsbearbeitung und Datenauslesen, dazu drei Musteranweisungen. Rechnungsdaten aus einem PDF in ein Formular übertragen. Mehrere Artikel in eine Bestandsverwaltung eintragen. Zwei Werte aus einer Tabelle als Text zurückgeben. Das sind keine Zukunftsvisionen, sondern die Fälle, mit denen die Hersteller vorführen (was man ihnen anmerkt, denn alle drei sind brav und gutmütig gewählt).

Daran lässt sich ablesen, was eine geeignete Aufgabe auszeichnet. Sie wiederholt sich, läuft immer durch dieselben Masken, hat ein prüfbares Ergebnis und wäre im Fehlerfall ohne großen Aufwand zu korrigieren. Umgekehrt eignet sich alles schlecht, was Einzelfallurteil verlangt, mit Geld oder Verträgen zu tun hat oder sich nach dem Absenden nicht mehr zurücknehmen lässt. Am besten funktioniere Computer Use ohnehin bei eigenständig laufenden Agenten, die im Hintergrund arbeiten, heißt es bei Microsoft.

Ein Hinweis, der sich aus derselben Dokumentation ergibt. Das Auslesen von Daten ist ein guter Einstieg, denn es verändert im Fremdsystem nichts, das Ergebnis lässt sich gegen die Quelle halten, und ein Fehlgriff kostet nur einen zweiten Durchlauf. Wer klein anfangen will, fängt also beim Lesen an und nicht beim Schreiben.

Wo ein Mensch zustimmen muss, bevor der Computer-Use-Agent etwas abschickt

Beim Thema Zustimmung sind die Anbieter von KI-Agenten mit Computer Use ungewöhnlich deutlich. Folgenschwere Handlungen seien zu bestätigen und Nutzer bei Käufen, bei der Übertragung von Daten und bei zerstörenden Änderungen in der Kontrolle zu halten, schreibt OpenAI, und zwar an der Stelle, an der das Risiko entsteht. Anthropic wird noch konkreter und zählt auf, wofür ein Mensch zustimmen soll. Entscheidungen mit spürbaren Folgen in der Wirklichkeit, dazu alles, was eine ausdrückliche Einwilligung braucht, also etwa das Annehmen von Cookies, Finanzgeschäfte oder die Zustimmung zu Nutzungsbedingungen.

Für den Ernstfall gibt es bei Microsoft eine eingebaute Mechanik. Braucht der Agent eine Bestätigung oder fehlt ihm eine Angabe, schickt er eine Prüfanfrage per E-Mail an eine vorher benannte Person, mit Namen des Agenten, Verweis auf den Vorgang und einem Feld für die Antwort. Der Vorgang bleibt angehalten, und läuft die genannte Frist ab, ohne dass jemand antwortet, endet er. Lesenswert ist auch der Hinweis, dass das Abschalten dieser Aufsicht den Agenten nicht eigenständig macht. Er halte weiterhin an, wenn er eine Bestätigung braucht, und ohne benannten Prüfer scheitere dann die Sitzung.

Und jetzt der Satz, auf den es ankommt. In derselben Dokumentation steht, das Verhalten der Modelle sei wahrscheinlichkeitsbasiert, die Rückfragen kommen also nicht zwangsläufig in jeder Lage, in der ein Mensch eine Pause wünscht, und manchmal auch dann, wenn keine nötig ist. Dazu die klare Warnung, man solle sich auf diese Rückfragen nicht als Sicherheitsmaßnahme verlassen und nicht darauf, dass das System immer nachfragt, bevor es weitermacht. Wir halten das für die wichtigste Zeile der ganzen Dokumentation, denn sie verschiebt die Sicherung dorthin, wo sie verlässlich ist, nämlich in die Rechte und in die Freigabeliste. Ein Agent, der eine Bestellung technisch gar nicht absenden kann, braucht über sie keine Rückfrage.

Wo Computer Use an seine Grenzen stößt, von Prompt Injection bis Citrix

Die erste Grenze von Computer Use ist ein Angriffsweg mit eigenem Namen. Prompt Injection bedeutet, dass versteckte Anweisungen in einer Webseite, in einem Bild oder in einem Bildschirmfoto den Agenten zu etwas anderem bewegen. Unter Umständen befolge das Modell Anweisungen aus Inhalten, selbst wenn sie dem Auftrag widersprechen, beschreibt Anthropic, und setzt deshalb Prüfprogramme ein, die Bildschirmfotos auf solche Einschleusungen durchsehen und den Agenten im Verdachtsfall zurückfragen lassen. Dieselbe Warnung steht bei Microsoft, dort verbunden mit der Empfehlung vertrauenswürdiger, abgeschotteter Umgebungen. Am kürzesten fasst es OpenAI. Bildschirminhalte seien als nicht vertrauenswürdig zu behandeln, ein Text auf einer Seite könne keine Erlaubnis erteilen.

Die zweite Grenze ist technischer Art und trifft den Mittelstand härter, als man zunächst denkt. Passwortfelder funktionieren laut Microsoft auf Websites und in den meisten Windows-Anwendungen, ausdrücklich genannt sind aber Programmarten, bei denen das möglicherweise nicht gilt. Electron, Java, Unity, Spiele, Eingabeaufforderungen, Citrix und andere virtualisierte Umgebungen. Wer seine Branchensoftware über Citrix bereitstellt (und das sind in Deutschland nicht wenige), prüft diesen Punkt also vor allem anderen. Dazu kommt der Hinweis aus der Anthropic-Dokumentation, dass kleine Bedienelemente schwierig zu treffen sind und starkes Verkleinern hochauflösender Bildschirme die Klickgenauigkeit beeinträchtigt.

Die dritte Grenze ist die Erwartung. Ein Agent, der eine Oberfläche bedient, arbeitet langsamer als eine Schnittstelle und macht Fehler, die eine Schnittstelle nicht macht, weil er ein Bild deutet statt ein Datenfeld zu lesen. Wie hoch die Trefferquote in Ihrem Haus ausfällt, dürfte sich vorab kaum schätzen lassen, weil sie an Ihren Masken hängt. Zu jedem Einsatz gehört deshalb eine Kontrolle des Ergebnisses, und genau das steht bei OpenAI auch so drin. Grenzen für Schritte, Zeit und Kosten setzen, Abbruch ermöglichen, das tatsächliche Ergebnis prüfen. Wer das mitplant, bekommt ein brauchbares Werkzeug. Und wer darauf verzichtet, bekommt eine Fehlerquelle, die niemand bemerkt, weil ein falsch übertragener Wert in einer Maske eben aussieht wie ein richtig übertragener.

Wenn Sie an dieser Stelle überlegen, wo Ihr Betrieb anfangen soll, hilft ein Blick auf das größere Bild: Welche Aufgaben überhaupt an eine KI gehen, haben wir unter KI im Mittelstand sortiert, die Abgrenzung zwischen zielgerichteten Systemen und einfachen Helfern unter Agentic AI, und was ein Assistent im Büro heute leistet, unter KI-Assistent im Unternehmen. Wer die Einschätzung im eigenen Team aufbauen will, findet den Weg dorthin in unserer KI-Schulung.