Was istComputer Use?
Ein KI-Agent klickt und tippt wie ein Mensch, auch dort, wo es keine Schnittstelle gibt.
Direkt zur Anfrage
Sprechen wir über Ihr Projekt.
Erst prüfen wir, ob das Vorhaben zu Ihrem Geschäftsmodell passt. Dann folgt ein Vorschlag mit Phasen und Aufwand.
KI-Agenten besprechen oder anrufen: +49 151 1576 5566Computer Use heißt, dass ein KI-Agent ein Programm über die Oberfläche bedient: Er sieht ein Bildschirmfoto, entscheidet den nächsten Klick oder Tastendruck, führt ihn aus und schaut sich am nächsten Bildschirmfoto an, was passiert ist. Eine Schnittstelle braucht die Software dafür nicht. Gerade deshalb wird eine ältere Warenwirtschaft oder ein Lieferantenportal, an das bisher niemand herankam, auf einmal interessant.
- OpenAI hat Computer Use am 29. September 2026 in die Agents API aufgenommen, bei Microsoft und Anthropic ist die Funktion bereits allgemein verfügbar.
- Auf die eingebaute Rückfrage an den Menschen sollten Sie sich laut Microsoft nicht als Sicherung verlassen.
- Wer klein anfängt, lässt den Agenten zuerst nur Werte auslesen.
Wie Computer Use Software ohne Schnittstelle bedienbar macht
Sie geben dem Agenten eine Aufgabe in ganz normaler Sprache, etwa die Rechnungsdaten aus einem PDF in eine Eingabemaske zu übertragen. Danach klickt, scrollt und tippt er so, wie es ein Mensch auch täte.
Eine Schnittstelle müsste der Hersteller der Software anbieten. Der Weg über die Oberfläche kommt ohne ihn aus, ist dafür aber langsamer und macht Fehler, die eine Schnittstelle nicht macht, weil der Agent ein Bild deutet, statt ein Datenfeld zu lesen. Immerhin steht in der Dokumentation von Microsoft, dass er weiterarbeitet, wenn sich Knöpfe oder Masken ändern.
Für welche Bildschirmarbeit sich Computer Use lohnt
Am besten für Arbeit, die sich ständig wiederholt, immer durch dieselben Masken läuft und deren Ergebnis man hinterher prüfen kann. Schlecht passt alles, wofür es ein Urteil im Einzelfall braucht oder was mit Geld und Verträgen zu tun hat. Auslesen ist dabei der ruhigste Einstieg (es verändert im Fremdsystem nichts), geschrieben wird erst danach.
Welche Rechte ein Agent mit Computer Use bekommen sollte
Ein Agent, der klickt, kann genau das anrichten, was das Konto darf, in dem er läuft. Die Anbieter kommen deshalb unabhängig voneinander auf dieselbe Empfehlung, nämlich einen eigenen, abgeschotteten Rechner und eine Freigabeliste erlaubter Seiten und Programme, bei Microsoft und Anthropic zusätzlich ein Konto mit möglichst geringen Rechten.
Bei Käufen oder zerstörenden Änderungen soll ein Mensch zustimmen. Nur ist nicht garantiert, dass das System vorher fragt, denn Microsoft nennt das Verhalten der Modelle wahrscheinlichkeitsbasiert. Wir würden die Sicherung deshalb in die Rechte legen. Ein Agent, der eine Bestellung technisch gar nicht absenden kann, muss vorher auch nicht fragen.
Häufige Fragen
Was ist Computer-Use?
Die Fähigkeit eines KI-Agenten, Software mit Maus und Tastatur zu bedienen.
Lässt sich Software automatisieren ohne Schnittstelle?
Ja, dafür ist Computer Use gedacht. Microsoft zeigt es etwa am Übertragen von Rechnungsdaten aus einem PDF in ein Formular.
Kann ein KI-Agent jede Software bedienen?
Fast jede, die auch ein Mensch bedienen kann. Läuft Ihre Branchensoftware über Citrix, prüfen Sie das aber vorher, denn dort funktionieren Passwortfelder laut Microsoft möglicherweise nicht.
Wo Sie das Thema vertiefen
KI-Agent mit Computer Use: Was er bedient, was er darf
KI-Agent: Was er ist und was ihn vom Chatbot unterscheidet
Begriffe, die Sie im selben Zusammenhang kennen sollten
KI-Agent · Agentic AI (agentische KI) · KI-Assistent · Lokale KI · Zum KI-Glossar A-Z
Welches Programm in Ihrem Betrieb hat keine Schnittstelle und kostet trotzdem jeden Tag Tipparbeit?