Ein KI-Agent basiert auf einem Large Language Model, das nicht nur Text erzeugt, sondern Werkzeuge aufrufen darf. Solche Werkzeuge sind etwa eine Websuche, ein Kalender, ein E-Mail-Postfach oder eine Datenbank, angebunden über API-Schnittstellen. Der Agent zerlegt eine Aufgabe in Teilschritte, führt sie aus, prüft das Ergebnis und passt sein Vorgehen an. Das KI-Unternehmen Anthropic beschreibt Agenten als Systeme, in denen das Sprachmodell seine Abläufe und die Nutzung von Werkzeugen selbst steuert.
Davon unterscheidet Anthropic sogenannte Workflows, in denen Sprachmodelle und Werkzeuge über vordefinierte Codepfade zusammenarbeiten. Für viele Aufgaben in KMU reicht ein solcher Workflow, weil er berechenbarer, günstiger und leichter zu prüfen ist. Agenten lohnen sich vor allem dort, wo die Zahl der nötigen Schritte vorab nicht feststeht, zum Beispiel bei Recherchen oder bei ungewöhnlichen Kundenanfragen. Je mehr Rechte ein Agent hat, desto wichtiger sind Freigaben, Protokolle und klare Grenzen.
Der Begriff „KI-Agent“ ist rechtlich nicht eigens definiert. Die EU-KI-Verordnung erfasst Agenten über den allgemeinen Begriff des KI-Systems: ein maschinengestütztes System, das in unterschiedlichem Grad autonom arbeitet und aus Eingaben Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen ableitet. Für den Einsatz im Betrieb gelten deshalb dieselben Pflichten wie für andere KI-Systeme, etwa KI-Kompetenz und Transparenz. Handelt ein Agent nach außen im Namen des Betriebs, sollte jede Aktion nachvollziehbar protokolliert werden.