KI-Agenten im Betrieb absichern: Regeln, Rechte, Protokolle
Wie Unternehmen verhindern, dass versteckte Anweisungen einen Agenten umlenken, mit Beispiel aus dem Rechnungseingang.
Start Forschung
Forschung für sichere KI
Wir wissen, wie KI im Betrieb sicher bleibt.
Sprechen Sie mit Andreas, unserem Chief Scientist, über gemeinsame Forschungsprojekte und Ausschreibungen.
Unsere Forschungsfelder
Kurz beantwortet
Wie sichern wir KI über den ganzen Lebenszyklus ab?
Wir sichern KI in jeder Phase des Software-Lebenszyklus ab: in der Entwicklung, im Betrieb und dort, wo Systeme im Betrieb weiterlernen. KI-Agenten bekommen klare Regeln, nur die nötigen Rechte und ein Protokoll jeder Aktion. Lernende Systeme testen wir vor jeder neuen Modellversion. Code, den KI mitschreibt, durchläuft dieselben Prüfungen wie jeder andere Code.
Forschungspartnerschaft besprechen
Andreas Kamenz leitet unsere Forschung. Schreiben Sie ihm, worum es geht: ein gemeinsames Forschungsprojekt, eine Ausschreibung oder ein Förderaufruf.
So geht es weiter
- Andreas meldet sich bei Ihnen und schlägt einen Termin vor.
- Im ersten Gespräch klären wir Thema, Partner und den Weg zur Förderung.
KI-Agenten im Betrieb
Welche Sicherheitsrisiken entstehen durch KI-Agenten?
KI-Agenten erledigen Aufgaben in mehreren Schritten und nutzen dabei Ihre Systeme, etwa Postfach, ERP oder Dokumentenablage. Ihr Modell bleibt im Betrieb unverändert, ihr Verhalten hängt aber davon ab, welche Texte sie gerade lesen. Hier setzt Prompt Injection an: Angreifer verstecken Anweisungen in einer E-Mail, einem Dokument oder einer Webseite. Der Agent hält sie dann für einen Auftrag. Die Sicherheitsorganisation OWASP führt Prompt Injection in ihren Listen der Risiken für Anwendungen mit großen Sprachmodellen von 2025 und 2026 an erster Stelle.
Quelle: OWASP, LLM01:2025 Prompt InjectionQuelle: OWASP, Top 10 for LLM Applications 2026
So gehen wir vor
- Regeln und Zuständigkeiten (Governance) je Agent festlegen: welche Aufgabe, welche Daten, welche Grenzen.
- Rechte auf das Nötige begrenzen; Ihre Fachleute geben nur dort frei, wo es auf ihr Urteil ankommt.
- Jede Aktion protokollieren und den Agenten vor dem Start und danach regelmäßig mit gezielten Angriffen testen.
Lernende KI-Systeme
Wie verhindern wir, dass lernende KI-Systeme Falsches lernen?
Manche KI-Systeme passen ihre Parameter im Betrieb an, also die Zahlenwerte, die das Modell gelernt hat. Fachleute sprechen von Online- oder Continual Learning, wenn ein System fortlaufend aus neuen Daten lernt. Richtet es sein Verhalten an Rückmeldungen wie Bewertungen oder Klicks aus, heißt das Online-RL (bestärkendes Lernen im Betrieb). Solche Systeme können aus manipulierten Daten Falsches lernen oder eigene Fehler verstärken. Die KI-Verordnung der EU verlangt für weiterlernende Hochrisiko-Systeme Maßnahmen gegen solche Rückkopplungsschleifen (Artikel 15 Absatz 4).
Quelle: Verordnung (EU) 2024/1689, Artikel 15 Absatz 4 (EUR-Lex)
So gehen wir vor
- Herkunft und Qualität der Daten prüfen, bevor das System daraus lernt.
- Vorab festlegen, was sich im Betrieb ändern darf. Jede neue Modellversion gegen feste Prüffälle testen.
- Frühere Versionen aufbewahren, Abweichungen überwachen und bei Auffälligkeiten zur vorherigen Version zurückkehren.
KI in der Softwareentwicklung
Wie sicher ist Code, den KI mitschreibt?
Code, den KI-Werkzeuge vorschlagen, enthält regelmäßig Sicherheitslücken. In einem Test des Prüfsoftware-Anbieters Veracode mit über 100 Sprachmodellen und 80 Programmieraufgaben enthielt der erzeugte Code in 45 Prozent der Fälle eine Schwachstelle aus den OWASP Top 10 für Webanwendungen (2025). Das BSI und die französische Cybersicherheitsbehörde ANSSI empfehlen deshalb, erzeugten Code grundsätzlich von den Entwicklern prüfen und nachvollziehen zu lassen (2024).
Quelle: Veracode, 2025 GenAI Code Security Report (Pressemitteilung vom 30.07.2025)Quelle: ANSSI und BSI, AI Coding Assistants (04.10.2024)
So gehen wir vor
- Jede Änderung prüft ein Mensch, der den Code versteht, ergänzt durch automatische Tests und Sicherheitsscans.
- Neue Bibliotheken gegen eine Liste freigegebener Pakete prüfen, weil KI-Werkzeuge auch Pakete vorschlagen, die es nicht gibt.
- Eine Stückliste der Software (Software Bill of Materials, SBOM) führen, damit bei einer neuen Lücke sofort klar ist, welche Komponenten betroffen sind.
Wie unsere Forschung in Kundenprojekte fließt
Wenn AKARA KI in Ihre Abläufe und Systeme integriert, setzen wir die Ergebnisse dieser Forschung in jedem Projekt ein. Jeder KI-Agent, den wir an ERP, Warenwirtschaft oder Fachsysteme anbinden, bekommt nur die Rechte, die seine Aufgabe braucht. Ihre Fachleute geben nur dort frei, wo es auf ihr Urteil ankommt. Jede Aktion des Agenten ist im Protokoll nachvollziehbar. Bevor ein Agent live geht, testen wir ihn mit den Angriffen, die wir in der Forschung untersuchen. Den Programmcode, den wir liefern, prüfen erfahrene Entwickler und automatische Sicherheitstests, auch dort, wo KI beim Schreiben geholfen hat.
Vertiefen: Insights: KI-Agenten: was sie können und wo die Grenzen liegenSeminar: KI-Compliance und Sicherheit (EU AI Act)Leistung: Compliance und Sicherheit
Forschungspartner
Wir forschen gemeinsam mit dem HITeC e.V., Technologietransfer-Institut am Fachbereich Informatik der Universität Hamburg.
Veröffentlichungen
Lernende KI-Systeme absichern
Was sich ändert, wenn ein Modell im Betrieb weiterlernt: Datenvergiftung, Fehllernen und die passenden Kontrollen.
KI in der Softwareentwicklung: Wie Code, den KI mitschreibt, sicher wird
Was Studien über die Qualität von KI-Code zeigen und welche Prüfwege Entwicklungsteams einsetzen.
Wie sicher sind Ihre KI-Agenten?
Fragen zur Absicherung Ihrer KI-Systeme beantworten wir im Gespräch.