Einleitung

„Heißt das jetzt, unser Chatbot ist verboten?“ – diese Frage fiel eines Tages bei SOPHIST halb im Spaß, halb im Ernst, als wir in der Kaffeeküche über unseren KI-gestützten Assistenten K(AI) RE/SE sprachen. K(AI) RE/SE ist unser Demonstrations-Chatbot, mit dem Kundinnen und Kunden spielerisch erleben können, wie Anforderungen auf Qualitätskriterien überprüft werden können. Kein Produktivsystem, eher ein Marketing-Artefakt – und trotzdem: Mit dem neuen EU AI Act standen wir vor der Frage, wie so ein System eigentlich einzuordnen ist.

Also machten wir, was wir SOPHISTen eben tun: Wir strukturierten das Problem. Schritt eins: Verstehen, was der EU AI Act (Verordnung (EU) 2024/1689) überhaupt vorsieht. Schritt zwei: Unser eigenes System daran messen. Schritt drei: Die Konsequenzen ziehen. Klingt trocken – war es aber nicht. Denn auf dem Weg dorthin haben wir nicht nur gelernt, wie unser Chatbot regulativ einzuordnen ist, sondern auch, was der AI Act für das Requirements Engineering (RE) insgesamt bedeutet.

Der EU AI Act in Kürze

Bevor wir K(AI) RE/SE einstufen konnten, mussten wir uns selbst einmal durch den EU AI Act kämpfen. Leichter gesagt als getan – denn das Gesetz hat mehrere hundert Seiten. Aber im Kern ist es erstaunlich einfach: Je höher das Risiko eines KI-Systems, desto strenger die Regeln [EU AI Act, Art. 6]

Und genau so ist der AI Act aufgebaut – er unterscheidet vier Risikostufen:

• Minimales Risiko – keine großen Einschränkungen (z. B. Spamfilter oder KI-gestützte Rechtschreibprüfung).
• Begrenztes Risiko – Transparenzpflichten, z. B. Chatbots müssen ihren Nutzer:innen klar machen, dass sie mit einer KI sprechen [Art. 52]
• Hohes Risiko – gilt für KI-Systeme in sensiblen Bereichen: Bewerberauswahl, Kreditvergabe, Medizinprodukte, Verkehrssysteme. Hier gelten die strengsten Pflichten: Dokumentation, Risikomanagement, menschliche Aufsicht, Datenqualität.
• Unakzeptables Risiko – Anwendungen wie Social Scoring sind komplett verboten.

Dabei ist wichtig: Nicht jedes KI-System ist automatisch Hochrisiko.

• Wird eine KI nur intern in der Entwicklung genutzt, ist sie in der Regel nicht betroffen.
• Systeme, die nur organisatorische Entscheidungen unterstützen, sind meist auch nicht reguliert – solange sie keine direkten Auswirkungen auf Menschenrechte oder Sicherheit haben.
• Kritisch wird es, wenn eine KI über Menschen entscheidet: etwa, ob jemand zu einem Vorstellungsgespräch eingeladen wird oder einen Kredit bekommt. Das sind klassische Hochrisiko-Szenarien.

Ein Beispiel: Stellen Sie sich ein KI-System vor, das Bewerbungen vorsortiert. Auf den ersten Blick praktisch – das System spart Zeit und filtert Kandidat:innen vor. Doch sobald es um Personalentscheidungen geht, greift der AI Act hart durch: Das System fällt in die Hochrisiko-Kategorie. Unternehmen müssen dann sicherstellen, dass

• die Daten diskriminierungsfrei sind,
• die Entscheidungen nachvollziehbar bleiben,
• immer ein Mensch die finale Kontrolle behält.

Spätestens hier wurde uns klar: Auch wenn K(AI) RE/SE nur ein Marketing-Artefakt ist – die Logik des AI Act lässt sich direkt auf reale Kundenprojekte übertragen.

Als wir das verstanden hatten, war uns klar: Unser Chatbot K(AI) RE/SE ist kein Fall für die roten Warnlampen – aber ganz ohne Pflichten geht es auch nicht.

Was bedeutet das für Requirements Engineering?

Nachdem wir die Risikostufen verstanden hatten, kam die nächste Frage: Was heißt das eigentlich für unsere tägliche Arbeit im RE?

Eines war sofort klar: Regulatorik ist für Requirements Engineers nichts Neues. Dokumentation, Nachvollziehbarkeit, Qualitätssicherung – das gehört schon immer dazu. Aber: Mit dem EU AI Act verschiebt sich der Fokus. Plötzlich geht es nicht mehr nur darum, funktionale Anforderungen zu beschreiben, sondern auch darum, rechtliche Pflichten in Anforderungen zu übersetzen.

Wir haben für uns drei Ebenen unterschieden:

• Altbekanntes, das wichtiger wird
  • Dokumentation war schon immer zentral. Mit dem AI Act wird sie bei Hochrisiko-Systemen noch viel detaillierter.
  • Transparenzanforderungen sind nicht neu – aber jetzt gesetzlich vorgeschrieben.

• Neu durch KI-spezifische Anforderungen
  • Erklärbarkeit: Eine KI darf keine „Black Box“ sein. Nutzer:innen müssen nachvollziehen können, wie Ergebnisse zustande kommen.
  • Bias-Prüfung: Anforderungen müssen sicherstellen, dass Trainingsdaten keine Diskriminierung enthalten.
  • Menschliche Aufsicht: In Hochrisiko-Szenarien darf die KI nie allein entscheiden.

• Konsequenzen fürs RE
  • Anforderungen müssen also nicht nur „Was soll das System tun?“ beantworten, sondern auch „Wie bleiben wir compliant?“
  • RE wird zur Brücke zwischen Technik und Recht.

Ein Kollege brachte es bei uns treffend auf den Punkt: „Das fühlt sich an wie damals mit der funktionalen Sicherheit – nur diesmal für KI.“ Tatsächlich erinnert der AI Act stark an die ASIL-Klassifikation aus der ISO 26262.

Exkurs für Technik-Interessierte:
Für unsere Kolleg:innen aus dem Automotive-Umfeld ist das besonders spannend: Sowohl der AI Act als auch ASIL arbeiten mit Stufenmodellen, die Risiken unterschiedlich streng einordnen. Wer also ASIL kennt, versteht den AI Act schneller.

Unser Praxistest mit K(AI) RE/SE

Wir wollten es nicht bei der Theorie belassen. Also haben wir uns gesagt: „Probieren wir es doch einfach mal aus.“ Und was bot sich besser an als unser eigener Chatbot K(AI) RE/SE?

Zur Erinnerung: K(AI) RE/SE ist kein Produktivsystem, sondern ein Marketing-Artefakt, mit dem Kund:innen erleben können, wie Anforderungen auf Qualitätskriterien geprüft werden können. Ein spielerisches Beispiel, das sich perfekt eignete, um den AI Act in der Praxis zu testen.

Der Weg zur Einstufung

Zuerst haben wir uns gefragt: Fällt K(AI) RE/SE überhaupt unter den AI Act?

• Er unterstützt beim Schreiben und Prüfen von Anforderungen.
• Er trifft keine sicherheitskritischen Entscheidungen.
• Er entscheidet nicht über Menschen oder deren Rechte.

Nach dieser Analyse war klar: Hochrisiko ist das nicht. Aber auch nicht völlig risikolos. K(AI) RE/SE fällt in die Kategorie „Begrenztes Risiko“ – und das bedeutet: Transparenzpflicht. Nutzer:innen müssen klar erkennen, dass sie mit einer KI sprechen [EU AI Act, Art. 52

Blick nach vorn

Nachdem wir K(AI) RE/SE eingestuft hatten, war uns klar: Der EU AI Act ist nur der Anfang. In den nächsten Jahren wird er nach und nach in Kraft treten – und damit werden viele Unternehmen merken, dass KI nicht nur eine technische, sondern auch eine regulatorische Herausforderung ist.

Für das Requirements Engineering bedeutet das:

• Anforderungen werden noch dynamischer und regulatorischer geprägt sein.
• Unternehmen müssen Governance-Strukturen für den Einsatz von KI schaffen.
• Transparenz und Erklärbarkeit werden sich zu zentralen Qualitätsmerkmalen entwickeln – nicht nur in Hochrisiko-Szenarien, sondern als Best Practice in vielen Projekten.

Wir bei SOPHIST sehen darin keine Bedrohung, sondern eine Chance. Denn Requirements Engineers sind genau die Brückenbauer, die gebraucht werden: zwischen Technik und Recht, zwischen Entwicklung und Governance.

Natürlich haben wir uns auch im Rahmen unseres neuen Buches „KI im Requirements Engineering“ mit dem Thema beschäftigt. Der EU AI Act ist dort zwar nur ein kleineres Randthema – ein eigenes Kapitel zeigt, wie erste Auswirkungen auf das RE aussehen könnten. Der Schwerpunkt des Buches liegt aber darauf, Methoden, Werkzeuge und Techniken zu zeigen, wie KI sinnvoll im RE eingesetzt werden kann.

Lesetipp: Das Buch ist ab sofort erhältlich, u. a. bei Amazon