Beschaffung Künstlicher Intelligenz (KI) – was rechtlich zu beachten ist und Auftraggebern Sorgen bereiten könnte

Künstliche Intelligenz kommt in der Verwaltung an; bei einfachen und grundlegenden Aufgaben ist sie schon jetzt im Einsatz, unterstützt öffentliche Auftraggeber beispielsweise bei der Erstellung von Texten und Übersetzungen sowie bei der Durchführung von Videokonferenzen. Weit verbreitet sind auch KI-Chatbots, die die zahlreichen Bürgeranfragen sinnvoll beantworten können. Eine KI braucht weder Ruhepausen noch Schlaf. Andererseits bestehen diffuse und konkrete Ängste bei der Nutzung von KI, etwa, ob die von der KI produzierten Ergebnisse valide sind oder personenbezogene Daten widerrechtlich verarbeitet wurden. Grund genug für Herrn Rechtsanwalt Aeneas Niklas Marxen, sich den rechtlichen Fallstricken zu widmen, die bei der Beschaffung und Verwendung von KI durch öffentliche Auftraggeber zum Tragen kommen können.

Verwaltungs- und Datenschutzrecht

Bevor ein KI-gesteuertes System eingesetzt werden kann, ist sicherzustellen, dass durch ihren Einsatz keine Grundrechte verletzt werden können. Dass ein zu großes Vertrauen in die Richtigkeit von Software-Ergebnissen weitreichende Konsequenzen haben kann, zeigt der in Großbritannien breit diskutierte Royal-Mail-Horizon-Skandal. Worum ging es? Das Vereinigte Königreich hatte die Buchhaltungssoftware „Horizon“ beschafft. Die gab fehlerhafte Kassenstände aus, sodass Mitarbeitern von Postfilialen vorgeworfen wurde, Geld unterschlagen zu haben. Über 9000 Betroffene haben aus purer Angst vor möglichen arbeitsrechtlichen und strafrechtlichen Konsequenzen angebliche Fehlstände aus eigener Tasche beglichen – es kam zu fast 1000 Verurteilungen. Dann stellte sich alles als Irrtum dar. Die britische Regierung hat inzwischen etwas mehr als 1,2 Milliarden Pfund als Wiedergutmachung an die Betroffenen ausgezahlt.

Eine Grenze für die Nutzung von KI in Deutschland zieht bereits das allgemeine Verwaltungsrecht. Für den rechtssicheren Einsatz einer jeden Software muss u.a. sichergestellt sein, dass es durch den Einsatz nicht zu willkürlich diskriminierendem Verwaltungshandeln kommt. Der Einsatz muss mit den Grundsätzen der Nachvollziehbarkeit und Begründbarkeit der Ergebnisse von Verwaltungshandeln vereinbar sein, die sich beispielsweise im Untersuchungsgrundsatz (§ 24 VwVfG) und im Begründungserfordernis für Verwaltungsakte (§ 39 VwVfG) oder für Zuschlagsentscheidungen (§ 134 Abs. 1 GWB) niederschlägt.

Wenn eine Automatisierung eines Prozesses, an dem ein KI-System beteiligt ist, angestrebt wird, muss die Konformität mit allgemeinen Rechtsgrundsätzen geprüft werden. So hat der EuGH entschieden, dass der Einsatz von „machine-learning“-Systemen einen Verstoß gegen die Rechtsweggarantie (Art. 47 GrCH bzw. Art. 19 Abs. 4 GG) darstellen kann, wenn nicht nachvollzogen werden kann, aus welchen Gründen das System die jeweilige Entscheidung trifft (EuGH, Urteil vom 21.06.2022 – C-817/19).

Verwaltungs- und datenschutzrechtlich gelten Einschränkungen für vollautomatisierte Prozesse, die geprüft werden müssen (§ 35a VwVfg; Art. 22 DSGVO). Die Grundsätze der Nachvollziehbarkeit und Begründbarkeit haben auch vor dem Hintergrund der ggf. anwendbaren besonderen datenschutzrechtlichen und KI-rechtlichen Auskunftsansprüche besondere Relevanz (Art. 15 Abs. 1 h.) DSGVO; Art. 86 KI-VO).

Wie bei allen Datenverarbeitungen, ist außerdem stets darauf zu achten, dass eine Rechtsgrundlage für sie besteht. Dies gilt insbesondere für die Nutzung von Trainingsdaten, also für die Daten, anhand derer sich Systeme des maschinellen Lernens selbst verbessern. Da es sich bei KI-Systemen um neue Technologien handelt, ist regelmäßig eine Datenschutz-Folgenabschätzung erforderlich (Art. 35 Abs. 1 DSGVO). Außerdem muss eine Konformität mit bestehenden datenschutzrechtlichen Löschpflichten sichergestellt werden.

Vergaberecht

Das Vergaberecht verpflichtet öffentliche Auftraggeber übergreifend dazu, möglichst früh an möglichst viel zu denken und das Vorgehen sowie dabei ausgeübte Gestaltungsspielräume transparent zu machen. Die rechtliche Situation muss vom öffentlichen Auftraggeber vor der Auftragsvergabe umfassend beleuchtet werden. Er hat grundsätzlich sicherzustellen, dass aufgrund einer eindeutigen Beschreibung der zu erbringenden Leistung vergleichbare Angebote erstellt werden können (vgl. § 121 Abs. 1 Satz 1 GWB). Daraus folgt für die Beschaffung von KI: Öffentliche Auftraggeber sollten den gesamte Lebenszyklus einer KI-Lösung von Anfang an betrachten, vor allem da Vertragsänderungen ohne neues Vergabeverfahren nur bei Vorliegen bestimmter Voraussetzungen zulässig sind (§ 132 GWB).

Bei Vergabe von KI-Systemen bietet es sich an, den Auftrag im Rahmen eines wettbewerblichen Dialogs oder eines Verhandlungsverfahrens mit Teilnahmewettbewerb zu vergeben. Denkbar ist im Einzelfall auch eine Innovationspartnerschaft. Bei all diesen Verfahren können vor der Zuschlagsentscheidung Informationen und Kompetenzen der teilnehmenden Unternehmen verwertet sowie die Auftragsbedingungen bis zur Anforderung endgültiger Angebote angepasst werden.

Besonders weitgehend erscheinen dabei die Möglichkeiten im wettbewerblichen Dialog. Dort können mit den Unternehmen „alle Aspekte des Auftrags“ erörtert werden (§ 18 Abs. 5 VgV). Zwar kann sich der öffentliche Auftraggeber im wettbewerblichen Dialog nicht offenhalten, ob er sich für oder gegen eine weitere Konkretisierung des Auftrags durch Gespräche mit Bietern entscheidet, so wie das beim Verhandlungsverfahren mit Teilnahmewettbewerb möglich ist. Gerade im neuen Problemfeld der KI-Beschaffung erscheinen Gespräche mit den Unternehmen über den konkreten Auftrag aber ohnehin zwingend. Im Rahmen einer Innovationspartnerschaft kann längerfristig mit mehreren Unternehmen gearbeitet und so eine maßgeschneiderte Lösung gefunden werden.

Das Verhandlungsverfahren und der wettbewerbliche Dialog werden regelmäßig zulässig sein, da der Auftrag konzeptionelle oder innovative Lösungen umfassen wird (§ 14 Abs. 3 Nr. 4 VgV). Liegt beim öffentlichen Auftraggeber ein Beschaffungsbedarf vor, der nicht durch auf dem Markt bereits verfügbare Lösungen befriedigt werden kann, ist ggf. die Innovationspartnerschaft zulässig.

Bei der Beschaffung von KI-Systemen sollte auch von Anfang an mitbedacht werden, welche Konsequenzen der vergebene Auftrag für künftig zu vergebende Aufträge haben könnte. So kann schnell eine Situation entstehen, in der es nicht mehr wirtschaftlich ist, Folgeaufträge an einen anderen als den ursprünglichen Auftragnehmer zu vergeben – gerade, wenn das System sich selbst verbessern kann und diese Verbesserungen nicht migrierbar sind (sog. „Vendor Lock-In“).

An dieser Stelle sei an die aktuelle Entscheidung des EuGH erinnert, nach der öffentliche Auftraggeber alles tun müssen, was vernünftigerweise von ihnen erwartet werden kann, um das Entstehen eines Alleinstellungsmerkmals zu verhindern (Urteil vom 09.01.2025 – C-578/23). Die Vorgabe bildet eine Grenze der grundsätzlich gegebenen Beschaffungsfreiheit des öffentlichen Auftraggebers. Der öffentliche Auftraggeber darf selbst bestimmen, wie sein Bedarf am Besten gedeckt werden kann, muss in diesem Rahmen jedoch alle Vorkehrungen treffen, die ein Vendor Lock-In verhindern können. Hier wird insbesondere betrachtet werden müssen, ob und wenn ja welche Rechte zwingend beim ursprünglichen Auftragnehmer verbleiben müssen. Auch kann es Sinn ergeben, Konzeption und Umsetzung einer Software in unterschiedliche Lose zu fassen, um die tatsächlichen Möglichkeiten von Auftragnehmern, sich selbst einen Vorteil für künftige Vergabeverfahren zu verschaffen, einzuschränken.

KI-VO

Öffentliche Auftraggeber, die KI beschaffen, müssen die Anwendbarkeit der Verordnung (EU) 2024/1689 (KI-VO) prüfen. Die KI-VO schafft neue Aufgaben für alle, die KI-Systeme anbieten oder betreiben wollen, insbesondere auch für öffentliche Auftraggeber. Ein eigenes Verständnis der KI-VO ist daher zwingend, insbesondere da Pflichten, die für den Auftraggeber aus der KI-VO erwachsen, häufig nicht mittels vertraglicher Regelungen auf den Vertragspartner übertragen werden können.

Dabei ist schon die Frage, auf welche Software-Lösungen die KI-VO anwendbar ist, nicht trivial. So ist nicht ausgeschlossen, dass Software, welche früher nicht zu den KI-Systemen gezählt worden wäre, inzwischen als KI-System im Sinne der KI-VO anzusehen ist. Die Definition des KI-Systems in Art. 3 Ziff. 1 KI-VO ist umfangreich, dennoch vage. Sie beschreibt mehr, als dass sie klar definiert – ihrem reinen Wortlaut nach könnte jede Software unter die Regelung gefasst werden. Erwägungsgrund 12 der Verordnung bestimmt zumindest, dass Systeme, die „auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen“ keine KI-Systeme sind.

Die KI-VO hat eigene Kategorien geschaffen, wodurch ihre Regelungen besser greifbar werden. Sie verbietet etwa von vornherein die Verwendung bestimmter KI-Systeme (Art. 5 KI-VO) und sie trifft besondere Regelungen für Hochrisiko-KI-Systeme (Art. 6 KI-VO, insb. Anhang III KI-VO), für KI-Systeme mit besonderen Transparenzpflichten (Art. 50 KI-VO) und KI-Modelle mit allgemeinem Verwendungszweck (Art. 51. ff. KI-VO). Die Verbotsregelung und die Regelungen von Hochrisiko-Systemen werden besonders häufig öffentliche Auftraggeber betreffen, weil sie auch das Ziel verfolgen, staatliche Übergriffe zu verhindern.

Die Vorschriften für Hochrisiko-KI-Systeme und KI-Systeme mit besonderen Transparenzpflichten gelten grundsätzlich erst ab dem 02.08.2026. Allerdings sollten öffentliche Auftraggeber vorbereitet sein; sie sind verpflichtet bis zum 02.08.2030 eine KI-VO-Konformität auch für vor dem 02.08.2026 beschaffte Hochrisiko-KI-Systeme herzustellen. Außerdem müssen sie beachten, dass die besonderen Transparenzpflichten aus Art. 50 Abs. 1 bis Abs. 4 KI-VO regelmäßig ab dem 02.08.2026 zu berücksichtigen sind (vgl. Art. 111 Abs. 2 Satz 2 KI-VO; Art. 50 Abs. 5 KI-VO).

Für „einfache“ KI-Systeme außerhalb dieser Kategorien ist v.a. auf die Sicherstellung einer ausreichenden KI-Kompetenz derjenigen Personen, die das KI-System bedienen, zu achten (Art. 4 KI-VO). Wichtig ist insbesondere, dass diese Personen wissen, welche Nutzungen sich noch im Rahmen des für das KI-System bestimmten Zwecks halten. Beispielsweise sollte ein allgemeiner Chatbot für ein internes Wissensmanagement nicht genutzt werden, um Bewerberlebensläufe zu analysieren. Diese Nutzung könnte als Änderung der Zweckbestimmung des KI-Systems angesehen werden, dass aufgrund des neuen Zwecks dann als Hochrisiko-KI-System aufzufassen wäre, wobei der öffentliche Auftraggeber als Anbieter dieses „neuen“ Hochrisiko-KI-Systems angesehen werden könnte (Art. 25 Abs. 1 lit. c; Anhang III Ziff. 4 KI-VO).

Auch kann es sinnvoll sein, sich auch bei einfachen KI-Systemen mittels eines eigenen Verhaltenskodexes für die freiwillige Anwendung einiger oder aller der für Hochrisiko-KI-Systeme geltenden Governance-Mechanismen weiter abzusichern. Dies wird in der KI-VO explizit vorgeschlagen (Art. 95 KI-VO).

Vertragsrecht

Häufig wird es nicht möglich sein, die Einhaltung der für die besonderen KI-Systeme definierten Pflichten durch eine vertragliche Gestaltung zur alleinigen Aufgabe des Auftragnehmers zu machen. Ob eine Pflicht aus der KI-VO einen öffentlichen Auftraggeber betrifft, entscheidet sich prinzipiell nach den Regelungen der KI-VO, welche Pflichten abhängig von der jeweiligen Akteursrolle auferlegt. Diese Akteursrollen werden in der KI-VO definiert und sind nur im von der KI-VO offen gelassenen Rahmen gestaltbar.

So sind öffentliche Auftraggeber „Anbieter“ eines KI-Systems und haben die daraus folgenden Pflichten zu beachten, wenn sie ein KI-System entwickeln lassen und danach selbst verwenden, ohne dass der ursprüngliche Entwickler erkennbar ist. Denn Anbieter ist u.a., wer ein KI-System unter eigenem Namen in Betrieb nimmt, wozu auch der Eigengebrauch gehört (Art. 3 Ziff. 3, Ziff. 11 Alt. 2 KI-VO).

Grundsätzlich ist auch davon auszugehen, dass ein öffentlicher Auftraggeber, der seinen Mitarbeitenden ein KI-System bereitstellt, als „Betreiber“ des KI-Systems nach der KI-VO anzusehen ist – „Betrieb“ ist als nicht persönliche und berufliche Verwendung eines KI-Systems in eigener Verantwortung definiert (Art. 3 Ziff. 4 KI-VO). Ein Betrieb wird auch dann anzunehmen sein, wenn das KI-System als „Software as a Service“ oder „Outsourcing“-Leistung bezogen wird. Denn Art. 49 Abs. 3 KI-VO enthält die Pflicht des Betreibers eines Hochrisiko-KI-Systems, der auch Behörde ist, die Verwendung des Systems in einer Datenbank zu registrieren. Könnte der öffentliche Auftraggeber durch eine vertragliche Gestaltung nicht mehr als Betreiber gelten, würde diese Pflicht umgangen werden, was nicht im Sinne der KI-VO sein kann.

Das schließt nicht aus, dass der Vertragspartner ebenfalls als Betreiber der KI-VO gilt. Öffentliche Auftraggeber sollten dann vertraglich sehr genau regeln, wer für welche Pflichten aus der KI-VO zuständig ist.

Die Unterstützung der EU-Kommission bei der Umsetzung der Pflichten lässt bisher zu wünschen übrig. Zwar hat sie Mustervertragsklauseln zur KI-Beschaffung veröffentlicht (vgl. Vergabeblog.de vom 26/03/2025 Nr. 70452). Von deren Nutzung kann aber nur abgeraten werden. Die Klauseln sind schon nur für ganz bestimmte KI-Beschaffungen konzipiert und wiederholen für diese im Grunde genommen nur den Wortlaut der KI-VO. Die Nutzung erzeugt so nur eine weitere unübersichtliche Unterlage, die im schlimmsten Fall darüber hinwegtäuscht, dass der öffentliche Auftraggeber und der erfolgreiche Bieter über die Pflichtenverteilung keine klaren Vereinbarungen getroffen haben.

Fazit

Auch wenn die Rechtslage genau in den Blick genommen werden muss, folgt daraus nicht, dass es keine zulässigen Anwendungsfelder mehr für den Einsatz von KI-Systemen für öffentliche Auftraggeber gibt. Die Komplexität der rechtlichen Maßnahmen, die ergriffen werden müssen, hängt davon ab, wie stark die KI in Rechte einzugreifen vermag. So wird der Einsatz eines Chatbots, der intern wie extern nur unverbindlich allgemeine Informationen erteilen soll, weit weniger rechtlichen Herausforderungen begegnen als ein Prozess, der die Erstellung eines Verwaltungsaktes weitgehend automatisiert.

Neu ist die KI-VO, deren Auswirkung in der Praxis noch abzuwarten sein wird. Sonst begegnen dem öffentlichen Auftraggeber zahlreiche aus der IT-Beschaffung allgemein bekannte Problemstellungen im neuen Gewand, insbesondere aus dem Verwaltungsrecht, dem Vergaberecht und dem Datenschutzrecht.

Die Beantwortung weiterer Rechtsfragen wird stark vom Einzelfall abhängen. Es ist gut denkbar, dass ein Vorhaben in den Anwendungsbereich der (künftigen) Regelungen zum Schutz von kritischer Infrastruktur und Gewährleistung eines hohen Sicherheitsniveaus von Netz- und Informationssystemen fällt (u.a. BSIG, KritisVO, NIS-2 Richtlinie und deren künftige Umsetzung). Im Einzelfall kann es deswegen sein, dass u.a. technische und organisatorische Maßnahmen, die getroffen werden müssen, um Störungen zu vermeiden, vertraglich abgebildet werden müssen.

Auch können sich Fragen des Urheberrechts stellen – es sollte überprüft werden, wie ein beschafftes KI-System sicherstellt, dass produzierte und weiterverwendete Ergebnisse keine Urheberrechte verletzen. Dabei wird die sich aktuell in Bewegung befindliche Rechtsprechung berücksichtigt werden müssen. Das LG München I hat in einem noch nicht rechtskräftigen Urteil erst kürzlich entschieden, dass es eine urheberrechtlich relevante Vervielfältigung darstellt, wenn sich Trainingsdaten aus dem Output extrahieren lassen (sog. „Memorisierung“). Ob eine solche Memorisierung vorliegt, kann nach der Überzeugung des Gerichts mittels eines Abgleichs des Originalwerks und dem Output eines einfach gehaltenen Prompts überprüft werden, ohne das tiefer in das Modell „reingeschaut“ werden muss (LG München I, Endurteil vom 11.11.2025 – 42 O 14139/24).

Die rechtssichere Beschaffung und Nutzung von KI sollte aufmerksam und bewusst geplant werden. Die rechtlichen Fallstricke stellen aber in den meisten Fällen keine unüberwindbare Aufgabe dar.