KI in der IT-Beschaffung: Handreichung für öffentliche Auftraggeber – Teil 3:

Nachdem die ersten beiden Beiträge dieser Reihe (siehe Teil 1: Vergabeblog.de vom 03/04/2025 Nr. 70410 und Teil 2: Vergabeblog.de vom 24/04/2025 Nr. 70678) einen Überblick über aktuelle Marktentwicklungen und Herausforderungen bei der Beschaffung von IT / KI, sowie Empfehlungen für die Beschaffung von IT mit KI-Anteilen gegeben haben, geht dieser Beitrag nun einen Schritt weiter: Die Beschaffung von KI-Lösungen. Auf den ersten Blick könnte man sich hier die Frage stellen: Wo ist der Unterschied? Zugegeben: letztendlich werden Ihnen einige Aspekte dieses Beitrags bekannt vorkommen. Jedoch sind sowohl Startpunkt als auch Blickwinkel und die letztendliche Palette an Kriterien, die in entsprechenden Vergaben angesetzt werden können, grundlegend anders zu wählen.

An dieser Stelle möchte ich noch etwas erwähnen: Die in diesem Beitrag enthaltenen Inhalte sind größtenteils keine Aufgaben der Vergabestelle, sondern Aufgaben, die im Zweifel von unterschiedlichen Verantwortungsbereichen durchzuführen sind. Betrachten Sie diese Inhalte vergabestellenseitig also als ein Hilfsmittel, um Ihren Kollegen praktische Ansätze mit auf den Weg geben zu können bzw. um selbst einen Eindruck über die praktische Beschaffungsreife erhalten zu können.

Die elementarste Frage

Was ist Ihr Anwendungsfall (Use-Case)? Das ist Die elementarste Frage, die beantwortet werden muss.

Stand heute erhältliche KI-Anwendungen (und hiermit meine ich Anwendungen mit dem Schwerpunkt KI) sind primär als Lösungen für existierende Probleme zu betrachten, die mit klassischen Anwendungen nicht oder nur schwerlich zu lösen sind. Wie z.B. die Transkription von Sprache und das Zusammenfassen von Texten. Eine neue KI-Anwendung wird nicht so schnell ausgefeilte prozessgetriebene, IT-Lösungen ersetzen, sondern diese punktuell anreichern (siehe meinen letzten Beitrag, welcher sich auf IT-Lösungen mit KI-Anteilen konzentrierte).

Strategische Vorüberlegungen

Beim Anwendungsfall gibt es zwei grundsätzliche Startpunkte:

1. Welche KI-Lösungen existieren am Markt? Adressieren diese einen möglichen Anwendungsfall in Ihrem persönlichen Kontext?
2. Mit dem Wissen, dass KI insbesondere bei Mustererkennung ihre Stärken zeigen kann: Was wäre Ihr Anwendungsfall? Lässt sich dieser über eine KI abbilden?

Nachfolgend ist für Ihren Kontext festzustellen, welche dieser Anwendungsfälle bietet Ihnen echten Mehrwert?

Die Bewertung von Risiken und Chancen der KI muss systematisch erfolgen. Dies umfasst technische, organisatorische und rechtliche Aspekte. Bei der Einführung einer Chatbot-KI müssen beispielsweise die Risiken schädlicher Konversationen gegen die Effizienzgewinne durch die Auslagerung an eine KI abgewogen werden.

Der Aufbau notwendiger Kompetenzen im eigenen Haus ist hierbei ein kritischer Erfolgsfaktor. Dies bedeutet nicht, dass jede Behörde KI-Experten beschäftigen muss, aber ein grundlegendes Verständnis für KI-Technologien und deren Möglichkeiten ist unerlässlich. Schulungen und Workshops können Mitarbeiter befähigen, KI-Komponenten effektiv zu nutzen und zu überwachen.

Grundsätzliche Fragen, welche alle in diesem Beitrag beschriebenen Schritte begleiten sollten, unterscheiden sich im Detail von den Fragen bei der Beschaffung von IT mit KI-Anteilen und lauten wie folgt:

• Welcher Art ist die KI (z. B. regelbasiert, generativ etc.) und wie hoch sind die zu erwartenden Reifegrade und Autonomieanforderungen? Existieren schon relevante Erfahrungen mit dieser KI am Markt bzw. bei anderen Auftraggebern?
• Wie ist die Funktionsweise der KI und der Grad der Autonomie einzustufen? Während eine regelbasierte KI Aufgaben relativ zuverlässig, wiederholbar und schnell löst, agiert ein reiner KI-Agent komplett anders, denn dieser wäre im Vergleich wenig zuverlässig, langsam und kann auch ggf. unerwünschte Resultate liefern – wäre aber für hochkomplexe und sich ändernde Aufgabenszenarien besser geeignet.
• Funktionale Anforderungen: Was soll die KI leisten (z. B. Texterkennung, Übersetzungen, Datenanalyse)?
• Was ist für Sie denkbar: Erfolgt die Installation, bzw. die Ausführung der KI OnPremise, oder in der Cloud? Beachten Sie hierbei, dass zum einen auch Mischformen zwischen Public KI und Private KI existieren, und es zum anderen auch Möglichkeiten zur verteilten Verarbeitung von Inhalten gibt (z.B. mit einem verteilten Retrieval-Augmented Generation-System: Bei diesem werden Nutzeranfragen On Premise erst einmal vektorisiert, um dann in einer internen Datenbank nach ähnlichen Ergebnissen / Quellen zu suchen. Diese Textstellen werden mit der Nutzeranfrage als Paket an eine Public KI gesendet, welche eine Antwort – auf Basis der mitgegebenen Textstellen und mit Quellenangaben formuliert.
• Dieser Aspekt hat direkten Einfluss auf Kosten (z.B. spezialisierte Hardware), Datenschutz & Co. Speziell beim Thema Hardwarekosten: Für eine einfache „Ausführung“ eines Modells (Inference) sind deutlich geringere Kosten zu erwarten als bei einem Modell, welches komplett trainiert werden soll. Zur Veranschaulichung:

• Gibt es schon vortrainierte KIs, die für Ihre Anwendungsfälle passen, oder muss die KI noch (vor-)trainiert werden? à Hier sind erhebliche betriebliche Auswirkungen und ggf. qualitative Auswirkungen zu erwarten. Eine LLM, welche lediglich zur Sichtung und für Referenzzwecke verwendet wird (z.B. um über alle E-Akten hinweg zu agieren), muss nicht weitertrainiert werden.
• Wird die KI im laufenden Betrieb weitertrainiert? Falls ja, welche Trainingsarten und Mechanismen greifen hier (z.B. Supervised, Unsupervised, Reinforcement)? à Dies hat direkten Einfluss aus Aufwand, Kosten, Qualität und Datenschutz.
• Wie lange existieren schon potentielle Anbieter / Integratoren und wie lange existieren geeignete KI Modelle schon?
• Wie ist die Anbieterseite einzuschätzen? Gibt es Marktteilnehmer, welche die Lösung bei Wegfall des ursprünglichen Auftragnehmers weiter unterstützen können? Wie könnte Ihre entsprechende Exit-Strategie aussehen?
• Welche Updatezyklen sind zu erwarten oder wahrscheinlich notwendig? à Hier sollten die Aussagen von Anbietern äußerst nüchtern bewertet werden. Oder kann / soll die KI ein oder mehrere Jahre ohne Funktionsupgrades laufen?
• Können Sie Betriebsaufgaben hausintern stemmen?
• Wartung & Updates: Wie wird die KI gepflegt und weiterentwickelt (was muss, was soll)?

Eine Empfehlung meinerseits an dieser Stelle ist: Bewerten Sie KI-Lösungen nach möglichst transparenten und anwendungsfall-bezogenen Kriterien und ziehen Sie gegebenenfalls Fachberater hinzu.

Markterkundung und ggf. Machbarkeitsanalysen

Markterkundungen werden in den kommenden Monaten und Jahren zentraler Baustein solcher Beschaffungen darstellen – da hier äußerst wertvolle Informationen gewonnen werden können – die ansonsten nur schwierig bis gar nicht zu erlangen sind.

Verschaffen Sie sich einen Marktüberblick und nutzen Sie die oben genannten grundsätzlichen Fragen.

Nutzen Sie hierbei die verschiedenen Arten und Möglichkeiten von Markterkundungen, die sich bieten, wie z.B.:

• Geringe Intensität: Internetrecherche, Fachzeitung, Kataloge, Auftragsberatungsstellen
• Mittlere Intensität: Direkter Austausch mit anderen Auftraggebern
• Hohe Intensität:
  • Austausch von AG mit Unternehmen in Präsenz, Lieferanten- und Messebesuche
  • Ortsbesichtigungen und unterschiedliche Teststellungen (siehe auch folgender Abschnitt)
  • Nutzung z.B. des KOINNO Innovationsplatzes

Hinweise: Bei den hier behandelten Beschaffungen werden Markterkundungen mit geringer Intensität allein in der Regel auch nur gering aussagefähige Resultate liefern. Und Beispiele für Handreichungen zu Markterkundungen sind z.B. zu finden über Internetrecherche und beim Deutschen Vergabenetzwerk (DVNW).

Machbarkeitsanalysen und/oder Teststellungen sollten frühzeitig durchgeführt, um den eigenen Anwendungsfall auch nicht aus den Augen zu verlieren, und/oder nachzuschärfen.

Anforderungsformulierung für KI

Sollten Sie erkennen, dass Sie für ein akutes Beschaffungsvorhaben wenigstens eine potentielle Lösung am Markt identifizieren konnten, prüfen Sie, ob noch anderweitige KI-Lösungen zur Abbildung Ihres Anwendungsfalles existieren. Vielleicht setzen andere Lösungen einen Schritt weiter vorne an, bzw. lösen ihr Problem auf elegantere Weise.

Bei der Formulierung Ihrer letztendlichen Anforderungen bietet sich der funktionale Leistungsbeschreibungsansatz eher an als der erschöpfende. In jedem Fall: Sehen Sie gehaltvolle Anforderungen in der Leistungsbeschreibung vor (achten Sie hierbei insbesondere auf klare muss- und soll-Formulierungen) – und an bestimmten Stellen ist weniger oft mehr.

Datenschutz und Sicherheit erfordern, wie eigentlich immer, zudem besondere Aufmerksamkeit. Die Compliance mit der DSGVO muss dabei ebenso sichergestellt sein wie die Transparenz der Datenverarbeitung. Bei einem System zur automatisierten Vorgangsbearbeitung muss beispielsweise nachvollziehbar sein, welche Daten wie verarbeitet werden und wie die Datensicherheit gewährleistet wird (siehe KI-Verordnung).

Bewertungsansätze für KI-Lösungen

1. Vorwort zu Bewertungsansätzen

Die technische Bewertung von KI-Lösungen erfordert, wie schon die Bewertung von IT-Lösungen mit KI-Komponenten, einen systematischen Ansatz.

Die organisatorische Bewertung fokussiert sich auf die praktische Implementierbarkeit. Die Integration von KI in bestehende IT-Landschaften erweist sich oft als komplexer als zunächst angenommen. Dies liegt nicht nur an technischen Herausforderungen, sondern auch an organisatorischen und vor allen Dingen an prozessualen Aspekten. Neben der technischen Anbindung müssen Prozesse für die Übergabe zwischen automatisierter und menschlicher Bearbeitung definiert werden, Mitarbeiter geschult und Qualitätssicherungsmaßnahmen etabliert werden. Die detaillierte Analyse der Integrationserfordernisse muss daher frühzeitig erfolgen. Dies umfasst die Identifikation aller relevanten Schnittstellen, die Analyse von Datenflüssen und die Bewertung von Abhängigkeiten zu anderen Systemen.

Die technische Bewertung für KI-Komponenten erfordert auch besondere Sorgfalt. Richten Sie diese einfach und klar an Ihrem Anwendungsfall aus.

Und bedenken Sie: Ein häufiger Fehler liegt in der Überschätzung dessen, was KI-Systeme tatsächlich leisten – auch entgegen den Anbieterversprechen. Die Erwartungen an die Leistungsfähigkeit von KI sind primär von medialer Berichterstattung und Marketing in Sozialen Medien geprägt und entsprechen oft nicht der Realität im individuellen Anforderungskontext. Ein typisches Beispiel ist die Erwartung, dass eine KI ohne weiteres komplexe juristische Beurteilungen fehlerfrei durchführen kann. Das kann sie nicht.

Jedoch: Bleiben Sie bitte nüchtern. Viele Stimmen beschweren sich, dass KIs Texte mit erfundenen Fakten generieren, beachten einiges nicht. An dieser Stelle möchte ich wenigstens einen Aspekt herausstellen:

Stellen Sie sich vor, ein unerfahrener Mitarbeiter muss einen längeren Text für ein spezielles Thema erstellen. Wenn dieser Mitarbeiter mit einem selbst geschriebenen Text um die Ecke käme, wie man ihn mit gutem Prompting dem passenden KI-Modell entlocken kann, wäre ich glücklich. Bei einer KI wird jedoch geunkt, das Ergebnis wäre nicht brauchbar.

Hinweis: Aus praktischer ITler Sicht empfiehlt sich in nahezu jedem Fall die KI hinsichtlich Ihres Anwendungsfalles zu überprüfen – ob als Test im Vergabeverfahren, oder im Rahmen der späteren Abnahme eines Systems.

2. Handreichung für Bewertungsansätze

Das Vorgehen ist hier analog zur Beschaffung von IT mit KI-Anteilen: Die systematische Bewertung von KI-Komponenten erfordert, wie schon erwähnt, einen strukturierten Ansatz. Die folgenden Bewertungsansätze können Ihnen hierfür als Hilfestellung für mögliche Berücksichtigungen im Rahmen von Vergabeverfahren dienen. Bitte beachten Sie hierbei, dass diese Bewertungsansätze aufgrund der Natur der Sache eher „weichen“ Konzeptkriterien ähneln und diese auf Ihre konkrete Situation angepasst werden müssen und ggf. auch gar nicht passen.

Grundsätzlich gilt für die Formulierung von Anforderungen: Definieren Sie so wenige Mindest- und Zuschlagskriterien wie möglich, aber so viele wie nötig. Im Vokabular der UfAB 2018 bedeutet dies:

• Setzen Sie A-Kriterien nur da, wo Sie den Markt zwingend steuern möchten, bzw. bei Mindestanforderungen, welche für Sie unumstößlich sind.
• Setzen Sie B-Kriterien nur da,
  • wo der Markt sich unterscheidet oder dedizierte Konzepte benötigt werden, um das Leistungsversprechen beurteilen zu können, oder
  • Marktinformationen nicht durchgängig verfügbar sind, die Information aber entscheidend sein kann.

2.1. Funktionale Bewertung

Die funktionale Qualität bildet das Fundament der Bewertung. Sie umfasst die Genauigkeit der KI-Ergebnisse, die durch konkrete Metriken bewertet werden könnte. Sollten Sie für Ihren Anwendungsfall passende Messgrößen haben, nutzen Sie diese für Anforderungen und oder Tests und Abnahmen.

Bei einem Textrecherchesystem könnte dies beispielsweise die Genauigkeit, bzw. Varianz der Trefferrate an Quellen sein. Die Geschwindigkeit der Verarbeitung und die Skalierbarkeit des Systems müssen im Endeffekt ebenfalls betrachtet werden, da sie direkte Auswirkungen auf die praktische Nutzbarkeit haben – stellen Sie sich vor, immer erst einmal Pause machen zu müssen, bevor die KI Ihnen die gewünschten Informationen bereitstellt.

Sollten Sie etwas beschaffen, was schon am Markt in der Form existiert, wie sie es auch einsetzen möchten: Integrieren Sie zwingend Bemusterungen / Tests in Ihr Vergabeverfahren, bzw. die Bewertung. Nach dem heutigen Stand der Technik kann ich Ihnen keine Bewertung nach Aktenlage empfehlen.

2.2 Betriebliche Bewertung

Die Integration und der Betrieb bilden einen weiteren wichtigen Bewertungsbereich. Die Einbindung in bestehende Systeme muss dabei unter technischen und organisatorischen Aspekten betrachtet werden.

2.3. Wirtschaftliche Bewertung

Die Wirtschaftlichkeitsbetrachtung muss zwingend über die reinen Anschaffungskosten hinausgehen und darf darüber hinaus nicht nur auf dem Preis beruhen. Preislich sollten die Gesamtbetriebskosten, einschließlich Strom, Schulungsaufwand, Wartungskosten und eventueller Lizenzgebühren umfasst werden. Ein praktisches Beispiel ist die Einführung einer KI, welche zu einer Frage oder Stichwörter alle E-Akten-Ergebnisse finden kann – auch wenn die verwendeten Begriffe nicht exakt die gleichen sind. Eine solche KI würde mindestens die initiale Vektorisierung des gesamten Datenbestandes voraussetzen – was Aufwand, Zeit und Kosten bedeutet.

Hinsichtlich des Preis-Leistungs-Verhältnisses gibt es schon mehrere gute Abhandlungen und Beiträge im Netz. An dieser Stelle wird daher nur auf das Folgende fokussiert: Die Auswahl und Ausgestaltung der Bewertungskriterien (ggf. auch Mindeststandards bei den Leistungskriterien) und auch der Zuschlagsformel muss sich primär nach dem Beschaffungsgegenstand, Ihrem Anwendungsfall und den Charakteristika des erwarteten Wettbewerbs richten.

Nutzen Sie die einfache oder erweiterte Richtwertmethode und spielen Sie das Entscheidungskriterium des Schwankungsbereiches durch, damit Ihr Beschaffungsziel durch die Formel bestmöglich unterstützt wird.

Eine praxisnahe Herangehensweise ist das Durchführen von Formel-Simulationen mit verschiedenen Formeln, um eine geeignete Methode zu identifizieren, die im erwarteten Szenario eine passende Dynamik, bzw. Verhalten zeigt. Dies schützt im Zweifel vor unangenehmen Überraschungen.

Hinweis: Gestalten Sie Ihre wirtschaftliche Bewertung so aus, dass der Fokus auf Qualität liegt.

2.4. Hilfsweise Bewertung

An dieser Stelle habe ich Ihnen im vorigen Beitrag eine hilfsweise Bewertung mitgegeben. Aufgrund der Natur der Sache könnte Diese lediglich als Hinweisgeber für einen Teil Ihrer tatsächlichen Bewertung dienen.

Für eine hilfsweise Bewertung ist die Beschaffung von KI einfach zu komplex und heterogen.

Fazit

Die Beschaffung von KI-Lösungen ähnelt zwar der Beschaffung von IT mit KI-Anteilen, muss jedoch akribischer vorbereitet werden. Denn KI ist nicht einfach eine Funktion, oder neue Programmiersprache, mit der Algorithmen und Programmverhalten deterministisch festgelegt werden. KI bedeutet eine fundamentale Abweichung von diesem Grundsatz: Überspitzt dargestellt werden bei einer KI Trainingsdaten eingeworfen, die die KI nach Mustern untersucht, wodurch ihr späteres, wahrscheinlichkeitsgetriebenes Verhalten bestimmt wird. Was sich hier wie eine Schwäche von KI lesen könnte, ist im Grunde ihre Stärke: Durch KI lassen sich bisherige technische Probleme mit unglaublicher Flexibilität und Geschwindigkeit lösen.

Der Erfolg solcher Projekte hängt maßgeblich von einer sorgfältigen Vorbereitung und realistischen Erwartungshaltung ab. Die strukturierte Bewertung der KI, die Berücksichtigung aller relevanten rechtlichen Aspekte und die sorgfältige Integration in bestehende Prozesse sind dabei entscheidende Erfolgsfaktoren. Wie erwähnt lautet die Kernfrage:

Was ist Ihr Anwendungsfall?