Inhaltlich konzentriert sich dieser Beitrag auf den praktischen Einsatz von Large Language Models (LLMs) bei der Vorbereitung und Durchführung von öffentlichen Vergabeverfahren. Der Schwerpunkt liegt auf der Perspektive des öffentlichen Auftraggebers.

Large Language Models (LLMs)

LLMs sind eine Unterkategorie der generativen KIs und auf die Verarbeitung und Generierung von natürlicher Sprache spezialisiert. Sie sind darauf trainiert, menschenähnliche Texte zu verstehen und zu generieren. LLMs analysieren riesige Mengen an Textdaten, um Muster und Zusammenhänge in der Sprache zu erkennen (Beispiel: Das veraltete ChatGPT3 resultierte in ca. 175 Milliarden Parametern). Dadurch können sie Texte vervollständigen, Fragen beantworten und Übersetzungen durchführen.

Beispiele für LLMs sind GPT-3 (Generative Pre-trained Transformer 3) und GPT-4, die in der Lage sind, auf Grundlage ihrer umfangreichen Sprachkenntnisse kontextuell passende und kohärente Texte zu generieren.

Die folgenden Artikelinhalte sollen als kleiner Wegweiser für eine etwaige Nutzung von LLMs in Vergabeverfahren dienen.

Die Rolle der Künstlichen Intelligenz in Vergabeverfahren

KI kann aus technischer Sicht in verschiedenen Phasen des Vergabeprozesses eingesetzt werden – von der Erstellung der Ausschreibungsunterlagen über die Kommunikation mit den Bietern bis hin zur Bewertung der Angebote. Die Verbesserung und Automatisierung dieser Prozesse durch KI kann hierbei Fehleranfälligkeit verringern und die Bearbeitungszeit idealerweise signifikant reduzieren.

An dieser Stelle sei aus Sicht eines IT-lers auf Folgendes hingewiesen: Da ein Geheimwettbewerb stattfindet, personenbezogene Daten und ggf. sogar Geschäftsgeheimnisse verarbeitet werden, wäre die einfache Nutzung einer Public-KI mit an Sicherheit grenzender Wahrscheinlichkeit unzulässig. In jedem Fall empfiehlt sich eine fundierte rechtliche Bewertung aller relevanten Aspekte vor einem etwaigen Einsatz einer KI – im Zweifel unter Hinzuziehung spezialisierter Rechtsberatungen.

Gründe für mangelhafte Qualität von KI-Unterstützungen

1. Unzureichende Datenqualität

Minderwertige Ergebnisse entstehen i.d.R. aufgrund der Verwendung unzureichender oder inkonsistenter Daten. KI-Systeme sind nur so gut wie die Daten, mit denen sie trainiert und betrieben werden. Schlechte Datenqualität führt zu fehlerhaften oder irrelevanten Ergebnissen, was die Effizienz der KI stark beeinträchtigt. Eine sorgfältige Datenvorbereitung und -bereinigung ist daher unerlässlich.

2. Fehlende Kontextsensitivität

KI-Algorithmen, die ohne ausreichende Kontextkenntnisse eingesetzt werden, können zu missverständlichen oder unangemessenen Ergebnissen führen. Vergabeverfahren sind oft komplex und spezifisch für den jeweiligen Kontext und die Marktbedingungen. Eine KI, die diese Nuancen nicht berücksichtigt, liefert möglicherweise Vorschläge oder Bewertungen, die nicht praktikabel oder rechtlich problematisch sind.

3. Überschätzung der KI-Fähigkeiten

Ein weiteres Problem ist die Überschätzung der Fähigkeiten von KI. Je nach Studie und Aufgabenstellung erreichen LLMs Qualitätsergebnisse von ca. 70% – 81% im Vergleich zu menschlichen Ergebnissen.

Es ist wiederum verständlich, dass sich Vergabestellen wünschen, sich bei deren Einsatz auf KI-Systeme verlassen zu können. Die dabei die (aktuell) notwendige menschliche Überprüfung und Entscheidungsobliegenheit darf hierbei in keinem Fall ignoriert werden. KI sollte als unterstützendes Werkzeug betrachtet werden, das menschliche Expertise ergänzt, aber nicht ersetzt.

Public KIs vs. Private KIs

Die Verwendung von Künstlicher Intelligenz in öffentlichen Vergabeverfahren kann theoretisch über zwei Haupttypen von KI-Systemen erfolgen: öffentlich zugängliche KI-Systeme (Public KIs) wie ChatGPT und private, speziell für diesen Zweck entwickelte LLMs.

1. Public KIs

Public KIs, wie ChatGPT, sind allgemein zugänglich und werden von einer breiten Nutzerbasis verwendet. Sie bieten den Vorteil einer einfachen Zugänglichkeit und eines breiten Anwendungsbereichs, da sie auf umfangreichen Datensätzen trainiert wurden.

Allerdings bringen sie auch Herausforderungen mit sich, insbesondere hinsichtlich Datenschutzes und Datensicherheit. Öffentliche KIs speichern und verarbeiten Daten auf externen Servern, was zu Bedenken hinsichtlich der Vertraulichkeit sensibler Informationen führen muss. Zudem verwenden diese KIs in der Regel alle Inputs, die User ihnen zur Verfügung stellen, weiter. Wie eingangs erwähnt, dürfte der Einsatz einer solchen KI i.d.R. unzulässig sein.

Zudem kann die mangelnde Anpassung an spezifische Anforderungen und Kontexte im Beschaffungswesen die Effektivität dieser KIs einschränken.

2. Private KIs

Private KIs hingegen können speziell für bestimmte Aufgaben und Anforderungen entwickelt werden und können intern gehostet werden, was eine bessere Kontrolle über die Datenverarbeitung ermöglicht.

Diese Systeme können auf den spezifischen Kontext und die Anforderungen der Vergabestelle zugeschnitten werden, was zu präziseren und relevanteren Ergebnissen führen wird.

Durch die interne Verarbeitung von Daten wird auch das Risiko von Datenschutzverletzungen minimiert.

Die Entwicklung und Implementierung privater KIs erfordert jedoch signifikant höhere Investitionen und Fachwissen, um die Systeme entsprechend zu trainieren, auf dem aktuellen Stand zu halten und zu warten.

Allgemeingültige Beispiele für Hinweise, dass eine KI verwendet wurde

1. Kopieren von Prompts in Enddokumente

Das unabsichtliche Kopieren von Prompts oder Anweisungen in die endgültigen Vergabedokumente kann darauf hindeuten, dass der KI-generierte Text nicht sorgfältig überprüft und bereinigt wurde. Solche Fehler können die Professionalität und Glaubwürdigkeit der Vergabestelle untergraben und zu Missverständnissen führen.

2. Unüberprüfte Halluzinationen

KI-Modelle wie ChatGPT können sogenannte Halluzinationen erzeugen – plausible, aber faktisch falsche Informationen. Wenn diese Inhalte ohne sorgfältige Überprüfung in Vergabedokumente oder -entscheidungen einfließen, können sie erhebliche Probleme verursachen. Beispiele hierfür sind falsche Vergabebedingungen, Referenzen zu Gesetzen oder Normen, die im Kontext der Vergabeentscheidung falsch sind.

3. Unpassende Sprachform

Die Dokumente weisen unpassende Sprachformen auf (z.B. informelle Sprache). Dies geschieht häufig, wenn die Instruktion, z.B. einen vergaberechtskonformen Text aus der Perspektive einer versierten Vergabestelle zu erstellen, nicht klar genug definiert ist. Die resultierenden Texte können dann zu umgangssprachlich oder zu technisch sein, um formellen Anforderungen zu genügen, was die Verständlichkeit und Akzeptanz bei den Adressaten beeinträchtigt.

Best Practices für die Nutzung von LLMs in Vergabeverfahren

1. Sicherstellung hoher Datenqualität

Um die Effizienz und Genauigkeit von KI-Anwendungen zu maximieren, ist es entscheidend, auf die Qualität der zugrunde liegenden Daten zu achten. Dies umfasst die Bereinigung von Daten, die Sicherstellung der Konsistenz und die regelmäßige Aktualisierung der Datenquellen. Zudem sollten Vergabestellen darauf achten, dass die Datenquellen repräsentativ und umfassend sind.

Bei Public KIs sind dies Aufgaben, über die man als Kunde in der Regel keinerlei Einblick oder Kontrolle hat. Bei Private KIs muss mit entsprechenden Aufwänden geplant werden, welche sich aber in potenziell entsprechender Datenqualität äußern wird.

2. Kontextuelle Anpassung und Schulung

KI-Systeme sollten an die spezifischen Anforderungen und Kontexte der jeweiligen Vergabestelle angepasst werden. Dies kann durch spezifische Trainingsdaten und angepasste Algorithmen erreicht werden. Zudem ist es wichtig, dass die KI-Systeme kontinuierlich überwacht und angepasst werden, um auf veränderte Bedingungen und Anforderungen reagieren zu können.

Bei Public KIs sind dies auch Aufgaben, über die man als Kunde in der Regel keinerlei Einblick oder Kontrolle hat. Bei Private KIs muss wiederum mit entsprechenden Aufwänden geplant werden, welche sich aber in potenziell entsprechender Datenqualität äußern wird.

3. Integration menschlicher Expertise

Trotz der fortschrittlichen Fähigkeiten von KI sollte der menschliche Faktor nicht vernachlässigt werden. Vergabeverfahren sind, nach den aktuellen Stand der Technik, in der Regel zu komplex, um vollständig automatisiert zu werden.

Beispielsweise in IT-Vergabeverfahren, bei denen keine „Regalware“ beschafft wird, oder in denen konzeptionelle Leistungsanteile abgefordert werden, sind wenigstens diese Anteile letztendlich für eine KI nicht beurteilbar. Zum einen wird in solchen Verfahren der Leistungsgegenstand in Summe nicht erschöpfend beschreibbar sein, zum anderen sind konzeptionelle Anteile aktuell durch KIs nicht zuverlässig beurteilbar.

Eine enge Zusammenarbeit zwischen KI-Systemen und menschlicher Expertise ist notwendig, um die besten Ergebnisse zu erzielen. Menschliche Überprüfung und Entscheidungsfindung bleiben unerlässlich, um die Qualität und Rechtmäßigkeit der Vergabeentscheidungen sicherzustellen.

4. Transparenz und Nachvollziehbarkeit

Alle Entscheidungen, die durch KI unterstützt oder getroffen werden, müssen für die beteiligten Akteure verständlich und nachvollziehbar sein. Dies würde das Vertrauen in die KI-Systeme erhöhen und sicherstellen, dass die Entscheidungen rechtlich und ethisch einwandfrei sind. Nach dem aktuellen Stand der Technik ist dies jedoch nur schwer bis gar nicht möglich. Wie bereits erwähnt nutzte GPT-3, der Vor-Vorgänger des aktuellen GPT-4 ca. 175 Milliarden Parameter zur Verarbeitung von Anfragen.

Bis zur vollständigen Automatisierung von komplexeren Beschaffungsgegenständen im Sinne von automatisierten Prozessschritten, welche keiner menschlichen Überprüfung mehr bedürfen, ist es noch ein weiter Weg. Die Nutzung von KI in Vergabeverfahren muss transparent und nachvollziehbar sein – dies ist sie nach dem aktuellen Stand der Technik nicht.

Darüber hinaus können sich bei Vergaben auch bieterseitig Problemfelder auftun, welche im Blick behalten werden sollten:

Probleme und Konsequenzen bei Bieterseitiger KI-Nutzung im Vergabeverfahren

Bieterseitige Probleme und Konsequenzen im Vergabeverfahren – wenn Bieter KI zur Beantwortung von Vergabeverfahren nutzen, ähneln denen auf Seite der Vergabestelle:

1. Kopieren von Prompts in Enddokumente:

Problem: Wenn KI-generierte Prompts oder Anweisungen unabsichtlich in die finalen Dokumente kopiert werden.

Konsequenzen: Dies kann die Professionalität und Glaubwürdigkeit der Bieter untergraben und zu Missverständnissen führen.

2. Unüberprüfte Halluzinationen:

Problem: KI-Modelle können plausible, aber falsche Informationen generieren.

Konsequenzen: Solche Fehler können zu erheblichen Problemen führen, insbesondere wenn sie rechtliche oder technische Angaben betreffen. Hier sind Verfahrensausschlüsse oder unbeabsichtigte, aber äußerst kostspielige, Leistungspflichten denkbar.

3. Unpassende Sprachform:

Problem: KI-generierte Texte können eine unpassende Sprachform haben, wenn die Anweisungen nicht klar genug sind.

Konsequenzen: Dies kann die Verständlichkeit und Akzeptanz der Dokumente beeinträchtigen und möglicherweise zu rechtlichen Problemen führen.

Fazit

Bis zu einem flächendeckenden, produktiven Einsatz von KI in Vergabeverfahren ist es noch ein weiter Weg.

Die Erfahrungen mit aktuell typischen Fehlerquellen bei der Anwendung von KI verdeutlichen die Notwendigkeit einer sorgfältigen und durchdachten Implementierung. Durch die Sicherstellung hoher Datenqualität, kontextuelle Anpassungen, die Integration menschlicher Expertise und die Förderung von Transparenz können Vergabestellen Vorteile der KI auf Dauer nutzen und gleichzeitig Risiken minimieren.

Die Wahl zwischen Public KIs und Private KIs stellt sich nach dem aktuellen Stand der Technik und nach Auffassung des Autors nicht: Nach aktuellem Stand der Technik, aufgrund der Tatsache, dass personenbezogene Daten, sowie etwaige Geschäftsgeheimnisse verarbeitet werden und dass ein Geheimwettbewerb stattfindet, ist die Nutzung einer Public-KI ausgeschlossen.

Diese aufgezeigten Wegweiser dienen als Leitlinien für eine zukünftig erfolgreiche und nachhaltige Nutzung von KI in öffentlichen Vergabeverfahren.

Über Sebastian Hürthen

Sebastian Hürthen hält einen Master in Business Administration (MBA) und verfügt über mehr als 20 Jahre Erfahrung in der IT- und Telekommunikationsbranche, davon über 10 Jahre als Vergabemanager und in der Leitung großer internationaler Vorhaben. Für die WeCon Beratungsgesellschaft mbH begleitet er öffentliche und private Auftraggeber bei der Konzeption und Durchführung von Beschaffungsvorhaben und IT-Projekten.

• Alle Beiträge