Ob Sie lieber eine E-Mail senden, zum Telefon greifen oder das gute alte Fax nutzen. Wir freuen uns, von Ihnen zu hören.
ChatGPT für Vergabestellen? Wir testen, Sie (dürfen) lesen!
Alle sprechen über ChatGPT! Das Programm sorgt in den Medien gleichermaßen für begeisterte Rezensionen und Schreckensszenarien. Insbesondere vor den Missbrauchsrisiken im Forschungs- und Bildungsbereich wird gewarnt, aber auch Datenschützer äußern sich besorgt. Doch was ist dran an dem Hype? Und welche Möglichkeiten bieten sich für öffentliche Auftraggeber, etwa bei der Erstellung von Vergabeunterlagen? Wir haben das Programm getestet – leider mit ernüchternder Bilanz.
Was ist ChatGPT und wie funktioniert der Bot?
Nein, diesen Text hat nicht ChatGPT geschrieben, und das könnte es sehr wahrscheinlich auch nicht – aber möglicherweise in (eher ferner) Zukunft einmal ein Nachfolger. ChatGPT ist ein Softwareprogramm, das auf Fragen oder Aufgaben in einem Texteingabefeld ebenfalls in Textform antwortet. Das Nutzererlebnis gleicht einem Gespräch, da sich die Antworttexte sukzessive aufbauen. Sprachlich lesen sich die generierten Texte dabei bemerkenswert natürlich und inhaltlich prägnant. Oft arbeitet das Programm mit Aufzählungen und Zusammenfassungen. Das System erkennt dabei unsinnige oder unvollständige Fragen. Zudem hat es offenbar einen „Ethikfilter“: auf die Frage, wie ein Auftraggeber präferierte Bewerber bevorzugen kann, weist es höflich, aber bestimmt, darauf hin, dass dies unzulässig sei. Das verstärkt den Eindruck einer „intelligenten“ Fragenbeantwortung. Eine Zeichenbegrenzung gibt es auskunftsgemäß weder für die Texteingabe noch die Antworten, tatsächlich aber bleiben die Antworten meist knapp – es sei denn, der Nutzer gibt eine bestimmte Zeichenzahl vor.
Das wirft die Frage auf, ob der Bot für Vergabestellen möglicherweise zur Erstellung oder Verarbeitung vergaberechtlicher Texte einsetzbar wäre, wie etwa für Vergabevermerke oder Gutachten, als Auskunftgeber zu einer konkreten Rechtsfrage oder auch nur zum Zweck der Zusammenfassung langer und unverständlicher Texte, wie etwa EuGH-Entscheidungen?
Kann ChatGPT vergaberechtliche Fragen beantworten?
Unserem Praxistest zufolge kann ChatGPT - jedenfalls derzeit - Rechtsfragen im Bereich des Vergaberechts noch nicht zuverlässig beantworten. Die Antworten auf konkrete Fragen sind zwar inhaltlich oft in weiten Teilen richtig. Häufig finden sich dabei allerdings auch „halbrichtige“ oder sogar schlicht falsche Informationen, wobei das System auch diese falschen Informationen verblüffend überzeugend formuliert. Beispielsweise erklärt das System, eine Markterkundung finde oft nach der Veröffentlichung einer Ausschreibung statt, anstatt davor, das unterscheide sie von einem Pre-Procurement-Dialogue, der im Vorfeld erfolge. Oder das Nachprüfungsverfahren sei eine optionale Stufe der Angebotsprüfung. Die Prüfung der Auskömmlichkeit als dritte Stufe der Angebotsprüfung unterschlägt der Bot vollständig. Weist man auf den Fehler hin, entschuldigt sich das Programm sehr höflich, und versucht es mit einer alternativen Antwort, die - jedenfalls in unseren Tests – immer ebenso falsch war, nur auf andere Weise.
Das ist auch nicht weiter verwunderlich, denn der Bot bezieht seine Informationen nach eigener Auskunft nicht aus kostenpflichtigen Datenbanken oder Online-Kommentaren. Die Software nutzt vielmehr nur das, was öffentlich im Netz verfügbar ist und was als „Trainingsdatei“ (Stand September 2021) eingepflegt wurde. Problematisch ist dabei auch, dass das System nie offenlegt, woher eine bestimmte Information stammt. Das erschwert es, die Richtigkeit einer Auskunft einzuschätzen. Zitiert der Bot dann doch einmal eine konkrete öffentliche Internetseite oder Entscheidung einer Vergabekammer (mit Datum und Aktenzeichen), oder auch eine vergaberechtliche Norm, war dies jedenfalls in unserem Test eigentlich immer ein inhaltlich falsches „Blindzitat“.
Kann ChatGPT vergaberechtliche Texte erstellen?
Auch vergaberechtliche Texte kann ChatGPT nach unserem Dafürhalten derzeit noch nicht erstellen. Bittet man das System beispielsweise um die Erstellung von Bewerbungsbedingungen für eine Reinigungsausschreibung, erhält man eine Aufzählung einiger Punkte, diese bleiben aber sehr an der Oberfläche, wie beispielsweise die Empfehlung, Anforderungen an Bewerber zu regeln, oder die Bewerbungsfrist und -Unterlagen. Dafür hat bislang wohl kaum jemand eine KI benötigt. „Füttert“ man das Programm ergänzend mit konkretem Sachverhalt (in unserem Test aus einer aktuellen Auftragsbekanntmachung), erhält man auf Nachfrage zwar auch konkrete Formulierungsbeispiele für vergaberechtliche Bewerbungsbedingungen, diese bleiben aber weiter an der Oberfläche. So formuliert der Bot beispielsweise: „Bewerbungen müssen gemäß den geltenden Vergabevorschriften und -gesetzen eingereicht werden“.
Eine Hauptschwäche des Systems ist hier unseres Erachtens, dass es – anders als ein Mensch – nicht erkennt, welche inhaltliche Qualität das betreffende Dokument haben muss und welche relevanten Informationen ihm dazu noch fehlen. Es stellt keine Rückfragen. Erstaunlicherweise gibt es auch nie zu erkennen, wenn es eine Information nicht hat oder wenn ihm widersprüchliche Informationen vorliegen. Es präsentiert im Zweifel einfach irgendeine Information, die – seiner Programmierung zufolge – passen könnte, ohne auch nur die geringste Unsicherheit erkennen zu lassen.
Kann ChatGPT „vergaberechts-chinesisch“ praxisgerecht aufbereiten?
Schließlich der Verständnis-Text. Zugegeben: anhand des härtesten Beispiels, das man sich denken kann, nämlich Leitsätzen einer EuGH-Entscheidung. Um es kurz zu machen: ChatGPT hat den Inhalt der „Simonsen&Weel“-Entscheidung nicht erkannt. Damit haben sich zwar auch viele Vergabejuristen schwergetan (die Verfasserin eingeschlossen), aber dem Bot fiel noch nicht einmal auf, dass es in der Entscheidung um Rahmenvereinbarungen ging. Überdies waren die Leitsätze inhaltlich teils falsch wiedergegeben. Die Zusammenfassung war letztlich juristisch nicht brauchbar.
Fazit
Festzuhalten ist damit, dass zumindest die aktuelle Version von ChatGPT für Vergabestellen derzeit noch keine wirklich gewinnbringende Unterstützung leisten kann. Die Texte sind noch zu oberflächlich und die Fehlerquote nach unserem Dafürhalten auch deutlich zu hoch. Allerdings wäre es im Falle einer weiteren Fortentwicklung und Anbindung an kostenpflichtige Datenbanken durchaus denkbar, dass der Bot zukünftig deutlich qualitativ bessere Ergebnisse liefert. Marktbeobachtern zufolge laufen erste Pilotprojekte mit diesem Ziel bereits an. Die weitere Entwicklung bleibt abzuwarten…
