Zum Inhalt springen
aiconsulting.capital

Unternehmensprüfung

Due Diligence bei KI-Anbietern: Was Finanzinstitute über die Demo hinaus prüfen müssen

Was Finanzinstitute bei KI-Anbietern über die Demo hinaus prüfen: DORA-Vertragspflichten, Modellkette, Belastungstests, Ausstiegsstrategie und Nachweise.

Von Marta Breheny · Redakteurin & HauptautorinAktualisiert: 2. August 20269 Min. Lesezeit· AI Consulting Capital
Explosionsdarstellung: oben ein Demo-Bildschirm, darunter ein Vertragsblatt, eine Ebene verbundener Knoten und eine Grundplatte — die Schichten, die eine Demo nie zeigt
Explosionsdarstellung: oben ein Demo-Bildschirm, darunter ein Vertragsblatt, eine Ebene verbundener Knoten und eine Grundplatte — die Schichten, die eine Demo nie zeigt

Eine Produktvorführung findet in der einzigen Umgebung statt, die der Anbieter vollständig beherrscht: seine Daten, sein Zeitfenster, seine ausgewählten Fälle und im Zweifel ein Mitarbeiter, der im Hintergrund nachsteuert. Alles, was danach kommt, läuft in Ihrer Umgebung — unter Ihrer Registerpflicht, in Ihrem Auslagerungsmanagement und in Ihrer Verantwortung gegenüber der Aufsicht.

Damit verschiebt sich die Prüffrage für Finanzinstitute in der EU: weg von „Kann das Produkt das?“ hin zu „Können wir belegen, was es tut — und kommen wir im Ernstfall wieder heraus?“ Beides entscheidet sich nicht in der Demo.

Die kurze Antwort

Über die Demo hinaus prüfen Finanzinstitute vier Punkte, die eine Vorführung strukturell nicht zeigen kann: die Modellkette (welche Basismodelle in welcher Version, welche Unterauftragnehmer, welche Verarbeitungsstandorte), die Leistung auf den eigenen Daten, gemessen an einem zurückgehaltenen Testdatensatz (Holdout), den der Anbieter vorher nie gesehen hat, die vertragliche Substanz nach Artikel 30 DORA einschließlich der Zugangs-, Inspektions-, Audit- und Ausstiegsrechte sowie die Belastbarkeit der vorgelegten Nachweise.

Der wirksamste Einzeltest liegt dabei nicht in der Technik, sondern in den Unterlagen: Verlangen Sie zu jeder Leistungsaussage die Messmethode, den zugrunde liegenden Datensatz und das Datum der Messung. An dieser Frage scheitert KI-Washing regelmäßig; ein funktionierendes Produkt scheitert daran nicht.

Warum die Demo systematisch das Falsche zeigt

Erstens zeigt eine Demo ausgewählte Fälle. Genau die Eingaben, bei denen ein System unsicher wird, abbricht oder halluziniert, führt niemand freiwillig vor — und genau sie beschäftigen später Ihr Beschwerdemanagement und Ihre Interne Revision.

Zweitens verwischt eine Demo den Unterschied zwischen Produkt und Modell. Viele Anbieter liefern im Kern eine Oberfläche mit Orchestrierungslogik rund um fremde Basismodelle. Das ist legitim und oft sinnvoll — problematisch wird es erst, wenn die eigene Wertschöpfungstiefe im Vertriebsgespräch anders dargestellt wird als in der technischen Dokumentation.

Drittens ist eine Demo ein Standbild. KI-Systeme verändern sich durch Modellwechsel, angepasste Systemanweisungen und neue Filter, häufig ohne sichtbare Änderung an der Oberfläche. Ohne vertraglich geregelte Änderungsanzeige prüfen Sie einen Zustand, der zum Produktivstart längst überholt ist.

Schritt 1: Einordnen, bevor Sie bewerten

Bevor Sie Anbieter miteinander vergleichen, muss die aufsichtsrechtliche Einordnung stehen. Sie bestimmt, welche Prüftiefe Pflicht ist und welche Vertragsklauseln nicht verhandelbar sind.

DORA (Verordnung (EU) 2022/2554, anwendbar seit dem 17. Januar 2025). Unterstützt die KI-Dienstleistung eine kritische oder wichtige Funktion? Lautet die Antwort Ja, greifen die verschärften Vertragspflichten aus Artikel 30 Absatz 3, die Vorabbewertung des Konzentrationsrisikos nach Artikel 29 und die Pflicht zu dokumentierten Ausstiegsstrategien nach Artikel 28 Absatz 8. Unabhängig davon gehört jede vertragliche Vereinbarung über die Nutzung von IKT-Dienstleistungen in das Informationsregister nach Artikel 28 — mit LEI, Unterauftragsketten und Verarbeitungsstandorten. Die Standardvorlagen dafür sind als Durchführungsverordnung im Amtsblatt veröffentlicht; ziehen Sie stets die aktuelle Fassung über EUR-Lex heran.

KI-Verordnung (Verordnung (EU) 2024/1689). Klären Sie zuerst Ihre eigene Rolle: Wer ein Hochrisiko-System unter eigenem Namen oder eigener Marke in Verkehr bringt oder es wesentlich verändert, wird nach Artikel 25 selbst zum Anbieter — mit sämtlichen Anbieterpflichten. Die Bonitätsbewertung natürlicher Personen (Anhang III Nummer 5 Buchstabe b, ausgenommen die Aufdeckung von Finanzbetrug) sowie Risikobewertung und Preisbildung in der Lebens- und Krankenversicherung (Buchstabe c) sind ausdrücklich als hochriskant eingestuft. Für genau diese beiden Fälle verlangt Artikel 27 zusätzlich eine Grundrechte-Folgenabschätzung durch den Betreiber. Der ursprüngliche Fahrplan wurde durch den im Juni 2026 verabschiedeten Digital Omnibus verschoben: Die Anhang-III-Vorschriften greifen ab dem 2. Dezember 2027, KI in nach Anhang I regulierten Produkten ab dem 2. August 2028. Prüfen Sie den aktuellen Stand am veröffentlichten Verordnungstext und nicht an Presseberichten.

DSGVO. Bei Scoring-Anwendungen ist Artikel 22 der Prüfstein. Der Europäische Gerichtshof hat in der Rechtssache C-634/21 (Urteil vom 7. Dezember 2023) entschieden, dass bereits die Bildung eines Wahrscheinlichkeitswerts eine automatisierte Entscheidung im Einzelfall sein kann, wenn Dritte maßgeblich darauf abstellen. Hinzu kommen der Auftragsverarbeitungsvertrag nach Artikel 28 und die Datenschutz-Folgenabschätzung nach Artikel 35.

Nationale Ebene. In Deutschland hat die BaFin ihre IT-Rundschreiben BAIT, VAIT, KAIT und ZAIT mit dem Geltungsbeginn von DORA aufgehoben und die MaRisk entsprechend angepasst; den jeweils aktuellen Stand entnehmen Sie bafin.de. In Österreich gilt DORA ebenso unmittelbar, zuständige Aufsicht ist die FMA. In der Schweiz gilt DORA dagegen nicht — dort sind die FINMA-Rundschreiben zum Outsourcing sowie zu operationellen Risiken und Resilienz maßgeblich, ergänzt um die FINMA-Aufsichtsmitteilung zu Governance und Risikomanagement beim Einsatz von künstlicher Intelligenz.

Schritt 2: Die Modellkette offenlegen lassen

Fordern Sie ein technisches Datenblatt an — schriftlich, versioniert und als Vertragsanlage. Es muss folgende Punkte benennen:

  • Eingesetzte Basismodelle mit Hersteller, Modellname und Version, getrennt nach Funktion (Generierung, Embedding, Klassifikation, Reranking).
  • Verarbeitungs- und Speicherorte je Komponente, einschließlich der Protokolldaten und der Sicherungskopien.
  • Sämtliche Unterauftragnehmer bis hinunter zum Rechenzentrumsbetreiber, mit der Angabe, welche davon kritische oder wichtige Funktionen unterstützen.
  • Ob Ihre Eingaben zum Training verwendet werden. Der Ausschluss gehört in den Vertrag, nicht in eine Produktbroschüre.
  • Aufbewahrungsfristen für Eingaben, Ausgaben und Protokolle sowie die Frage, ob der Anbieter Ihnen die Protokolle herausgibt, die Sie für Ihre eigene Nachweispflicht benötigen (vgl. Artikel 12 und Artikel 26 Absatz 6 KI-Verordnung).

Wer auf einem fremden Basismodell aufsetzt, ist nachgelagerter Anbieter und erhält vom Modellanbieter Informationen nach Artikel 53 in Verbindung mit Anhang XII der KI-Verordnung. Die Frage „Welche Unterlagen hat Ihnen Ihr Modellanbieter bereitgestellt?“ trennt echte Integrationsarbeit sehr schnell von Marketing.

Schritt 3: Belastungstests, an denen eine Vorführung scheitert

Eigener Holdout-Datensatz. Stellen Sie einen Testkorpus aus Ihren eigenen Fällen zusammen, halten Sie einen Teil davon zurück und geben Sie ihn erst unmittelbar vor der Auswertung heraus. Öffentliche Benchmarks taugen für Anbietervergleiche kaum, weil ihre Inhalte in den Trainingsdaten enthalten sein können. Bewerten Sie zusätzlich die Fälle, die Ihre heutigen Prozesse falsch entscheiden — dort liegt der eigentliche Nutzen, nicht bei den einfachen Vorgängen.

Latenzprofil und Tagesgang. Zeichnen Sie im Pilotbetrieb jede Antwortzeit mit Zeitstempel auf und werten Sie die Verteilung über 24 Stunden und über sieben Tage aus. Reine Modellinferenz erzeugt eine vergleichsweise enge, tageszeitunabhängige Verteilung. Häufen sich die Antworten dagegen in den Arbeitszeiten einer bestimmten Zeitzone und ist die Verteilung deutlich rechtsschief, arbeitet mit hoher Wahrscheinlichkeit ein Mensch mit. Das ist für sich genommen kein Ausschlusskriterium — verdeckte manuelle Nachbearbeitung ist jedoch ein Auslagerungs-, Datenschutz- und Skalierungsrisiko, das offengelegt und vertraglich geregelt sein muss.

Grenz- und Fehlerverhalten. Speisen Sie Eingaben ein, die außerhalb der erwarteten Verteilung liegen: unvollständige Unterlagen, fremdsprachige Dokumente, widersprüchliche Angaben, bewusst manipulative Texte (Prompt Injection in einem hochgeladenen PDF). Prüfen Sie, ob das System seine Unsicherheit ausweist und einen Vorgang auch ablehnen kann. Ein Modell ohne belastbaren Ablehnungsmechanismus lässt sich in der Kreditvergabe oder in der Geldwäscheprävention kaum steuern.

Reproduzierbarkeit. Dieselbe Eingabe zweimal, im Abstand mehrerer Tage. Weicht das Ergebnis ab, muss der Anbieter die Bandbreite erklären und dokumentieren können — andernfalls können Sie eine Entscheidung weder gegenüber dem Kunden noch gegenüber der Aufsicht begründen.

Schritt 4: Vertrag, Audit und Ausstieg

Artikel 30 DORA gibt den Mindestinhalt vor: Leistungsbeschreibung, Verarbeitungsstandorte, Datenschutz- und Sicherheitsbestimmungen, Zugangs- und Wiederherstellungsrechte, Beschreibungen der Dienstleistungsgüte, Unterstützung bei IKT-Vorfällen und Kündigungsrechte. Bei kritischen oder wichtigen Funktionen kommen unter anderem uneingeschränkte Zugangs-, Inspektions- und Auditrechte, die Mitwirkung an bedrohungsgeleiteten Penetrationstests und dokumentierte Ausstiegspläne hinzu.

Für KI-Beschaffungen ergänzen Sie drei Klauseln, die in Standardverträgen fehlen: eine Änderungsanzeige mit Einspruchsfrist beim Wechsel des Basismodells oder bei wesentlicher Anpassung der Systemanweisungen, den Rückgriff auf eine eingefrorene Version für einen definierten Zeitraum sowie eine Freistellung von Ansprüchen Dritter wegen Rechtsverletzungen durch Modellausgaben.

Zur Weiterverlagerung: Artikel 30 Absatz 5 DORA sieht einen technischen Regulierungsstandard vor, der die Anforderungen an Unterauftragsketten bei kritischen oder wichtigen Funktionen konkretisiert. Da die Kommission den ursprünglichen Entwurf zur Überarbeitung zurückgegeben hat, sollten Sie ausschließlich die im Amtsblatt veröffentlichte Endfassung heranziehen und keine der früh kursierenden Entwurfsfassungen.

Der Ausstieg ist der Punkt, an dem sich Anbieter am deutlichsten unterscheiden. Prüfen Sie konkret: Erhalten Sie Eingaben, Ausgaben und Fine-Tuning-Artefakte in einem weiterverarbeitbaren Format zurück? Gibt es eine zweite Bezugsquelle für dieselbe Funktion? Und laufen Ihre vermeintlichen Alternativen am Ende doch alle über denselben Modellanbieter und denselben Hyperscaler? Diese letzte Frage ist die praktische Kernprüfung des Konzentrationsrisikos nach Artikel 29.

Schritt 5: Nachweise richtig einordnen

Zertifikate und Testate sind nützlich — nur belegt jedes etwas anderes, als der Vertrieb nahelegt.

Nachweis Belegt Belegt nicht So prüfen Sie
ISO/IEC 27001 Ein Managementsystem für Informationssicherheit Modellqualität und KI-Governance Geltungsbereich und Erklärung zur Anwendbarkeit anfordern: Ist das KI-Produkt erfasst oder nur der Unternehmenssitz?
ISO/IEC 42001 Ein KI-Managementsystem, also Prozesse und Rollen Genauigkeit oder Sicherheit eines konkreten Modells Zertifikatsnummer, Geltungsbereich und akkreditierte Zertifizierungsstelle abgleichen
SOC 2 Typ II Die Wirksamkeit von Kontrollen über einen Prüfzeitraum Konformität mit EU-Recht Den vollständigen Bericht verlangen, nicht das Logo — und die aufgeführten Abweichungen lesen
BSI C5 (Typ 2) Cloud-Sicherheit nach einem im DACH-Raum breit akzeptierten Kriterienkatalog KI-spezifische Risiken Testat, Prüfzeitraum und Abweichungen prüfen
BSI AIC4 KI-spezifische Kriterien für Cloud-Dienste Konformität mit der KI-Verordnung Noch wenig verbreitet, ein Fehlen ist daher kein Ausschlussgrund; liegt ein Testat vor, den Prüfbericht anfordern
EU-Konformitätserklärung nach KI-Verordnung Die Konformität genau des erklärten Hochrisiko-Systems Andere Versionen oder Zweckbestimmungen Systembezeichnung und Version mit dem Angebotenen abgleichen
Penetrationstestbericht Die Sicherheitslage zum Prüfzeitpunkt Modellrisiken wie Prompt Injection, sofern nicht im Prüfumfang Prüfumfang und Datum lesen, Nachtest vereinbaren

Warnsignale im Anbietergespräch

  • „Wir sind DORA-konform.“ DORA verpflichtet in erster Linie das Finanzunternehmen; ein Anbieter kann Sie bei der Erfüllung unterstützen, sie Ihnen aber nicht abnehmen.
  • Genauigkeitsangaben ohne Datensatz, Methode und Datum.
  • Widerstand gegen Audit- und Zugangsrechte bei einer kritischen oder wichtigen Funktion.
  • Keine verwertbaren Angaben für Ihr Informationsregister: kein LEI, keine Unterauftragskette, keine Verarbeitungsstandorte.
  • Referenzkunden, die es angeblich gibt, mit denen Sie aber nie sprechen dürfen.
  • Modellwechsel ohne Ankündigung während des laufenden Pilotbetriebs.

So verankern Sie das im Beschaffungsprozess

Definieren Sie feste Freigabestufen. Die Einordnung — kritische oder wichtige Funktion, Hochrisiko-Einstufung, Relevanz von Artikel 22 DSGVO — steht vor jedem Anbieterkontakt. Die Unterlagen kommen vor der Demo. Die Vorführung selbst zählt nur als Bedienbarkeitsprüfung. Danach folgen der Pilot auf eigenen Daten mit Holdout, die Vertrags- und Ausstiegsprüfung und erst zum Schluss Registereintrag und Freigabe.

Anbieter mit belastbarem Produkt kommen mit dieser Reihenfolge gut zurecht, weil sie die Unterlagen ohnehin vorhalten. Wer darauf drängt, die Demo möglichst früh und die Unterlagen möglichst spät zu liefern, hat Ihnen über die Substanz seines Produkts bereits genug gesagt.

Wir nennen Fakten mit Datum und Vorbehalten. Wir bezeichnen ein konkretes Unternehmen niemals als Betrug oder „AI-Washing“ als Tatsachenbehauptung — wir zeigen überprüfbare Daten und die Fragen, die ein Anleger stellen sollte.

Häufige Fragen

Gilt DORA auch für ein einfaches KI-Werkzeug ohne kritische Funktion?+

Ja, dem Grunde nach. DORA erfasst IKT-Dienstleistungen breit, und jede vertragliche Vereinbarung darüber gehört in das Informationsregister nach Artikel 28. Die verschärften Anforderungen — uneingeschränkte Auditrechte, Vorabbewertung des Konzentrationsrisikos, dokumentierte Ausstiegspläne — greifen erst, wenn die Dienstleistung eine kritische oder wichtige Funktion unterstützt. Die Einstufung müssen Sie deshalb dokumentiert und begründet vornehmen, nicht implizit.

Reicht ein ISO/IEC 42001-Zertifikat als Nachweis für einen KI-Anbieter?+

Nein. ISO/IEC 42001 bescheinigt ein Managementsystem für künstliche Intelligenz, also Prozesse, Rollen und Kontrollen — keine Eigenschaft eines konkreten Modells. Lassen Sie sich Zertifikatsnummer, Geltungsbereich und die akkreditierte Zertifizierungsstelle geben und gleichen Sie ab, ob das angebotene Produkt überhaupt im Geltungsbereich liegt.

Wann wird unser Institut nach der KI-Verordnung selbst zum Anbieter?+

Nach Artikel 25 der Verordnung (EU) 2024/1689 unter anderem dann, wenn Sie ein Hochrisiko-System unter Ihrem eigenen Namen oder Ihrer Marke in Verkehr bringen, seine Zweckbestimmung ändern oder es wesentlich verändern. Dann treffen Sie die vollen Anbieterpflichten, etwa zu technischer Dokumentation und Konformitätsbewertung. Ein eigenes Frontend mit Bankmarke vor einem eingekauften Scoring-System kann diese Schwelle erreichen — klären Sie das vor Vertragsschluss, nicht danach.

Was tun wir, wenn der Anbieter uneingeschränkte Auditrechte ablehnt?+

Bei Dienstleistungen, die eine kritische oder wichtige Funktion unterstützen, sind Zugangs-, Inspektions- und Auditrechte nach Artikel 30 Absatz 3 DORA vertraglich vorgeschrieben. Eine Ablehnung ist damit kein Verhandlungspunkt, sondern ein Ausschlusskriterium. Bei nicht kritischen Funktionen können gebündelte Prüfungen oder Prüfberichte Dritter genügen — dann aber mit Anspruch auf den vollständigen Bericht, nicht nur auf eine Zusammenfassung.

Wie erkennen wir, ob hinter der angeblichen KI Menschen mitarbeiten?+

Aussagekräftig ist die zeitliche Signatur des Betriebs: Protokollieren Sie im Pilotbetrieb alle Antwortzeiten mit Zeitstempel und werten Sie sie über 24 Stunden und sieben Tage aus. Häufungen in den Arbeitszeiten einer Zeitzone, Einbrüche an Wochenenden und eine lange rechte Flanke der Verteilung deuten auf manuelle Nachbearbeitung hin. Fragen Sie ergänzend direkt nach Umfang und Standort menschlicher Prüfschritte und lassen Sie die Antwort in den Vertrag aufnehmen.

Wie prüfen wir das Konzentrationsrisiko, wenn alle Anbieter dieselben Basismodelle nutzen?+

Indem Sie die Bewertung eine Ebene tiefer legen: Nicht die Zahl der Lieferanten zählt, sondern die Zahl unabhängiger Modellanbieter und Infrastrukturbetreiber dahinter. Lassen Sie sich die Kette bis zum Rechenzentrumsbetreiber offenlegen und tragen Sie sie im Informationsregister zusammen. Die Vorabbewertung nach Artikel 29 DORA ist genau dafür gedacht — sie verlangt eine Aussage darüber, was passiert, wenn ein einzelner Punkt in dieser Kette ausfällt.

Weiterführende Artikel