Transformation der Datenwissenschaft

Künstliche Intelligenz hat in den letzten Jahren unseren kollektiven Gedächtnisraum besetzt. Das Aufkommen von ChatGPT hat jedoch die bereits laufende digitale Transformation der Finanzdienstleistungsbranche beschleunigt. Unternehmen sind zunehmend in der Lage, Data Science mit Hilfe von Citizen Data Science-Tools direkt in ihr tägliches Leben zu integrieren. Angesichts der explosionsartigen Zunahme des Umfangs, der Vielfalt und der Komplexität der Modelle ist es notwendig, die Organisation der Datenwissenschaft neu zu überdenken, wobei ethische Bedenken und der Datenschutz gebührend berücksichtigt werden sollten. Im Folgenden teilen wir unsere Gedanken zu diesem explosionsartigen Wachstum der Datenwissenschaft, zu den Auswirkungen auf Modellrisiken und IT-Gruppen, zum richtigen Rahmen für eine Diskussion über ein „Betriebsmodell für die Datenwissenschaft“ und dazu, wie wir zur Bewältigung dieser Herausforderungen beitragen können.

Was kommt auf uns zu?

Massives Wachstum

• Als Privatpersonen und Privatkunden sind wir von KI umgeben, sei es im Kundenservice, in sozialen Netzwerken oder neuerdings auch in ChatGPT. Die B2B-Welt der Finanzdienstleistungen, insbesondere in den nicht kundenorientierten Funktionen, liegt bei der Einführung von KI deutlich hinter anderen Sektoren zurück.
• Tatsächlich prognostiziert Valuates, dass der globale Markt für künstliche Intelligenz von 2021 bis 2030 mit einer CAGR von 38,0 % wachsen wird.
• Dieses Wachstum wird zum Teil durch die beeindruckende wachsende Zahl von Data Scientists getragen – das United States Bureau of Labor Statistics prognostiziert für diesen Beruf ein jährliches Wachstum von 36 % bis 2031 gegenüber 0,5 % im Durchschnitt für alle Berufe -.

Bürgerliche Entwickler & die Explosion von Anwendungsfällen

• Die größte Triebkraft ist jedoch das Aufkommen von Techniken und Tools, die Citizen Developers in Geschäfts- und Betriebsfunktionen ermöglichen.
• Bürgerentwickler können KI-Modelle wie MS Excel-Funktionen verwenden, wobei sie nur die Eingaben und Ausgaben der Modelle kennen, aber nicht unbedingt das „Innenleben“ der Maschine.
• Man könnte die bevorstehende Entwicklung damit vergleichen, wie die heutigen Smartphones eine bessere Leistung erzielen als die ersten Computerräume, die es vor 50 bis 60 Jahren gab. Nur, dass dieser KI-Sprung viel, viel schneller kommt.
• Die daraus resultierenden Innovationen dürften überwältigend sein, da der Fokus der „Citizen“-Entwickler auf den Anwendungsfällen und nicht auf den Modellen liegen wird. In wenigen Monaten wird die exponentielle Verbreitung von ChatGPT und anderen großen Sprachmodellen ein echtes Zeugnis für diesen Wandel sein.

Erhebliche Umgestaltung des Modellrisikos im Zuge dieses massiven Wachstums

Das Modell-Risikomanagement muss sich schnell von einer punktuellen Aktivität zu einer kontinuierlichen Aktivität entwickeln, um neue Risiken, Bedrohungen, ethische und Nachhaltigkeitsfragen zu verstehen und zu bewältigen.

Kontinuierliche Modellvalidierung

• Die Gestaltung der Modellvalidierungsprozesse wurde stark von den US-amerikanischen Kapitalplanungsvorschriften[1] beeinflusst, die eine jährliche Überprüfung aller bestehenden Finanzmodelle und neuer Modelle während des gesamten Zyklus vorsehen.
• Das Wesen von KI-Modellen bringt es mit sich, dass sich Variablen und „Entscheidungen“ sehr schnell ändern, was eine tiefgreifende Veränderung der Modellvalidierungsprozesse mit einem Wechsel zu einem „kontinuierlichen“ Modellvalidierungsprozess erfordert.
• Die starke Zunahme von KI-Modellen, die bisher dank des starken Beitrags der bürgerlichen Entwickler zu erwarten ist, erfordert auch eine viel höhere Kapazität.
• Erklärbarkeit und Interpretierbarkeit
• Wie von verschiedenen Regulierungsbehörden und Nutzern gefordert, müssen die Ergebnisse erklärbar und interpretierbar sein, um eine „Black Box“ zu vermeiden: Nutzer und Regulierungsbehörden müssen in der Lage sein, den Entscheidungsprozess der Modelle und die Ergebnisse zu verstehen, aber auch gültige Schlussfolgerungen aus den Modellergebnissen zu ziehen.

Nebeneffekte der Modellierung: Ethik und Datenschutz

• Viele bekannte Beispiele für ethische Probleme im Einzelhandel wurden im Zusammenhang mit der Verzerrung von Algorithmen in sozialen Medien öffentlich gemacht. Ähnliche Unzulänglichkeiten treten bei B2B-Modellen ohne angemessene Richtlinien und Grenzen auf.
• Der Umgang mit privaten Daten in der Modellierungswertschöpfungskette ist sowohl komplex als auch herausfordernd, da GDPR, CCPA und vergleichbare Vorschriften in Bezug auf die Rückverfolgbarkeit und die Nutzungsanforderungen mittlerweile bekannt sind.

Nachhaltigkeit

• Schließlich müssen die Nachhaltigkeitsziele von Unternehmen sehr früh in computerintensive Aufgaben einbezogen werden, und nicht erst im Nachhinein.

Ineffizienzen und Skalierungskosten der bestehenden IT

Kosten der alten Architektur

• Eine einzigartige Architektur ist eine IT-Phantasie, die oft mit den Modellierungsanforderungen und den Zeitvorgaben der Aufsichtsbehörden kollidiert. Die meisten Institute haben (oder hatten) keine andere Möglichkeit, als Quant-Teams mit unterschiedlichen Modellierungstools und -umgebungen arbeiten zu lassen, was zu erheblichen Redundanzen bei der Datenextraktion führt.
• Dies ist eine typische Stressquelle sowohl für die IT- als auch für die Compliance-Abteilungen, da die Vervielfachung der End-User-Computing (EUC)-Tools und die Probleme mit der Datenqualität zu kostspieligen Kontrollen und potenziell noch kostspieligeren aufsichtsrechtlichen Abhilfemaßnahmen führen.

Skalierungskosten

• Cloud Computing hat zwar viele Analysen ermöglicht, die früher undenkbar waren, aber die Kosten für die Datenverarbeitung können beträchtlich werden, weshalb die Cloud-Ressourcen nur bei Bedarf genutzt, nach Prioritäten geordnet und dynamisch zugewiesen werden müssen.

Fragmentiertes Betriebsmodell und suboptimale Governance

Das Management der Data Science „Funktion“, zusammen mit ihrer Governance und ihren eigenen unterstützenden Unterfunktionen, ist aufgrund ihrer Allgegenwärtigkeit bereits komplex, wird aber mit der prognostizierten Zunahme von KI-Modellen noch akuter werden

Organisatorische Fragmentierung

• Um auf Geschäftsanforderungen und -entwicklungen schnell und gezielt reagieren zu können, müssen Quantitative Teams auf ihre Geschäftsbereiche ausgerichtet sein, anstatt in zentralen Teams zu sitzen, was in der Regel nur in der „Start-up“-Phase relevant ist.
• Darüber hinaus gibt es viele Gäste auf der Party, die über die quantitativen Teams hinausgehen: IT, Daten, Geschäft und Risiko & Compliance. Dies führt zu einem Mangel an Eigenverantwortung und überlässt es dem guten Willen dieser Abteilungen, effizient zusammenzuarbeiten.
• Dies hat in der Bankenbranche häufig zu Problemen und schließlich zu MRAs innerhalb der CCAR-Prozesse geführt.

Sich entwickelnde Art und Umfang

• Die Integration neuer Quant-Teams, die sich auf KI konzentrieren und oft unterschiedliche Unternehmenskulturen haben, erhöht die bestehende Komplexität.
• Die starke Zunahme von Modellen und Anwendungsfällen macht die bestehenden Probleme natürlich viel größer.

Was sind also die Lösungen? Welcher Ansatz?

Um eine Skalierung des Geschäfts zu ermöglichen und gleichzeitig ein so vielschichtiges Problem anzugehen – vom Modell-Risikomanagement bis zum Betriebsmodell und den IT-Kosten, über alle Geschäftsbereiche und die meisten Funktionen hinweg – ist es in der Regel einfacher, die Transformation auf einen gemeinsamen Nenner zu bringen.

Wir sind der Meinung, dass die IT-Plattform in der Regel diese Rolle spielen kann, solange sie umfassend genug ist und gleichzeitig substanzielle Fortschritte in jeder Transformationsphase ermöglicht, vorzugsweise in einer agilen Art und Weise, die auch die Nicht-IT-Ströme unterstützt.

Das Aufkommen von ML Ops-Plattformen ermöglicht ein End-to-End-Finanz- und/oder Modellmanagement

• Einfach ausgedrückt, sind MLOps-Plattformen für die Modellentwicklung das, was DevOps für die IT-Anwendungsentwicklung ist: Sie ermöglichen Zusammenarbeit, schnelle Entwicklung, IT-Kontrolle und Kostenmanagement.
• Im Falle des Modellmanagements ermöglichen MLOps-Plattformen den Quant-Teams, den IT-Teams, aber auch den Modell-Risikomanagern die Zusammenarbeit auf einer einzigen Plattform, die es den Modellentwicklern ermöglicht, eine Vielzahl von Modellierungstools mit einer standardisierten Infrastrukturebene einschließlich elastischer Rechenleistung und einheitlichem Datenzugriff zu nutzen, während die Management-Teams die Rechenanforderungen einfach priorisieren können.
• Datenqualität

Ein einheitliches, aber föderiertes Data Science Operating Model (DSOM), das sowohl Finanz-/Risikomodelle als auch KI-Modelle abdeckt, unabhängig von der Geschäftsgruppe des Endanwenders

• Sehr große Finanzinstitute haben häufig End-to-End-Modellmanagement-Funktionen für Finanz- und Risikomanagementmodelle entwickelt, sei es auf Veranlassung der Aufsichtsbehörden für die Verkaufsseite oder aufgrund von Geschäftsanforderungen für die Kaufseite.
• Die Ausweitung und Standardisierung auf KI-Modelle ist nicht so offensichtlich, da viele KI-Initiativen von verschiedenen Geschäftsgruppen, z. B. Vertrieb und Marketing, vorangetrieben wurden.
• Aus den oben genannten Gründen sowie aufgrund zunehmender regulatorischer Anforderungen (siehe unten) müssen Finanzinstitute je nach Reifegrad zu einem ganzheitlichen, aber föderierten DSOM übergehen und/oder Fortschritte machen.
• Dieser Übergang ist für kleine und mittelgroße Institute nicht nur möglich, sondern auch notwendig, da KI-Modelle allgegenwärtig sind und generative Modelle in jüngster Zeit sowohl im Privatkundengeschäft als auch in der institutionellen Welt in beeindruckender Weise auftauchen.

Modell-Risikomanagement

Im Folgenden werden einige potenzielle Entwicklungen bei den Prozessen und Techniken des Modellrisikomanagements beschrieben.

• Implementierung des integrierten, föderierten Data Science“-Betriebsmodells in eine gemeinsame MLOps-Plattform, die es Modellvalidierern und Risikomanagern ermöglicht, von Anfang an einbezogen zu werden und die Modellierungsannahmen und die Datenreihen viel schneller zu verstehen, mit Rückverfolgbarkeit in jede Modellversion.
• Aufbau und Nutzung eines „Selbstbedienungs“-Modells auf der Grundlage von Modell-Tiering einschließlich KI-Modellen, bei dem Modellentwickler, Quants und Bürger frühzeitig und intensiv zur Modellvalidierung beitragen.
• Einsatz neuerer Techniken und Tests, z. B. Shapley-Werte, die zur Erklärbarkeit von KI/ML-Modellen beitragen
• Sicherstellung einer ordnungsgemäßen Umsetzung von Wissensmanagementprozessen innerhalb der MLOps-Plattform, von Modellkomponenten bis hin zu Datenreihen, Modellleistungsmetriken und IT-Prozessen
• Definition einer Reihe von Grenzen für das Modellrisikomanagement innerhalb eines integrierten Modellrisikorahmens, der für Quants und Citizen-Entwickler, Geschäftsanwender, IT-Partner und Wirtschaftsprüfer leicht verständlich ist.

Ob klein oder groß, jedes Finanzinstitut ist nun gezwungen, KI einzuführen oder den Übergang zu beschleunigen, sei es auf Druck der Konkurrenz oder der Kunden. Der Übergang zu einem umfassenden Data-Science-Betriebsmodell, das sowohl ältere Finanzmodelle als auch KI-Modelle umfasst und durch eine MLOps-Plattform ermöglicht wird, ist von entscheidender Bedeutung, um schnell und effizient zu skalieren und gleichzeitig das Wachstum zu kontrollieren und Modellrisiken angemessen zu steuern.

[1] SR 11-07, SR 15-18 and SR 15-19 further modified by the Tailoring rules in 2021. In addition, OCC introduced new guidance on Model Risk Management including AI models through its Comptroller’s handbook. In the UK, the Bank of England published the 6/22 Consultative Paper on Model Risk Management that also covers AI models.

[2] SR 11-07, SR 15-18 and SR 15-19 further modified by the Tailoring rules in 2021. In addition, OCC introduced new guidance on Model Risk Management including AI models through its Comptroller’s handbook. In the UK, the Bank of England published the 6/22 Consultative Paper on Model Risk Management that also covers AI models.

[3] MRA: Matter Requiring Attention, first level of regulatory compulsory action after a supervisory review