Künstliche Intelligenz im Schweizer Finanzmarkt (2023)

Umfragen zeigen, dass die meisten Institute mit KI noch experimentieren, während es in einzelnen Unternehmen bereits fortgeschrittene Anwendungen gibt, die entsprechende Risikomanagement-Prozesse benötigen. Seit der Verfügbarkeit von Chatbots wie ChatGPT ist das Interesse an KI-Lösungen nochmals stark angestiegen. Es ist zu erwarten, dass KI auch im Finanzmarkt diverse Veränderungen mit sich bringen wird.

Die FINMA sieht besondere Herausforderungen beim Einsatz künstlicher Intelligenz in den nachfolgenden vier Bereichen und erwartet von der Finanzindustrie, dass die Risiken entsprechend behandelt werden.

Governance und Verantwortlichkeit: Entscheide können zunehmend auf Ergebnissen von KI-Anwendungen basieren oder gar von KI-Anwendungen autonom ausgeführt werden. Zusammen mit einer erschwerten Erklärbarkeit der Ergebnisse von KI-Anwendungen macht dies die Kontrolle und Verantwortungszuweisung über die Handlungen von KI-Anwendungen komplexer. Es steigt das Risiko, dass Fehler unbemerkt bleiben und die Verantwortlichkeit unklar wird, insbesondere bei komplexen, unternehmensweiten Prozessen und mangelndem Know-how. Beispielsweise gibt die KI-Anwendung ChatGPT derart überzeugende Antworten basierend auf der höchsten Wahrscheinlichkeit, dass Nutzende schwer abschätzen können, ob die Antworten auch faktisch korrekt sind.

Es müssen klare Rollen und Verantwortlichkeiten sowie Risikomanagementprozesse definiert und implementiert werden. Die Verantwortung für Entscheidungen kann nicht an KI oder Drittparteien delegiert werden. Alle Beteiligten müssen über genügend Know-how im Bereich KI verfügen.

Robustheit und Zuverlässigkeit: Der Lernprozess von KI-Anwendungen basiert auf grossen Datenmengen. Dies birgt unter anderem Risiken, die sich aus einer schlechten Datenqualität (etwa nicht repräsentativ) ergeben. Ausserdem optimieren sich KI-Anwendungen automatisch, wobei eine fehlerhafte Weiterentwicklung des Modells (sogenannter Drift) resultieren kann. So hat beispielsweise gemäss «Harvard Business Review» die Mehrheit der KI-Algorithmen zur Prognose von Covid-19-Erkrankungen versagt. Diese Anwendungen waren nicht hinreichend zuverlässig, um autonom eingesetzt zu werden. Schliesslich steigen bei vermehrter Nutzung von KI-Anwendungen und damit zusammenhängenden Auslagerungen und Cloud-Nutzungen auch die Risiken im Bereich der IT-Sicherheit.

Bei der Entwicklung, der Anpassung und in der Anwendung von KI ist sicherzustellen, dass die Ergebnisse hinreichend genau, robust und zuverlässig sind. Dabei sind sowohl die Daten als auch die Modelle und die Resultate kritisch zu hinterfragen.

Transparenz und Erklärbarkeit: In KI-Anwendungen kann aufgrund der Vielzahl an Parametern und komplexen Modellen oftmals der Einfluss einzelner Parameter auf das Ergebnis nicht mehr nachvollzogen werden. Ohne Verständnis, wie die Ergebnisse zustande kommen, besteht folglich das Risiko, dass Entscheidungen basierend auf KI-Anwendungen nicht erklärbar, nachvollziehbar oder überprüfbar sind. Damit werden Kontrollen durch das anwendende Institut sowie durch die Prüfgesellschaften oder Behörden erschwert oder verunmöglicht. Zudem können Kundinnen und Kunden ohne Hinweis auf den Einsatz von KI die Risiken nicht vollständig einschätzen. Bei Versicherungstarifen könnte der Einsatz von KI beispielsweise dazu führen, dass der Tarif nicht nachvollziehbar ist. So könnte er den Kundinnen und Kunden schliesslich auch nicht transparent erklärt werden.

Die Erklärbarkeit der Resultate einer Anwendung sowie die Transparenz über deren Einsatz sind je nach Empfänger, Relevanz und Prozessintegration sicherzustellen.

Gleichbehandlung: Viele KI-Anwendungen nutzen Daten über Personen, um damit individuelle Risiken abzuschätzen (etwa Tarifierung, Kreditvergabe) oder kundenspezifische Dienstleistungen zu entwickeln. Stehen Daten zu unterschiedlichen Personengruppen nicht in ausreichendem Masse zur Verfügung, können sich Verzerrungen oder falsche Ergebnisse für Personengruppen ergeben. Werden basierend auf diesen falschen Ergebnissen Produkte und Dienstleistungen angeboten, kann folglich eine unbeabsichtigte, nicht begründbare Ungleichbehandlung entstehen. Neben Rechtsrisiken sind mit einer Ungleichbehandlung auch Reputationsrisiken verbunden.

Nicht begründbare Ungleichbehandlung ist zu vermeiden.

Die FINMA hat ihre Erwartungen in Bezug auf KI-Anwendungen mit der Finanzindustrie, den nationalen und internationalen Behörden und Organisationen sowie der Wissenschaft diskutiert und weiterentwickelt.

Die FINMA wird den Einsatz von KI bei den Beaufsichtigten prüfen. Sie wird ausserdem die Entwicklungen beim Einsatz künstlicher Intelligenz in der Finanzindustrie weiterhin eng beobachten, mit relevanten Stakeholdern im Austausch bleiben und die internationalen Entwicklungen verfolgen.

(Aus dem Risikomonitor 2023)