Im Rahmen der Säule 2 der MISSION KI hat das DFKI als Projektpartner wichtige Grundlagen für den langfristig sicheren und vertrauenswürdigen Einsatz von Künstlicher Intelligenz (KI) in Hochrisiko-Bereichen wie der Medizin erforscht.
Für den sicheren Einsatz von KI in Hochrisiko-Bereichen wie der Medizin ist Vertrauen unabdingbar. Die Erfüllung regulatorischer Vorgaben wie des EU AI Acts bildet dabei das Fundament. Ein langfristiger, sicherer Einsatz vertrauenswürdiger KI-Systeme erfordert allerdings technisch exzellente Lösungen über alle Phasen des KI-Lebenszyklus hinweg – von der Entwicklung bis zur Prüfung.
Die ständig wachsende Komplexität moderner KI-Systeme und die Vielzahl potenzieller Einsatzszenarien erschweren jedoch die skalierbare und eindeutige Umsetzung und Prüfung dieser Anforderungen erheblich. Der technisch fundierte Nachweis verschiedener Dimensionen der Vertrauenswürdigkeit ist komplex: Bewertungen sind kontextabhängig, Schwellwerte müssen sinnvoll definiert werden und unvorhersehbare Nutzungsarten von KI in der echten Welt führen zu einem hohen Aufwand bei der Prüfung.
Ergänzend zum MISSION KI Qualitätsstandard hat das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) im Rahmen der Säule 2 diverse Beiträge geleistet, um den Weg zu vertrauenswürdiger medizinischer KI zu bereiten und deren Prüfung zu vereinfachen. Das Projekt hat konzeptionelle Grundlagen für zwei zentrale Plattformen zur Herstellung und Überprüfung der Vertrauenswürdigkeit von KI-Systemen erarbeitet – die Qualitätsplattform und die Testplattform.
Beide Plattformen ergänzen den Qualitätsstandard hinsichtlich der Unterstützung von Hochrisikoanwendungen und der teilweisen Automatisierung der Risikobewertung und des KI-Debugging. Die Entwicklung und Erprobung erfolgt anhand realer Use Cases aus medizinischen Bereichen wie der Dermatologie, Onkologie und Psychotherapie und adressiert die praktischen Herausforderungen beim Aufbau vertrauenswürdiger KI-Systeme in hochregulierten Umgebungen.
