Kapitel 1: Recht

Recht

A) Durch den Einsatz von Künstlicher Intelligenz ergibt sich eine Vielzahl neuartiger Sachverhalte und rechtlicher Fragen, für die es in den bestehenden Gesetzen noch keine Regelungen gibt. Hier müssen Bund und Länder dringend handeln!

vs. 

B) Künstliche Intelligenz ist nur ein weiterer Schritt in Richtung Digitalisierung. Bund und Länder haben den rechtlichen Rahmen dafür in den letzten Jahren umfassend modernisiert und sind jetzt bestens für neuartige Anwendungen gerüstet.

Kommentare (5)

Kommentare können Sie nur abgeben, wenn Sie angemeldet sind.

Verbraucherzentrale NRW

ID: 407 18.09.2019 13:11

Künstliche Intelligenz bzw. algorithmenbasierte Entscheidungsprozesse finden sich schon heute im Alltag der Verbraucher, auch wenn noch nicht von einer Marktdurchdringung gesprochen werden kann. KI-basierte Technologien können Vorteile für Verbraucherinnen und Verbraucher bedeuten, etwa wenn sie in der medizinischen Diagnostik unterstützend eingesetzt werden oder im Bereich Mobilität autonome Fahrzeuge als Fortbewegungsmittel dienen.

Bei der rasanten Entwicklung muss aber auch bedacht werden, dass die neuen Sachverhalte neue Fragen ethischer und rechtlicher Natur aufwerfen. Insbesondere bei der Anwendung von KI in vernetzten Produkten sind zahlreiche regulatorische Lücken identifizierbar, die frühzeitig geschlossen werden sollten, um die drohenden Nachteile für Verbraucherinnen und Verbraucher abzuwenden. Kriminelle können persönliche Daten abfangen (Identitätsdiebstahl), sich in die Kommunikation der Geräte einklinken (z.B. Kinderspielzeug) oder sogar gezielt die Steuerung der Produkte übernehmen (z.B. beim autonomen Fahrzeug). Die möglichen Schäden für betroffene Nutzer sind weitreichend, neben immateriellen Schäden für Datenverlust sind auch materielle Schäden sowie Schäden an Körper und Gesundheit denkbar.

So muss beispielsweise im Hinblick auf das Haftungsregime geklärt werden, wer die Verantwortung für algorithmenbasierte Entscheidungen trägt, wenn diese Schäden beim Endverbraucher verursachen. In Deutschland findet sich eine solche Regelung lediglich im Gesetz zur Erlaubnis hoch- und vollautomatisierten Fahrens, wonach bei Softwarefehlern der Hersteller haftet. Hier bedarf es weiterer branchenspefizischer oder –übergreifender Regeln, damit keine Haftungslücken bestehen bleiben.

Konkret bedarf es eines weiterhin eines Updates im Produktsicherheitsrecht sowie im Haftungs- und Gewährleistungsrecht. Im Rahmen des Produktsicherheitsrechts etwa sollte die bereits auf EU-Ebene beschlossene Update-Pflicht in nationales Recht umgesetzt werden und Mindeststandards für vernetzte Produkte erarbeitet werden. Zudem sollte das Produkthaftungsrecht modernisiert werden, u.a. eine Erweiterung des Schadensbegriffs um immaterielle Schäden sowie eine Haftung des Herstellers auch für fehlerhafte Software (und zwar für die gesamte Lebensdauer eines vernetzten Produktes) statuiert werden. Daneben sollten Verbraucherinnen und Verbraucher auch die Möglichkeit haben, Gewährleistungsansprüche wegen IT-Sicherheitsmängeln während der gesamten Lebensdauer des Produktes geltend machen können, und zwar sowohl gegenüber dem Hersteller als auch gegenüber dem Verkäufer.

Für eine informierte Kaufentscheidung müssen Verbraucherinnen und Verbraucher wissen, wie lange sie mit Sicherheitsupdates rechnen können. Deshalb sprechen wir uns für eine Kennzeichnungspflicht bzgl. der Updatepolitik eines Unternehmens aus.

Auch im Hinblick auf das Diskriminierungspotential von KI-basierten Entscheidungen bedarf es eines regulatorischen Rahmens, der Verbraucherinnen und Verbraucher hinreichend schützt. Etwa im Bereich des Scorings muss sichergestellt sein, dass keine unzulässige Diskriminierung stattfindet und Unternehmen für die Einhaltung fairer Entscheidungen verantwortlich sind.
Eine unabhängige Aufsicht sollte die KI-basierten Entscheidungen auf ihr Diskriminierungspotential kontrollieren können oder etwa im Bereich der Telematiktarife dafür sorgen können, dass das Kollektivprinzip nicht ausgehöhlt wird.

Auch Verbraucherinnen und Verbraucher sprechen sich nach einer Umfrage des Verbraucherzentrale Bundesverband e.V. aus dem Jahr 2017 dafür aus, dass der Staat prüfen können soll, ob automatisierte Entscheidungen geltendem Recht entsprechen (vzbv Faktenblatt KI, abrufbar unter: https://www.vzbv.de/sites/default/files/2018_vzbv_faktenblatt_kuenstliche_intelligenz_1.pdf).
Neben der Durchsetzung bereits bestehender Diskriminierungsverbote, etwa des Allgemeinen Gleichbehandlungsgesetzes, bedarf es aber auch punktuell weiterer ausdrücklicher Regularien, damit Verbraucherinnen und Verbraucher ihre Wahlfreiheit behaupten können. Verbraucherinnen und Verbraucher empfinden automatisierte Entscheidungen als Gefahr, wenn die Daten und Prinzipien, nach denen die Entscheidungen getroffen werden, unklar sind (vzbv Faktenblatt KI, abrufbar unter: https://www.vzbv.de/sites/default/files/2018_vzbv_faktenblatt_kuenstliche_intelligenz_1.pdf) So wird etwa bei personalisierten Preisen nicht hinreichend deutlich, dass der Preissetzung algorithmenbasierte Entscheidungen zugrunde liegen. Es bedarf daher auch hinreichender Transparenzverpflichtungen für Unternehmen beim Einsatz solcher Verfahren. Verbraucher sollten ein Recht haben zu erfahren, ob Unternehmen ihnen gegenüber auf automatisierte Entscheidungen zurückgreifen. Zudem sollten Unternehmen verpflichtet werden, die zugrunde liegende Logik zu erläutern und die Datengrundlage transparent zu machen. (vgl. vzbv Faktenblatt KI, abrufbar unter: https://www.vzbv.de/sites/default/files/2018_vzbv_faktenblatt_kuenstliche_intelligenz_1.pdf).

Abtin Rad

ID: 406 16.09.2019 12:34

Wir von TÜV SÜD PS sind insbesondere besorgt über die Situation in der Medizintechnik. Trotz der sehr stark regulierten Medizintechnik-Branche fehlen bei der Anwendung von künstlicher Intelligenz in der Medizintechnik leider regulatorische Anforderungen an die Medizinprodukte-Hersteller. Das führt einerseits zur Verunsicherung der Hersteller, ob und wie eine sichere Implementierung von KI in der Medizintechnik möglich ist, andererseits tauchen erste meldepflichtige Vorkommnisse mit KI in Medizinprodukten ans Tageslicht. Eine Zusammenarbeit des Gesetzesgeber mit den Experten aus der Industrie und den benannten Stellen auf europäischer Ebene ist unserer Meinung nach die beste Option um die Herausforderungen der Zukunft in Bezug auf KI gerecht zu werden. Für Fragen und Diskussionen stehen wir seitens TÜV SÜD sehr gerne zur Verfügung.
V.G. A. Rad

Markus Schilling

ID: 402 03.09.2019 12:31

Ich habe nicht den Eindruck, dass die Politik an den entscheidenden Stellen über genügend Kompetenz verfügt. Daher wird Sachverstand von extern eingekauft, und das sind nach bisheriger Erfahrung im Wesentlichen diejenigen, die am Geschäftsfeld - in diesem Fall KI - profitieren. Für Risiken gibt es dann IT-Security-Firmen, die die Mängel z.B. bei vernetzten mangelhaft gesicherten Internet-of-Things-Endgeräten beseitigen. Aber die müssen erst beauftragt werden, und wenn das nicht geschieht und ein Schaden entsteht, muss die Allgemeinheit diesen tragen. Zunächst muss also ein verbindlicher Rahmen für Sicherheit und Zertifizierung der Hard- und Software gesteckt und validiert werden, bei Nichteinhaltung oder Verstößen müssen Hersteller in die Haftung genommen werden.

Rolf Eckertz

ID: 401 26.08.2019 09:19

Es werden nicht KI-Systeme an sich entwickelt und verkauft, sondern Produkte mit „KI-inside“.
In der pharmazeutischen Industrie wird Computersystemvalidierung seit langem betrieben.
Werden Medikamente falsch hergestellt, falsch kontrolliert, falsch gelagert etc., dann können Gefahren für Leib und Leben entstehen. Um das entsprechende Risiko zu minimieren wurde die Computersystemvalidierung eingeführt, sie hat als wesentliche Punkte:
• Dokumentation der Softwareerstellung (Life-Cycle-Dokumentation)
• Validierung der Software „an sich“
• Validierung des Zusammenspiels der Software mit Daten
• Validierung des Zusammenspiels der Software mit der Hardware
• Validierung des Zusammenspiels der Software mit der Peripherie, Netzwerken, Sensoren und Aktoren
• Validierung des Zusammenspiels von Software und Menschen (Dokumentation, Schulungsunterlagen, Einweisung, Schulung, Ergonomieprüfung etc.)
Dies scheint aufwändig, ist angesichts der Risiken aber aufgabenangemessen. Zur Sicherheit personenbezogener Daten (Patientendaten etc.) ist dabei zusätzlich die DSGVO heranzuziehen.
Auch zu Kraftfahrzeugen hat der Gesetzgeber sich von Anfang an Gedanken gemacht und eingeführt:
• Gefährdungshaftung durch den Halter
• Bauartprüfung und -Zulassung
• Hauptuntersuchung
• Verkehrsregeln
• Führerschein
• u.v.a.m.
KI - Künstliche Intelligenz befindet sich in der dritten Welle der Entwicklung. In den 70er Jahren gab es eine Euphorie um Operations Research und den „General Problem Solver (GPS)“ - gescheitert, in den 90er Jahren wurden regelbasierte Expertensysteme entwickelt auf der Basis von Prolog etc. - gescheitert und heute sind neuronale Netze die silver bullet der KI und mit Sicherheit wird es auch eine vierte Welle der KI-Entwicklung geben.
Neuronale Netze wurden in der Anwendung möglich, weil die Ersetzung von CPU‘s durch billigere GPU‘s und die Ersetzung von HDD‘s durch SSD‘s (preiswerte Massenspeicher ohne Mechanik) Rechenleistung und Speicher zur Verfügung stellten, die eine technisch brauchbare Basis bildeten.
Es ist festzuhalten:
• eine Schach-KI kann nicht GO spielen, eine GO-KI kann keine Röntgenbilder interpretieren und eine Röntgen-KI kann kein Fahrzeug steuern …
• generell können die Lerneffektes eines neuronalen Netzes für eine Aufgabenbereich nicht auf andere Aufgabenbereiche übertragen werden, das ist eine strukturelle Schwäche der aktuellen KI-Welle
Es ist also zu erwarten, dass es weitere Wellen oder Evolutionsstufen von KI-Lösungen geben wird.
Grundsätzlich kann eine KI „an sich“ nicht sinnvoll zertifiziert werden, vielmehr ist ein konkretes System im Sinne des Zusammenspiels von KI, Daten, Hardware, Peripherie und Menschen zu prüfen, validieren oder zu zertifizieren, denn gerade bei den anstehenden KI-Entwicklungen geht es auch um signifikante Risikoabwägungen im Sinne der Gefahr für Leib und Leben oder der Gefahr für Vermögensschäden.
Analog zur Computersystemvalidierung ist also zu formulieren:
• Dokumentation der KI-Erstellung (Life-Cycle-Dokumentation)
• Validierung der KI-Software mit ihren Kerndaten (Neuronales Netz) „an sich“
• Validierung des Zusammenspiels der KI mit Daten (Input und Output)
• Validierung des Zusammenspiels der KI mit der Hardware
• Validierung des Zusammenspiels der KI mit der Peripherie, Netzwerken, Sensoren und Aktoren, z.B. Röntgengeräten, Kraftfahrzeugen (Fahrbahnerkennung, Gas, Bremse, Lenkung...), Robotern etc. je nach Kontext
• Validierung des Zusammenspiels von KI und Menschen (Dokumentation, Schulungsunterlagen, Einweisung, Schulung, Ergonomieprüfung etc.)
Eine KI, die ein Computerspiel interessanter macht, ist sicherlich weniger prüfungsrelevant wie eine KI, die ein Fahrassistenzsystem steuert, ein teilautonomes oder autonomes Fahren ermöglicht oder einen humanoiden Roboter steuert.
Die im Bereich Kraftfahrzeuge entwickelten Regeln und Praktiken lassen sich gut auf KI-basiertes, teilautonomes oder autonomes Fahren von Kraftfahrzeugen übertragen. KI ist eine weiterentwickelte Software, die aber das Fahren von Kraftfahrzeugen an sich im Straßenverkehr mit seinen Risiken nicht grundlegend ändert.

Die gleichen Prinzipien gelten für Roboter, fortgeschrittene Diagnosesysteme u.v.a.m.
Als Schlussfolgerung ergibt sich aus meiner Sicht daraus, dass das Land NRW sich weniger auf KI „an sich“ konzentrieren sollte und mehr auf KI in Anwendungen und somit in Produkten - und dort ist dann mit der Zertifizierung risikoorientiert anzusetzen bzw. die bestehende Praxis der Zertifizierung, Validierung etc. entsprechend so schonend fortzuschreiben, dass es für Unternehmen und Anwender nutzbringend und wirtschaftlich darstellbar bleibt.

Volker Zimmermann

ID: 399 26.08.2019 07:54

M.E. hat sich KI noch nicht weit entwickelt: Es geht nachwievor um Mustererkennung und Abspulen einprogrammierter Algorithmen. Ein nach Einschätzung gespeicherter Muster anormales Bild wird nicht interpretiert. Eine Selbstkorrektur oder ein selbständiges Lernen steht allenfalls noch am Anfang. Insofern trägt (B) nicht der Fortentwicklung Rechnung, die wir noch zu erwarten haben.