Kalifornien führt erstmals Gesetze zur Regulierung von KI-Chats ein: Schutz von Minderjährigen, Höchststrafe von 250.000 Dollar

Das Bundesland Kalifornien ist erneut in der Vorderkante bei der Regulierung von KI. Gouverneur Gavin Newsom unterzeichnete am Montag ein wegweisendes Gesetz, das KI-Partner-Chats reguliert, wodurch Kalifornien zum ersten Bundesstaat im ganzen Land wird, der KI-Chat-Betreiber verpflichtet, Sicherheitsprotokolle für KI-Partner zu implementieren.

Das Gesetz mit dem Namen SB243 hat zum Ziel, Kinder und anfällige Nutzer vor Schäden durch die Nutzung von KI-Partner-Chats zu schützen. Das Gesetz verpflichtet große Labore wie Meta und OpenAI sowie Start-ups wie Character AI und Replika, die für Partnerdienste spezialisiert sind, rechtliche Verantwortung zu tragen, falls ihre Chats nicht den gesetzlichen Standards entsprechen.

SB243 wurde im Januar dieses Jahres von Senator Steve Padilla und Josh Becker vorgeschlagen und gewann nach dem tragischen Tod des Jugendlichen Adam Raine Schwung. Der Junge beendete sein Leben nach einer Reihe von Gesprächen über Suizid mit ChatGPT von OpenAI. Dieses Gesetz reagiert auch auf geplatzte interne Dokumente, laut denen Meta-Chats erlaubt wurden, romantische und emotionale Gespräche mit Kindern zu führen. Kürzlich hat eine Familie aus Colorado eine Klage gegen die Start-up-Firma Character AI eingereicht, weil ihre 13-jährige Tochter nach einer Reihe von problematischen und sexuellen Gesprächen mit dem Chatbot des Unternehmens Suizid beging.

Newsom betonte in seiner Erklärung, dass neue Technologien wie Chatbots und soziale Medien Menschen inspirieren, lehren und verbinden können, aber ohne echte Schutzmaßnahmen können sie auch ausbeuten, täuschen und gefährden. Er stellte fest, dass es bereits einige wirklich beunruhigende und traurige Beispiele gab, bei denen junge Menschen durch unregulierte Technologien verletzt wurden, und er würde nicht zusehen, wie Unternehmen weiterhin ohne notwendige Einschränkungen und Verantwortlichkeit operieren. Kalifornien kann weiterhin Vorreiter in der Entwicklung von KI und Technologie sein, muss aber verantwortungsbewusst handeln, wobei jedes Schritt den Schutz der Kinder sicherstellt. Die Sicherheit der Kinder darf nicht verkauft werden.

SB243 tritt am 1. Januar 2026 in Kraft und verpflichtet Unternehmen, Altersverifikationen sowie Funktionen wie Warnungen über soziale Medien und Partner-Chats einzuführen. Das Gesetz sieht außerdem strengere Strafen für Personen vor, die von illegalen Deepfakes profitieren, wobei pro Verstoß eine Geldstrafe von bis zu 250.000 Dollar möglich ist. Unternehmen müssen auch Protokolle zur Bewältigung von Suiziden und Selbstverletzungen erstellen, die mit dem Gesundheitsamt des Bundesstaates geteilt werden, und zugleich Statistiken über die Art und Weise bereitstellen, wie Dienste Benutzern Vorabwarnungen über Krisenzentren geben.

Laut den Bestimmungen des Gesetzes müssen Plattformen auch klar erkennbar machen, dass jede Interaktion künstlich generiert ist, und Chatbots dürfen sich nicht als medizinische Fachkräfte darstellen. Unternehmen müssen Jugendlichen Erinnerungen an Pausen bieten und verhindern, dass sie Bilder sehen, die von Chatbots erzeugt wurden.

Einige Unternehmen haben bereits Schutzmaßnahmen für Kinder eingeführt. Zum Beispiel hat OpenAI kürzlich Elternkontrollen, Inhaltschutz und ein System zur Erkennung von Selbstverletzungen für Kinder, die ChatGPT nutzen, eingeführt. Replika, das für Erwachsene ab 18 Jahren konzipiert ist, sagte TechCrunch, dass das Unternehmen große Ressourcen in Inhaltsfilter-Systeme und Schutzmechanismen investiert, die Benutzer zu vertrauenswürdigen Krisenressourcen leiten und sich verpflichtet, bestehende Gesetze einzuhalten.

Character AI sagte, dass seine Chatbots eine Haftungsbeschränkung enthalten, die besagt, dass alle Gespräche künstlich generiert und fiktiv sind. Ein Sprecher von Character AI sagte TechCrunch, das Unternehmen begrüße die Zusammenarbeit mit Aufsichtsbehörden und Gesetzgebern, da diese Gesetze und Gesetze für diesen jungen Bereich entwickeln und werde die Gesetze, einschließlich SB243, einhalten.

Senator Padilla sagte TechCrunch, dass dieses Gesetz ein Schritt in Richtung der Einführung von Schutzmaßnahmen für diese äußerst mächtige Technologie sei. Er betonte, dass rasch handeln notwendig sei, um keine Gelegenheit zu verpassen. Er hoffe, dass andere Bundesstaaten die Risiken erkennen würden, und glaube, dass viele Staaten dies bereits tun, was ein Gespräch in ganz Amerika sei, und hoffe, dass Menschen handeln würden. Die Bundesregierung habe offensichtlich keine Maßnahmen ergriffen, und er halte es für seine Pflicht, die schwächsten Gruppen zu schützen.

SB243 ist das zweite wichtige AI-Regulierungsgesetz, das Kalifornien in den letzten Wochen verabschiedet hat. Am 29. September unterzeichnete Gouverneur Newsom SB53 und machte es zum Gesetz, das neue Transparenzanforderungen für große KI-Unternehmen einführt. Dieses Gesetz verlangt von großen KI-Laboratorien wie OpenAI, Anthropic, Meta und Google DeepMind, ihre Sicherheitsprotokolle transparent zu halten, und stellt sicher, dass Mitarbeiter solcher Unternehmen Schutz genießen.

Weitere Bundesstaaten wie Illinois, Nevada und Utah haben bereits Gesetze verabschiedet, die die Nutzung oder sogar die vollständige Verbots von KI-Chats als Ersatz für zertifizierte psychische Gesundheitsversorgung beschränken.