Am 24. September hat das US-Magazin The Information beschrieben, wie die gemeinsame Sicherheitsstelle von Google, OpenAI und Anthropic aussehen soll. Am 28. September hat heise online die Einzelheiten auf Deutsch zusammengefasst. Die Stelle soll Standards Authority for Frontier AI heißen, kurz SAFA, und Ende 2026 oder Anfang 2027 starten. Einen Tag später haben die Spitzen der großen KI-Firmen im Weißen Haus eine freiwillige Selbstverpflichtung unterschrieben.

Die Forderungen dahinter habe ich am 14. September beschrieben: Wer Regeln fordert und Gas gibt. Jetzt gibt es einen Bauplan, an dem sich ablesen lässt, wer wen prüfen soll.

Was SAFA tun soll

Nach den Berichten soll SAFA festlegen, wie die Labore Sicherheitsvorfälle melden müssen. Sie soll unabhängige Organisationen unterstützen, die Modelle vor der Veröffentlichung testen, und bestimmen, welche Qualifikation diese Prüfstellen brauchen. Außerdem soll sie beschreiben, wie die Selbstverpflichtungen der Firmen in der Praxis aussehen. Ob SAFA selbst prüft und wer sie bezahlt, ist offen. Will sie rechtlich etwas durchsetzen, müsste sie sich womöglich bei einer Bundesbehörde registrieren lassen (GovInfoSecurity). Zum Start soll sie nur die drei Gründungsfirmen umfassen, Meta, xAI und Microsoft werden nicht als Mitglieder genannt (The Next Web).

Für die Geschäftsführung sind Sriram Krishnan, früher Berater für KI-Politik in der Trump-Regierung, und Arati Prabhakar im Gespräch, unter Biden Direktorin des Wissenschaftsbüros im Weißen Haus. Für die wissenschaftliche Beratung wird unter anderem Paul Christiano genannt. Ob mit allen schon gesprochen wurde, ist nicht klar.

Was seit Juli verschwunden ist

SAFA geht auf einen Vorschlag zurück, den Demis Hassabis, Chef von Google DeepMind, am 14. Juli veröffentlicht hat. Sein Vorbild war die FINRA, die Selbstaufsicht der US-Wertpapierhändler, deren Regeln die Börsenaufsicht SEC genehmigt. Hassabis wollte eine Stelle unter Bundesaufsicht, in deren Leitungsgremium auch Vertreterinnen und Vertreter offener Modelle sitzen (MediaPost). Geprüft werden sollten Spitzenmodelle unabhängig von Herkunftsland und davon, ob sie offen oder geschlossen sind, und das Bestehen sollte später Bedingung für den US-Markt werden (Cloud Security Alliance).

Am 3. Juni hatte OpenAI noch vorgeschlagen, die staatliche Prüfstelle CAISI zur zentralen Institution für die Sicherheit von Frontier-KI auszubauen (OpenAI). Laut The Information wollten auch die drei Firmen zuerst eine staatlich beaufsichtigte Stelle, doch der Entwurf einer Executive Order fand in der Regierung nicht genug Unterstützung. SAFA soll jetzt ohne staatliche Aufsicht arbeiten. In den frei zugänglichen Berichten ist von Vertreterinnen und Vertretern offener Modelle keine Rede mehr, und ob die Prüfung eines Tages über den Marktzugang von Anbietern aus China oder Europa entscheiden soll, steht in keinem davon.

Wer wen prüft

Paul Christiano sitzt seit dem 9. September im Stiftungsrat der OpenAI Foundation und in deren Sicherheitsausschuss, der das letzte Wort darüber hat, ob OpenAI ein neues Modell veröffentlicht. Bei der staatlichen Prüfstelle CAISI, die er weiter berät, will er sich aus OpenAI-Fragen heraushalten (TechCrunch). Für SAFA ist er als Berater einer Stelle im Gespräch, die festlegen soll, wer die Modelle von OpenAI prüfen darf. Wer heute für die Labore prüft, habe ich am Beispiel der Firma Irregular beschrieben: Die Prüfstelle für die mächtigsten Maschinen der Welt hat 35 Beschäftigte.

Die Selbstverpflichtung aus dem Weißen Haus folgt demselben Aufbau. Laut CBS News sagen die Firmen auf einer Seite vier Ebenen von Kontrollen und Prüfungen zu, darunter interne Bewertungen, Prüfungen durch eine externe Firma und die Durchsicht durch den eigenen Verwaltungsrat. Sie wollen sich regelmäßig treffen, um Standards festzulegen. Unterschrieben haben unter anderem Sundar Pichai, Dario Amodei, Mark Zuckerberg, Jensen Huang, Elon Musk und für OpenAI Greg Brockman (Washington Examiner). Donald Trump nennt das Papier „morally binding”, also moralisch verpflichtend.

Ich lese das so, und es ist meine Lesart: Wer ein Regelwerk selbst schreibt, selbst anwendet und selbst über die Ausnahme entscheidet, hat eine Formulierungshilfe für die eigene Entscheidung. Bei SAFA schreiben die Gründungsfirmen die Standards, bestimmen, wer prüfen darf, und legen fest, wie ihre eigenen Zusagen gemeint sind. Im Papier aus dem Weißen Haus landet der Prüfbericht beim eigenen Verwaltungsrat. Eine Behörde, die aus dem Ergebnis verbindliche Folgen ziehen darf, sieht keine der beiden Konstruktionen vor.

Was aus der Kartellausnahme wurde

Amodei hatte eine Ausnahme vom Kartellrecht verlangt, damit die Labore sich absprechen dürfen. Am 15. September haben Ted Cruz und Josh Hawley, beide aus der republikanischen Fraktion, im Justizausschuss des Senats erklärt, dass sie dafür nicht zu haben sind. Todd Blanche, Attorney General der USA, wollte sich am selben Tag nicht festlegen, ob die Firmen eine solche Ausnahme überhaupt brauchen (Politico). Drei Tage später haben vier zahlende Nutzerinnen und Nutzer Anthropic, OpenAI, Google und SpaceXAI wegen einer verbotenen Absprache über das Entwicklungstempo verklagt (Bloomberg Law).

Was Organisationen, die KI einkaufen, daraus ableiten

  • Ein Branchensiegel ersetzt die eigene Prüfung nicht. Kommt SAFA, arbeiten die Prüfstellen nach Anforderungen, die die geprüften Firmen mitgeschrieben haben. Testen Sie Modelle mit Ihren eigenen Daten und Abläufen, bevor sie in Betrieb gehen.
  • Den Prüfbericht verlangen. Fragen Sie, wer ein Modell geprüft hat, wer den Auftrag bezahlt hat und ob Sie den Bericht lesen dürfen.
  • Vorfälle im Vertrag regeln. Eine moralische Verpflichtung lässt sich nicht einklagen. Vereinbaren Sie, dass der Anbieter Sicherheitsvorfälle, die Ihre Nutzung betreffen, direkt und mit fester Frist an Sie meldet.
  • Eine Alternative, die Sie selbst prüfen können. Ein offenes Modell auf eigener Hardware lässt sich vollständig in Ihrer Umgebung testen, ohne fremden Bericht. Dafür brauchen Sie eine eigene Kopie der Gewichte. Warum, steht in Offene Modelle waren nie Unabhängigkeit.

Quellen