Dieser Vorstoß überrascht
Anthropic schlägt Alarm – und stellt die KI-Rallye infrage
Anthropic fordert eine globale Möglichkeit zur Verlangsamung der KI-Entwicklung. Hintergrund sind Fortschritte, die Maschinen bald selbst verbessern könnten.
- Anthropic fordert globale Verzögerung bei KI-Systemen
- Warnung vor rekursiver Selbstverbesserung als Risiko
- Vorschlag für internationale Abkommen und Kontrollsystem
- Report: SpaceX-Hype zu teuer – Diese 5 Aktien bieten bessere Chancen
Der KI-Konzern Anthropic fordert führende Entwickler künstlicher Intelligenz auf, über eine Verlangsamung des technologischen Fortschritts nachzudenken, wie das WSJ berichtet. Das Unternehmen warnt, dass moderne KI-Systeme möglicherweise schon bald in der Lage sein könnten, sich ohne menschliche Hilfe selbst weiterzuentwickeln.
In einem Blogbeitrag schreiben Marina Favaro, Leiterin des unternehmenseigenen Forschungsinstituts, und Anthropic-Mitgründer Jack Clark, die Welt sollte die Möglichkeit haben, die Entwicklung leistungsfähiger KI-Systeme zeitweise auszubremsen. Dadurch könnten gesellschaftliche Institutionen und die Sicherheitsforschung mit dem technischen Fortschritt Schritt halten.
"Wir sind der Ansicht, dass es für die Welt von Vorteil wäre, die Möglichkeit zu haben, die Entwicklung von Pionier-KI zu verlangsamen oder vorübergehend auszusetzen", erklären die Autoren.
Sorge vor selbstverbessernder KI
Im Zentrum der Warnung steht das Konzept der "rekursiven Selbstverbesserung". Dabei würden KI-Systeme ihre Fähigkeiten eigenständig ausbauen, ohne auf menschliche Entwickler angewiesen zu sein. Laut Anthropic ist dieser Punkt zwar noch nicht erreicht und auch nicht unausweichlich. Er könnte jedoch näher sein, als viele Institutionen vorbereitet seien.
Das Unternehmen schlägt deshalb internationale Vereinbarungen vor, die eine koordinierte Verlangsamung der Entwicklung ermöglichen. Gleichzeitig müsse ein Kontrollsystem geschaffen werden, um sicherzustellen, dass sich alle Beteiligten an solche Regeln halten.
Anthropic zieht dabei einen Vergleich zu internationalen Abkommen über Atomwaffen. Die Kontrolle sei jedoch noch schwieriger. "Übungsläufe lassen sich viel leichter verbergen als Raketensilos", heißt es im Blogbeitrag.
Kritiker wittern Eigeninteresse
Anthropic zählt inzwischen zu den wertvollsten Unternehmen der KI-Branche. Nach einer jüngsten Finanzierungsrunde wird der Konzern mit knapp 1 Billion US-Dollar bewertet. Gleichzeitig bereitet das Unternehmen laut Bericht einen Börsengang vor.
Kritiker werfen Anthropic seit Jahren vor, Sicherheitsdebatten gezielt zu nutzen, um Wettbewerber auszubremsen. Der Risikokapitalgeber David Sacks sprach zuletzt von einer "Regulatory-Capture-Agenda". Er warnte, dass daraus politische Initiativen entstehen könnten, die Open-Source-KI-Systeme benachteiligen.
Andere Beobachter sehen in den Sicherheitswarnungen auch ein Marketinginstrument. Anthropic weist diese Vorwürfe zurück und betont, Risiken offen diskutieren zu wollen.
Forschung, Geschäft und Zukunftsängste
Ethan Mollick von der Wharton School der University of Pennsylvania hält die Debatte für komplexer. Viele Mitarbeiter bei Anthropic seien von den Risiken tatsächlich überzeugt. "KI-Labore sind ein bunter Mix", sagt Mollick. Einerseits gebe es die Interessen eines Billionen-Dollar-Unternehmens mit Marketing- und Rechtsabteilungen. Andererseits arbeiteten Forscher an den nächsten Modellen, während eine weitere Gruppe intensiv über die langfristigen Folgen der Technologie nachdenke.
Anthropic-Chef Dario Amodei warnt seit Jahren vor möglichen Nebenwirkungen leistungsfähiger KI-Systeme. Er sieht Risiken für den Arbeitsmarkt, zunehmende Ungleichheit und schwer vorhersehbare Verhaltensweisen künftiger Systeme.
Mitgründer Jack Clark geht davon aus, dass selbstverbessernde KI bereits innerhalb der nächsten zwei Jahre Realität werden könnte. Ohne eine koordinierte globale Verlangsamung entwickle sich die Technologie derzeit mit "rasanter Geschwindigkeit", während wirtschaftliche und geopolitische Rivalitäten die grundlegenden Risiken überlagerten.
Anthropic will nun Gespräche mit Politikern, Forschern und weiteren Experten organisieren. Ziel ist es, Antworten auf die Fragen rund um selbstverbessernde KI und mögliche Kontrollmechanismen zu finden.
Autorin: Saskia Reh, wallstreetONLINE Redaktion


