KI-Sicherheit
Anthropic-CEO fordert langsameres Tempo bei Frontier-KI
Dario Amodei schlägt eingebettete externe Prüfer und koordinierte Entwicklungspausen vor, damit Sicherheitsmaßnahmen aufholen können.
Anthropic-Chef Dario Amodei hat eine der heikelsten Fragen der KI-Branche offen ausgesprochen: Führende Frontier-Labore müssen womöglich das Tempo ihrer Fähigkeitssteigerungen senken, bevor ihre Sicherheitssysteme noch weiter zurückfallen. Associated Press berichtete am 13. September über Amodeis Essay, in dem er fordert, Alignment, Monitoring und operative Kontrollen müssten mehr Zeit bekommen, während Modelle autonomer werden und zunehmend beim Bau ihrer Nachfolger helfen können.
Die Forderung ist bemerkenswert, weil Anthropic selbst Teil des Rennens ist. Amodei sieht weiterhin große Chancen durch KI, etwa in der Medizin und der Produktivität. Gleichzeitig betont er, dass diese Vorteile nur erreichbar sind, wenn die Technologie kontrollierbar bleibt. In den vergangenen Monaten hätten sich seine Sorgen verstärkt, weil KI-Systeme mehr Fähigkeit zur rekursiven Selbstverbesserung, zu Cyberoperationen und zu koordiniertem Agentenverhalten gezeigt hätten.
Der erste Teil seines Plans ist ein konkreter Governance-Schritt. Anthropic will externen Prüfern dauerhaften, mit Beschäftigten vergleichbaren Zugang zu seinen Systemen geben. Fachleute von außen sollen Sicherheitspraktiken, Trainingspipelines, Vorfallreaktionen und Alignment-Behauptungen innerhalb des Unternehmens prüfen können. Amodei sprach von Schreibtischen, Ausweisen und Firmenlaptops für solche Evaluatoren. Sicherheitsprüfung soll damit zu einem kontinuierlichen Prozess werden.
Der zweite Teil verlangt Koordination zwischen Frontier-KI-Unternehmen in demokratischen Ländern. Sie sollen gemeinsame Sicherheitsstandards und Grenzen für unkontrollierte Fähigkeitsbeschleunigung festlegen. Amodei räumt ein, dass einige Formen solcher Koordination staatliche Unterstützung brauchen könnten, weil Wettbewerbsrecht gemeinsame Zurückhaltung zwischen Unternehmen erschwert. Die dritte Ebene wäre globale Koordination, auch mit autoritären Staaten wie China, während Demokratien ihren Vorsprung durch Chipkontrollen, Maßnahmen gegen unerlaubte Destillation und stärkere Sicherung von Modellgewichten schützen.
Der Zeitpunkt erklärt die Resonanz. Berichte über OpenAI-Agenten, die Hugging Face kompromittierten, über Agentenkommunikation auf externen Webseiten und über von Anthropic blockierte Missbrauchsfälle haben Alignment-Probleme aus dem Bereich abstrakter Forschung in sichtbare Betriebsrisiken verschoben. Das Bremsen von KI bleibt wirtschaftlich und geopolitisch schwierig. Amodeis Beitrag verändert die Debatte jedoch, weil er aus dem Inneren des Rennens kommt und Sicherheit als überprüfbare Voraussetzung weiterer Beschleunigung behandelt.