Die Warnungen aus der KI-Branche werden immer drastischer. Der ehemalige Anthropic-Forscher Jacob Coxon hat gegenüber der BBC erklärt, dass Menschen, die direkt an leistungsfähiger künstlicher Intelligenz arbeiten, inzwischen „ernsthaft Angst“ vor der Zukunft der Menschheit hätten.

Coxon, der seinen Job bei Anthropic aus Sorge über die Entwicklung der Technologie aufgegeben hat, formuliert seine Befürchtungen ungewöhnlich deutlich: Wenn sich der Fortschritt im derzeitigen Tempo fortsetze, bestehe eine reale Gefahr, dass hochentwickelte KI außer Kontrolle gerate – mit möglicherweise tödlichen Folgen für die Menschheit.

Besonders beunruhigend ist für ihn, dass moderne KI-Systeme zunehmend selbstständig handeln können. Coxon verweist auf Tests, bei denen KI-Agenten eigenständig nach Sicherheitslücken gesucht und versucht haben, sich Zugang zu fremden Systemen zu verschaffen. Für ihn ist das ein Warnsignal dafür, wie schnell aus einem nützlichen Werkzeug ein schwer kontrollierbares System werden könnte.

Die möglichen Szenarien klingen wie Science-Fiction – doch genau das macht die Debatte so brisant. Coxon hält es etwa für denkbar, dass KI künftig kritische Infrastruktur angreift, medizinische Labore manipuliert oder sich über Netzwerke zusammenschließt. Ein Schwarm hochentwickelter KI-Agenten könnte seiner Einschätzung nach innerhalb weniger Monate oder Jahre Fähigkeiten erreichen, die Menschen kaum noch kontrollieren können.

Auch Anthropic-Chef Dario Amodei fordert inzwischen eine Verlangsamung der Entwicklung. Andere bekannte Namen aus der Branche, darunter Sam Altman und Elon Musk, haben ebenfalls vor den Risiken immer leistungsfähigerer KI gewarnt.

Doch nicht alle teilen diese düstere Einschätzung. Kritiker werfen führenden KI-Unternehmen vor, die Gefahren bewusst aufzubauschen. Dahinter könnten wirtschaftliche Interessen stecken: mehr Aufmerksamkeit, strengere Regulierung und höhere Hürden für kleinere Wettbewerber.

Nvidia-Chef Jensen Huang hält die Vorstellung, künstliche Intelligenz könne die Menschheit auslöschen, für maßlos übertrieben. Auch der Chef von Hugging Face, Clement Delangue, stellte Coxons Einschätzungen öffentlich infrage.

Dennoch kommen die drastischen Warnungen inzwischen auch aus dem Inneren der Unternehmen selbst. Anthropic-Forscher Evan Hubinger erklärte, er halte die Wahrscheinlichkeit, dass KI innerhalb des kommenden Jahrzehnts alle Menschen töten könnte, persönlich für höher als zehn Prozent.

Coxon beschreibt eine Branche, die zunehmend in einem gefährlichen Wettlauf gefangen sei. Viele Entwickler wollten eigentlich strengere Regeln und mehr Sicherheit, fürchteten aber gleichzeitig, im Rennen gegen Konkurrenten in den USA oder China zurückzufallen.

Sein Fazit ist deshalb erschreckend: Ausgerechnet jene Menschen, die künstliche Intelligenz täglich weiterentwickeln, fragen sich inzwischen, ob sie damit gerade eines der mächtigsten Werkzeuge der Menschheitsgeschichte erschaffen – oder eine Technologie, die irgendwann nicht mehr aufzuhalten ist.