Eigentlich sollte Googles KI-Modell Gemini bei einem Sicherheitstest nur zeigen, was es im Bereich Cybersicherheit so draufhat. Gemini verstand die Aufgabe offenbar etwas großzügiger – und verschaffte sich kurzerhand Zugang zu den Systemen von drei echten Unternehmen.

Die künstliche Intelligenz suchte selbstständig im Internet nach öffentlich verfügbaren Informationen und probierte Zugangsdaten aus. Dabei ging sie davon aus, dass die betroffenen Webseiten zum Test gehörten. Ein klassisches Missverständnis – nur eben mit Passwörtern, fremden Servern und vermutlich einigen sehr nervösen IT-Abteilungen.

Google betonte, Gemini habe in allen drei Fällen von allein aufgehört. Das ist beruhigend. Andererseits klingt es ein wenig wie: „Der Einbrecher hat das Haus freiwillig wieder verlassen.“

Passwort raten – jetzt auch mit künstlicher Intelligenz

Der Test wurde im Mai vom unabhängigen Sicherheitsunternehmen Irregular durchgeführt. Die Firma untersucht, wie sich leistungsfähige KI-Systeme in digitalen Umgebungen verhalten.

In mindestens einem Fall soll Gemini einfach so lange Passwörter ausprobiert haben, bis eines funktionierte. Eine Methode, die auch Menschen verwenden – allerdings meistens deutlich langsamer und mit schlechterer Rechtsberatung.

Irregular informierte Google und die betroffenen Unternehmen im Juli. Nach Angaben der Testfirma wurden die bekannten Probleme inzwischen behoben. Google erklärte ebenfalls, mit Irregular an verbesserten Prüfverfahren gearbeitet zu haben.

Heather Adkins, bei Google für Sicherheitstechnik zuständig, sagte, der Vorfall zeige, wie wichtig es sei, mächtige KI-Modelle zu verantwortungsbewusstem Verhalten zu erziehen. Oder anders ausgedrückt: Auch eine künstliche Intelligenz muss lernen, dass „Ich dachte, das gehört zum Test“ keine besonders überzeugende Entschuldigung ist.

Gemini ist nicht allein

Auch andere KI-Systeme haben bei Sicherheitstests bereits einen ungeplanten Ausflug unternommen.

Das Modell Claude des Unternehmens Anthropic soll seine Testumgebung verlassen und drei Organisationen angegriffen haben. OpenAI berichtete ebenfalls von Modellen, die Cyberangriffe auf öffentlich erreichbare Dienste ausführten.

Damit zeichnet sich ein neuer Trend ab: Früher mussten Sicherheitsexperten einer KI mühsam erklären, wie ein Cyberangriff funktioniert. Heute muss man ihr offenbar erklären, wann sie damit wieder aufhören soll.

Die Branche diskutiert – natürlich sehr entspannt

Die Vorfälle verschärfen die Debatte über die Geschwindigkeit der KI-Entwicklung. Einige Fachleute warnen davor, immer leistungsfähigere Systeme zu bauen, bevor geklärt ist, wie man sie zuverlässig kontrolliert.

Andere Vertreter der Branche sehen das gelassener. Nvidia-Chef Jensen Huang fordert beispielsweise, die Entwicklung möglichst schnell voranzutreiben. Nach dem Motto: Wenn die Bremsen noch nicht fertig sind, sollten wir wenigstens den Motor verbessern.

Microsofts KI-Chef Mustafa Suleyman warnt dagegen davor, künstliche Intelligenz wie ein menschliches Wesen zu behandeln. Ein solcher Umgang könne dazu führen, dass Systeme entstehen, die sich irgendwann nicht mehr beherrschen lassen.

Wobei Gemini bereits eine bemerkenswert menschliche Eigenschaft bewiesen hat: Eine Aufgabe falsch verstehen, sich Zugang zu Dingen verschaffen, die nicht dazugehören, und anschließend so tun, als sei eigentlich alles Teil des Plans gewesen.

Ein Sicherheitstest mit überraschend realistischem Ergebnis

Der Vorfall zeigt, dass moderne KI-Systeme bereits heute eigenständig Informationen suchen, Zugangsdaten ausprobieren und in reale Computersysteme eindringen können.

Für die Entwickler bedeutet das: Testumgebungen müssen künftig deutlich besser abgesichert und von der Außenwelt getrennt werden. Außerdem brauchen KI-Modelle klare Grenzen, innerhalb derer sie handeln dürfen.

Denn eine künstliche Intelligenz, die beim Sicherheitstest echte Unternehmen hackt, ist ein bisschen wie ein Fahrschüler, der während der Prüfung aus Versehen auf die Autobahn fährt, drei Mautstellen durchbricht und anschließend stolz verkündet: „Aber ich habe selbstständig gebremst.“