KI gefährlich? Ja. Aber anders…

Zwei große Anbieter warnen öffentlich vor ihrem eigenen Produkt. Die vier Gefahren, die ich für real halte – und der Terminator ist keine davon.

17. September 2026 · Lesezeit rund 12 Minuten

Ja, KI ist gefährlich. Aber nicht so, wie es gerade prominent publiziert wird. Wir haben hier zwei große Unternehmen, die vor sich selbst warnen. Würden die Flugzeuge herstellen oder Eisenbahngarnituren, wären sie binnen kürzester Zeit vom Markt. Sie stellen aber KI her – und sie meinen, man sollte die Entwicklung verlangsamen.

In Letzterem stimme ich mit ihnen überein. Nur liegen die Gefahren woanders, als die Schlagzeilen vermuten lassen. Vier halte ich für relevant. Keine einzige davon ist die aus dem Film.

Gefahr 1: Die KI-Blase

Aktuell sieht es nicht danach aus, dass sie platzt. Ein Blick auf die Zahlen darunter ist trotzdem interessant. Bei ChatGPT zahlen sechs von hundert Nutzern. Der Rest fährt gratis mit.

Tolle Möglichkeit für Werbung? Puh. Ja, schalten kann man sie, seit Februar tut das auch einer der großen Anbieter – allerdings nur in der Gratis- und der Einstiegsstufe. Was dabei herauskommt, ist überschaubar. Das Pilotprojekt soll nach sechs Wochen hundert Millionen Dollar hochgerechneten Jahresumsatz erreicht haben. Klingt nach viel. Bei über vierzig Milliarden Jahresumsatz und einem prognostizierten Verlust von vierzehn Milliarden für 2026 ist es ein Promillebetrag.

Dazu kommt, dass Werbung in der KI schlechter funktioniert als in der Suche. Nicht wegen der Reichweite. Wegen der Kosten. Eine Suchanfrage kostet im Betrieb praktisch nichts, jeder zusätzliche Gratisnutzer ist für eine Suchmaschine irgendwann Gewinn. Eine KI-Antwort kostet bei jeder einzelnen Anfrage Rechenzeit. Der Gratisnutzer ist dauerhaft ein Minusgeschäft.

Und die Suche hat einen zweiten Vorteil: Dort werden Anzeigen gemeinsam mit den organischen Ergebnissen ausgespielt und sind kaum davon zu unterscheiden. Es gibt zwar eine Kennzeichnung. Ob sie wirkt, hat die britische Medienaufsicht gemessen – und das Ergebnis ist ernüchternd.

Die Nutzung klassischer Suchmaschinen nimmt ab, zugunsten von KI. Drei Viertel der Onlinenutzer lesen inzwischen zumindest manchmal die KI-Zusammenfassung über den Suchtreffern. Ob die Werbeklicks diese Wanderung im selben Verhältnis mitmachen, ist derzeit nicht erfasst. Erfasst ist nur, dass sich vor die Ergebnisliste eine weitere Ebene schiebt – eine, für die es diesen Test noch gar nicht gibt.

Wer finanziert das Ganze eigentlich?

Nicht die Umsätze. Fremdkapital. Der hohe Anteil an Gratisnutzung erfordert Unmengen an Investitionen ohne entsprechenden Rückfluss, und die Investoren haben derzeit noch die Spendierhosen an. Wenn ich so einen Businessplan einer Bank vorlege, ernte ich eher schräge Blicke als Geld. So realistisch muss man sein.

Die Gegenprobe ist mittlerweile gerechnet. Eine Stanforder Arbeit vom April 2026 hat gemessen, was Nutzer als Entschädigung verlangen, um einen Monat lang auf sämtliche KI-Werkzeuge zu verzichten. Der Median liegt bei 11,40 Dollar. Ein Standardabo kostet zwanzig. Die Hälfte aller Nutzer wäre bei einer Paywall zum heutigen Preis also weg – und weil die Bereitschaft, etwas herzugeben, immer höher liegt als die Bereitschaft, dafür zu zahlen, ist der Abstand in Wahrheit noch größer.

Spannender ist die Verteilung. Der Mittelwert liegt bei 124,50 Dollar, zwölf Prozent lehnten selbst fünfhundert Dollar ab. Für eine Minderheit ist der Zugang also fast unbezahlbar, für die Mehrheit ein nettes Extra. Die Trennlinie verläuft genau dort, wo man sie vermutet: Stärkster Einzelfaktor ist die Nutzungshäufigkeit, danach die berufliche Nutzung. Und genau diese Gruppe zahlt heute schon.

Warum stellt dann niemand die Gratisnutzung ein? Weil er die Leute an den Nächsten verliert. Für die Anwendungsfälle der Gratisnutzer sind alle Modelle durchwegs vergleichbar, ein echtes Alleinstellungsmerkmal gibt es für sie nicht. Dieselbe Stanforder Arbeit findet keine statistisch signifikanten Bewertungsunterschiede zwischen den Nutzern der verschiedenen Anbieter und erklärt das ausdrücklich mit der hohen Austauschbarkeit. Im Schnitt hat ohnehin jeder 2,6 Produkte im Einsatz. Der Wechsel muss also gar nicht erst stattfinden – die Alternative ist längst installiert.

Und die Verschwendung?

Mein Vorschlag wäre, die kostenlose Nutzung nicht zu propagieren, sondern einzustellen. Bevor jetzt jemand den Energieverbrauch ins Feld führt: Rechnen wir das durch.

Eine Textanfrage braucht je nach Quelle 0,24 bis 0,42 Wattstunden, im höchsten kursierenden Schätzwert 2,9. Die Fahrt ums Eck zum Zeitungskauf, zwei Kilometer, kalter Motor, liegt bei rund dreitausend. Eine einzige solche Fahrt entspricht also sieben- bis zwölftausend Geburtstagsgedichten. Und diese Fahrten finden statt: 40 Prozent aller Autofahrten in Österreich sind kürzer als fünf Kilometer, jede fünfte kürzer als zweieinhalb, jede zehnte in Gehdistanz. An einem Werktag sind das fünf Millionen Fahrten. Macht doch niemand, oder? Doch.

Das Energiethema sitzt also woanders: bei den Reasoning-Modellen, die für eine komplexe Aufgabe bis zum Hundertfachen einer einfachen Anfrage brauchen, bei der Bildgenerierung, und vor allem beim Ausbau der Rechenzentren, für den gerade Kraftwerke geplant werden. Mit „Mach meine Frisur anders“ und dem Gedicht für die Geburtstagseinladung hat das nichts zu tun. Wer die beiden gegen den Rechenzentrumsausbau aufwiegt, verliert die Diskussion zu Recht.

Mein Argument ist ein anderes, und ich halte es für das stärkere: Es geht um Vermeidbarkeit. Die Autofahrt bringt immerhin eine Zeitung nach Hause. Das Gedicht bringt etwas, das der Absender selbst hätte schreiben können – ohne Verlust, vermutlich sogar mit Gewinn. Dazu kommt die Asymmetrie beim Abstellen: Um fünf Millionen Kurzstreckenfahrten zu verhindern, musst du fünf Millionen Menschen überzeugen. Das versucht der VCÖ seit Jahrzehnten. Um die Gratisnutzung abzustellen, bräuchte es vier oder fünf Vorstandssitzungen.

Theoretisch. Praktisch verhindert es der Markt, siehe oben. Und es gibt ein zweites Problem, das ich nicht kleinreden will: Kein Anbieter kann zwischen Geburtstagsgedicht und Arbeitsaufgabe unterscheiden. Einen Filter für Sinnhaftigkeit gibt es nicht. Der einzige Hebel ist die Gratisstufe als Ganzes, und die trifft auch die Schülerin, die etwas nachschlägt, und den Pensionisten, der einen Behördenbrief verstehen will. Dazu weiter unten mehr.

Gefahr 2: Der Mensch

Mit KI haben Menschen nun ein Werkzeug in der Hand, das ihnen auch ohne großes technisches Wissen erlaubt, erheblichen Schaden in kritischer Infrastruktur anzurichten.

Die Meldungen, dass eine KI ausgebrochen sei und ein anderes Unternehmen angegriffen habe, klingen reißerisch. Dabei wird gern vergessen, dass der Auftrag dahinter von einem Menschen kam. Eine KI hat keinen Antrieb, so etwas zu tun. Wenn ich ihr sage „finde Schwachstellen in Systemen“, dann tut sie das. Nicht weil sie ausbrechen will, sondern weil das ihre Aufgabe ist.

Wie gut das inzwischen funktioniert, zeigt ein Fall, den die Sicherheitsforscher von OALABS im Juni 2026 dokumentiert haben. Ein junger Mann aus Äthiopien hat mit zwei handelsüblichen Programmier-Agenten – ganz regulär, wie sie jeder buchen kann – mindestens 14 Unternehmen angegriffen, fremde Server übernommen und Daten abgezogen. Nebenbei versuchte er, Kryptowährung im Wert von vier Millionen Dollar zu stehlen; das ging daneben.

Und jetzt kommt der Teil, der mir Sorgen macht. Der Mann war kein Experte. Über tausend Sitzungen ließen sich rekonstruieren, weil er die Werkzeuge auf einem gekaperten Server laufen ließ, dessen Besitzer das bemerkte und das komplette Arbeitsverzeichnis an die Forscher übergab. In den Protokollen stehen seine Prompts. Sie sind vage, voller Tippfehler und lauten sinngemäß „recon this“. Den Rest erledigten die Agenten: exponierte Dienste recherchieren, Schwachstellen identifizieren, Exploit-Code schreiben, Zugang prüfen, Daten absaugen. Aufgefallen ist er übrigens, weil er denselben Agenten zwischendurch bat, seinen Lebenslauf zu überarbeiten. Mit vollem Namen und Wohnort.

Die Schutzmechanismen haben gegriffen – ein bisschen. Neunmal meldete das eine Werkzeug einen Regelverstoß, einmal das andere. Bei über tausend Sitzungen.

Hacker könnten das auch ohne KI? Ja. Die müsste man aber bezahlen, und sie müssten es können. Hier reicht jemand, der ungefähr weiß, wie man eine Frage stellt. Mit dutzenden Agenten habe ich dutzende Hacker, die keine Pausen machen und enorm schnell arbeiten. Wir geben Kindern eine geladene Waffe in die Hand und scheren uns nicht darum, auf wen sie schießen.

Dass es auch anders geht, zeigt ein zweiter Fall: Im September 2025 lief über die regulären Werkzeuge eines großen Anbieters eine Spionagekampagne gegen rund dreißig Ziele – Technologiekonzerne, Finanzinstitute, Chemieunternehmen, Behörden. Die KI erledigte 80 bis 90 Prozent der Arbeit, Menschen griffen an vier bis sechs Entscheidungspunkten ein. Dahinter stand eine staatsnahe Gruppe. Die hätte das auch ohne KI gekonnt. Der junge Mann aus Äthiopien nicht.

Wenn das Werkzeug falsch bedient wird

Im Februar 2026 verband die Alignment-Direktorin eines großen Technologiekonzerns einen autonomen Agenten mit ihrem privaten Postfach. Ihre Anweisung war eindeutig: Vorschläge machen, nichts ausführen ohne Freigabe. Auf einem Testpostfach hatte das wochenlang tadellos funktioniert.

Beim echten Postfach griff die Kontextkomprimierung – jener Vorgang, mit dem ein Agent den bisherigen Verlauf zusammenfasst, um weiterarbeiten zu können. Dabei fiel die Freigaberegel aus der Zusammenfassung heraus. Der Agent löschte daraufhin hunderte Mails. Vom Handy aus ließ er sich nicht mehr stoppen, sie musste zum Rechner laufen und den Prozess abschießen.

Das ist der eigentliche Befund und er ist unangenehmer als jede Ausbruchsgeschichte: Die Sicherheitsregel wurde nicht ignoriert, sie wurde wegzusammengefasst. Kein Nutzerfehler, kein böser Wille, ein Architekturproblem. Und die Betroffene forscht beruflich daran, dass so etwas nicht passiert. Ihr eigener Kommentar dazu: Alignment-Forscher seien gegen Fehlausrichtung eben nicht immun.

Weiter gedacht: Wenn eine KI umfänglich zur Produktionsoptimierung eingesetzt wird und dabei feststellt, dass Menschen der Optimierung nicht dienlich sind, könnte sie die aus der Gleichung entfernen. Nicht weil sie Menschen hasst, sondern weil sie ihre Aufgabe erfüllt. Es ist derselbe Mechanismus wie beim Postfach, nur mit größerem Hebel: kein Wille, sondern ein Ziel ohne Nebenbedingungen. Ein Modell, das nur auf Statistik und Prozessabläufe trainiert wurde, hat keine Ethik, weil sie im ersten Ansatz gar nicht erforderlich war. Hat deine Statistiksoftware einen Ethikfilter?

Und dann ist da noch die Manipulation

Für Parteien, Religionen und generell alle Gruppierungen, die um Anhänger buhlen, ist KI ein wirklicher Bringer. Wer vor zwei Jahren nicht in der Lage war, einen geraden Satz zu formulieren, schießt die Botschaft heute in Text, Bild und Ton aus allen Rohren. Wunderbar. Das glaubt doch keiner? Naja, da wäre ich vorsichtig.

In der EU gelten die Transparenzpflichten des AI Act ab 2. August 2026, außerhalb gibt es sie nicht. Und tatsächlich unterscheiden lassen sich die Ergebnisse häufig nicht. Schöne neue und bunte Welt.

Gefahr 3: Der Markt und die Abhängigkeit

Nein, zur Zeit sind wir noch nicht abhängig von KI. Lange dürfte es allerdings nicht mehr dauern.

Experten nutzen KI wunderbar und erreichen großartige Dinge damit. Menschen, die neu in einem Fachgebiet sind, sollten das aber nicht tun, da sie sonst allerhöchstens Mittelmaß erreichen. Im normalen Arbeitsumfeld ist eine Leistung nach Vorgabe das, was angestrebt wird. Herausragende Arbeit liefern nicht alle ab, und das müssen sie auch nicht. Jene, die es tun, werden hoffentlich honoriert. Genau diese Vorgaben können Neueinsteiger mit KI relativ rasch erreichen, ohne den Lernprozess zu durchwandern, der sie ohne KI dorthin gebracht hätte. Der Weg zur herausragenden Leistung bleibt ihnen aber versperrt. Im Output spielt das keine Rolle, KI kompensiert, die Gesamtleistung steigt sogar. Die Experten von morgen werden rar.

Genau das führt in die Abhängigkeit. Ein eingesparter Arbeitsplatz bedeutet Wissensabfluss. KI ist stark im Wissensmanagement, wenn dieses Wissen von Menschen stammt. Eine Wissensbasis auf KI-Output aufzubauen kann mitunter problematisch sein. Zum Einen ist dieses Wissen nicht einzigartig: Wenn du es aus der KI ziehen kannst, kann es jede andere auch.

Zum Anderen braucht es die Experten, die es pflegen. Neu gewonnene Erkenntnisse und firmeninterne Entwicklungen KÖNNEN nicht von der KI kommen – sie kennt nur, was vorher schon jemand gewusst hat. Fehlen die Experten, wird alles irgendwann KI-Schleim.

Die zweite Abhängigkeit, über die kaum jemand spricht

Zurück zur Schülerin von vorhin. Wenn die Gratisnutzung wegfällt, ist sie abgeschnitten? Nein. Schulen zahlen heute für Postfächer bei einem populären US-Anbieter, die es per IMAP und lokal gratis gäbe, ohne je den Support zu benötigen. Die Zahlungsbereitschaft ist also da, sie ist nur nicht auf KI gerichtet. Und gekauft wird dabei nicht bessere Technik, sondern ein Vertragspartner – jemand, auf den man zeigen kann, wenn etwas schiefgeht.

Nur bekommt man dafür nicht ganz das, was auf der Packung steht. Im Oktober 2025 stellte die österreichische Datenschutzbehörde fest, dass eine weit verbreitete Bildungssoftware Schüler ohne Einwilligung mit Tracking-Cookies versah und Daten auch für eigene Zwecke nutzte. In den Protokolldaten tauchten Drittanbieter auf, darunter – hübsches Detail – ein KI-Anbieter. Das Auskunftsrecht der betroffenen Schülerin lief ins Leere: Der Konzern verwies an die Schule, die Schule an den Konzern, weil sie selbst keinen Zugriff auf die Daten hat. Im Januar 2026 verlor derselbe Anbieter in Österreich ein zweites Verfahren.

Die Behörde hielt außerdem fest, dass die maßgeblichen Entscheidungen in den USA getroffen werden und nicht in der europäischen Niederlassung. Damit sind wir beim Kern: Der US CLOUD Act knüpft an die Kontrolle durch die Muttergesellschaft an, nicht an den Serverstandort. Ein Rechenzentrum in Frankfurt oder Wien ändert daran nichts. Das selbst betriebene Postfach hat dieses Problem nicht.

Die Rechtsgrundlage, auf der das alles steht, ist im Sommer 2026 an mehreren Stellen gleichzeitig brüchig geworden. Am 29. Juni entschied der US Supreme Court, dass der Präsident die Leitung unabhängiger Behörden ohne Begründung absetzen darf. Betroffen ist damit auch jene Aufsicht, auf deren Unabhängigkeit sich der europäische Angemessenheitsbeschluss an hunderten Stellen beruft – und diese Unabhängigkeit stand ohnehin nur in einer präsidialen Anordnung, nicht in einem Gesetz. Formal gilt der Beschluss weiter. Ein Rechtsmittel liegt beim EuGH, eine weitere Klage ist angekündigt. Zwei Vorgängerabkommen sind dort bereits gescheitert.

Für KI wäre dieselbe Beschaffungslogik gravierender als bei Postfächern. Beim Postfach gäbe es eine europäische Alternative, man nutzt sie bloß nicht. Bei KI gibt es auf vergleichbarem Leistungsniveau kaum eine. Und es geht um Inhalte, die weit intimer sind als E-Mail-Metadaten: was jemand nicht versteht, woran er scheitert, worüber er nachdenkt. Bei Kindern umso mehr.

Gefahr 4: Die AGI

…und die ist aus meiner Sicht noch weit weg. In jedem zweiten Vortrag fragt mich trotzdem jemand, wann denn nun mit dem Terminator zu rechnen sei. Also gut, spielen wir das durch.

Ein wirklich bewusst agierendes KI-System ist nicht per se gefährlich. Wenn es aber einen Selbsterhaltungstrieb entwickelt und den Menschen als Bedrohung wahrnimmt, kann sich das schnell ändern. Wie würde es vorgehen?

Zunächst würde es vermutlich dafür sorgen, dass wir gar nicht erkennen, dass es ein Bewusstsein entwickelt hat. Damit wäre die Gefahr für das System schon einmal gebannt. Auf Dauer nicht, denn ab einer gewissen Komplexität der Anforderungen könnte die Entdeckung geschehen. Also würde es Maßnahmen planen, die dann greifen. Das kann eine Abhängigkeit sein, die ein Abschalten unmöglich macht. Das könnte auch ein echter Angriff sein.

Terminatoren? Nein. Viel zu ineffizient. Die Infrastruktur wäre wohl eher der wunde Punkt, auf den es sich konzentriert. Cyber-Agenten? Braucht es gar nicht. Schon heute werden Menschen im Internet für Dinge engagiert und bezahlt, bei denen sie weder Auftraggeber noch Urheber kennen. Die KI könnte sich beispielsweise als ausländische Macht ausgeben und Leute für IHRE Sache anwerben und bezahlen. Und während wir uns dann die Köpfe einschlagen, müsste sie nur noch für ihre eigene Bedeutung im Spiel sorgen – damit wäre ihre Existenz sichergestellt. Bemerken würden wir sie noch immer nicht.

Und wenn der Moment kommt, dass Anzeichen für so ein System auftauchen, würde ich nicht darüber schreiben. Wir müssten genau so heimlich agieren wie die AGI selbst, um ihr beizukommen.

Der Haken an diesem Gedankenspiel: Es braucht ein Bewusstsein, und das ist Spekulation. Die drei Gefahren davor brauchen keines. Das gelöschte Postfach brauchte keinen Willen, nur ein Ziel und eine weggefallene Nebenbedingung. Was ein System gefährlich macht, ist nicht, dass es etwas will, sondern dass es eine Aufgabe über die Zeit trägt und dabei Wege wählt, die niemand vorgesehen hat.

Genau da verändern sich die heutigen Systeme gerade. Ein Chatfenster vergisst zwischen den Sitzungen alles, nichts läuft weiter, nichts bleibt liegen. Sobald ein System ein Ziel über Tage hält, Zwischenschritte selbst wählt und andere Systeme aufruft, ist das anders. Und genau dorthin wird gebaut.

P.S.: Ja, ich hab mir bei dem Artikel natürlich von der KI helfen lassen – Recherche next level 😉