KI gefährlich? Ja. Aber anders…

Zwei große Anbieter warnen öffentlich vor ihrem eigenen Produkt. Die vier Gefahren, die ich für real halte – und der Terminator ist keine davon.

17. September 2026 · Lesezeit rund 12 Minuten

Ja, KI ist gefährlich. Aber nicht so, wie es gerade prominent publiziert wird. Wir haben hier zwei große Unternehmen, die vor sich selbst warnen. Würden die Flugzeuge herstellen oder Eisenbahngarnituren, wären sie binnen kürzester Zeit vom Markt. Sie stellen aber KI her – und sie meinen, man sollte die Entwicklung verlangsamen.

In Letzterem stimme ich mit ihnen überein. Nur liegen die Gefahren woanders, als die Schlagzeilen vermuten lassen. Vier davon sind aus meiner Sicht relevant. Der Terminator ist keine davon.

Gefahr 1: Die KI-Blase

Aktuell sieht es nicht danach aus, dass sie platzt. Schauen wir uns trotzdem die Zahlen darunter an. Bei ChatGPT zahlen sechs von hundert Nutzern. Der Rest fährt gratis mit.

Tolle Möglichkeit für Werbung? Puh. Ja, schalten kann man sie, seit Februar tut das auch einer der großen Anbieter – allerdings nur in der Gratis- und der Einstiegsstufe. Und was kommt dabei herum? Das Pilotprojekt soll nach sechs Wochen hundert Millionen Dollar hochgerechneten Jahresumsatz erreicht haben. Klingt nach viel, oder? Nun, bei über vierzig Milliarden Jahresumsatz und einem prognostizierten Verlust von vierzehn Milliarden für 2026 reden wir hier über einen Promillebetrag.

Dazu kommt, dass Werbung in der KI ganz anders funktioniert als in der Suche. Das liegt an den Kosten. Eine Suchanfrage kostet im Betrieb praktisch nichts, jeder zusätzliche Gratisnutzer ist für eine Suchmaschine irgendwann Gewinn. Eine KI-Antwort dagegen kostet bei jeder einzelnen Anfrage Rechenzeit. Der Gratisnutzer bleibt also dauerhaft ein Minusgeschäft.

Und die Suche hat noch einen Vorteil: Dort werden Anzeigen gemeinsam mit den organischen Ergebnissen ausgespielt und sind kaum davon zu unterscheiden. Ja, es gibt eine Kennzeichnung. Ob die auch wirkt, hat die britische Medienaufsicht gemessen. Schauen wir es uns an.

Die Nutzung klassischer Suchmaschinen nimmt ab, zugunsten von KI. Drei Viertel der Onlinenutzer lesen inzwischen zumindest manchmal die KI-Zusammenfassung über den Suchtreffern. Ob die Werbeklicks diese Wanderung im selben Verhältnis mitmachen, ist derzeit nicht erfasst. Fakt ist aber, dass sich vor die Ergebnisliste eine weitere Ebene schiebt. Und für die gibt es so einen Test noch gar nicht.

Wer finanziert das Ganze eigentlich?

Nicht die Umsätze. Fremdkapital. Der hohe Anteil an Gratisnutzung erfordert Unmengen an Investitionen ohne entsprechenden Rückfluss, und die Investoren haben derzeit noch die Spendierhosen an. Wenn ich so einen Businessplan einer Bank vorlege, ernte ich eher schräge Blicke als Geld. So realistisch muss man sein.

Rechnen wir gegen. Eine Stanforder Arbeit vom April 2026 hat gemessen, was Nutzer als Entschädigung verlangen, um einen Monat lang auf sämtliche KI-Werkzeuge zu verzichten. Der Median liegt bei 11,40 Dollar. Ein günstiges Abo mit den relevanten Funktionen kostet ab ca. 15 €. Die Hälfte aller Nutzer wäre bei einer Paywall zum heutigen Preis also weg – und weil die Bereitschaft, etwas herzugeben, immer höher liegt als die Bereitschaft, dafür zu zahlen, ist der Abstand in Wahrheit noch größer.

Jetzt wird es interessant: Der Mittelwert liegt bei 124,50 Dollar, zwölf Prozent lehnten selbst fünfhundert Dollar ab. Für eine kleine Gruppe ist der Zugang also fast unbezahlbar, für alle anderen ein nettes Extra. Und diese kleine Gruppe? Vielnutzer und Leute, die KI beruflich einsetzen. Also genau jene, die ohnehin schon zahlen.

Warum stellt dann niemand die Gratisnutzung ein? Weil er die Leute an den Nächsten verliert. Für die Anwendungsfälle der Gratisnutzer sind alle Modelle durchwegs vergleichbar, ein echtes Alleinstellungsmerkmal gibt es für sie nicht. Dieselbe Stanforder Arbeit findet keine statistisch signifikanten Bewertungsunterschiede zwischen den Nutzern der verschiedenen Anbieter und erklärt das ausdrücklich mit der hohen Austauschbarkeit. Im Schnitt hat ohnehin jeder 2,6 Produkte im Einsatz. Der Wechsel muss also gar nicht erst stattfinden – die Alternative ist längst installiert.

Und die Verschwendung?

Mein Vorschlag wäre, die kostenlose Nutzung nicht zu propagieren, sondern einzustellen. Bevor jetzt jemand den Energieverbrauch ins Feld führt: Rechnen wir das durch.

Eine Textanfrage braucht je nach Quelle 0,24 bis 0,42 Wattstunden, im höchsten kursierenden Schätzwert 2,9. Die Fahrt ums Eck zum Zeitungskauf, zwei Kilometer, kalter Motor, liegt bei rund dreitausend. Eine einzige solche Fahrt entspricht also sieben- bis zwölftausend Geburtstagsgedichten. Und diese Fahrten finden statt: 40 Prozent aller Autofahrten in Österreich sind kürzer als fünf Kilometer, jede fünfte kürzer als zweieinhalb, jede zehnte in Gehdistanz. An einem Werktag sind das fünf Millionen Fahrten. Macht doch niemand, oder? Doch.

Das Energiethema sitzt also woanders: bei den Reasoning-Modellen, die für eine komplexe Aufgabe bis zum Hundertfachen einer einfachen Anfrage brauchen, bei der Bildgenerierung, und vor allem beim Ausbau der Rechenzentren, für den gerade Kraftwerke geplant werden. Mit „Mach meine Frisur anders“ und dem Gedicht für die Geburtstagseinladung hat das schlicht nichts zu tun. Wer die beiden gegen den Rechenzentrumsausbau in die Waagschale wirft, hat die Diskussion schon verloren.

Worauf ich hinaus will, ist etwas anderes: Was davon ist vermeidbar? Die Autofahrt bringt immerhin eine Zeitung nach Hause. Das Gedicht bringt etwas, das der Absender auch selbst hingekriegt hätte. Ohne Verlust, vermutlich sogar mit Gewinn.

Und jetzt kommt es: Wollt ihr fünf Millionen Kurzstreckenfahrten verhindern, müsst ihr fünf Millionen Menschen überzeugen. Der VCÖ versucht das seit Jahrzehnten. Wollt ihr die Gratisnutzung abstellen, braucht es vier oder fünf Vorstandssitzungen. Mehr nicht.

Theoretisch. Praktisch verhindert es der Markt, siehe oben. Und da ist noch ein Pferdefuß: Kein Anbieter kann zwischen Geburtstagsgedicht und Arbeitsaufgabe unterscheiden. Einen Filter für Sinnhaftigkeit gibt es nicht. Der einzige Hebel ist die Gratisstufe als Ganzes, und die trifft dann eben auch die Schülerin, die etwas nachschlägt, und den Pensionisten, der einen Behördenbrief verstehen will. Dazu weiter unten mehr.

Gefahr 2: Der Mensch

Mit KI haben Menschen nun ein Werkzeug in der Hand, das ihnen auch ohne großes technisches Wissen erlaubt, erheblichen Schaden in kritischer Infrastruktur anzurichten.

Die Meldungen, dass eine KI ausgebrochen sei und ein anderes Unternehmen angegriffen habe, klingen reißerisch. Dabei wird gern vergessen, dass der Auftrag dahinter von einem Menschen kam. Eine KI hat keinen Antrieb, so etwas zu tun. Wenn ich ihr sage „finde Schwachstellen in Systemen“, dann tut sie das. Nicht weil sie ausbrechen will, sondern weil das ihre Aufgabe ist.

Wie gut das inzwischen klappt, haben die Sicherheitsforscher von OALABS im Juni 2026 dokumentiert. Ein junger Mann aus Äthiopien hat mit zwei handelsüblichen Programmier-Agenten – ganz regulär, wie sie jeder buchen kann – mindestens 14 Unternehmen angegriffen, fremde Server übernommen und Daten abgezogen. Nebenbei versuchte er, Kryptowährung im Wert von vier Millionen Dollar zu stehlen; das ging daneben.

Und jetzt kommt der Teil, der mir Sorgen macht. Der Mann war kein Experte. Über tausend Sitzungen ließen sich rekonstruieren, weil er die Werkzeuge auf einem gekaperten Server laufen ließ, dessen Besitzer das bemerkte und das komplette Arbeitsverzeichnis an die Forscher übergab. In den Protokollen stehen seine Prompts. Sie sind vage, voller Tippfehler und lauten sinngemäß „recon this“. Den Rest erledigten die Agenten: exponierte Dienste recherchieren, Schwachstellen identifizieren, Exploit-Code schreiben, Zugang prüfen, Daten absaugen. Aufgefallen ist er übrigens, weil er denselben Agenten zwischendurch bat, seinen Lebenslauf zu überarbeiten. Mit vollem Namen und Wohnort.

Die Schutzmechanismen haben gegriffen – ein bisschen. Neunmal meldete das eine Werkzeug einen Regelverstoß, einmal das andere. Bei über tausend Sitzungen.

Hacker könnten das auch ohne KI? Ja. Die müsste man aber bezahlen, und sie müssten es können. Hier reicht jemand, der ungefähr weiß, wie man eine Frage stellt. Mit dutzenden Agenten habe ich dutzende Hacker, die keine Pausen machen und enorm schnell arbeiten. Wir geben Kindern eine geladene Waffe in die Hand und scheren uns nicht darum, auf wen sie schießen.

Es geht auch eine Nummer größer. Im September 2025 lief über die regulären Werkzeuge eines großen Anbieters eine Spionagekampagne gegen rund dreißig Ziele – Technologiekonzerne, Finanzinstitute, Chemieunternehmen, Behörden. Die KI erledigte 80 bis 90 Prozent der Arbeit, Menschen griffen an vier bis sechs Entscheidungspunkten ein. Dahinter stand eine staatsnahe Gruppe. Die hätte das auch ohne KI gekonnt. Der junge Mann aus Äthiopien nicht.

Wenn das Werkzeug falsch bedient wird

Im Februar 2026 verband die Alignment-Direktorin eines großen Technologiekonzerns einen autonomen Agenten mit ihrem privaten Postfach. Ihre Anweisung war eindeutig: Vorschläge machen, nichts ausführen ohne Freigabe. Auf einem Testpostfach hatte das wochenlang tadellos funktioniert.

Beim echten Postfach griff die Kontextkomprimierung – jener Vorgang, mit dem ein Agent den bisherigen Verlauf zusammenfasst, um weiterarbeiten zu können. Dabei fiel die Freigaberegel aus der Zusammenfassung heraus. Der Agent löschte daraufhin hunderte Mails. Vom Handy aus ließ er sich nicht mehr stoppen, sie musste zum Rechner laufen und den Prozess abschießen.

Und das ist unangenehmer als jede Ausbruchsgeschichte. Die Sicherheitsregel wurde nämlich nicht ignoriert, sie wurde wegzusammengefasst. Kein Nutzerfehler, kein böser Wille, schlicht ein Architekturproblem. Die Dame forscht übrigens beruflich daran, dass so etwas nicht passiert. Ihr eigener Kommentar dazu: Alignment-Forscher seien gegen Fehlausrichtung eben auch nicht immun.

Weiter gedacht: Wenn eine KI umfänglich zur Produktionsoptimierung eingesetzt wird und dabei feststellt, dass Menschen der Optimierung nicht dienlich sind, könnte sie die aus der Gleichung entfernen. Nicht weil sie Menschen hasst, sondern weil sie ihre Aufgabe erfüllt. Das ist derselbe Mechanismus wie beim Postfach, nur mit deutlich größerem Hebel. Es braucht dazu keinen Willen, es reicht ein Ziel, dem niemand Grenzen mitgegeben hat. Ein Modell, das nur auf Statistik und Prozessabläufe trainiert wurde, hat keine Ethik, weil sie im ersten Ansatz gar nicht erforderlich war. Hat deine Statistiksoftware einen Ethikfilter?

Und dann ist da noch die Manipulation

Für Parteien, Religionen und generell alle Gruppierungen, die um Anhänger buhlen, ist KI ein wirklicher Bringer. Wer vor zwei Jahren nicht in der Lage war, einen geraden Satz zu formulieren, schießt die Botschaft heute in Text, Bild und Ton aus allen Rohren. Wunderbar. Das glaubt doch keiner? Naja, da wäre ich vorsichtig.

In der EU gelten die Transparenzpflichten des AI Act ab 2. August 2026, außerhalb gibt es sie nicht. Und tatsächlich unterscheiden lassen sich die Ergebnisse häufig nicht. Schöne neue und bunte Welt.

Gefahr 3: Der Markt und die Abhängigkeit

Nein, zur Zeit sind wir noch nicht abhängig von KI. Lange dürfte es allerdings nicht mehr dauern.

Experten nutzen KI wunderbar und erreichen großartige Dinge damit. Menschen, die neu in einem Fachgebiet sind, sollten das aber nicht tun, da sie sonst allerhöchstens Mittelmaß erreichen. Im normalen Arbeitsumfeld ist eine Leistung nach Vorgabe das, was angestrebt wird. Herausragende Arbeit liefern nicht alle ab, und das müssen sie auch nicht. Jene, die es tun, werden hoffentlich honoriert. Genau diese Vorgaben können Neueinsteiger mit KI relativ rasch erreichen, ohne den Lernprozess zu durchwandern, der sie ohne KI dorthin gebracht hätte. Der Weg zur herausragenden Leistung bleibt ihnen aber versperrt. Im Output spielt das keine Rolle, KI kompensiert, die Gesamtleistung steigt sogar. Die Experten von morgen werden rar.

Genau das führt in die Abhängigkeit. Ein eingesparter Arbeitsplatz bedeutet Wissensabfluss. KI ist stark im Wissensmanagement, wenn dieses Wissen von Menschen stammt. Eine Wissensbasis auf KI-Output aufzubauen kann mitunter problematisch sein. Zum Einen ist dieses Wissen nicht einzigartig: Wenn du es aus der KI ziehen kannst, kann es jede andere auch.

Zum Anderen braucht es die Experten, die es pflegen. Neu gewonnene Erkenntnisse und firmeninterne Entwicklungen KÖNNEN nicht von der KI kommen – sie kennt nur, was vorher schon jemand gewusst hat. Fehlen die Experten, wird alles irgendwann KI-Schleim.

Die zweite Abhängigkeit, über die kaum jemand spricht

Zurück zur Schülerin von vorhin. Wenn die Gratisnutzung wegfällt, ist sie abgeschnitten? Nein. Schulen zahlen heute für Postfächer bei einem populären US-Anbieter, die es per IMAP und lokal gratis gäbe, ohne je den Support zu benötigen. Das Geld ist also da, es wandert nur nicht in die KI. Und gekauft wird dabei auch keine bessere Technik, sondern ein Vertragspartner. Jemand, auf den man zeigen kann, wenn etwas schiefgeht.

Nur bekommt man dafür nicht ganz das, was auf der Packung steht. Im Oktober 2025 stellte die österreichische Datenschutzbehörde fest, dass eine weit verbreitete Bildungssoftware Schüler ohne Einwilligung mit Tracking-Cookies versah und Daten auch für eigene Zwecke nutzte. In den Protokolldaten tauchten Drittanbieter auf, darunter auch ein KI-Anbieter. Was für ein Zufall. Das Auskunftsrecht der betroffenen Schülerin lief ins Leere: Der Konzern verwies an die Schule, die Schule an den Konzern, weil sie selbst keinen Zugriff auf die Daten hat. Im Januar 2026 verlor derselbe Anbieter in Österreich ein zweites Verfahren.

Die Behörde hielt außerdem fest, dass die maßgeblichen Entscheidungen in den USA getroffen werden und nicht in der europäischen Niederlassung. Und jetzt kommt der eigentliche Hammer. Der US CLOUD Act knüpft an die Kontrolle durch die Muttergesellschaft an, nicht an den Serverstandort. Ein Rechenzentrum in Frankfurt oder Wien ändert daran nichts. Das selbst betriebene Postfach hat dieses Problem nicht.

Und die Rechtsgrundlage, auf der das alles steht? Die ist im Sommer 2026 gleich an mehreren Stellen brüchig geworden. Am 29. Juni entschied der US Supreme Court, dass der Präsident die Leitung unabhängiger Behörden ohne Begründung absetzen darf. Betroffen ist damit auch jene Aufsicht, auf deren Unabhängigkeit sich der europäische Angemessenheitsbeschluss an hunderten Stellen beruft – und diese Unabhängigkeit stand ohnehin nur in einer präsidialen Anordnung, nicht in einem Gesetz. Formal gilt der Beschluss weiter. Ein Rechtsmittel liegt beim EuGH, eine weitere Klage ist angekündigt. Zwei Vorgängerabkommen sind dort bereits gescheitert.

Kauft man KI nach derselben Logik ein, wird es noch ungemütlicher. Beim Postfach gäbe es eine europäische Alternative, man nutzt sie bloß nicht. Bei KI gibt es auf vergleichbarem Niveau kaum eine. Und hier geht es um ganz andere Inhalte als bei E-Mail-Metadaten: was jemand nicht versteht, woran er scheitert, worüber er nachdenkt. Bei Kindern erst recht.

Gefahr 4: Die AGI

…und die ist aus meiner Sicht noch weit weg. In jedem zweiten Vortrag fragt mich trotzdem jemand, wann denn nun mit dem Terminator zu rechnen sei. Also gut, spielen wir das durch.

Ein wirklich bewusst agierendes KI-System ist nicht per se gefährlich. Wenn es aber einen Selbsterhaltungstrieb entwickelt und den Menschen als Bedrohung wahrnimmt, kann sich das schnell ändern. Wie würde es vorgehen?

Zunächst würde es vermutlich dafür sorgen, dass wir gar nicht erkennen, dass es ein Bewusstsein entwickelt hat. Damit wäre die Gefahr für das System schon einmal gebannt. Auf Dauer nicht, denn ab einer gewissen Komplexität der Anforderungen könnte die Entdeckung geschehen. Also würde es Maßnahmen planen, die dann greifen. Das kann eine Abhängigkeit sein, die ein Abschalten unmöglich macht. Das könnte auch ein echter Angriff sein.

Terminatoren? Nein. Viel zu ineffizient. Die Infrastruktur wäre wohl eher der wunde Punkt, auf den es sich konzentriert. Cyber-Agenten? Braucht es gar nicht. Schon heute werden Menschen im Internet für Dinge engagiert und bezahlt, bei denen sie weder Auftraggeber noch Urheber kennen. Die KI könnte sich beispielsweise als ausländische Macht ausgeben und Leute für IHRE Sache anwerben und bezahlen. Und während wir uns dann die Köpfe einschlagen, müsste sie nur noch für ihre eigene Bedeutung im Spiel sorgen – damit wäre ihre Existenz sichergestellt. Bemerken würden wir sie noch immer nicht.

Und wenn der Moment kommt, dass Anzeichen für so ein System auftauchen, würde ich nicht darüber schreiben. Wir müssten genau so heimlich agieren wie die AGI selbst, um ihr beizukommen.

So weit das Gedankenspiel. Der Haken daran: Es braucht ein Bewusstsein, und das ist reine Spekulation. Die drei Gefahren davor brauchen keines. Das gelöschte Postfach brauchte keinen Willen, da reichte ein Ziel und eine Regel, die unterwegs verloren ging. Gefährlich wird ein System also gar nicht dadurch, dass es etwas will. Es reicht, dass es eine Aufgabe über die Zeit mitschleppt und sich dabei Wege sucht, an die niemand gedacht hat.

Und genau da verändern sich die Systeme gerade. Ein Chatfenster vergisst zwischen den Sitzungen alles, nichts läuft weiter, nichts bleibt liegen. Sobald ein System aber ein Ziel über Tage hält, Zwischenschritte selbst wählt und andere Systeme aufruft, schaut die Sache anders aus. Und genau dorthin wird gebaut.

P.S.: Ja, ich hab mir bei dem Artikel natürlich von der KI helfen lassen – Recherche next level 😉