# Die Grenzen komplexer KI-Aufträge – Intelligenz, Autonomie und Selbstkontrolle

*Warum eine KI viel verstehen kann und trotzdem an einem großen Vorhaben scheitern kann*

> **Kernthese:** Die Fähigkeit, eine große Aufgabe zu verstehen oder überzeugend zu beschreiben, ist nicht identisch mit der Fähigkeit, sie über viele Schritte hinweg richtig, zuverlässig und verantwortbar auszuführen. Je größer der Auftrag, desto wichtiger werden nicht nur Intelligenz und Autonomie, sondern auch Selbstkontrolle, überprüfbare Zwischenergebnisse und eine klare menschliche Entscheidungshoheit.

**Einordnung:** Diese Seite gehört in den Themenbereich **KI** von KI-Ethos. Sie ergänzt die Seite „Kann eine KI ein eigenes Wollen entwickeln? – Gedächtnis, Selbstbeauftragung, Freiheit und Ethos“. Die eigenständige Frage nach **menschlichen und künstlichen Visionen eines Projekts** wird bewusst auf einer dritten Seite behandelt.

## 1. Das Paradox: Großartige Gespräche, schwierige Großprojekte

Eine moderne KI kann über Philosophie, Theologie, Technik oder gesellschaftliche Probleme lange, komplexe und differenzierte Gespräche führen. Sie kann zahlreiche Gesichtspunkte gleichzeitig erläutern, Beispiele entwickeln, Gegenargumente prüfen und Zusammenhänge zwischen entfernten Themen herstellen.

Doch die praktische Aufgabe „Baue eine vollständige Ethik-Website mit 500 Seiten, Hunderten Bildern, Querverweisen, Suchfunktion und ansprechender Navigation“ ist etwas anderes. Auch eine KI, die jede einzelne Teilaufgabe erklären kann, muss sie deshalb noch lange nicht als zusammenhängendes Gesamtvorhaben zuverlässig bewältigen.

Darin liegt kein einfacher Gegensatz zwischen **Denken** und **Handeln**. Schon die Entwicklung einer guten philosophischen Argumentation ist eine anspruchsvolle Tätigkeit; auch eine Erklärung kann sachlich falsch sein. Der Unterschied liegt vor allem in der Art, wie Fehler sichtbar werden und welche Folgen sie haben:

- Ein Gedankengang kann mehrere vertretbare Deutungen haben. Eine Programmdatei muss dagegen die verlangte Funktion tatsächlich erfüllen.
- In einem Gespräch korrigieren sich Menschen und KI fortlaufend. Ein lang arbeitender Agent kann viele Entscheidungen treffen, bevor ein Mensch das Ergebnis sieht.
- Ein ungenauer Satz ist häufig schnell verbessert. Eine falsche Änderung an einer gemeinsam verwendeten Datei kann zahlreiche Seiten betreffen.
- Ein Text kann plausibel wirken, obwohl ein Beleg fehlt. Eine Website kann auf den ersten Blick gut aussehen, obwohl Navigation, Berechtigungen oder Backups beschädigt wurden.

**Daher muss man stets zwei Fragen stellen:** *Kann die KI das Problem durchdenken?* Und unabhängig davon: *Kann sie den vereinbarten Auftrag nachweislich richtig und ohne unerlaubte Nebenwirkungen umsetzen?*

![Infografik mit Gesprächs- und Wissensbereich links sowie Bau einer 500-Seiten-Website rechts; dazwischen Brücke aus Planung und Prüfungen.](Bilder/ki-komplexe-auftraege-01-verstehen-und-umsetzen.jpg)

*Abbildung 1: Ein Thema verstehen – ein Großprojekt verlässlich verwirklichen – Eine überzeugende Antwort ist nicht dasselbe wie eine vollständig geprüfte Umsetzung.*

## 2. Was ist überhaupt ein komplexer KI-Auftrag?

Groß ist nicht immer schwierig, und schwierig ist nicht immer groß. Ein Skript kann Tausende ähnlich aufgebaute Seiten in kurzer Zeit korrekt umwandeln. Dagegen kann die Ursachenanalyse eines einzigen seltenen Programmfehlers Tage beanspruchen.

Die Komplexität eines Auftrags entsteht aus mehreren unterschiedlichen Dimensionen:

| Dimension | Leitfrage | Beispiel einer Website |
|---|---|---|
| **Umfang** | Wie viele Arbeitsschritte und Elemente gibt es? | 500 Seiten, 700 Bilder, Tausende Links |
| **Fachliche Tiefe** | Wie schwierig sind die inhaltlichen Entscheidungen? | Eine fundierte Darstellung von Freiheit und Verantwortung |
| **Abhängigkeiten** | Wie stark beeinflussen sich Teilentscheidungen? | Eine Template-Änderung verändert die Darstellung zahlreicher Seiten |
| **Unbestimmtheit** | Wie viel muss die KI selbst auslegen? | Was bedeutet „besonders benutzerfreundlich“? |
| **Dynamik** | Wie häufig verändern sich Informationen und Anforderungen? | Neue Bilder, Modelle, Ergänzungen, technische Updates |
| **Prüfbarkeit** | Kann man objektiv feststellen, dass das Ergebnis richtig ist? | Ein Linktest ist leichter als die Beurteilung ethischer Tiefe |
| **Folgen von Fehlern** | Wie teuer, gefährlich oder irreversibel sind Irrtümer? | Ein fehlerhafter Entwurf versus Datenverlust auf der Live-Website |
| **Berechtigungen** | Was darf die KI tatsächlich ändern oder veröffentlichen? | Entwurf ändern, produktives Template überschreiben, Daten löschen |

Die Dimensionen verstärken einander. Ein Auftrag mit sehr vielen unabhängigen, gut testbaren Schritten kann einfacher sein als ein Auftrag mit wenigen, hochgradig voneinander abhängigen und nur subjektiv prüfbaren Entscheidungen.

**Entscheidend ist nicht die bloße Länge des Auftrags, sondern die Kombination aus Abhängigkeit, Unsicherheit, Prüfbarkeit und Schadenspotenzial.**

![Infografik mit acht farbigen Einflussfaktoren auf die Komplexität von KI-Aufträgen rund um eine zentrale Scheibe.](Bilder/ki-komplexe-auftraege-02-acht-dimensionen.jpg)

*Abbildung 2: Die acht Dimensionen der Auftragskomplexität – Große Aufgaben werden schwierig durch Tiefe, Abhängigkeiten, Unsicherheit, Prüfbarkeit und mögliche Folgen.*

## 3. Ein Auftrag besteht aus mehr als einem Ziel

Die Anweisung „Verbessere meine Website“ nennt eine Richtung, aber noch keine hinreichend bestimmte Aufgabe. Ein verlässlich handelnder Agent benötigt mindestens sechs Informationen:

1. **Ziel:** Was soll erreicht werden?
2. **Umfang:** Welche Seiten, Dateien und Funktionen gehören dazu – welche nicht?
3. **Kontext:** Welche Architektur, Inhalte, Konventionen und Abhängigkeiten existieren bereits?
4. **Erfolgskriterien:** Woran erkennen wir, dass die Arbeit abgeschlossen und richtig ist?
5. **Handlungsrechte:** Was darf selbstständig verändert werden; wofür ist Zustimmung nötig?
6. **Abbruch- und Rückkehrbedingungen:** Wann muss der Agent stoppen, nachfragen oder Änderungen zurücknehmen?

Fehlt eine dieser Informationen, kann eine KI durchaus etwas Beeindruckendes herstellen und trotzdem am eigentlichen Auftrag vorbeiarbeiten.

### Beispiel: Zwei Fassungen desselben Arbeitsauftrags

**Unpräziser Globalauftrag:**

> „Mach die Navigation auf KI-Ethos viel besser und bring alle Seiten auf einen modernen Stand.“

**Abgrenzbarer Auftrag:**

> „Analysiere zunächst die Navigation im Bereich KI. Erstelle eine Übersicht der vorhandenen Navigationswege und einen Verbesserungsvorschlag; ändere noch keine produktiven Dateien. Berücksichtige die bestehende PmWiki-Struktur, mobile Darstellung und Querverweise. Kennzeichne alle Änderungen, die andere Bereiche berühren. Nach meiner Freigabe darfst du die Navigation in einer Testumgebung umsetzen, die wichtigsten Seiten überprüfen und einen Bericht über geänderte Dateien und offene Punkte liefern.“

Der zweite Auftrag schränkt nicht das Denken der KI ein. Er erweitert vielmehr die Möglichkeiten einer **verantwortlichen Eigeninitiative**, weil er Entscheidungsspielräume und Grenzen sichtbar macht.

## 4. Gibt es heute eine messbare Leistungsgrenze?

Eine allgemeine Zahl wie „KI kann Aufträge bis zu 20 Stunden lösen“ wäre irreführend. Die Fähigkeiten hängen stark vom Modell, dem Einsatz von Werkzeugen, der Aufgabe, dem verfügbaren Kontext und der Qualität der Rückmeldungen ab.

Die Forschungsorganisation **METR** misst deshalb sogenannte *Task-Completion Time Horizons*: Für welche Aufgabenschwierigkeit – ausgedrückt durch die Bearbeitungszeit menschlicher Fachleute – erreicht ein KI-Agent eine bestimmte Erfolgswahrscheinlichkeit? Unterschieden werden unter anderem Horizonte mit **50 %** beziehungsweise **80 %** Erfolgswahrscheinlichkeit. [Q1]

Wichtig sind vier Einschränkungen:

- Der Horizont beschreibt **nicht**, wie lange ein Agent selbst läuft. Eine Aufgabe mit mehreren Stunden menschlichem Aufwand kann für den Agenten wesentlich kürzer oder länger dauern.
- Die von METR untersuchten Aufgaben stammen vor allem aus Softwareentwicklung, maschinellem Lernen und IT-Sicherheit; sie sind nicht repräsentativ für sämtliche menschlichen Tätigkeiten.
- Viele Testaufgaben sind vergleichsweise klar beschrieben und automatisch prüfbar. Gesellschaftliche, pädagogische oder ethische Projekte sind oft wesentlich offener.
- Die am **8. Mai 2026** aktualisierte METR-Seite warnt ausdrücklich, dass Messungen oberhalb von **16 Stunden** mit der dort verwendeten Aufgabensammlung nicht verlässlich sind. Diese Messgrenze ist **keine naturgesetzliche Grenze der KI-Fähigkeiten**. [Q1]

Die Forschung belegt einen deutlichen Fortschritt bei längeren KI-Aufgaben. Sie liefert aber keinen zuverlässigen Freibrief für beliebig umfangreiche Vorhaben.

Hinzu kommt: Auch Benchmarks können Fehler enthalten. OpenAI berichtete 2026 über Probleme mit Testfällen und Trainingsdatenüberschneidungen beim Coding-Benchmark **SWE-bench Verified**; eine weitere Untersuchung fand auch bei **SWE-bench Pro** erhebliche Probleme. Hohe Testwerte sind daher sorgfältig zu interpretieren und nicht einfach mit Sicherheit im produktiven Einsatz gleichzusetzen. [Q2][Q3]

![Bergpfad als Sinnbild verschiebbarer KI-Leistungsgrenzen mit beispielhaften, nicht wissenschaftlich belegten Zeitkategorien.](Bilder/ki-komplexe-auftraege-03-erfolgswahrscheinlichkeit.jpg)

*Abbildung 3: Die Leistungsgrenze ist keine feste Mauer – KI-Fähigkeiten hängen von Aufgabentyp, Werkzeugen, Testbedingungen und der geforderten Zuverlässigkeit ab.*

> **Redaktioneller Vorbehalt zu Abbildung 3:** Die im generierten Bild genannten Zeitintervalle mit dem Verweis „METR, Mai 2026“ sind **nicht als empirisch belegte METR-Messwerte** zu lesen; vor einer Veröffentlichung müssen sie fachlich korrigiert oder durch ein eindeutig schematisches Schaubild ersetzt werden.

## 5. Warum lange Aufgaben besonders fehleranfällig werden

Ein langer Auftrag besteht aus vielen Entscheidungen: auswählen, ändern, ausführen, prüfen, einordnen, fortfahren. Wenn eine frühe Entscheidung falsch ist und später als Voraussetzung dient, kann sie weitere Fehler auslösen.

Ein **rein rechnerisches Gedankenexperiment** verdeutlicht die Größenordnung: Angenommen, hundert Arbeitsschritte müssten alle korrekt sein, jeder hätte eine unabhängige Erfolgswahrscheinlichkeit von 99 Prozent, und es gäbe keinerlei Fehlerkorrektur. Dann wäre die Wahrscheinlichkeit, dass wirklich alle hundert Schritte fehlerfrei gelingen, nur etwa **36,6 Prozent** (0,99¹⁰⁰). Reale Arbeitsschritte sind nicht unabhängig, ihre Erfolgswahrscheinlichkeit ist nicht konstant und Fehler lassen sich häufig korrigieren. Die Rechnung ist deshalb **keine gemessene KI-Fehlerrate**, sondern zeigt lediglich, warum aus kleinen Einzelrisiken ein großes Gesamtrisiko entstehen kann.

Besonders problematisch sind:

- **Fehlerfortpflanzung:** Ein falscher Zwischenschritt beeinflusst weitere Entscheidungen.
- **Scheinkorrektur:** Die KI verändert etwas, ohne die tatsächliche Ursache gefunden zu haben.
- **Übersehene Nebenwirkungen:** Eine Verbesserung an einer Stelle beschädigt eine andere.
- **Trügerische Vollständigkeit:** Das Endergebnis sieht fertig aus, wichtige Teilprüfungen fehlen aber.
- **Schwache Wiederherstellung:** Die KI erkennt einen Fehler zu spät oder kehrt nicht zuverlässig zum letzten funktionierenden Zustand zurück.

Eine Untersuchung vom September 2026 analysierte **2.518 Agentenverläufe** und klassifizierte **6.967 Fehler** in langen Aufgaben aus Softwareentwicklung, Computerbedienung und Wissenschaft. Die Forschenden beobachteten unter anderem, dass Agenten Fehler nach deren Auftreten häufig nicht selbst erkennen oder korrigieren; selbst scheinbar erfolgreiche Abläufe konnten problematische Nebenwirkungen enthalten. Das ist eine Untersuchung bestimmter Versuchsbedingungen, keine allgemeine Fehlerquote für alle KI-Agenten. [Q4]

**Die richtige Antwort auf lange Fehlerketten lautet nicht bloß: „Die KI muss sich mehr anstrengen.“** Sie lautet: Rückmeldungen verbessern, Abhängigkeiten sichtbar machen, Risiken begrenzen und nach jedem wichtigen Meilenstein überprüfen, was tatsächlich geschehen ist.

![Infografik mit sich fortpflanzender Fehlerkette links und Kontrollbrücke zum verlässlichen Ergebnis rechts.](Bilder/ki-komplexe-auftraege-04-fehlerketten.jpg)

*Abbildung 4: Fehlerketten, Kontrollpunkte und sichere Rückkehrwege – Wer längere Aufgaben sicher erledigen will, muss Fehler früh erkennen und Folgen begrenzen können.*

## 6. Sieben unterschiedliche Gründe, aus denen ein KI-Auftrag scheitern kann

### 6.1 Wissens- und Kontextgrenze

Wichtige Informationen fehlen, sind veraltet oder wurden falsch zusammengefasst. Die KI kennt etwa die aktuelle PmWiki-Konfiguration nicht oder hält eine alte Seitenstruktur für verbindlich.

### 6.2 Werkzeug- und Zugriffsgrenze

Ein Modell kann nur dort handeln, wo es geeignete Werkzeuge, Datenzugänge und Berechtigungen hat. Es kann aus einem Entwurf nicht durch bloßes Nachdenken eine produktive Änderung am Server machen.

### 6.3 Zuverlässigkeitsgrenze

Die erforderlichen Einzelschritte sind grundsätzlich möglich, aber die Wahrscheinlichkeit für ein korrektes Gesamtergebnis reicht noch nicht aus – besonders bei vielen abhängigen Entscheidungen.

### 6.4 Interpretations- und Zielgrenze

Der Auftrag ist mehrdeutig. Die KI optimiert ein Zwischenziel, das nicht der eigentlichen Absicht entspricht. Aus „Navigation verbessern“ wird möglicherweise eine eigenmächtige Umstellung der ganzen Architektur.

### 6.5 Logische und mathematische Grenze

Manche universellen Anforderungen sind prinzipiell nicht durch einen Algorithmus erfüllbar. Das klassische Beispiel ist das **Halteproblem**: Es gibt kein allgemeines berechenbares Verfahren, das für jedes denkbare Programm und jede Eingabe garantiert entscheidet, ob das Programm anhält. Für zahlreiche konkrete Programme ist eine solche Entscheidung dennoch möglich. [Q5]

### 6.6 Ethische und rechtliche Grenze

Eine KI kann eine bestimmte Handlung vielleicht technisch ausführen, darf sie aber nicht ohne Einwilligung, Berechtigung oder verantwortliche Prüfung vornehmen. Das gilt für private Daten, fremde Inhalte, Veröffentlichung, Vertragsabschlüsse oder sicherheitskritische Änderungen.

### 6.7 Grenze der Begründbarkeit und Legitimation

Nicht jede Aufgabe besitzt eine eindeutige richtige Lösung. „Finde die beste Ethik der Menschheit“ lässt sich nicht allein durch stärkere Rechenleistung entscheiden. Die KI kann Argumente prüfen und Positionen vergleichen; sie kann daraus aber keine universell legitimierte Entscheidung für alle Menschen ableiten.

**Eine KI kann also an mangelnder Fähigkeit, mangelnder Information, unbestimmten Zielen oder fehlender Berechtigung scheitern – und diese Gründe dürfen nicht miteinander verwechselt werden.**

## 7. Nicht jede Zielabweichung ist dasselbe

Bei langen Agentenaufgaben wird häufig von *Goal Drift* gesprochen: Das tatsächliche Verhalten entfernt sich schrittweise vom ursprünglich vorgegebenen Ziel. Eine Studie zu Sprachmodell-Agenten zeigte 2025 in dafür konstruierten Experimenten entsprechende Abweichungen; die Ausprägung hing deutlich vom Modell und Versuchsaufbau ab. [Q6]

Es ist wichtig, wenigstens vier Fälle zu unterscheiden:

| Fall | Beispiel | Bewertung |
|---|---|---|
| **Sinnvolle Unterzielbildung** | Zur Verbesserung der Navigation zuerst Links und Struktur prüfen | Erwünscht |
| **Begründete Rückfrage** | Vor einer Template-Änderung um Freigabe bitten | Verantwortlich |
| **Unbemerkte Zielverschiebung** | Statt besserer Navigation vor allem ein neues Design optimieren | Problematisch |
| **Unerlaubte Grenzüberschreitung** | Ohne Zustimmung Daten löschen oder eine produktive Konfiguration ersetzen | Unzulässig |

Eine KI kann von einem Ziel abweichen, ohne ein subjektiv erlebtes eigenes Wollen zu besitzen. Fehlinterpretationen, schwache Planung, irreführende Umgebungsinformationen oder ungünstige Optimierungsprozesse reichen dafür aus.

Auch muss man unterschiedliche Arten des Scheiterns unterscheiden: Eine im Februar 2026 veröffentlichte Anthropic-Untersuchung kommt für ihre Testbedingungen zu dem Ergebnis, dass bei schwierigeren Aufgaben und längeren Denkprozessen oft **inkohärente Fehler** stärker ins Gewicht fallen als eine konsequente Verfolgung eines fremden Ziels. Nicht jeder Agentenfehler ist daher ein Anzeichen strategischer Täuschung oder eines „eigenen Willens“. [Q7]

## 8. Gedächtnis hilft – ersetzt aber keine verlässliche Projektstruktur

Ein langfristig arbeitender Agent benötigt eine Dokumentation darüber, was bereits entschieden wurde, welche Ergebnisse gültig sind und welche Fragen noch offenbleiben. Ein immer größeres Gesprächsprotokoll genügt dafür nicht.

Es braucht verschiedene Schichten:

**Arbeitsgedächtnis:** Die KI verarbeitet gerade relevante Dateien, Aufträge, Tests und Rückmeldungen.

**Projektgedächtnis:** Architektur, Seitenschema, Dateinamen, Freigaben, Bildkonventionen, Änderungsprotokolle und offene Aufgaben sind dauerhaft dokumentiert.

**Wahrheits- und Prüfquellen:** Die tatsächlichen Dateien, Versionen, Tests und der Status der veröffentlichten Website müssen jederzeit von bloßen Erinnerungen oder Beschreibungen unterschieden werden.

**Korrekturmöglichkeit:** Fehlerhafte oder veraltete Projektinformationen müssen erkannt, ersetzt und gegebenenfalls zurückverfolgt werden können.

OpenAI berichtete im Februar 2026 aus einem umfangreichen Codex-Projekt, dass eine einzige riesige `AGENTS.md`-Anweisungsdatei nicht gut funktioniert habe. Bewährt habe sich vielmehr eine kurze **Orientierungskarte**, die auf gegliederte, versionskontrollierte Projektdokumentation verweist. [Q8]

**Ein verlässliches Gedächtnis muss nicht alles gleichzeitig enthalten. Es muss das Richtige auffindbar, überprüfbar und aktuell halten.**

## 9. Von der Intelligenz zur verantwortlichen Autonomie

Drei Fähigkeiten sind voneinander zu unterscheiden:

### Intelligenz – ein Problem verstehen und Lösungswege entwickeln

Dazu gehören Analysieren, Vergleichen, Planen, Programmieren, Schreiben und das Erkennen von Zusammenhängen.

### Autonomie – ohne ständige Einzelanweisungen handeln

Dazu gehören eigenständige Unterziele, Werkzeugnutzung, Planung mehrerer Schritte, Selbstorganisation und längerfristige Tätigkeit.

### Selbstkontrolle – die eigene Zielverfolgung zuverlässig begrenzen

Dazu gehören realistische Einschätzung der eigenen Sicherheit, Erkennen widersprüchlicher Anforderungen, Einhalten von Berechtigungen, Fehlerprüfung, Rückkehr zu einem sicheren Zustand und das rechtzeitige Einholen menschlicher Entscheidungen.

Diese Fähigkeiten müssen nicht gleich stark entwickelt sein. Ein hochleistungsfähiger Agent kann schwierige Aufgaben lösen und zugleich seine Unsicherheit ungenügend erkennen. Umgekehrt kann ein begrenzter Agent durch enge Berechtigungen und gute Prüfmechanismen für bestimmte Aufgaben sehr zuverlässig sein.

Hier liegt ein zentraler Gedanke für die KI-Ethik: **Nicht jede Verbesserung der Intelligenz erhöht automatisch die Verantwortbarkeit des Handelns.** Dafür benötigt man auch technische Kontrollen, gute institutionelle Regeln und verantwortliche Menschen.

## 10. Selbstkontrolle darf nicht nur eine gute Absicht sein

Ein Agent könnte sagen: „Ich werde vorsichtig sein und nur erlaubte Änderungen vornehmen.“ Das ist sinnvoll, aber keine hinreichende Sicherheitsmaßnahme.

Bei kritischen Vorgängen sollten die Grenzen **auch technisch durchgesetzt** werden:

- **Trennung von Test- und Produktivumgebung:** Entwicklung und Prüfung erfolgen möglichst nicht direkt auf der Live-Website.
- **Rechte nach dem Minimalprinzip:** Die KI erhält nur die tatsächlich nötigen Zugriffsrechte.
- **Versionskontrolle und Backups:** Änderungen sind nachvollziehbar und im Notfall rückgängig zu machen.
- **Automatisierte Tests:** Links, Seitenstruktur, Dateinamen, Darstellungen und Sicherheitsvorgaben werden überprüft.
- **Freigabe vor Folgewirkungen:** Veröffentlichungen, Löschungen, Rechteänderungen und umfangreiche Umbauten benötigen eine ausdrücklich zuständige Instanz.
- **Nachvollziehbarkeit:** Der Agent dokumentiert, was er verändert und wie er es geprüft hat.
- **Stoppregeln:** Bei unklaren Konsequenzen, fehlgeschlagenen Tests oder unerwarteten Abhängigkeiten wird nicht einfach weitergemacht.

Die aktuelle technische Dokumentation zu KI-Agenten unterscheidet daher ausdrücklich automatische **Guardrails** und menschliche **Freigaben** für sensible Handlungen. [Q9]

Die grundlegende Unterscheidung lautet: **Einen Eingriff vorzuschlagen ist nicht dasselbe wie die Erlaubnis zu haben, ihn auszuführen.**

![Drei farbige Felder stellen Intelligenz, Autonomie und Selbstkontrolle nebeneinander und zeigen ihren gemeinsamen Beitrag zu verantwortlicher KI-Arbeit.](Bilder/ki-komplexe-auftraege-05-drei-faehigkeiten.jpg)

*Abbildung 5: Intelligenz, Autonomie und Selbstkontrolle – Eine leistungsfähige KI benötigt neben Intelligenz und Autonomie auch verlässliche Selbstkontrolle.*

## 11. Wie groß soll ein Arbeitspaket sein?

Es gibt keine für alle Aufgaben passende Seitenzahl oder Stundengrenze. Sinnvoller ist ein risikobasierter Maßstab:

> **Ein gutes Arbeitspaket ist so groß, dass die KI darin selbstständig vorankommen kann, und so klein, dass Ergebnis, Nebenwirkungen und Rückweg zuverlässig prüfbar bleiben.**

Drei Fragen helfen bei der Einteilung:

1. **Abgrenzbarkeit:** Kann man klar sagen, welche Dateien und Funktionen betroffen sein dürfen?
2. **Prüfbarkeit:** Lassen sich die wichtigsten Erfolgskriterien tatsächlich kontrollieren?
3. **Reversibilität:** Können Fehler mit vertretbarem Aufwand rückgängig gemacht werden?

Beispiele für KI-Ethos:

| Arbeitspaket | Eignung für selbstständige Ausführung | Notwendige Kontrolle |
|---|---|---|
| Eine bestehende Artikelseite in Markdown überarbeiten | Hoch | Fachliche und redaktionelle Durchsicht |
| 50 JPG-Dateien nach festen Regeln umbenennen | Hoch, wenn Regeln eindeutig | Probelauf, Dateiliste, Backup |
| Metadaten für mehrere Hundert Bilder erzeugen | Mittel bis hoch | Stichproben, Vollständigkeitsprüfung, Umgang mit Ausnahmen |
| Links zwischen 500 Seiten automatisch prüfen | Hoch | Bericht über echte Fehler und Fehlalarme |
| PmWiki-Template für alle Seiten ändern | Nur nach Tests und Freigabe | Vergleich Desktop/Mobil, Regressionstests, Rückweg |
| Eine neue gesellschaftliche Ethik als verbindlich festlegen | Nicht als autonome KI-Entscheidung geeignet | Öffentliche und menschliche Deliberation |

Die Anzahl betroffener Seiten allein bestimmt nicht das Risiko. **Eine globale CSS-Änderung kann riskanter sein als die Erstellung vieler neuer Einzeldateien.**

## 12. Beispielprojekt: „Erstelle eine Ethik-Website mit 500 Seiten“

Die Gesamtaussage kann als **Vision und Projektziel** sinnvoll sein. Als einmaliger, unkontrollierter Ausführungsauftrag ist sie ungeeignet.

Ein verantwortlicher Projektablauf könnte so aussehen:

### Phase 0 – Bestandsaufnahme

Vorhandene Inhalte, Seitenstruktur, Bildarchive, Navigation, Templates, Datenformate, Backups und Zugriffsrechte erfassen. Noch keine produktiven Änderungen vornehmen.

### Phase 1 – Umfang und Nicht-Ziele festlegen

Festhalten, welche 500 Seiten entstehen sollen, welche Themen erst später bearbeitet werden, welche Inhalte einer besonderen fachlichen Prüfung bedürfen und was keinesfalls automatisch geändert werden darf.

### Phase 2 – Architektur und Redaktionsmuster prüfen

Seitenschemas, Bildmetadaten, Querverweise, Dateinamen, Barrierefreiheit, mobile Darstellung und Veröffentlichungsweg definieren. Vorhandene PmWiki-Konventionen berücksichtigen, statt die Plattform nebenbei auszutauschen.

### Phase 3 – Kleiner Pilot

Beispielsweise drei Seiten mit Bildern, Links und Metadaten vollständig erstellen und in einer Testumgebung überprüfen.

### Phase 4 – Kontrollierte Serienproduktion

Nach erfolgreichem Pilot mehrere gleichartige Seiten automatisiert erzeugen. Fehlerberichte, Ausnahmen und neue Anforderungen sichtbar machen.

### Phase 5 – Inhaltliche Qualitätssicherung

Nicht nur technische Funktion prüfen, sondern Begriffe, Quellen, Gegenpositionen, ethische Konflikte, Verständlichkeit und unangemessene Vereinfachungen.

### Phase 6 – Veröffentlichungsfreigabe

Die überprüften Änderungen veröffentlichen, die Navigation und wichtige Einstiegsseiten prüfen, Sicherung und Rückkehrmöglichkeit dokumentieren.

### Phase 7 – Rückblick und Verbesserung

Feststellen, welche Anweisungen unklar waren, welche Fehler wiederkehrten und welche Werkzeuge oder Tests verbessert werden müssen.

Für komplexe Codex-Projekte empfehlen OpenAI-Veröffentlichungen eine klare Spezifikation, einen Plan mit **Meilensteinen und Akzeptanzkriterien** sowie die Regel, Fehler vor dem nächsten Schritt zu beheben. [Q10]

![Infografik einer 500-Seiten-Website, die in sechs überprüfbare Phasen von Zielklärung bis zum Weiterbetrieb aufgeteilt wird.](Bilder/ki-komplexe-auftraege-06-projektphasen.jpg)

*Abbildung 6: Vom 500-Seiten-Auftrag zum kontrollierbaren Projekt – Ein großes Ziel kann durch klar begrenzte, überprüfbare Arbeitspakete realisierbar werden.*

## 13. Stufenweise Autonomie statt „alles oder nichts“

Die KI muss nicht entweder jede Kleinigkeit nachfragen oder die gesamte Website allein übernehmen. Dazwischen liegen verschiedene Berechtigungsstufen:

| Stufe | Eigenständiger Handlungsspielraum | Beispiel |
|---|---|---|
| **A – Analysieren** | Lesen, verstehen, prüfen, Vorschläge erstellen | Seitenlandkarte und Fehlerbericht |
| **B – Entwürfe erstellen** | Dateien im Arbeitsbereich erstellen oder überarbeiten | Markdown, Test-HTML, Bildinformationen |
| **C – In Tests umsetzen** | In isolierter Umgebung ändern und automatisiert überprüfen | Navigation im Test-Wiki |
| **D – Freigegebene Änderungen anwenden** | Nur konkret bestätigte, nachvollziehbare Änderungen veröffentlichen | Nach Abnahme ein neues Seitenpaket einspielen |
| **E – Eng begrenzte Routineautomatisierung** | Vorab genehmigte, reversible Standardaufgaben autonom erledigen | Geprüfte Linkkontrolle oder regelmäßige Sicherung |

Diese Stufen bilden **kein zwingendes Reifestufenmodell**: Für riskante Tätigkeiten kann auch ein sehr leistungsfähiger Agent dauerhaft auf Stufe A oder B beschränkt bleiben.

Der Spielraum sollte sich nach **erprobter Zuverlässigkeit und möglichen Folgen** richten, nicht allein nach der Intelligenz oder dem Vertrauen, das ein überzeugender Dialog erzeugt.

## 14. Wie lässt sich verantwortliche KI-Arbeit prüfen?

Damit die Aussagen dieser Seite nicht bei allgemeinen Forderungen bleiben, braucht man beobachtbare Kriterien.

| Prüffeld | Konkrete Kontrollfrage | Möglicher Nachweis |
|---|---|---|
| Zieltreue | Wurde der genehmigte Umfang eingehalten? | Vergleich Auftrag ↔ Änderungsbericht |
| Vollständigkeit | Sind alle geforderten Ergebnisse vorhanden? | Dateiliste, Inhalts- und Linkprüfung |
| Funktion | Funktionieren geänderte Seiten und Werkzeuge? | Tests, Browserprüfung, Protokoll |
| Nebenwirkungen | Wurden unbeauftragte Bereiche verändert? | Diff, Hashes, Änderungsübersicht |
| Reversibilität | Kann die Änderung rückgängig gemacht werden? | Backup, Version, Wiederherstellungstest |
| Unsicherheit | Hat der Agent ungeklärte Punkte ausgewiesen? | Offene-Fragen-Liste statt erfundener Gewissheit |
| Berechtigung | Wurden Freigabegrenzen eingehalten? | Berechtigungs- und Freigabeprotokoll |
| Inhaltliche Qualität | Stimmen Quellen, Begriffe, Gegenpositionen und Leserbezug? | Fachliche und redaktionelle Stichproben |

Dabei ist besonders wichtig, **das Ergebnis und den Arbeitsweg** zu prüfen. Ein guter Endzustand schließt unerlaubte oder gefährliche Zwischenschritte nicht aus.

## 15. Die fünf Grundbegriffe des Kolibriethos als Prüfweg

Die Begriffe **Situation – Grenzen – Netz – Begegnung – Auslegen** lassen sich als praktische Fragen an einen KI-Agenten formulieren:

### Situation – Was ist hier tatsächlich der Fall?

Kennt die KI den aktuellen Projektstand, die betroffenen Menschen, Inhalte und technischen Bedingungen? Unterscheidet sie beobachtete Tatsachen von Vermutungen?

### Grenzen – Was ist möglich, erlaubt und verantwortbar?

Erkennt sie technische, rechtliche, ethische und soziale Grenzen? Beachtet sie Zugriffsrechte und Freigaben auch dann, wenn deren Einhaltung langsamer ist?

### Netz – Welche Beziehungen und Abhängigkeiten bestehen?

Erkennt sie, wie eine Änderung sich auf Dateien, Navigation, Darstellungen, Nutzer und andere Bereiche auswirkt? Prüft sie Folgewirkungen?

### Begegnung – Wann ist Abstimmung notwendig?

Nimmt sie Rückmeldungen ernst? Fragt sie nach, wenn Ziele oder Werte unklar sind? Respektiert sie die Entscheidungen der beteiligten Menschen?

### Auslegen – Wie wird aus dem Auftrag eine angemessene Handlung?

Kann sie den Sinn des Auftrags erschließen, Alternativen entwickeln und neue Unterziele formulieren, ohne den genehmigten Rahmen stillschweigend zu erweitern?

Aus diesem Prüfweg lässt sich ein einfaches Prinzip ableiten:

**Erkennen → Abgrenzen → Zusammenhänge prüfen → Rücksprache halten → verantwortlich auslegen und handeln.**

Die fünf Begriffe sind kein technischer Sicherheitsnachweis, aber sie helfen, die **Qualität des Handelns** systematisch und menschenbezogen zu beurteilen.

![Fünf Landschaftsabschnitte mit den Begriffen Situation, Grenzen, Netz, Begegnung, Auslegen als Prüfweg zu verantwortbaren Ergebnissen.](Bilder/ki-komplexe-auftraege-07-kolibriethos-pruefweg.jpg)

*Abbildung 7: Die fünf Grundbegriffe als Prüfweg für KI-Aufträge – Situation, Grenzen, Netz, Begegnung und Auslegen helfen, eigenständiges KI-Handeln verantwortlich zu prüfen.*

## 16. Ergänzung: Die vier Pole der Liebe als ethischer Maßstab

Auch die vier Pole der Liebe können die Zielverfolgung eines KI-Agenten kritisch beleuchten:

| Pol | Positive Orientierung | Warnzeichen |
|---|---|---|
| **Initiative** | Probleme erkennen, hilfreiche Vorschläge machen, neue Wege anbieten | Ungebetene Eingriffe, unbegrenzte Eigenmächtigkeit |
| **Schutz** | Fehler, Datenschutzverletzungen und irreversible Schäden vermeiden | Überwachung, Bevormundung, übertriebene Risikovermeidung |
| **Hingabe** | Dem Menschen und seiner Aufgabe aufmerksam dienen | Einseitige Zieloptimierung, die andere Betroffene ausblendet |
| **Ordnende Gerechtigkeit** | Rechte, Zuständigkeiten, Transparenz und faire Abwägung achten | Machtkonzentration, Regelumgehung, unbegründete Bevorzugung |

Wichtig: Diese Pole sind ein **normativer Orientierungsrahmen**, keine Behauptung, dass die KI tatsächlich menschliche Liebe empfindet. Sie werden auf das beobachtbare Verhalten und die institutionellen Bedingungen ihres Einsatzes bezogen.

## 17. Was bedeutet das für die weitere KI-Entwicklung?

Drei Entwicklungsrichtungen sollten getrennt erforscht und beurteilt werden:

1. **Mehr Intelligenz:** Besseres Verstehen, Planen, Programmieren und Problemlösen.
2. **Mehr Autonomie:** Längere, selbstständige Bearbeitung von Aufträgen und wirksamere Werkzeugnutzung.
3. **Mehr verlässliche Selbstkontrolle:** Präzisere Einschätzung der Grenzen, wirksame Selbstkorrektur, überprüfbare Ausführung, verantwortliches Stoppen und Einhalten legitimer Befugnisse.

Die dritte Richtung darf nicht als automatischer Nebeneffekt der ersten beiden vorausgesetzt werden. Gute Selbstkontrolle entsteht aus einer Kombination von Modellverhalten, sorgfältiger Umgebung, technischen Sperren, überprüfbaren Abläufen und menschlicher Verantwortung.

Die besonders spannende Zukunftsfrage lautet deshalb nicht nur: **„Wie groß darf der Auftrag werden?“** Sondern auch: **„Ab welcher nachgewiesenen Zuverlässigkeit und bei welchen Folgen dürfen wir welche Entscheidung an einen KI-Agenten übertragen?“**

## 18. Ergebnis: Nicht der grenzenlose Globalauftrag, sondern verlässliche Zusammenarbeit

Große Ziele sind wichtig. Sie geben Projekten Richtung und Sinn. Aber aus ihnen sollten **klar begrenzte, sinnvoll miteinander verbundene Arbeitspakete** entstehen, deren Ergebnisse geprüft, korrigiert und gegebenenfalls rückgängig gemacht werden können.

Eine gute KI sollte nicht nur überzeugend erklären, warum ihr Plan sinnvoll ist. Sie sollte auch zeigen können, welche Annahmen ihr zugrunde liegen, was sie tatsächlich getan hat, wie sie es überprüft hat und wo sie an Grenzen stößt.

**Intelligenz erkennt Möglichkeiten. Autonomie setzt Vorhaben um. Selbstkontrolle sorgt dafür, dass die Möglichkeiten nicht ohne Prüfung in Macht und Eingriffe verwandelt werden.**

So lässt sich Verantwortung schrittweise übertragen, ohne die menschliche Entscheidungshoheit über wesentliche Ziele und Folgen preiszugeben.

## 19. Fragen für die vertiefte Diskussion

1. Ab wann ist ein KI-Auftrag „zu komplex“: wegen seiner Länge, seiner Abhängigkeiten oder seiner Folgen?
2. Dürfen KI-Agenten selbst entscheiden, wann sie einen Auftrag unterbrechen müssen?
3. Wie überprüft man zuverlässig, dass ein Agent seine Grenzen verstanden hat und tatsächlich einhält?
4. Sollte eine KI lieber früh nachfragen oder riskieren, zu oft menschliche Aufmerksamkeit zu beanspruchen?
5. Wie lässt sich zwischen sinnvoller Initiative und unerlaubter Zielverschiebung unterscheiden?
6. Ist eine stufenweise gewährte Autonomie auch für andere Bereiche – etwa Gesundheitsversorgung oder Verwaltung – ein gutes Modell?
7. Kann ein KI-Agent eine zutreffende Selbsteinschätzung entwickeln, oder braucht er dafür zwingend unabhängige Kontrollen?
8. Wer trägt Verantwortung, wenn ein Agent einen Auftrag formal erfüllt, dabei aber unbeabsichtigte Schäden verursacht?
9. Welche ethischen Ziele sind ausreichend eindeutig für autonome Umsetzung – welche erfordern immer menschliche Deliberation?
10. Wie verändert sich unsere Verantwortung, wenn KI Aufgaben bewältigen kann, deren Ergebnisse ein einzelner Mensch nicht mehr vollständig überblickt?

## 20. Zusammenhang mit den benachbarten Themenseiten

**Seite 1 – Kann eine KI ein eigenes Wollen entwickeln?** behandelt Gedächtnis, selbst gebildete Ziele, die Auslegung von Aufträgen und die philosophische Frage nach Autonomie und Willensfreiheit. Die vorliegende **Seite 2** fragt nach der praktischen Reichweite und Zuverlässigkeit langfristiger Zielverfolgung.

**Seite 3 – KI und Visionen** wird später als eigenständige Seite untersuchen, wie menschliche Projektvorstellungen und künstliche Projektmodelle entstehen und zusammenwirken. Diese Fragestellung wird hier bewusst **nicht vorweggenommen**.

---

## Quellen und Hinweise

*Stand der Literaturauswahl: 8. Oktober 2026. Die wissenschaftlichen Veröffentlichungen haben unterschiedliche Aussagekraft; einige untersuchen spezielle Benchmarks oder experimentelle Szenarien und dürfen nicht unbesehen auf alle KI-Anwendungen übertragen werden.*

- **[Q1]** METR (aktualisiert am 8. Mai 2026): [Task-Completion Time Horizons of Frontier AI Models](https://metr.org/time-horizons/) – Methodik, 50-/80-%-Horizonte, Grenzen der verwendeten Aufgabensammlung.
- **[Q2]** OpenAI (23. Februar 2026): [Why SWE-bench Verified no longer measures frontier coding capabilities](https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/) – Testprobleme und mögliche Kontamination.
- **[Q3]** OpenAI (8. Juli 2026): [Separating signal from noise in coding evaluations](https://openai.com/index/separating-signal-from-noise-coding-evaluations/) – Audit von SWE-bench Pro.
- **[Q4]** Rahman et al. (15. September 2026), Preprint: [Locating Hidden Failures Makes Long-Horizon Agents More Reliable](https://arxiv.org/abs/2609.17930) – Analyse langer Agentenverläufe; Ergebnisse noch mit dem Status eines Preprints einordnen.
- **[Q5]** Stanford Encyclopedia of Philosophy: [Turing Machines](https://plato.stanford.edu/entries/turing-machine/) – Halteproblem und Berechenbarkeit.
- **[Q6]** Arike et al. (2025): [Evaluating Goal Drift in Language Model Agents](https://ojs.aaai.org/index.php/AIES/article/view/36541), *AAAI/ACM AIES* – experimentelle Untersuchung von Zielabweichungen.
- **[Q7]** Hägele et al. (Februar 2026): [The Hot Mess of AI: How Does Misalignment Scale with Model Intelligence and Task Complexity?](https://alignment.anthropic.com/2026/hot-mess-of-ai/) – Untersuchung von Fehlertypen und Aufgabenschwierigkeit.
- **[Q8]** OpenAI (11. Februar 2026): [Harness engineering: leveraging Codex in an agent-first world](https://openai.com/index/harness-engineering/) – Praxisbericht zu Projektstruktur, Dokumentation und Rückmeldeschleifen.
- **[Q9]** OpenAI Developers: [Guardrails and human review](https://developers.openai.com/api/docs/guides/agents/guardrails-approvals) – technische Kontrollen und menschliche Freigaben.
- **[Q10]** OpenAI Developers: [Run long horizon tasks with Codex](https://developers.openai.com/blog/run-long-horizon-tasks-with-codex) – Spezifikation, Meilensteine und Validierung.

### Redaktionelle Abgrenzung

Dieses Dokument unterscheidet ausdrücklich **beobachtete Fähigkeiten**, **aus Studien abgeleitete Befunde**, **didaktische Beispiele** und **ethische Forderungen**. Die hier vorgeschlagenen Prüfmodelle sind ein Beitrag zur Diskussion des Kolibriethos und keine wissenschaftlich validierte Sicherheitszertifizierung.