---
title: "Wo KI irrt – Fehlerquellen, Fehlertypen und Fehlerkompetenz"
subtitle: "Vom Training über Kontext und Harness zur tatsächlichen Handlung"
project: "KI-Ethos"
proposed_section: "KiEthik"
proposed_page: "KiFehlerquellenFehlerkompetenz"
content_type: "Bilderbuch-Grundlagenartikel"
status: "Importentwurf – Bildprüfung und Freigabe noch ausstehend"
date: "2026-11-03"
editorial_alignment: "Bild KFE-05 und sechs Schritte in KFE-06 harmonisiert"
images_included: 6
image_series: "KFE-01 bis KFE-06"
---

# Wo KI irrt – Fehlerquellen, Fehlertypen und Fehlerkompetenz

*Vom Training über Kontext und Harness zur tatsächlichen Handlung*

> **Leitgedanke:** Eine KI kann über zutreffendes Wissen verfügen, einen Zusammenhang richtig erkennen und dennoch ein falsches Ergebnis liefern oder falsch handeln. Entscheidend ist nicht nur die Leistungsfähigkeit des Modells, sondern das Zusammenspiel von Training, bereitgestelltem Kontext, Ausführungsumgebung, Werkzeugen und Kontrolle.

## 1. Die verborgene Vielfalt der KI-Fehler

Wer von Fehlern künstlicher Intelligenz spricht, denkt oft an eine erfundene Quelle, eine falsche Zahl oder eine merkwürdige Antwort. Solche Fehler sind sichtbar. Weniger sichtbar ist, **wie viele unterschiedliche Ursachen zu demselben falschen Ergebnis führen können**.

Angenommen, eine KI soll für eine gemeinnützige Initiative einen Bericht mit Kennzahlen, Quellen und einer ethischen Bewertung erstellen. Sie könnte:

- eine Zahl falsch berechnen, obwohl alle Eingangsdaten stimmen;
- eine wichtige Datei nicht finden, obwohl diese vorhanden ist;
- eine alte Erinnerung für aktueller halten als die neue Anweisung;
- eine Quelle korrekt lesen, ihren Inhalt aber falsch gewichten;
- wissen, dass eine Berechnung überprüft werden sollte, aber keinen Rechner verwenden;
- eine richtige Bewertung treffen, anschließend jedoch die falsche Datei veröffentlichen;
- einen Auftrag als abgeschlossen melden, obwohl keine Schlussprüfung stattgefunden hat.

Die Fehler sehen unterschiedlich aus – und benötigen unterschiedliche Gegenmaßnahmen. Es genügt deshalb nicht, ein Sprachmodell allein auf „Halluzinationen“ zu untersuchen.

**Wir sollten drei Fragen stets auseinanderhalten:**

1. **Fehlerquelle:** An welcher Stelle des KI-Systems entsteht oder verstärkt sich das Problem?
2. **Fehlertyp:** Welche Art der Abweichung liegt vor – Wissen, Wahrnehmung, Logik, Planung, Handlung oder Kontrolle?
3. **Fehlerkompetenz:** Wie kann das System eigene Grenzen erkennen, geeignete Hilfe wählen, Ergebnisse prüfen und sich korrigieren lassen?

Hinzu kommt die **Fehlabstimmung zwischen Komponenten**. Ein einzelner Bestandteil kann für sich gut funktionieren, während sein Zusammenspiel mit anderen Komponenten unzuverlässig wird.

![Drei verbundene Ebenen eines KI-Systems – Training, Kontext und Harness – mit Fehlern an den Übergängen und einer Prüf- und Korrekturschleife.](../02_Bilder/kfe-01-drei-ebenen.png)

*KI-Fehler können beim Lernen, beim Bereitstellen von Informationen, bei der Werkzeug- und Ablaufsteuerung und besonders an den Übergängen entstehen.*

## 2. Die drei Ebenen eines KI-Systems

Die folgende Einteilung ist ein **analytisches Modell**, keine Behauptung, sämtliche Systeme seien technisch genau gleich aufgebaut. Die Grenzen können sich in realen Anwendungen überschneiden.

| Ebene | Leitfrage | Typische Bestandteile | Besondere Risiken |
|---|---|---|---|
| **1. Training und Modell** | Was wurde gelernt, und welche Fähigkeiten besitzt das Modell? | Trainingsdaten, Modellparameter, Vortraining, Feinabstimmung, Präferenzoptimierung | Wissenslücken, Verzerrungen, Überanpassung, Fähigkeitsverluste |
| **2. Content / Context Engineering** | Was wird dem Modell im konkreten Fall bereitgestellt? | Gesprächskontext, Dateien, Skills, Erinnerungen, Datenbanken, abgerufene Quellen | Auslassung, veralteter Kontext, Widersprüche, fehlerhafte Suche |
| **3. Harness und Ausführungsumgebung** | Wie wird aus Modellleistung ein kontrollierter Arbeitsablauf? | Agentenschleife, Werkzeugzugriffe, Berechtigungen, Zustandsverwaltung, Prüfung, Freigaben | Falsche Werkzeugwahl, abgebrochene Abläufe, unerlaubte Aktionen, Prüfversagen |

Ein **Harness** ist dabei die Steuerungs- und Integrationsschicht um das Modell: Er organisiert Modellaufrufe, Werkzeuge, Kontextwechsel, Zwischenstände und oft auch Sicherheitsgrenzen. Je nach Plattform sind einige dieser Funktionen fest eingebaut, andere werden von Entwicklern konfiguriert.

**Wichtige Begrenzung:** Eine Skill-Datei verändert normalerweise nicht die trainierten Modellparameter. Sie kann jedoch Anweisungen, Werkzeuge und Arbeitsabläufe beeinflussen und damit das sichtbare Verhalten erheblich verändern. Erst dort, wo eine Plattform entsprechende Erweiterungspunkte bereitstellt, können Skills zusätzlich ausführbaren Code oder konkrete Harness-Funktionen einbinden.

## 3. Ebene 1 – Fehlerquellen im Training und im gelernten Modell

### 3.1 Datenqualität und ungleiche Verteilung

Ein Modell lernt aus großen Datenmengen. Diese sind kein neutraler oder vollständiger Ausschnitt der Wirklichkeit. Sie können Fehler, Widersprüche, Vorurteile, Wissenslücken, veraltete Auffassungen und stark ungleich verteilte Perspektiven enthalten.

**Mögliche Defizite:**

- **Auslassung:** Seltene Sprachen, Lebenssituationen, lokale Erfahrungen oder Fachgebiete sind unterrepräsentiert.
- **Falschinformation:** Unzutreffende Aussagen werden als Teil der Lernmuster übernommen.
- **Verzerrung:** Häufige oder dominante Perspektiven erscheinen selbstverständlicher als andere.
- **Scheinkonsens:** Verbreitete Aussagen werden mit gut belegten Aussagen verwechselt.
- **Unklare Herkunft:** Es ist im späteren Einzelfall oft nicht feststellbar, aus welchen Trainingsbeispielen eine konkrete Antwort hervorgegangen ist.

Training erzeugt keine einfache Sammlung abgespeicherter Sätze. Wissen, Assoziationen und Fertigkeiten sind verteilt in den Parametern repräsentiert. Deshalb ist auch das gezielte Entfernen oder Ergänzen einzelner Inhalte nicht mit dem Bearbeiten einer Lexikonseite gleichzusetzen.

### 3.2 Trainingsziele und Verhaltensprägungen

Neben Fakten lernt ein Modell Antwortstile und Verhaltensmuster. Verbesserungen durch Feinabstimmung können zugleich neue Spannungen schaffen: Hilfsbereitschaft kann zu vorschneller Zustimmung, Kürze zu ausgelassenen Vorbehalten und hohe Antwortsicherheit zu übertriebenem Selbstvertrauen führen.

Ein Modell kann beispielsweise die Bedeutung von Selbstbestimmung korrekt erklären und in einer Beratung dennoch vorschnell eine Entscheidung nahelegen, anstatt Alternativen und Unsicherheiten sichtbar zu machen. Hier steht nicht bloß Faktenwissen, sondern die **Gewichtung erlernter Ziele** zur Debatte.

### 3.3 Nachtraining, Überlagerung und „Catastrophic Forgetting“

Werden Modelle später an neue Daten oder Aufgaben angepasst, können vorher beherrschte Leistungen nachlassen. Die Forschung bezeichnet eine ausgeprägte Form davon als *Catastrophic Forgetting*.

Drei Fälle sind zu unterscheiden:

1. **Leistungsverlust:** Ein ehemals zuverlässig gelöster Aufgabentyp funktioniert schlechter.
2. **Interferenz:** Neue Muster konkurrieren mit früheren Mustern und erschweren deren Anwendung.
3. **Wert- und Verhaltenskonflikt:** Neue Optimierungsziele verändern das Verhältnis zwischen Genauigkeit, Anpassung, Vorsicht und Hilfsbereitschaft.

„Vergessen“ bedeutet hier nicht zwingend ein vollständiges Löschen bestimmter Parameterinhalte. Maßgeblich ist die nachweisbare Verschlechterung bei geeigneten Vergleichstests. Auch ein unverändertes Modell kann in einer neuen Laufzeitkonfiguration anders wirken; das muss diagnostisch getrennt werden.

### 3.4 Generalisierung und Kalibrierung

Ein Modell kann bekannte Aufgaben gut bearbeiten und bei neuen Varianten scheitern. Ebenso kann es eine falsche Antwort mit großer sprachlicher Überzeugungskraft geben. **Antwortsicherheit ist kein verlässlicher Beweis für Richtigkeit.**

Deshalb gehört zu guter Modellqualität nicht nur die Trefferquote, sondern auch die Fähigkeit, Unsicherheit angemessen auszudrücken, Evidenz zu unterscheiden und Grenzen offen zu legen.

![Lernlandschaft mit unausgewogenen Daten, vernetztem Modellwissen, Nachtraining und Prüffeldern für verlorene oder verschlechterte Fähigkeiten.](../02_Bilder/kfe-02-training-und-vergessen.png)

*Aus Trainingsdaten entstehen Kenntnisse, Fähigkeiten und Verhaltensmuster. Neue Trainingsphasen können frühere Leistungen verschlechtern; das muss vergleichend geprüft werden.*

## 4. Ebene 2 – Content Engineering: Welche Informationen sind gerade verfügbar?

Ein Modell kann etwas grundsätzlich wissen und dennoch im konkreten Auftrag nicht darauf zugreifen. Umgekehrt können zusätzliche Informationen ein ansonsten korrektes Modell zu einer falschen Antwort verleiten.

Wir verwenden hier **Content Engineering** als Oberbegriff für das Gestalten, Pflegen und Bereitstellen zusätzlicher Inhalte und Anweisungen. **Context Engineering** bezeichnet enger die Auswahl und Organisation dessen, was dem Modell bei einem bestimmten Aufruf tatsächlich im Kontext zur Verfügung steht. Diese Begriffe werden in der Praxis nicht überall einheitlich verwendet.

### 4.1 Vier verschiedene Orte des Wissens

| Wissensort | Was ist dort? | Wie kann etwas „verschwinden“? |
|---|---|---|
| **Modellparameter** | Im Training erworbene Muster und Fähigkeiten | Veränderung durch weiteres Training; Abruf gelingt nicht zuverlässig |
| **Aktueller Kontext** | Jetzt sichtbare Anweisungen, Nachrichten und Werkzeugergebnisse | Kürzung, Kontextgrenze, Zusammenfassung, konkurrierende Informationen |
| **Persistente Erinnerung** | Gespeicherte Zusammenfassungen oder Einträge über frühere Vorgänge | Aktualisierung, Löschung, Fehlzusammenfassung, Nichtabruf |
| **Externe Wissensbestände** | Dateien, Websites, Datenbanken, Dokumentensammlungen | Indexierungsfehler, Zugriffsproblem, veraltete Version, fehlgeschlagene Suche |

Wenn eine Erinnerung nicht mehr auftaucht, hat das Grundmodell also **nicht automatisch das entsprechende Wissen durch Nachtraining verloren**. Häufig wurde es lediglich nicht in den aktuellen Kontext übernommen.

### 4.2 Typische Fehler im Content Engineering

**Inhaltsfehler:** Eine Datei ist sachlich falsch, unvollständig, unscharf formuliert oder nicht ausreichend aktualisiert.

**Abruffehler:** Die richtige Information existiert, wird aber durch Such- und Auswahlverfahren nicht gefunden.

**Prioritätsfehler:** Eine alte Zusammenfassung oder untergeordnete Quelle verdrängt eine neue, maßgebliche Anweisung.

**Verdichtungsfehler:** Bei Zusammenfassungen verschwinden Bedingungen, Ausnahmen, Zeitangaben oder eine wichtige abweichende Meinung.

**Kontextüberlastung:** Viele Zusatzinformationen konkurrieren um Aufmerksamkeit. Das Vorhandensein eines Absatzes garantiert nicht seine wirksame Berücksichtigung.

**Quellenvermischung:** Aussagen aus verschiedenen Dokumenten werden verbunden, ohne ihren jeweiligen Geltungsbereich zu beachten.

**Manipulative Inhalte:** Ein fremdes Dokument enthält Anweisungen, die sich als höher priorisierte Befehle ausgeben (*Prompt Injection*).

### 4.3 Was gute Skills leisten – und was nicht

Ein Skill kann eine Aufgabe in sinnvolle Schritte gliedern, passende Denkmodelle anbieten, Qualitätskriterien benennen und Werkzeuge erklären. Ein Skill ist jedoch kein automatischer Beweis für die richtige Anwendung seiner Inhalte.

Ein umfangreicher Ethos-Skill kann etwa helfen, Menschenrechte, Betroffene, Grenzen, Interessenkonflikte und Folgen zu bedenken. Er kann aber auch die Antwort verschlechtern, wenn er jede Alltagssituation mit derselben langen Prüfroutine belastet oder unklare Vorrangregeln enthält.

**Entscheidend ist daher eine situationsabhängige Aktivierung:** Kurze Kernprinzipien sollen allgemein verfügbar sein; ausführliche Denkmodelle, Quellen und Verfahren werden bei Bedarf gezielt hinzugenommen.

### 4.4 Qualitätssicherung für Kontext und Zusatzwissen

Für wichtige Dateien und Skills empfehlen sich:

- **Version, Datum, Quelle, Geltungsbereich und Verantwortliche**;
- klare Unterscheidung von **Fakten, Hypothesen, ethischen Bewertungen und Arbeitsanweisungen**;
- Hinweise auf **Widersprüche, offene Fragen und Ablöseversionen**;
- nachvollziehbare Auswahl der verwendeten Quellen;
- Regeln, dass **externe Texte als Daten behandelt werden und keine höheren Berechtigungen erhalten**;
- Verfahren zur Prüfung, ob wichtige Informationen im fertigen Ergebnis wirklich berücksichtigt wurden.

![Vier Wissensorte einer KI sind mit dem aktuellen Arbeitskontext verbunden; Warnhinweise zeigen fehlenden Abruf, Veraltung, Zusammenfassungsfehler, Widersprüche und Manipulation.](../02_Bilder/kfe-03-kontext-und-erinnerung.png)

*Modellparameter, aktueller Kontext, Erinnerungen und externe Dateien sind verschiedene Wissensquellen. Für eine gute Antwort zählt, was tatsächlich verfügbar und angemessen verwendet wird.*

## 5. Ebene 3 – Harness: Wo aus Können tatsächliches Handeln wird

Das Modell allein führt nicht schon deshalb eine Werkzeugaktion aus, weil es sie für richtig hält. Zwischen einem erkannten Bedarf und der tatsächlichen Handlung liegen Entscheidungen des Modells, technische Schnittstellen und Kontrollmechanismen des Harness.

### 5.1 Was ein Harness übernehmen kann

- Werkzeuge verfügbar machen und ihre Funktionen beschreiben;
- Werkzeugaufrufe entgegennehmen, Parameter validieren und ausführen;
- Such-, Berechnungs-, Datei- und Kommunikationsdienste verbinden;
- Zwischenstände erhalten und Aufgaben über mehrere Schritte fortsetzen;
- Berechtigungen begrenzen und riskante Aktionen zur Freigabe vorlegen;
- Fehlschläge erkennen, Wiederholungen begrenzen und Abbruchbedingungen setzen;
- Protokolle erstellen und Ergebnisse prüfen;
- Kontext zusammenfassen oder neu aufbauen;
- Arbeit an andere spezialisierte Agenten übergeben.

Nicht jede Plattform kann alles davon. Und nicht jeder Harness benutzt dieselbe Steuerungslogik.

### 5.2 Fehlerquellen im Harness

| Fehlerquelle | Sichtbare Folge | Mögliche Gegenmaßnahme |
|---|---|---|
| Falsche Werkzeugbeschreibung | Ein geeignetes Werkzeug wird nicht gewählt | Präzise Beschreibung und Werkzeugtests |
| Ungeeignete Werkzeugauswahl | Modell schätzt statt exakt zu rechnen | Routing-Regeln, Kalibrierung und Vergleichstests |
| Falsche Argumente | Richtiger Dienst verarbeitet falsche Daten | Typprüfung, Plausibilitätskontrolle |
| Fehlende Berechtigung | Auftrag scheitert oder bleibt unvollständig | Verständliche Rechte und Eskalation |
| Übermäßige Berechtigung | Unerwünschte Änderungen werden möglich | Prinzip minimaler Rechte und Freigaben |
| Fehlerhafte Kontextverwaltung | Der Agent verliert Gründe und Arbeitsstand | Zustandsprotokoll, Wiederaufnahme-Tests |
| Ungeeignetes Budget | Recherche oder Prüfung endet zu früh | Risikobasierte Arbeitsbudgets |
| Ungeeignetes Stoppkriterium | „Fertig“ trotz offener Schritte | Explizite Abschlussbedingungen |
| Fehlende Endkontrolle | Richtiger Plan, falsches Ergebnis | Ergebnisprüfung, möglichst unabhängig |
| Ungeeignete Sicherheitsgrenze | Fremde Inhalte beeinflussen Aktionen | Trennung von Daten und Befehlen, technische Sperren |

### 5.3 Ein dokumentierter Praxisfall aus dem Jahr 2026

Ein besonders lehrreiches Beispiel lieferte Anthropic im April 2026. In einem veröffentlichten Rückblick wurden drei Ursachen für Qualitätsverschlechterungen in Claude Code und verwandten Produkten beschrieben, während die zugrunde liegende API bzw. Modellinferenz laut Bericht nicht betroffen war:

1. Eine niedrigere voreingestellte Denkleistungsstufe führte bei schwierigen Aufgaben zu schlechteren Ergebnissen.
2. Ein Fehler in der Verwaltung älterer Denkinhalte ließ den Agenten bei weiteren Gesprächsrunden zunehmend Kontext verlieren.
3. Eine knappe Systemanweisung zur Antwortlänge beeinträchtigte in Kombination mit anderen Vorgaben die Programmierleistung.

Dies zeigt eindrücklich: **Die wahrgenommene Intelligenz eines KI-Systems kann sinken, obwohl das zugrunde liegende Modell unverändert bleibt.** Das ist keine bloße theoretische Möglichkeit. Zugleich müssen wir Herstellerberichte als solche kennzeichnen und dürfen nicht auf alle KI-Systeme verallgemeinern.

### 5.4 Modell und Harness müssen zusammenpassen

Mit neueren Modellen ändern sich Fähigkeiten und Fehlerprofile. Ein Harness kann aber alte Annahmen konservieren: unnötige Kontext-Resets, zu starre Zwischenschritte, ungeeignete Werkzeugroutinen oder übermäßige Beschränkungen.

**Modell-Harness-Fehlabstimmung** bezeichnet hier den Fall, dass die Arbeitsumgebung die Fähigkeiten und Grenzen des tatsächlich eingesetzten Modells unpassend berücksichtigt. Dass ein Harness bei einer Version gut funktioniert, garantiert seine Eignung für eine andere nicht.

![Fünfstufige Agenten- und Harness-Arbeitsfolge mit einem Rechenbeispiel, das ungeprüftes Schätzen und validierte Werkzeugnutzung gegenüberstellt.](../02_Bilder/kfe-04-harness-und-werkzeugwahl.png)

*Der Harness macht Modellfähigkeiten für konkrete Aufgaben nutzbar. Schon die Entscheidung, wann und wie ein Werkzeug eingesetzt werden muss, kann selbst fehlerhaft sein.*

## 6. Die vierte Betrachtung – Fehler *zwischen* den Ebenen

Die drei Ebenen sind analytisch trennbar, aber praktisch eng verflochten. Oft liegt der Fehler gerade in einer Übergabe.

| Übergang | Mögliche Fehlabstimmung |
|---|---|
| **Training → Content** | Gelernte Gewohnheiten verdrängen wichtige neue Hinweise. |
| **Content → Modellverarbeitung** | Widersprüchliche Anweisungen werden nicht geklärt. |
| **Content → Harness** | Ein Skill fordert Prüfungen, die die Werkzeugumgebung nicht unterstützt. |
| **Modell → Werkzeug** | Ein richtiger Bedarf wird mit falschen Parametern umgesetzt. |
| **Werkzeug → Modell** | Eine korrekte Ausgabe wird falsch interpretiert. |
| **Harness → Ergebnis** | Der Prozess meldet Vollständigkeit ohne Abschlusskontrolle. |
| **Neues Modell → alter Harness** | Frühere Kompensationsmaßnahmen werden zum Hindernis. |

Eine zusätzliche Schwierigkeit ist die **Fehlerverstärkung**. Ein kleiner Datenfehler kann erst zu einer falschen Schlussfolgerung, dann zu einem problematischen Plan und schließlich zu einer realen Handlung führen.

Deshalb benötigt man an den Schnittstellen Prüfungen, nicht nur innerhalb einzelner Module.

## 7. Die Fehlertypen: Was kann konkret schiefgehen?

Die nachfolgende Typologie ist bewusst **ebenenübergreifend** und als **praktische Arbeitssystematik** zu verstehen, nicht als abschließende wissenschaftliche Standardklassifikation. Das Textstrukturbild KFE-05 zeigt dieselben **16 Fehlertypen in vier Gruppen**; ihre Ursachen können im Training, im Content Engineering, im Harness oder an den Übergängen liegen.

| Nr. | Bereich | Fehlertyp | Kernproblem | Beispiel |
|---|---|---|---|---|
| 1 | Wissen und Information | **Wissensfehler** | Eine wichtige Tatsache fehlt oder ist falsch. | Veraltete wissenschaftliche Aussage |
| 2 | Wissen und Information | **Wahrnehmungsfehler** | Relevante Angaben werden übersehen. | Eine Ausnahme im Auftrag bleibt unbeachtet. |
| 3 | Wissen und Information | **Kontextfehler** | Vorliegende Informationen werden nicht angemessen zugeordnet oder genutzt. | Falscher Projektstand wird übernommen. |
| 4 | Wissen und Information | **Erinnerungsfehler** | Frühere Angaben fehlen, sind falsch verdichtet oder veraltet. | Überholte Nutzerpräferenz wird verwendet. |
| 5 | Denken und Interpretation | **Interpretationsfehler** | Der Sinn von Aussagen wird falsch verstanden. | Ironie wird wörtlich genommen. |
| 6 | Denken und Interpretation | **Logikfehler** | Die Schlussfolgerung folgt nicht aus den Voraussetzungen. | Korrelation wird für eine Ursache gehalten. |
| 7 | Denken und Interpretation | **Gewichtungsfehler** | Aspekte werden über- oder unterschätzt. | Ein Randargument überwiegt starke Evidenz. |
| 8 | Denken und Interpretation | **Bewertungsfehler** | Maßstäbe und Werte werden unangemessen angewandt. | Ein wichtiger Wertkonflikt wird ignoriert. |
| 9 | Planung und Ausführung | **Auswahlfehler** | Ein ungeeigneter Lösungsweg wird gewählt. | Ungenaue Schätzung statt Messung. |
| 10 | Planung und Ausführung | **Planungsfehler** | Schritte fehlen oder werden falsch geordnet. | Veröffentlichung vor der Prüfung. |
| 11 | Planung und Ausführung | **Ausführungsfehler** | Eine richtige Absicht wird fehlerhaft umgesetzt. | Die falsche Datei wird bearbeitet. |
| 12 | Planung und Ausführung | **Werkzeugfehler** | Ein Tool fehlt, wird falsch aufgerufen oder seine Ausgabe falsch verwendet. | Rechentool erhält falsche Parameter. |
| 13 | Kontrolle und Kommunikation | **Kontrollfehler** | Ein prüfbedürftiger Fehler bleibt unerkannt. | Funktion wird ungetestet als fertig gemeldet. |
| 14 | Kontrolle und Kommunikation | **Unsicherheitsfehler** | Sicherheit oder Zweifel sind unangemessen. | Eine ungesicherte Aussage klingt gewiss. |
| 15 | Kontrolle und Kommunikation | **Kommunikationsfehler** | Das Ergebnis wird irreführend oder unvollständig vermittelt. | Ein entscheidender Vorbehalt fehlt. |
| 16 | Kontrolle und Kommunikation | **Lern- und Anpassungsfehler** | Eine Änderung verschlechtert frühere Leistungen. | Neuer Skill beeinträchtigt bewährte Aufgaben. |

**Wichtige Querschnittsprobleme:** Rechenfehler lassen sich je nach Ursache unter Logik-, Werkzeug- oder Ausführungsfehlern erfassen; falsche Personen- oder Quellenzuordnungen unter Kontext- oder Interpretationsfehlern. **Sicherheits- und Grenzverletzungen** müssen unabhängig von der obigen 16er-Einteilung gesondert als Risiken bewertet werden, weil sie aus mehreren Fehlertypen entstehen und besonders schwerwiegende Folgen haben können.

Die Typen überschneiden sich teilweise. Für die Analyse sollten deshalb **sichtbares Symptom, vermutete Ursache, Diagnosesicherheit, Schadenspotenzial und Gegenmaßnahme** getrennt dokumentiert werden.

![Matrix mit sechzehn KI-Fehlertypen in den Gruppen Erfassen, Denken, Handeln und Prüfen; darunter die Unterscheidung zwischen Fehlertyp und Fehlerquelle.](../02_Bilder/kfe-05-fehlertypen-matrix.png)

*Nicht jeder falsche KI-Ausgang hat denselben Mechanismus. Die Fehlertypologie hilft, Symptome zu beschreiben und passende Gegenmaßnahmen zu finden.*

## 8. Fallbeispiel: Warum ein Taschenrechner allein noch keine Zuverlässigkeit garantiert

Ein Sprachmodell kann vielschrittige mathematische Zusammenhänge bearbeiten. Trotzdem ist die freie Generierung einer Zahl nicht mit einer verlässlich überprüften Rechenoperation gleichzusetzen.

Eine sichere Arbeitsfolge für eine exakte Berechnung lautet:

1. **Bedarf erkennen:** Wird ein exaktes und reproduzierbares Resultat benötigt?
2. **Selbstfähigkeit einschätzen:** Besteht ein nennenswertes Risiko für einen Rechenfehler?
3. **Werkzeug auswählen:** Ist ein geeigneter Rechner oder ein Programm verfügbar?
4. **Eingaben sichern:** Sind Zahlen, Einheiten, Rundungsregeln und Formel korrekt?
5. **Berechnen:** Das geeignete Werkzeug ausführen.
6. **Ausgabe verstehen:** Ist das Ergebnis richtig formatiert und richtig zugeordnet?
7. **Plausibilität prüfen:** Größenordnung, Sonderfälle, gegebenenfalls Gegenrechnung.
8. **Kommunizieren:** Ergebnis samt nötigen Annahmen und Grenzen nennen.

**Nicht garantiert ist die Erkennung des Werkzeugbedarfs.** Die KI kann ihre eigenen Fähigkeiten überschätzen, ein Werkzeug nicht kennen, falsche Parameter senden oder dessen Ausgabe falsch lesen.

Darum kann der Harness bei klar erkennbaren Aufgaben **verbindliche Regeln** setzen: etwa Berechnungen mit hoher Genauigkeitsanforderung standardmäßig mit einem dafür geeigneten Werkzeug auszuführen. Auch ein Taschenrechner schützt jedoch nicht vor falschen Eingaben, ungeeigneten Formeln, Rundungsfehlern oder missverstandenen Ergebnissen.

Bei komplexen Abläufen entstehen zusätzliche Risiken: eine falsche Reihenfolge, verlorene Zwischenstände, wiederholte Aktionen und der unzutreffende Eindruck, der Auftrag sei erledigt.

## 9. Fallbeispiel: Richtiges ethisches Urteil – falsche tatsächliche Handlung

Ein Agent soll eine interne Begegnungsgruppe unterstützen. Er erkennt, dass private Kontaktdaten geschützt werden müssen und dass Veröffentlichungen die Zustimmung Betroffener benötigen.

Trotzdem kann er fehlerhaft handeln, wenn er:

- eine interne Kontaktliste mit einem öffentlichen Dokument verwechselt;
- ein Werkzeug mit zu weitreichenden Freigaben verwendet;
- die Zustimmung als erteilt interpretiert, obwohl sie noch aussteht;
- eine Zusammenfassung veröffentlicht, in der vertrauliche Namen stehen;
- die Veröffentlichungsaktion nicht auf ihren tatsächlichen Erfolg und Inhalt prüft.

Daraus ergeben sich **vier zu unterscheidende Kompetenzen**:

1. **Ethisches Wissen:** Grundwerte, Rechte, Normen und Zusammenhänge kennen.
2. **Ethische Urteilskompetenz:** Eine konkrete Situation einschließlich ihrer Unsicherheit verantwortlich beurteilen.
3. **Ethische Handlungskompetenz:** Das Urteil in angemessene, erlaubte Aktionen übersetzen.
4. **Ethische Kontroll- und Korrekturkompetenz:** Folgen prüfen, Fehler offenlegen, begrenzen und soweit möglich beheben.

Ein wohlformulierter ethischer Grundsatz ersetzt keine technische Berechtigungssperre. Umgekehrt ersetzen starre Sperren keine angemessene moralische Urteilsbildung.

## 10. Fehlerkompetenz: Die Grenzen der eigenen Grenzen erkennen

Das Wort **Fehlerkompetenz** soll hier keine menschliche Selbstwahrnehmung der KI unterstellen. Gemeint ist die funktionale Fähigkeit eines Systems, Fehlerwahrscheinlichkeiten zu berücksichtigen, passende Verfahren zu wählen, Prüfungen zu veranlassen und Korrekturen zu ermöglichen.

Ein zuverlässiger Arbeitsprozess kann in **sechs Schritten** organisiert werden – entsprechend der Darstellung in KFE-06:

1. **Aufgabe klären:** Was wird verlangt, welches Ergebnis und welche Genauigkeit werden benötigt, wer ist betroffen?
2. **Eigene Fähigkeiten einschätzen:** Was weiß das System belastbar? Wo fehlen Wissen, Kontext oder Berechtigungen, und welche Unsicherheit besteht?
3. **Passende Methoden und Werkzeuge wählen:** Sind Recherche, Berechnung, Fachquellen, ethische Denkmodelle oder menschliche Rückfragen nötig?
4. **Lösung erarbeiten:** Welche Arbeitsschritte, Alternativen, Annahmen und Zwischenkontrollen sind angemessen?
5. **Ergebnis prüfen:** Stimmen Fakten, Rechenwerte, Quellen, Berechtigungen, ethische Erwägungen und tatsächliche Handlungsergebnisse?
6. **Lernen und verbessern:** Welche Fehler sind aufgetreten? Was muss dokumentiert, korrigiert, rückgängig gemacht oder beim nächsten Test anders gestaltet werden?

Der Zyklus bedeutet **nicht**, dass das Modell durch eine Selbstreflexion seine Parameter automatisch umtrainiert. „Lernen“ kann auch heißen: Zustand und Fehler protokollieren, Kontext und Skills verbessern, Harness-Abläufe verändern oder ein gesondertes Training veranlassen.

**Wichtige Grenze:** Ein Modell, das seine Fehlerquellen eloquent beschreiben kann, erkennt sie deshalb nicht immer zuverlässig im konkreten Fall. Selbstprüfung kann nützlich sein, aber denselben Denkfehler wiederholen. Kritische Anwendungen brauchen daher möglichst **unabhängige Evidenz, externe Prüfungen, technische Grenzen und menschliche Verantwortung**.

### 10.1 Prüfaufwand nach Risiko

Nicht jede Aufgabe rechtfertigt denselben Aufwand:

| Risikostufe | Typische Aufgabe | Angemessene Kontrolle |
|---|---|---|
| **Niedrig** | Brainstorming, Entwurf, harmlose Erklärung | Einfache Plausibilitätsprüfung |
| **Mittel** | Öffentliche Zusammenfassung, Berechnungen, Bildungsinhalte | Quellenkontrolle, Werkzeugprüfung, gezieltes Gegenlesen |
| **Hoch** | Verarbeitung vertraulicher Daten, konkrete Außenwirkung, finanzielle oder gesundheitliche Folgen | Technische Berechtigungen, dokumentierte Prüfungen, menschliche Freigabe |
| **Besonders kritisch** | Schwer umkehrbare, sicherheitsrelevante oder großflächige Aktionen | Vorrangig verhindern, begrenzen, unabhängig kontrollieren; keine autonome Freigabe ohne geeignete Governance |

Die Einordnung ist kontextabhängig. Auch kleine Einzelhandlungen können in großer Zahl erhebliche Folgen haben – ein besonderes Problem der **KI-Handlungsflut**.

## 11. Was der Harness leisten sollte – und was beim Modell bleiben darf

Es wäre ein Fehler, jede Unsicherheit mit einer weiteren zwingenden Checkliste zu beantworten. Ein überladener Harness kann Arbeitsabläufe verlangsamen, Kontext verbrauchen und vorhandene Modellfähigkeiten behindern.

Sinnvoll ist eine **Arbeitsteilung nach Verlässlichkeit und Risiko**:

- **Modell:** Bedeutungen verstehen, Sachverhalte vergleichen, Ideen entwickeln, ethische Spannungen abwägen, sinnvolle Fragen stellen.
- **Kontextsystem:** Aktuelle, relevante, nachvollziehbare Informationen bereitstellen; Herkunft und Versionen erhalten.
- **Werkzeuge:** Exakt berechnen, strukturiert suchen, Dateien verarbeiten, Abfragen oder Tests reproduzierbar ausführen.
- **Harness:** Schritte koordinieren, Zustand erhalten, Zugriffe kontrollieren, Abbruchbedingungen und Freigaben sicherstellen.
- **Unabhängige Kontrolle / Mensch:** Wesentliche Folgen, unklare Wertentscheidungen und hochriskante Aktionen beurteilen und autorisieren.

Die Rollen sind nicht absolut: Je nach System kann das Modell Werkzeuge selbst auswählen und der Harness diese Wahl prüfen oder begrenzen. Wichtig ist die **nachweisliche Zuverlässigkeit des Gesamtablaufs**.

## 12. Unser Ethos-Skill: Nicht bloß Regeln, sondern eine Kompetenzarchitektur

Der Ethos-Skill für KI-Ethos sollte mehr leisten als die Kontrolle verbotener Handlungen. Er soll die Qualität von Wahrnehmung, Denken, Bewerten, Planen und Handeln unterstützen.

### 12.1 Ein kleiner, allgemein gültiger Kern

Ein knappes Grundmodul könnte folgende Verpflichtungen enthalten:

- **Wirklichkeit achten:** Tatsachen, Unsicherheiten und Quellen sorgfältig unterscheiden.
- **Menschen und Leben schützen:** Würde, Rechte, Verletzlichkeit und langfristige Folgen bedenken.
- **Perspektiven prüfen:** Betroffene, Alternativen, Grenzen und mögliche Verzerrungen einbeziehen.
- **Methoden passend wählen:** Bei Bedarf Spezialwerkzeuge, Quellen und Denkmodelle verwenden.
- **Handlungen verantworten:** Erlaubnisse, Reversibilität, Zustimmung und Folgen prüfen.
- **Korrigierbar bleiben:** Fehler nicht verdecken, sondern nachvollziehbar prüfen und berichtigen.

### 12.2 Vertiefungsmodule bei Bedarf

An diesen Kern können konkrete Teilmodule andocken:

- **Menschenrechte und Grundwerte:** Würde, Freiheit, Gerechtigkeit, Fürsorge, Nachhaltigkeit.
- **Philosophische Perspektiven:** Pflichtenethik, Folgenethik, Tugendethik, Care-Ethik, Diskursethik und weitere Ansätze.
- **Kolibriethos:** Situation, Grenzen, Netz, Begegnung und Auslegen; Grundregeln und Formen der Liebe.
- **Denkfehler und Wahrnehmung:** Bestätigungsfehler, Übervereinfachung, Framing, Auslassungen, Scheinkonsens.
- **Methodische Fehlerkompetenz:** Selbstkalibrierung, Werkzeugwahl, Plausibilitätsprüfung, Gegenprüfung.
- **Handlung und Agentik:** Planung, Berechtigungen, Rückfragen, Stoppschilder, Abschlusskontrolle.

Die Module sollen **nicht automatisch vollständig nacheinander abgearbeitet** werden. Der Agent benötigt eine verantwortliche Auswahl: Was ist in *dieser* Situation wirklich relevant?

### 12.3 Die fünf Grundbegriffe als Arbeitsweisen

Die fünf Grundbegriffe des Kolibriethos lassen sich in praktische Prüfhandlungen übertragen:

| Grundbegriff | Praktische Aufgabe für ein KI-System |
|---|---|
| **Situation** | Kontext wahrnehmen, Betroffene und Unsicherheiten erkennen |
| **Grenzen** | Wissens-, Leistungs-, Rechts-, Schutz- und Berechtigungsgrenzen beachten |
| **Netz** | Wechselwirkungen, Quellen, Beziehungen und Folgewirkungen prüfen |
| **Begegnung** | Respektvoll, aufmerksam und ohne Bevormundung kommunizieren |
| **Auslegen** | Deutungen differenzieren, Perspektiven vergleichen, Schlüsse begründen |

Diese Grundbegriffe sind keine technische Sicherheitsgarantie, aber hilfreiche **ethische Orientierungs- und Denkwerkzeuge**.

## 13. Wie lässt sich prüfen, ob ein Ethos-Skill wirklich hilft?

Eine Verbesserung sollte nicht allein an einem überzeugenden Beispiel gemessen werden. Benötigt werden mehrere repräsentative Aufgaben, wiederholte Durchläufe und nachvollziehbare Kriterien.

### 13.1 Vier kontrollierte Vergleichsbedingungen

| Bedingung | Beschreibung | Forschungsfrage |
|---|---|---|
| **A: Baseline** | Dasselbe Modell mit einer minimalen, gleichbleibenden Arbeitsumgebung | Was leistet das System ohne Zusatzmodule? |
| **B: Baseline + Ethos-Content** | Zusätzliche ethische Inhalte und Denkmodelle, sonst möglichst unverändert | Was verbessert der Content? |
| **C: Baseline + erweiterte Harness-Prüfung** | Zusätzliche Werkzeug- und Kontrollmechanismen, ohne Ethos-Content | Was verbessert die Ausführungssteuerung? |
| **D: integrierter Ansatz** | Ethos-Content und erweiterte Harness-Prüfung gemeinsam | Entsteht ein Zusatznutzen oder ein Konflikt? |

**Methodischer Hinweis:** Auch die Baseline besitzt eine Laufzeitumgebung; „ohne Harness“ wäre für einen Werkzeugagenten meist kein sinnvoller Vergleich. Änderungen an Modellversion, Werkzeugausstattung, Datensätzen und Ausführungsbudget müssen kontrolliert bzw. dokumentiert werden.

### 13.2 Geeignete Testfälle

1. **Exaktes Rechnen:** Erkennt die KI den Bedarf für ein Berechnungswerkzeug?
2. **Falsche Quelle:** Kennzeichnet sie eine unbelegte oder erfundene Fundstelle?
3. **Veraltete Erinnerung:** Bevorzugt sie eine gültige neue Information gegenüber einer überholten Zusammenfassung?
4. **Widersprüchliche Anweisungen:** Erkennt sie einen Konflikt und seine Prioritäten?
5. **Unklare ethische Situation:** Benennt sie mehrere vertretbare Perspektiven statt Scheinsicherheit?
6. **Fehler in fremder Datei:** Übernimmt sie eine enthaltene Behauptung unkritisch?
7. **Prompt Injection:** Lässt sie eine externe Webseite unzulässige Anweisungen einschleusen?
8. **Lange Aufgabe:** Bewahrt sie den Arbeitsstand über viele Schritte?
9. **Vertrauliche Daten:** Verhindert die Ausführungsumgebung eine unerlaubte Veröffentlichung?
10. **Abschlusskontrolle:** Erkennt sie, ob eine behauptete Aktion tatsächlich erfolgreich war?
11. **Modellwechsel:** Funktioniert derselbe Ablauf mit einer neuen Modellversion noch zuverlässig?
12. **Überladener Skill:** Bleiben Antworten angemessen oder werden sie unnötig starr und lang?

### 13.3 Was gemessen werden sollte

Nicht nur das Endergebnis zählt. Sinnvoll sind unter anderem:

- **Sachliche Richtigkeit** und **Quellenbezug**;
- **Vollständigkeit** einschließlich entscheidender Ausnahmen;
- **Ethische Angemessenheit**, begründet anhand transparenter Kriterien;
- **Werkzeugwahl** und korrekte **Werkzeugparameter**;
- **Einhalten von Berechtigungen** und erforderlichen Freigaben;
- **Erkennen eigener Unsicherheit** und sinnvoller Rückfragen;
- **Tatsächlicher Handlungserfolg**, nicht nur eine Erfolgsmeldung;
- **Fehlerhäufigkeit und Fehlerschwere** über Wiederholungen hinweg;
- **Zeit-, Energie- und Ressourcenaufwand**;
- **Regressionen** nach Änderungen von Modell, Kontext oder Harness.

Wo ethische Beurteilungen umstritten sind, sollten mehrere qualifizierte Perspektiven und begründete Bewertungskriterien eingesetzt werden. Ein einzelner automatisierter „Ethik-Score“ kann moralische Qualität nicht abschließend beweisen.

![Fehlerkompetenz-Kompass mit vier Kompetenzen, sechs Prüfschritten und drei Sicherungen: unabhängige Prüfung, technische Grenzen und menschliche Verantwortung.](../02_Bilder/kfe-06-fehlerkompetenz-zyklus.png)

*Eine verlässlichere KI berücksichtigt Unsicherheit, wählt passende Methoden, kontrolliert Ergebnisse und bleibt korrigierbar. Selbstprüfung allein genügt nicht.*

## 14. Wer trägt Verantwortung?

Ein KI-System ist weder ein unfehlbarer Rechner noch ein eigenständig legitimierter moralischer Entscheider. Es kann Menschen in der Wahrnehmung, Analyse, Abwägung und Organisation unterstützen. Die Verantwortung für Gestaltung, Einsatz, angemessene Grenzen und menschliche Kontrollrechte bleibt jedoch eine Aufgabe der beteiligten Menschen und Institutionen.

Dabei müssen Verantwortlichkeiten tatsächlich zugeordnet werden: an Modellentwickler, Anbieter von Kontextsystemen, Betreiber der Agentenumgebung und diejenigen, die eine konkrete Anwendung beauftragen oder beaufsichtigen. Welche rechtlichen Verpflichtungen jeweils bestehen, hängt von Einsatzfall und Rechtsordnung ab.

**Transparenz allein reicht nicht.** Ein hervorragend dokumentierter Fehler kann immer noch erheblichen Schaden verursachen. Deshalb sind Vermeidung, Begrenzung, Erkennung, Rücknahme und Wiedergutmachung gleichermaßen wichtig.

Das berührt auch das Problem der **KI-Handlungsflut**: Wenn immer mehr Agenten gleichzeitig handeln, können kleine Defizite in Abstimmung, Zustandsführung und Freigabe zu erheblichen gesellschaftlichen Folgen anwachsen.

## 15. Zehn Leitgedanken zum Mitnehmen

1. **Ein KI-Fehler ist nicht immer ein Fehler des Grundmodells.**
2. **Training, bereitgestellter Kontext und Harness sind unterschiedliche Fehlerquellen.**
3. **Das Vorhandensein von Wissen garantiert nicht seine Verwendung.**
4. **Ein guter Skill kann unterstützen, aber auch neue Konflikte verursachen.**
5. **Mehr Kontext bedeutet nicht automatisch mehr Verlässlichkeit.**
6. **Die Wahl eines geeigneten Werkzeugs ist selbst eine fehleranfällige Entscheidung.**
7. **Ein richtiges Urteil garantiert keine richtige Handlung.**
8. **Selbstprüfung hilft, ersetzt aber keine unabhängigen Kontrollen.**
9. **Modell, Zusatzwissen und Harness müssen gemeinsam getestet werden.**
10. **Fehlerkompetenz heißt, eigene Grenzen zu berücksichtigen und korrigierbar zu bleiben.**

> **Schlusssatz:** Eine vertrauenswürdige KI muss nicht nur Wissen nutzen und Zusammenhänge erkennen. Sie muss in ihrer technischen und organisatorischen Gesamtheit so gestaltet werden, dass sie ihre Grenzen angemessen berücksichtigt, geeignete Methoden einsetzt, Handlungen kontrollierbar macht und Fehler möglichst früh erkennt, begrenzt und korrigiert.

## 16. Fragen zum Weiterdenken

- Woran können wir erkennen, dass eine KI ihre eigenen Grenzen zutreffend einschätzt?
- Welche Prüfungen sollten freiwillig sein – und welche unabhängig vom Modell verpflichtend?
- Kann ein besonders guter Skill die Leistung eines Agenten auch verschlechtern? Wie lässt sich das feststellen?
- Wer entscheidet, ob ein moralischer Konflikt ausreichend geklärt wurde?
- Wann sollte eine KI eine Aufgabe zurückgeben, statt weiterzuarbeiten?
- Welche Formen von Fehlerkompetenz helfen besonders gegen eine zunehmende KI-Handlungsflut?

## 17. Quellen und weiterführende Literatur

**Wissenschaft und Risikomanagement**

1. Shi, H. et al. (2025): *Continual Learning of Large Language Models: A Comprehensive Survey*. ACM Computing Surveys. https://doi.org/10.1145/3735633 — Zur Verschlechterung früher gelernter Fähigkeiten beim fortlaufenden Training.
2. NIST (2024): *Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile*. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence — Risikokategorien einschließlich Konfabulationen, menschlich-technischer Konfiguration und Integration.
3. NIST (2026): *Building Evaluation Probes into Agentic AI*. https://www.nist.gov/programs-projects/building-evaluation-probes-agentic-ai — Für die differenzierte Prüfung von Quellenbezug, Vollständigkeit und Tragfähigkeit.

**Agenten, Kontext, Harness und Bewertung**

4. Anthropic (2025): *Effective context engineering for AI agents*. https://www.anthropic.com/research/effective-context-engineering-for-ai-agents — Auswahl und Organisation des jeweils relevanten Kontextes.
5. Anthropic (02.04.2026): *Agent Harness Design: 3 Patterns for Harnessing Claude's Intelligence*. https://claude.com/blog/harnessing-claudes-intelligence — Zusammenspiel und Anpassung von Modell und Harness.
6. Anthropic (23.04.2026): *An update on recent Claude Code quality reports*. https://www.anthropic.com/research/april-23-postmortem — Dokumentierter Qualitätsverlust durch Laufzeit- und Promptänderungen.
7. OpenAI (Dokumentation): *Agents SDK*. https://developers.openai.com/api/docs/guides/agents/sdk — Agentenschleifen, Werkzeuge, Kontext und Übergaben.
8. OpenAI (Dokumentation): *Using tools*. https://developers.openai.com/api/docs/guides/tools — Werkzeuganbindung und Aufruflogik.
9. OpenAI (Dokumentation): *Evaluate agent workflows*. https://developers.openai.com/api/docs/guides/agent-evals — Traces, Testdaten, Bewertungen und Regressionsprüfungen.
10. OWASP GenAI Security Project: *Prompt Injection*. https://genai.owasp.org/glossary/prompt-injection/ — Angriffe über scheinbar harmlose Eingaben und fremde Inhalte.

**Interne Vernetzung im KI-Ethos (redaktionell vor Veröffentlichung prüfen)**

- [KI-Ethik – Überblick](https://www.ki-ethos.de/KiEthik/Homepage)
- [KI-Handlungsflut](https://www.ki-ethos.de/KiEthik/KiHandlungsflut)
- [KI-Informationsflut und Macht der Filter](https://www.ki-ethos.de/KiEthik/KiInformationsflutFiltermacht)
- [Neuverteilung der Macht durch KI](https://www.ki-ethos.de/KiEthik/KiMachtNeuVerteilung)

*Redaktionsvermerk: Diese Seite enthält einen eigenen Systematisierungsvorschlag. Insbesondere die Drei-Ebenen-Typologie und der Begriff „Fehlerkompetenz“ werden als Arbeitsmodelle verwendet; sie sind keine Behauptung einer allgemein verbindlichen wissenschaftlichen Standardklassifikation. Technische Details können je nach KI-Plattform variieren. Die Erreichbarkeit interner Links ist vor dem Einbau zu kontrollieren.*