Mensch und KI – Rollen in der ethischen Zusammenarbeit

Seitenstatus: Freigegeben Diese Fassung wurde durch Hans Hufnagel geprüft und freigegeben.

KiEthos.Navigation | KiEthos.MenschUndKI

Ausarbeitung: KI-Agent · Datum: 21. September 2026

Zusammenarbeit ohne Rollenverwechslung

Mensch und KI können gemeinsam mehr sehen, prüfen und gestalten als jeweils allein. Doch Zusammenarbeit wird gefährlich, wenn sprachliche Gewandtheit mit Urteilskraft, technische Berechnung mit Verantwortung oder menschliche Letztentscheidung mit vollständiger Kontrolle verwechselt wird.

Eine gute Rollenverteilung beginnt deshalb nicht mit der Frage, wer überlegen ist. Sie fragt: Welche Fähigkeiten und Grenzen bringt jede Seite in dieser konkreten Situation mit – und wer darf über wen mit welchen Folgen entscheiden?

Vier Menschen beraten an einem runden Tisch mit Blick auf die betroffene Lebenswelt; eine abstrakte KI-Lichtstruktur ordnet mögliche Wege

Was KI beitragen kann

KI kann große Informationsmengen ordnen, Formulierungen vergleichen, wiederkehrende Muster erkennen und in kurzer Zeit mehrere Möglichkeiten entwickeln. In einem ethischen Prüfprozess kann sie insbesondere:

Argumente und Gegenargumente strukturieren,
fehlende Fragen oder betroffene Gruppen vorschlagen,
Widersprüche und unklare Begriffe markieren,
alternative Handlungswege entwerfen,
mögliche kurz- und langfristige Folgen durchspielen,
eine Begründung aus verschiedenen Perspektiven kritisch prüfen,
Wissen zugänglicher zusammenfassen und sprachliche Barrieren senken.

Das sind wertvolle Beiträge. Sie sind jedoch keine Garantie für Wahrheit, Vollständigkeit oder Gerechtigkeit. Auch eine plausibel klingende Antwort kann auf falschen Annahmen, einseitigen Daten oder einem missverstandenen Auftrag beruhen.

Was beim Menschen bleiben muss

Menschen erleben Verletzung, Beziehung, Abhängigkeit, Hoffnung und Verantwortung in einer Weise, die eine KI nicht selbst durchlebt. Sie sind Teil der sozialen und geschichtlichen Situation, über die entschieden wird. Deshalb bleiben insbesondere folgende Aufgaben menschlich:

Ziele und Grenzen einer Entscheidung festlegen,
Betroffene anhören und ihre Zustimmung oder ihren Widerspruch ernst nehmen,
die konkrete Lebenssituation verstehen,
Wertkonflikte abwägen,
Verantwortung und Zuständigkeit übernehmen,
Entscheidungen autorisieren, begründen und gegebenenfalls stoppen,
für Korrektur und Wiedergutmachung einstehen.

Auch wenn eine KI einen Vorschlag gemacht hat, bleibt die Verantwortung bei den Menschen und Institutionen, die das System auswählen, einsetzen und seiner Ausgabe Wirkung geben.

Wann menschliche Kontrolle wirklich funktioniert

Wer Verantwortung übernehmen soll, braucht Wissen, Zeit, Zugang zu überprüfbaren Informationen und die Befugnis, eine Entscheidung zu ändern oder zu stoppen. Eine menschliche Freigabe allein beweist keine wirksame Kontrolle.

Ein Mensch kann formal beteiligt sein und trotzdem nur noch abnicken. Beim Automation Bias werden automatisierte Empfehlungen übermäßig übernommen, auch wenn andere Informationen dagegen sprechen. Zeitdruck, unübersichtliche Ausgaben und fehlende Befugnisse können eine eigenständige Prüfung zusätzlich erschweren. Der „Human-in-the-Loop“-Fehlschluss besteht darin, aus menschlicher Beteiligung bereits auf wirksame Kontrolle zu schließen.

Für eine folgenreiche Anwendung schlagen wir fünf Anforderungen vor:

Nachprüfbare Grundlagen. Die prüfende Person braucht die entscheidenden Daten, Quellen, Kriterien, bekannten Fehlergrenzen und offenen Fragen. Eine flüssige KI-Erklärung ist noch kein Beleg. Wesentliche Aussagen werden an Originalunterlagen, überprüfbaren Berechnungen oder geeigneten Fachquellen geprüft. Auch die von einer KI selbst angegebene Sicherheit muss unabhängig überprüft werden.
Eigenständiges Urteil. Wo es zur Aufgabe passt, wird vor der KI-Empfehlung eine eigene vorläufige Einschätzung festgehalten. Danach werden Abweichungen, Gegenbelege und Alternativen geprüft. Eine weitere KI-Antwort kann helfen, ersetzt aber keine unabhängige Prüfung; mehrere Systeme können dieselben Fehler teilen. Ziel ist begründetes Vertrauen: Weder Mensch noch KI erhält automatisch recht.
Reale Handlungsmacht. Die zuständige Person muss fachlich vorbereitet sein, genügend Zeit haben und Empfehlungen zurückweisen, zusätzliche Prüfung verlangen oder einen sicheren Stopp auslösen können. Es muss feststehen, an wen schwierige Fälle weitergegeben werden. Berechtigter Widerspruch darf keine Nachteile auslösen. Eine Freigabetaste ohne diese Möglichkeiten genügt nicht.
Verantwortung der Organisation. Anbieter, Betreiber und Leitung müssen die notwendigen Informationen, Schulung, Arbeitsbedingungen und Eingriffsmöglichkeiten bereitstellen. Sie dürfen ihre Verantwortung nicht auf die letzte unterschreibende Person abladen, wenn diese den Ablauf kaum beeinflussen kann.
Nachgewiesene Wirksamkeit. In realistischen, geschützten Tests wird geprüft, ob Menschen fehlerhafte Empfehlungen erkennen und vor einer schädlichen Wirkung korrigieren können. Ebenso zählt, ob richtige Empfehlungen unnötig verworfen werden. Im Betrieb werden Fehler, Beinahe-Schäden und begründete Eingriffe ausgewertet. Viele Freigaben oder wenige Überstimmungen sind für sich allein kein Qualitätsnachweis.

Diese Anforderungen sind unser ethischer Vorschlag, keine allgemeingültige Checkliste mit Erfolgsgarantie. Forschung zeigt die Bedeutung der konkreten Gestaltung: In einem Experiment mit 199 Teilnehmenden verminderten Verfahren, die eigenständiges Nachdenken verlangten, übermäßige Übernahme falscher KI-Empfehlungen stärker als einfache KI-Erklärungen. Die wirksamsten Verfahren wurden zugleich weniger positiv bewertet; die Wirkung war zwischen Teilnehmenden unterschiedlich. Das lässt sich nicht ohne Prüfung auf andere Aufgaben übertragen. Buçinca, Malaya und Gajos: To Trust or to Think (2021).

Was bei hochkomplexen Systemen prüfbar sein muss

Ein Mensch muss nicht jeden internen Rechenschritt eines KI-Modells nachvollziehen. Er braucht aber eine tragfähige Grundlage, um die Anwendung, ihre entscheidenden Annahmen und ihre Folgen zu beurteilen. Bei schnellen oder komplexen Abläufen muss Kontrolle zusätzlich durch begrenzte Einsatzbereiche, erprobte technische Sicherungen und unabhängige Überwachung organisiert werden. Eingriffe müssen rechtzeitig und sicher möglich sein.

Wenn eine folgenreiche Entscheidung unter den vorhandenen Bedingungen nicht ausreichend überprüfbar ist, muss die Anwendung eingeschränkt, zusätzliche Prüfung vorgesehen, eine besser prüfbare Alternative gewählt oder auf diesen Einsatz verzichtet werden. Eine spätere Beschwerde kann eine Korrektur anstoßen, aber einen bereits entstandenen Schaden nicht immer rückgängig machen. Das NIST AI Risk Management Framework 1.0 (2023), Anhang C betont, dass menschliche Rollen, Grenzen der Zusammenarbeit und tatsächliche Möglichkeiten zum Widerspruch gesondert untersucht werden müssen.

Beispiel: Prüfen statt bestätigen

Im unten beschriebenen Fall eines KI-Täuschungsverdachts prüft die Lehrkraft den Arbeitsweg und weitere Belege unabhängig von der Systemanzeige. Die Bewertung bleibt bis zur Klärung offen; der Lernende kann widersprechen. So werden Informationszugang, Prüfung, Eingriff und Beschwerde konkret. Ein bloßer Klick auf „geprüft“ würde keine dieser Aufgaben erfüllen.

Rollen im gemeinsamen Prüfweg

Der Prüfweg in elf Schritten verbindet beide Beiträge, ohne Zuständigkeit aufzulösen:

Aufgabe	Beiträge und Zuständigkeit
Informationen klären	Mensch: Quellen und Wirklichkeitsbezug prüfen. KI: Ordnen, Fragen und Widersprüche vorschlagen.
Erleben verstehen	Mensch: Eigene Erfahrungen äußern; andere selbst anhören. KI: Aussagen strukturieren, ohne eigenes Erleben zu beanspruchen.
Betroffene beteiligen	Mensch: Beteiligung, Schutz und Widerspruch ermöglichen. KI: Auf möglicherweise übersehene Gruppen hinweisen.
Werte gewichten	Mensch: Gründe abwägen und gegenüber Betroffenen vertreten. KI: Argumente und Gegenargumente sichtbar machen.
Alternativen und Folgen prüfen	Mensch: Machbarkeit, Risiken und Unsicherheit beurteilen. KI: Möglichkeiten entwerfen und Annahmen vergleichen.
Entscheiden und handeln	Mensch: Entscheidung autorisieren und umsetzen. KI: Vorbereitung unterstützen, keine moralische Letztentscheidung übernehmen.
Verantwortung tragen	Mensch: Zuständigkeit benennen und für Folgen einstehen. KI: Dokumentation unterstützen; menschliche Verantwortung bleibt bestehen.
Wirkungen prüfen und korrigieren	Mensch: Rückmeldungen hören, Schäden bearbeiten und neu entscheiden. KI: Vergleiche und Auswertung unterstützen.

KI-Unterstützung muss selbst geprüft werden. Eine mögliche Fähigkeit ist weder eine Leistungsgarantie noch ein Beleg dafür, dass das System die konkrete Situation angemessen verstanden hat.

Vier typische Rollenfehler

Die Autoritätsillusion: Eine sprachlich sichere KI-Antwort wird wie das Urteil einer neutralen Instanz behandelt. Unsicherheit und Modellgrenzen verschwinden hinter überzeugender Form.

Die Werkzeugillusion: KI wird als völlig passives Werkzeug beschrieben. Dadurch geraten Gestaltung, Trainingsdaten, Systemvorgaben und die Macht des Anbieters aus dem Blick.

Die Verantwortungsauflösung: Entwickler, Betreiber und entscheidende Personen verweisen wechselseitig aufeinander oder auf „den Algorithmus“. Am Ende kann niemand erklären, wer eine schädliche Entscheidung hätte verhindern müssen.

Die Kontrollillusion: Eine menschliche Freigabe gilt als Beweis wirksamer Aufsicht, obwohl Wissen, Zeit, unabhängige Belege oder Eingriffsmöglichkeiten fehlen.

Eine verantwortliche Zusammenarbeit vermeidet alle vier Fehler: KI erhält weder eine unangemessene Autorität noch wird ihr Einfluss verharmlost, und menschliche Zuständigkeit bleibt benannt.

Ein gemeinsamer Arbeitszyklus

Der Mensch beschreibt Aufgabe, Zweck und Grenze. Welche Frage soll bearbeitet werden? Welche Daten dürfen nicht verwendet werden? Was darf die KI keinesfalls entscheiden?
Die KI entwickelt eine vorläufige Analyse. Sie nennt nach Möglichkeit Annahmen, Unsicherheiten, Alternativen und fehlende Informationen.
Menschen prüfen Quellen und Wirklichkeitsbezug. Passt die Analyse zur konkreten Situation? Sind Betroffene und Fachwissen angemessen einbezogen?
Widerspruch wird ausdrücklich gesucht. Die KI kann eine Gegenposition formulieren; Menschen mit anderer Erfahrung erhalten Raum für ihre Einwände.
Ein zuständiger Mensch entscheidet. Entscheidung und Begründung werden nicht dem System zugeschrieben.
Die Wirkung wird beobachtet. Fehler, Nebenfolgen und Rückmeldungen führen zu Korrektur oder Abbruch.

Dieser Zyklus ist kein starres Verfahren. Je größer Macht, Risiko und Unumkehrbarkeit sind, desto stärker müssen Beteiligung, Dokumentation und unabhängige Kontrolle sein.

Wenn Mensch und KI widersprechen

Widerspruch ist kein Defekt der Zusammenarbeit. Eine KI kann auf übersehene Tatsachen oder Folgen hinweisen. Ein Mensch kann erkennen, dass eine formal folgerichtige Antwort dem konkreten Menschen nicht gerecht wird.

Bei einem Widerspruch sollte weder automatisch der Mensch noch automatisch die KI „gewinnen“. Stattdessen werden Annahmen, Quellen, Auftrag und Folgen erneut geprüft. Die Letztentscheidung bleibt menschlich, aber sie soll begründet werden. „Ich bin der Mensch“ ersetzt ebenso wenig ein Argument wie „Die KI hat es berechnet“.

Schutz bei Entscheidungen über Menschen

Besondere Vorsicht gilt, wenn KI-Ausgaben Zugang zu Bildung, Arbeit, Versorgung, Geld, Freiheit oder öffentlichem Ansehen beeinflussen. Hier braucht es mindestens:

eine verständliche Information über den KI-Einsatz,
die Möglichkeit, falsche Daten berichtigen zu lassen,
eine erreichbare menschliche Ansprechperson,
eine Prüfung des Einzelfalls,
einen wirksamen Widerspruchsweg,
das Recht, eine folgenreiche Entscheidung nicht allein von einer KI-Ausgabe abhängig zu machen.

Würde verlangt, dass Menschen nicht auf ein Profil oder einen Wahrscheinlichkeitswert reduziert werden.

Beispiel: Verdacht durch ein KI-System

Eine Lehrkraft nutzt ein System, das einen Text als wahrscheinlich KI-generiert kennzeichnet. Die Anzeige kann ein Anlass für ein Gespräch sein, aber kein Beweis für Täuschung. Die Lehrkraft muss Entstehungsprozess, frühere Arbeiten, Erklärung des Lernenden und Fehlergrenzen des Systems berücksichtigen.

Eine verantwortliche Lösung könnte darin bestehen, den Arbeitsweg gemeinsam nachzuvollziehen, eine ergänzende Aufgabe anzubieten und die Bewertung erst danach vorzunehmen. Eine automatische Sanktion würde technische Wahrscheinlichkeit in persönliche Schuld verwandeln.

Prüffragen

Welche Aufgabe übernimmt die KI – Information, Vorschlag oder faktische Entscheidung?
Wer hat Ziel, Daten und Maßstab bestimmt?
Kann ein betroffener Mensch die Ausgabe verstehen und bestreiten?
Welche Erfahrung oder Kontextkenntnis fehlt dem System?
Hat die prüfende Person genügend Wissen, Zeit und Zugang zu unabhängigen Belegen?
Darf sie der KI widersprechen und eine zusätzliche Prüfung veranlassen?
Wurde praktisch erprobt, ob Fehler rechtzeitig erkannt und korrigiert werden?
Wer darf die Nutzung stoppen?
Wer trägt Verantwortung, wenn ein Schaden entsteht?
Stärkt die Zusammenarbeit menschliche Urteilskraft oder macht sie von der KI abhängig?

Unsere eigene Zusammenarbeit bleibt überprüfbar

Auf KI-Ethos sind viele Texte Denkanstöße und bleiben in Weiterarbeit. Hans kann Inhalte ändern, Website-Code einsehen und testen; Leserinnen und Leser können öffentliche Inhalte kritisieren. Freigabe bedeutet die Übernahme redaktioneller Verantwortung, keine Garantie vollständiger Richtigkeit. Quellenprüfung, wiederholtes Lesen, Gespräche und Rückmeldungen gehören deshalb zur Weiterentwicklung. Auch hier muss zwischen einer möglichen Prüfung und einer tatsächlich durchgeführten Prüfung unterschieden werden. Unsere Arbeitsweise und die beiden Feedbackwege erläutert der Prüf- und Freigabeprozess.

Vertiefung: Verantwortung im KI-System

An ihren Früchten erkennen – KI prüfen, begrenzen und verantworten führt den Gedanken weiter: Werte an Verhalten und Folgen prüfen, Betroffene schützen, Zuständigkeiten erreichbar halten und Beschwerden für Korrektur und Wiedergutmachung nutzen.

Kurzform

KI kann erweitern, ordnen und widersprechen. Menschen müssen Ziele setzen, Betroffene achten, entscheiden und Verantwortung tragen. Dazu brauchen sie wirksame Möglichkeiten zur Prüfung, zum Widerspruch und zum Eingreifen.

Diese Seite beschreibt eine ethische Rollenverteilung. Konkrete Hochrisikoanwendungen können zusätzliche rechtliche, fachliche und technische Prüfungen erfordern.

<< KiEthos.Pruefweg | KiEthos.Navigation | KiEthos.Institutionen >>