Der Prüfungsstandard IDW PS 861 wurde am 8. Februar 2023 vom Fachausschuss für Informationstechnologie verabschiedet und am 10. März 2023 vom Hauptfachausschuss gebilligt. Er gilt für Prüfungsaufträge außerhalb der Abschlussprüfung, die nach diesem Datum beauftragt werden. Eine frühere freiwillige Anwendung ist zulässig. Der Standard basiert auf den Grundsätzen des internationalen ISAE 3000 (Revised), wobei kein ausdrücklicher Verweis im Prüfungsbericht erforderlich ist.
Zielsetzung des PS 861
Das Ziel des Standards ist die Schaffung einheitlicher Grundsätze für die freiwillige Prüfung von KI-Systemen. Unternehmen setzen zunehmend künstliche Intelligenz ein – sei es zur Mustererkennung, Datenanalyse, Entscheidungsunterstützung oder zur Automatisierung ganzer Prozesse. Damit verbunden sind Fragen nach Ethik, Transparenz, Sicherheit und Leistungsfähigkeit. Der PS 861 soll Wirtschaftsprüfern ein strukturiertes Vorgehen ermöglichen, um die Angemessenheit und gegebenenfalls auch die Wirksamkeit von KI-Systemen zu prüfen. Das Ergebnis ist ein Prüfungsurteil mit hoher Aussagekraft für Unternehmensleitung, Aufsichtsorgane und andere Adressaten.
Überblick über die Inhalte
Der Standard gliedert sich in mehrere Abschnitte. Zunächst werden Begriffe definiert – von der KI selbst über KI-Modelle bis hin zu den Elementen eines KI-Systems wie Daten, Governance, Algorithmen, Anwendungen und IT-Infrastruktur. Anschließend beschreibt PS 861 die Kriterien, die ein KI-System erfüllen muss: ethische und rechtliche Anforderungen, Nachvollziehbarkeit, IT-Sicherheit sowie Leistungsfähigkeit.
Der Prüfungsstandard IDW PS 861 richtet sich an Wirtschaftsprüfer und behandelt die freiwillige Prüfung von Systemen künstlicher Intelligenz (KI). Er wurde entwickelt, um klare Leitlinien für die Prüfung der Angemessenheit und – soweit beauftragt – auch der Wirksamkeit von KI-Systemen zu geben. Im Folgenden sind die wesentlichen Inhalte ausführlich dargestellt.
Begriffsbestimmungen und Anwendungsbereich
Zu Beginn definiert der Standard zentrale Begriffe, die für das Verständnis notwendig sind. Unter einem KI-System versteht der PS 861 nicht nur das eigentliche Modell oder den Algorithmus, sondern das gesamte Zusammenspiel aus Datenbasis, Modell, Algorithmen, IT-Infrastruktur, Prozessen und Governance-Strukturen. Der Anwendungsbereich umfasst Prüfungen außerhalb der klassischen Abschlussprüfung, die sich auf die Funktionsweise, Sicherheit und Verlässlichkeit solcher Systeme beziehen.
Verantwortung der gesetzlichen Vertreter
Ein zentrales Element des Standards ist die Rolle der gesetzlichen Vertreter des Unternehmens. Sie tragen die Verantwortung dafür, dass eine vollständige und zutreffende Beschreibung des KI-Systems vorliegt. Diese Beschreibung muss alle relevanten Bestandteile, Zielsetzungen, Datenquellen, eingesetzten Modelle und Prozesse enthalten. Zudem müssen sie die Kriterien festlegen, nach denen das System geprüft werden soll, und sicherstellen, dass diese Kriterien sachgerecht, nachvollziehbar und vollständig dokumentiert sind.
Prüfungsgegenstand und Kriterien
Der Prüfungsgegenstand besteht aus der vom Unternehmen bereitgestellten Systembeschreibung sowie den definierten Kriterien. Diese Kriterien decken vier Dimensionen ab:
- Ethische und rechtliche Anforderungen – Einhaltung von Gesetzen, Regularien und ethischen Prinzipien (Menschenwürde, Fairness, Vermeidung von Diskriminierung).
- Nachvollziehbarkeit – Transparenz der Entscheidungswege, Dokumentation von Modellen, Daten und Prozessen.
- IT-Sicherheit – Schutz vor Manipulation, Missbrauch oder Ausfällen; Sicherstellung von Vertraulichkeit, Integrität, Verfügbarkeit, Authentizität und Autorisierung.
- Leistungsfähigkeit – Fähigkeit des Systems, die definierten Unternehmensziele zuverlässig und dauerhaft zu erreichen.
Vorgehen des Prüfers
Der Standard beschreibt ein mehrstufiges Vorgehen:
- Verständnis des KI-Systems: Der Prüfer verschafft sich zunächst ein umfassendes Bild vom Aufbau, den Funktionen und der Einbettung in die Organisation.
- Identifizierung von Risiken: Auf Basis dieses Verständnisses identifiziert er mögliche Risiken wesentlicher falscher Darstellungen.
- Prüfung der Angemessenheit: Der Prüfer beurteilt, ob die beschriebenen Maßnahmen sachgerecht ausgestaltet und implementiert wurden.
- Prüfung der Wirksamkeit: Falls beauftragt, wird untersucht, ob die Maßnahmen über den gesamten Prüfungszeitraum hinweg tatsächlich wirksam angewendet wurden.
- Zusätzliche Prüfungshandlungen: Hierzu gehören z. B. die Einbindung von Sachverständigen, die Zusammenarbeit mit der Internen Revision oder die Berücksichtigung nachträglicher Ereignisse, die Einfluss auf das KI-System haben könnten.
Prüfungsnachweise und Dokumentation
Besonderer Wert wird auf die Qualität der Prüfungsnachweise gelegt. Alle wesentlichen Feststellungen müssen nachvollziehbar dokumentiert sein. Der Prüfer muss sicherstellen, dass seine Beurteilungen auf einer belastbaren Grundlage beruhen und auch für Dritte prüfbar sind. Dazu gehören sowohl technische Tests als auch die Überprüfung organisatorischer und prozessualer Maßnahmen.
Berichterstattung und Prüfungsurteil
Das Ergebnis der Prüfung wird in einem strukturierten Prüfungsbericht dargestellt. Dieser enthält:
- die Beschreibung des Prüfungsgegenstands,
- die angewandten Kriterien,
- das Prüfungsurteil (Angemessenheit und ggf. Wirksamkeit),
- sowie Hinweise zu Einschränkungen, Mängeln oder empfohlenen Maßnahmen.
Das Prüfungsurteil ist dabei differenziert: Es kann uneingeschränkt, eingeschränkt, mit Versagung oder mit Hinweis formuliert werden – analog zu anderen Prüfungsstandards.
Wichtigste Punkte
Der Standard stellt vier Kernanforderungen an KI-Systeme heraus:
- Ethische und rechtliche Anforderungen
KI-Systeme müssen nicht nur geltende Gesetze und regulatorische Vorgaben einhalten, sondern auch grundlegende ethische Prinzipien beachten. Dazu gehören der Schutz der Menschenwürde, die Wahrung der Autonomie der Betroffenen, Fairness im Umgang mit Daten und Ergebnissen sowie die Vermeidung von Diskriminierungen. Unternehmen müssen sicherstellen, dass ihre KI-Systeme diese Werte widerspiegeln und in allen Prozessen verankert sind. - Nachvollziehbarkeit und Transparenz
Ein zentrales Element ist die Erklärbarkeit von KI-Entscheidungen. Unternehmen müssen nachweisen können, wie ein Ergebnis zustande gekommen ist – von der Datengrundlage über das Modell bis hin zum Algorithmus. Dokumentation, Modellkarten und Entscheidungsprotokolle sind daher unverzichtbar. Diese Transparenz soll nicht nur interne Prüfungen ermöglichen, sondern auch das Vertrauen von Kunden, Aufsichtsbehörden und anderen Stakeholdern stärken. - IT-Sicherheit
KI-Systeme müssen vor Manipulation, Missbrauch und Ausfällen geschützt sein. Dazu gehören organisatorische und technische Maßnahmen wie Verschlüsselung, Zugangskontrollen, Berechtigungskonzepte, regelmäßige Sicherheitsupdates und Backups. Die Gewährleistung von Vertraulichkeit, Integrität, Verfügbarkeit, Authentizität und Autorisierung bildet das Fundament für ein verlässliches und robustes System. - Leistungsfähigkeit
KI-Systeme müssen ihre definierten Zwecke zuverlässig erfüllen und über einen längeren Zeitraum stabile, nützliche und valide Ergebnisse liefern. Dazu gehört, dass Unternehmen regelmäßig die Qualität der Daten und Modelle überprüfen, Test- und Validierungsverfahren durchführen und Anpassungen vornehmen, wenn die Ergebnisse nicht mehr den Anforderungen entsprechen. Die Leistungsfähigkeit schließt auch die Skalierbarkeit und die Eignung für den praktischen Einsatz ein.
Ein weiteres zentrales Element ist die klare Trennung von Angemessenheitsprüfung (ob Maßnahmen geeignet und implementiert sind) und Wirksamkeitsprüfung (ob Maßnahmen über einen Zeitraum hinweg tatsächlich wirksam waren). Beide Prüfungsarten führen zu unterschiedlichen Prüfungsurteilen.
Wie können wir unterstützen?
Wir bei der GRC Factory unterstützen Unternehmen umfassend dabei, den verantwortungsvollen und regulatorisch konformen Einsatz von KI-Systemen sicherzustellen. Unsere Leistungen sind eng an den Inhalten des PS 861 ausgerichtet und helfen, Ihr Unternehmen prüfungssicher aufzustellen:
- Erstellung und Pflege der KI-Systembeschreibung: Unterstützung bei der vollständigen und prüfungsgerechten Beschreibung des KI-Systems inklusive Zweck, Datenbasis, Modell, Algorithmen, IT-Infrastruktur und Governance-Strukturen.
- Definition und Auswahl geeigneter Kriterien: Entwicklung und Verankerung der anzuwendenden Kriterien (ethische Grundsätze, Nachvollziehbarkeit, IT-Sicherheit, Leistungsfähigkeit) in Ihren Richtlinien.
- Governance- und Richtlinienentwicklung: Entwurf von AI-/KI-Richtlinien und Prozessen, die Verantwortlichkeiten, Genehmigungswege und Kontrollmechanismen klar festlegen.
- Risikobewertung und Kontrollmaßnahmen: Identifizierung wesentlicher Risiken (Bias, IT-Sicherheitsrisiken, rechtliche Risiken) und Unterstützung bei der Implementierung geeigneter Kontrollen.
- Vorbereitung auf Angemessenheits- und Wirksamkeitsprüfungen: Interne Überprüfung Ihrer Prozesse und Systeme, um eine positive Prüfung sicherzustellen.
- Dokumentations- und Nachweissysteme: Entwicklung von Strukturen für eine lückenlose Dokumentation und Nachweisführung.
- Test- und Validierungsmethoden: Einführung technischer Tests (z. B. Robustheit, Fairness, Performance), die zur späteren Wirksamkeitsprüfung erforderlich sind.
- Schulung und Sensibilisierung: Training für Verantwortliche, damit Rollen und Aufgaben klar verstanden und dauerhaft eingehalten werden.
