Geschäftsführer CFO / Controller Vertriebsleiter Operations IT / Digital
Sales & Pipeline Finance, Buchhaltung & Cashflow Kunden & Churn Operations, Einkauf & Supply HR & People Projekte & Delivery Backoffice, IT & Compliance
Technologie So arbeiten wir Preise Kontakt Kostenloser Maturity Check →
Ratgeber · Compliance

KI Dokumentationspflicht Mittelstand: Risikoklasse bestimmen, Dokumente finden, 30-Tage-Plan

Lesezeit: 13 Minuten · Aktualisiert: Mai 2026

Von Stefan Preusler, Geschäftsführer

Die meisten Mittelständler, die sich mit der KI-Dokumentationspflicht beschäftigen, beginnen an der falschen Stelle. Sie suchen nach Vorlagen für technische Dokumentationen, bevor sie wissen, ob ihr KI-System überhaupt dokumentiert werden muss. Sie erstellen Qualitätsmanagementsysteme für Software, die unter minimales Risiko fällt. Sie sammeln Zehntausende Euro an Beratungskosten für Systeme, die sie ab August 2026 nicht mehr einsetzen dürfen. Die Ursache ist eine falsche Reihenfolge: Dokumentation vor Einordnung. Dieser Ratgeber dreht die Reihenfolge um. Er zeigt acht Ja/Nein-Fragen zur Risikoklassen-Einordnung, eine Dokumenten-Matrix, die für jede Risikoklasse und Rolle die exakten Pflichten zeigt, und einen 30-Tage-Plan, der die Dokumentation Schritt für Schritt aufbaut.

Warum achtzig Prozent der Mittelständler mit der Dokumentation an der falschen Stelle beginnen

Der EU AI Act ist seit dem 1. August 2024 in Kraft. Die Dokumentationspflichten für Hochrisiko-Systeme gelten ab dem 2. August 2026. Das klingt nach viel Zeit. Doch in der Praxis zeigt sich ein anderes Bild: Mittelständler beginnen mit der teuersten Aufgabe, bevor sie die einfachste gelöst haben.

Ein typischer Ablauf sieht so aus: Der Geschäftsführer liest von den Dokumentationspflichten, beauftragt eine Kanzlei mit der Erstellung einer technischen Dokumentation, zahlt fünfstellige Honorare und stellt nach drei Monaten fest, dass sein System gar nicht unter Hochrisiko fällt. Oder er erkennt, dass er als Betreiber nur sechs statt zehn Dokumente erstellen muss. Oder er merkt, dass sein System unter begrenztes Risiko fällt und gar kein Qualitätsmanagementsystem benötigt.

Die falsche Reihenfolge kostet nicht nur Geld, sondern auch Vertrauen. Wenn die erste Beratung zehntausend Euro kostet und am Ende nur ein dreiseitiges Dokument übrig bleibt, wird KI-Compliance zur Bürde statt zum Wettbewerbsvorteil. Die Lösung liegt in einer systematischen Einordnung vor der Dokumentation. NaveSight arbeitet als Intelligenz-Schicht über den bestehenden Systemen und unterstützt diesen Prozess als Middleware, die Daten aus ERP, CRM und anderen Quellen zusammenführt, ohne die bestehende Infrastruktur zu verändern.

Schritt 1: Die acht Ja/Nein-Fragen zur Risikoklassen-Einordnung

Die Risikoklasse eines KI-Systems lässt sich nicht am Titel oder an der Marketingbeschreibung ablesen. Entscheidend ist der Einsatzzweck und die Art der verarbeiteten Daten. Die folgenden acht Fragen führen in fünf Minuten zur richtigen Einordnung.

Nr. Frage Wenn Ja Wenn Nein
1 Wird das System in Beschäftigung, Bildung, Kreditwürdigkeit oder Justiz eingesetzt? Hochrisiko (Anhang III) Weiter mit Frage 2
2 Ist das System in ein Produkt eingebettet, das unter EU-Harmonisierungsrecht fällt? Hochrisiko (Anhang II) Weiter mit Frage 3
3 Nutzt das System biometrische Daten zur Identifikation von Personen? Hochrisiko Weiter mit Frage 4
4 Beeinflusst das System die Inanspruchnahme öffentlicher Dienstleistungen? Hochrisiko Weiter mit Frage 5
5 Wird das System in der Strafverfolgung oder Grenzkontrolle eingesetzt? Hochrisiko Weiter mit Frage 6
6 Nutzt das System Emotionserkennung oder biometrische Kategorisierung? Unannehmbares oder hohes Risiko Weiter mit Frage 7
7 Ist das System ein Chatbot oder Sprachassistent, der direkt mit Menschen interagiert? Begrenztes Risiko Weiter mit Frage 8
8 Generiert oder manipuliert das System Texte, Bilder, Videos oder Töne? Begrenztes Risiko Minimales Risiko

Diese acht Fragen decken alle relevanten Kriterien des EU AI Act ab. Wenn eine der Fragen eins bis fünf mit Ja beantwortet wird, fällt das System unter Hochrisiko und unterliegt den umfangreichsten Dokumentationspflichten. Frage sechs prüft unannehmbare Risiken, die generell verboten sind. Fragen sieben und acht identifizieren begrenztes Risiko mit geringeren Anforderungen. Wenn alle Fragen mit Nein beantwortet werden, fällt das System unter minimales Risiko.

Schritt 2: Anbieter oder Betreiber?

Die Rolle bestimmt die Pflichten. Ein Anbieter entwickelt oder entwickeln lässt ein KI-System und bringt es unter eigenem Namen auf den Markt. Ein Betreiber nutzt ein KI-System in eigener Verantwortung, ohne es zu entwickeln oder zu vermarkten. Die meisten Mittelständler sind Betreiber, nicht Anbieter.

Situation Sie sind... Beispiel
Ich nutze ChatGPT für E-Mails und Marketingtexte Betreiber Vertriebsmitarbeiter nutzt GPT für Kundenanfragen
Ich habe einen Kunden-Scoring-Algorithmus entwickelt Anbieter Eigene Software zur Bonitätsprüfung wird verkauft
Ich nutze gekaufte KI-Software für die Rechnungsverarbeitung Betreiber Buchhaltung nutzt Software von Drittanbieter
Ich habe ein KI-Modell trainiert und biete es als Dienst an Anbieter Muster-Erkennung für Predictive Maintenance als Service
Ich passe ein gekauftes KI-System wesentlich an und nutze es intern Quasi-Anbieter Eigene Anpassungen an Algorithmus und Schnittstelle

Die Unterscheidung ist entscheidend, weil Anbieter deutlich mehr Dokumente erstellen müssen als Betreiber. Ein Betreiber, der ein Hochrisiko-System nutzt, braucht sechs Dokumente. Der Anbieter desselben Systems braucht zehn. Wer seine Rolle nicht kennt, dokumentiert zu viel oder zu wenig.

Schritt 3: Die Dokumenten-Matrix

Nach der Einordnung in Risikoklasse und Rolle ergibt sich die exakte Anzahl der benötigten Dokumente. Die folgende Matrix zeigt für jede Kombination die Pflichten, Fristen und Verantwortlichen.

Risikoklasse Anbieter braucht... Betreiber braucht... Frist
Unannehmbares Risiko Verboten Verboten Ab 2. Februar 2025
Hohes Risiko 10 Dokumente 6 Dokumente Ab 2. August 2026
Begrenztes Risiko 3 Dokumente 2 Dokumente Ab 2. August 2026
Minimales Risiko 1 Dokument (freiwillig) 1 Dokument (freiwillig) Keine Frist

Die Matrix zeigt sofort, warum die Einordnung vor der Dokumentation wichtig ist. Ein Mittelständler, der ChatGPT im Vertrieb nutzt, ist Betreiber eines Systems mit begrenztem Risiko und braucht nur zwei Dokumente. Ein Softwarehaus, das einen eigenen Kunden-Scoring-Algorithmus entwickelt, ist Anbieter eines Hochrisiko-Systems und braucht zehn Dokumente. Die Differenz ist nicht nur quantitativ, sondern auch qualitativ: Hochrisiko-Anbieter müssen ein vollständiges Qualitätsmanagementsystem aufbauen, Betreiber mit begrenztem Risiko nicht.

Schritt 4: Was muss in die zehn Pflichtdokumente?

Die meisten Ratgeber nennen die Titel der Dokumente, aber nicht den Inhalt. Die folgende Tabelle zeigt für jedes der zehn Hochrisiko-Dokumente, was konkret hineingehört und wie viel Zeit die Erstellung voraussichtlich beansprucht.

Dokument Was drin stehen muss Zeitaufwand
Risikomanagement-System 1. Zweck des Systems, 2. Bekannte Risiken, 3. Minderungsmaßnahmen, 4. Verantwortliche Person, 5. Review-Zyklus 4-6 Stunden
Technische Dokumentation 1. Systemarchitektur, 2. Algorithmen und Modelle, 3. Datenquellen und Qualität, 4. Testergebnisse und Validierung, 5. Versionshistorie 8-12 Stunden
Daten-Governance-Plan 1. Datensatzbeschreibung, 2. Datenqualitätsprüfung, 3. Verzerrungsanalyse, 4. Datenschutzmaßnahmen, 5. Aufbewahrungsfristen 4-6 Stunden
Protokollierungsverfahren 1. Zu protokollierende Ereignisse, 2. Speicherformat und -dauer, 3. Zugriffsrechte, 4. Auswertungsprozess, 5. Meldekette bei Vorfällen 3-4 Stunden
Transparenzinformationen 1. Funktionsweise des Systems, 2. Bekannte Grenzen, 3. Risiken und Fehlerquellen, 4. Nutzungsanleitung, 5. Kontakt für Rückfragen 3-4 Stunden
Menschliche Aufsicht 1. Aufsichtskonzept, 2. Qualifikation der Aufseher, 3. Eingriffsmöglichkeiten, 4. Eskalationsprozess, 5. Schulungsnachweise 2-3 Stunden
Genauigkeit und Cybersicherheit 1. Genauigkeitsmetriken, 2. Robustheitstests, 3. Sicherheitsmaßnahmen, 4. Update-Prozess, 5. Incident-Response-Plan 4-6 Stunden
Qualitätsmanagementsystem 1. Qualitätsziele, 2. Verantwortlichkeiten, 3. Dokumentenlenkung, 4. Audit-Verfahren, 5. Verbesserungsprozess 6-8 Stunden
Konformitätserklärung 1. Produktbeschreibung, 2. Erfüllte Anforderungen, 3. Angewandte Standards, 4. Benannte Stelle, 5. Unterzeichnung 2-3 Stunden
Registrierungsnachweis 1. EU-Datenbank-Eintrag, 2. Systemkennung, 3. Anbieterdaten, 4. Vertreter in der EU, 5. Aktualisierungspflichten 1-2 Stunden

Die Summe der Zeitaufwendungen beträgt zwischen 37 und 54 Stunden für einen Hochrisiko-Anbieter. Als Betreiber reduziert sich der Aufwand auf etwa die Hälfte, da nur sechs der zehn Dokumente erforderlich sind. Bei begrenztem Risiko liegt der Aufwand bei insgesamt vier bis sechs Stunden. Bei minimalem Risiko genügt eine halbstündige interne Notiz.

Die technische Dokumentation ist das aufwendigste Dokument, weil sie die Systemarchitektur, die verwendeten Algorithmen und die Datenquellen beschreiben muss. Hier bietet sich eine Wissensbasis an, die alle relevanten Informationen zentral speichert und aktuell hält. Eine Rules Engine kann dabei helfen, deterministische Pfade im System zu dokumentieren, während die Muster-Erkennung die nicht-deterministischen Entscheidungen erfasst.

Schritt 5: Der 30-Tage-Plan

Die Dokumentation muss nicht auf einen Schlag erledigt werden. Ein pragmatischer Ansatz verteilt die Arbeit über vier Wochen und vermeidet Überforderung. Der Plan geht von einem Hochrisiko-Betreiber aus und lässt sich für Anbieter oder andere Risikoklassen entsprechend anpassen.

Woche 1: System-Einordnung

  • Die acht Ja/Nein-Fragen durchgehen und Risikoklasse bestimmen
  • Rolle klären: Anbieter, Betreiber oder Quasi-Anbieter
  • Stakeholder identifizieren: wer erstellt, wer prüft, wer unterschreibt
  • Erste interne Informationsveranstaltung mit dem Team

Woche 2: Bestandsaufnahme

  • Vorhandene Dokumente sammeln: Datenschutzerklärung, IT-Sicherheitskonzept, Mitarbeiterhandbuch
  • Lücken identifizieren: welche Dokumente fehlen vollständig
  • Datenquellen erfassen: woher kommen die Trainingsdaten
  • Middleware und Schnittstellen dokumentieren: welche Systeme sind verbunden

Woche 3: Lücken schließen

  • Fehlende Dokumente erstellen: technische Dokumentation, Risikomanagement, Protokollierung
  • Templates anpassen: nicht kopieren, sondern auf das eigene System zuschneiden
  • Intelligenz-Schicht über die Prozesse legen: wo können automatisierte Checks eingebaut werden
  • Qualitätsprüfung: hat jeder Abschnitt die geforderten fünf Inhalte

Woche 4: Review und Registrierung

  • Internes Review: Rechtsabteilung, IT-Sicherheit, Datenschutzbeauftragter
  • Externe Prüfung bei Bedarf: Rechtsanwalt oder spezialisierte Beratung
  • Registrierung in der EU-Datenbank für Hochrisiko-Systeme
  • Regelmäßiges Update festlegen: alle sechs Monate oder bei Systemänderungen

Der Plan lässt sich beschleunigen, wenn bereits ein Qualitätsmanagementsystem existiert, das als Grundlage genutzt werden kann. Wer nach ISO 27001 zertifiziert ist, verfügt bereits über die meisten Prozesse. Wer ein bestehendes Informationssicherheitsmanagement hat, kann dessen Struktur übernehmen. Die Middleware zwischen den Systemen spielt dabei eine wichtige Rolle, da sie die Datenflüsse dokumentiert und die Nachvollziehbarkeit sicherstellt.

Was kostet die KI-Dokumentation im Mittelstand?

Die Kosten für die KI-Dokumentation lassen sich in drei Blöcke aufteilen: interne Arbeitszeit, externe Beratung und laufender Betrieb. Die folgende Tabelle zeigt typische Bereiche für Unternehmen mit zehn bis zweihundert Mitarbeitern.

Kostenblock Hochrisiko-Anbieter Hochrisiko-Betreiber Begrenztes Risiko
Interne Arbeitszeit 50-80 Stunden 25-40 Stunden 5-8 Stunden
Externe Beratung (einmalig) 5.000 - 15.000 Euro 2.000 - 6.000 Euro 500 - 2.000 Euro
Tools und Plattformen (jährlich) 1.000 - 3.000 Euro 500 - 1.500 Euro 200 - 500 Euro
Regelmäßiges Update (jährlich) 1.000 - 3.000 Euro 500 - 1.500 Euro 200 - 500 Euro
Gesamt (erstes Jahr) 7.000 - 21.000 Euro 3.000 - 9.000 Euro 700 - 3.000 Euro

Die Angaben sind Bereiche, keine Festpreise. Ein Unternehmen mit bestehendem Qualitätsmanagementsystem liegt am unteren Ende. Ein Unternehmen ohne jede Vorarbeit und mit mehreren KI-Systemen liegt am oberen Ende. Die laufenden Kosten fallen geringer aus, wenn die Dokumentation in bestehende Prozesse eingebettet wird. NaveSight bietet drei Stufen der Begleitung: die Einzelsegment-Begleitung ab 290 Euro pro Monat für die Verknüpfung eines Moduls, die Verknüpfung mehrerer Geschäftsbereiche ab 990 Euro pro Monat und die strategische Begleitung über alle Module ab 2.490 Euro pro Monat. Die Einrichtung wird individuell kalkuliert.

Wann ist man von der Pflicht befreit?

Nicht jedes KI-System unterliegt den Dokumentationspflichten des EU AI Act. Die folgende Tabelle zeigt die wichtigsten Ausnahmen und deren Kriterien.

Ausnahme Kriterium Beispiel
Minimales Risiko System erfüllt keine der acht Ja/Nein-Kriterien Spamfilter, einfache Empfehlungssysteme, KI in Videospielen
Interne Prototypen System wird nicht produktiv eingesetzt Laborversuche, Testumgebungen, interne Evaluierungen
Persönliche Nutzung Nutzung ausschließlich für private Zwecke Privater Chatbot, persönliche Foto-App mit KI
Forschung und Entwicklung Wissenschaftliche Forschung vor der Marktreife Universitäre Forschungsprojekte, vorläufige Experimente
Freiwillige Standards Keine Pflicht, aber empfohlene Verhaltensregeln Selbstverpflichtungserklärungen, freiwillige Zertifizierungen

Wichtig ist, dass minimales Risiko nicht gleichbedeutend mit keine Regulierung ist. Der AI Act fordert für minimales Risiko freiwillige Standards. Wer diese Standards dokumentiert, schafft Vertrauen bei Kunden und Geschäftspartnern. Eine Wissensbasis, die die freiwilligen Standards zusammen mit den Geschäftsprozessen abbildet, kann als Wettbewerbsvorteil genutzt werden.

Prüfpunkte vor dem Start

Bevor die Dokumentation beginnt, sollten sechs Punkte geklärt sein. Wer diese Prüfpunkte überspringt, riskiert doppelte Arbeit oder unvollständige Unterlagen.

  • 1Risikoklasse bestätigt: Die acht Ja/Nein-Fragen wurden mit allen Stakeholdern durchgegangen und das Ergebnis dokumentiert.
  • 2Rolle geklärt: Es steht fest, ob das Unternehmen Anbieter, Betreiber oder Quasi-Anbieter ist.
  • 3Stakeholder benannt: Für jedes Dokument ist eine verantwortliche Person benannt, die es erstellt, prüft und freigibt.
  • 4Bestandsdokumente gesammelt: Vorhandene Unterlagen aus Datenschutz, IT-Sicherheit und Qualitätsmanagement liegen vor.
  • 5Datenquellen identifiziert: Alle Trainings- und Betriebsdaten sind erfasst, inklusive Herkunft, Qualität und Aufbewahrungsfristen.
  • 6Zeitplan erstellt: Der 30-Tage-Plan ist auf das eigene Unternehmen angepasst und mit den verantwortlichen Personen abgestimmt.

Verwandte Inhalte

Wenn Sie sich mit der KI-Dokumentation beschäftigen, interessieren Sie sich vielleicht auch für diese Themen:

  • KI Automatisierung Mittelstand - Wie Sie KI-Systeme in bestehende Prozesse einbinden, ohne die Infrastruktur zu verändern.
  • KI Beratung Frankfurt - Was Mittelständler in der Rhein-Main-Region bei der KI-Implementierung beachten müssen.
  • KI Beratung Köln - KI-Einführung im Mittelstand mit Fokus auf Mittelrhein und Ruhrgebiet.
  • KI Mittelstand Strategie - Der Unterschied zwischen punktueller Automatisierung und strategischer KI-Integration.
  • So arbeiten wir - Wie NaveSight als Middleware über Ihren bestehenden Systemen arbeitet und Daten zusammenführt.

Wissen Sie, welche Dokumente Sie wirklich brauchen?

In 20 Minuten klären wir Ihre Risikoklasse, Ihre Rolle und Ihre Dokumentenpflichten. Ohne Vorlauf, ohne Kosten, ohne Verpflichtung.

Gespräch vereinbaren →

Häufig gestellte Fragen

Was sind die vier Risikoklassen des EU AI Act?

Der EU AI Act unterteilt KI-Systeme in vier Risikoklassen. Unannehmbares Risiko umfasst Systeme, die gesellschaftliche Bewertung nutzen, biometrische Echtzeit-Erkennung in öffentlichen Räumen oder Emotionserkennung am Arbeitsplatz. Diese Systeme sind verboten. Hohes Risiko betrifft Systeme in Beschäftigung, Bildung, Kreditwürdigkeit, Justiz und öffentlichen Dienstleistungen sowie biometrische Identifikation. Diese Systeme unterliegen den strengsten Anforderungen. Begrenztes Risiko umfasst Chatbots, Sprachassistenten und KI-generierte Inhalte. Diese Systeme benötigen Transparenzinformationen. Minimales Risiko deckt alle anderen Anwendungen ab. Diese Systeme unterliegen keiner verbindlichen Dokumentationspflicht.

Wie bestimme ich die Risikoklasse meines KI-Systems?

Die Risikoklasse lässt sich über acht Ja/Nein-Fragen bestimmen. Die ersten fünf Fragen prüfen, ob das System in Bereichen eingesetzt wird, die unter Hochrisiko fallen: Beschäftigung, Bildung, Kreditwürdigkeit, Justiz, öffentliche Dienstleistungen, Strafverfolgung, biometrische Daten. Die sechste Frage prüft unannehmbare Risiken wie Emotionserkennung. Die siebte und achte Frage prüfen begrenztes Risiko: Chatbots und KI-generierte Inhalte. Wenn keine der Fragen mit Ja beantwortet wird, fällt das System unter minimales Risiko.

Welche Dokumente muss ich als Betreiber erstellen?

Als Betreiber eines Hochrisiko-KI-Systems müssen Sie sechs Dokumente erstellen: Nutzungsrichtlinien, Protokollierungsverfahren, Überwachungskonzept, Mitarbeiterschulungsnachweise, Datenschutz-Folgenabschätzung und Grundrechte-Folgenabschätzung. Bei begrenztem Risiko reichen zwei Dokumente: Transparenzinformationen und interne Nutzungsrichtlinien. Bei minimalem Risiko genügt eine interne Dokumentation des Einsatzzwecks. Die genaue Anzahl hängt von der Risikoklasse und der Rolle ab.

Was kostet die KI-Dokumentation im Mittelstand?

Die Kosten hängen von der Risikoklasse und der Rolle ab. Als Hochrisiko-Betreiber liegen die Gesamtkosten im ersten Jahr typischerweise zwischen 3.000 und 9.000 Euro, inklusive interner Arbeitszeit, externer Beratung und Tools. Als Hochrisiko-Anbieter liegt die Spanne bei 7.000 bis 21.000 Euro. Bei begrenztem Risiko sind es 700 bis 3.000 Euro. NaveSight bietet Begleitung ab 290 Euro pro Monat für ein einzelnes Modul bis 2.490 Euro pro Monat für die strategische Integration aller Module. Die Einrichtung wird individuell kalkuliert.

Wie lange dauert die Erstellung der Pflichtdokumente?

Ein pragmatischer Einstieg dauert 30 Tage. Woche 1 dient der System-Einordnung und Rollenklärung. Woche 2 prüft die Bestandsaufnahme vorhandener Dokumente. Woche 3 schließt die Lücken in der Dokumentation. Woche 4 dient dem Review und der Registrierung. Die Dauer hängt von der Risikoklasse und der Anzahl der Stakeholder ab. Ein Hochrisiko-Anbieter braucht 50 bis 80 Stunden interne Arbeitszeit, ein Hochrisiko-Betreiber 25 bis 40 Stunden.

Brauche ich ein Qualitätsmanagementsystem für KI?

Ein dokumentiertes Qualitätsmanagementsystem ist nur für Anbieter von Hochrisiko-KI-Systemen verpflichtend. Als Betreiber müssen Sie sicherstellen, dass Sie das System entsprechend der Betriebsanleitung nutzen und geeignete technische und organisatorische Maßnahmen treffen. Wenn Sie bereits nach ISO 27001 zertifiziert sind, können Sie bestehende Prozesse als Grundlage nutzen. Die Integration der KI-Dokumentation in bestehende Management-Systeme reduziert den Aufwand erheblich.

Wann ist mein KI-System von der Dokumentationspflicht befreit?

KI-Systeme mit minimalem Risiko unterliegen keiner verbindlichen Dokumentationspflicht. Dazu zählen Spamfilter, einfache Empfehlungssysteme und KI in Videospielen. Auch interne Prototypen, die nicht produktiv eingesetzt werden, sind befreit. Wenn das System ausschließlich für persönliche und nicht berufliche Zwecke genutzt wird, gilt die KI-Verordnung nicht. Forschung und Entwicklung vor der Marktreife fallen ebenfalls unter Ausnahmen. Freiwillige Standards bleiben empfohlen, aber nicht verpflichtend.

Kostenloser Maturity Check

Erleben Sie die Intelligenz-Schicht von NaveSight in Aktion.

30 Minuten — wir zeigen Ihnen, wie NaveSight mit Ihren spezifischen Systemen zusammenarbeitet.

Kostenlosen Maturity Check starten

Unsere Garantie: ein konkreter Aktionsplan — ob mit NaveSight oder ohne.

Wir führen 10 Maturity Checks pro Monat durch. Priorisierte Bearbeitung: 48 Stunden.