Update zu Transparenzpflichten nach KI-VO

Die Aufregung um die Transparenzpflichten scheint in einigen Teilen der Publikationslandschaft hoch zu sein. Andere haben vielleicht noch gar nicht mitbekommen, dass da etwas kommt. Und von wieder anderen hörte ich schon: "Das sollen die mir erstmal nachweisen!" ... Nun ja. Aktuell sieht es so aus:

Hardfacts

• Die KI-Verordnung (KI-VO, engl. AI-Act) betrifft auch Autor:innen und Verlage.
• Die KI-Verordnung der EU ist seit 2. August 2024 in Kraft. Seit 2. Februar 2025 gelten die Regelungen sukzessive.
• Ab dem 2. August 2026 müssen bestimmte Transparenzpflichten (Artikel 50 KI-VO) eingehalten werden.
• Der sogenannte "Digitale Omnibus" bringt eine Fristverlängerung bis 2. Dezember 2026, allerdings NUR für einen bestimmten, kleinen Teil der Transparenzpflichten, nicht für alle! Die Transparenzpflichten für Anbieter wurden verschoben, für Betreiber liegen sie weiterhin beim 2. August 2026.
• Wir alle sind laut Definition der KI-VO "Betreiber", also natürliche Personen, die ein KI-System in eigener Verantwortung beruflich verwenden.
• Wir alle können aber auch in die Rolle des Anbieters rutschen, beispielsweise wenn wir KI-Modelle mit unseren eigenen Daten füttern und anlernen.
• Die Guidelines der EU-Kommission stellen klar, dass offensichtlich fiktionale Werke nicht von der Markierungspflicht erfasst sind. Allerdings ist es nicht so einfach, wie es auf den ersten Blick aussieht.
• Es gilt im Bereich Nachrichten & Öffentlichkeitsarbeit eine grundsätzliche redaktionelle Verantwortung für natürliche Personen, die ebenfalls für eine Ausnahme von der Markierungspflicht sorgt. Wenn ein Mensch die redaktionelle Verantwortung für einen Text übernimmt, muss der Text nicht als KI-generiert markiert werden.
• Außerdem gibt es noch einen freiwilligen Verhaltenskodex zur Transparenz bei KI-generierten Inhalten (inkl. Icons für die Markierung von generiertem Material). Anbieter und Betreiber können diesen Verhaltenskodex beitreten und ihn somit für sich verpflichtend machen.
• Gegenüber den Handelsplattformen müssen wir als Indie-Autor:innen – und übrigens auch die Verlage – trotzdem ausweisen, ob und wenn ja in welchem Umfang und welcher Weise KI bei der Erstellung eines Werkes verwendet wurde.

Kurzfassung

Fiktionale Texte sind von der KI-VO und den bis jetzt nachkommenden Guidelines nicht mitgemeint. Ihr tut euch allerdings trotzdem einen größeren Gefallen, wenn ihr die KI-Nutzung bei der Erstellung eurer Texte ausweist, beispielsweise wenn ihr euch später öffentlich zu euren Werken und den darin behandelten Themen im Blog oder auf SoMe äußert. Für die Handelsplattformen braucht ihr es ohnehin. 

Bei realistisch erscheinenden Produkten im Bereich Bild/Illustration, Video/Buchtrailer, Audio/Sprache etc. muss eine Markierung "KI-generiert" angebracht werden.

Es folgt die Langfassung.

Warum die KI-VO so komisch geschrieben ist – und trotzdem für uns gilt

Bei den Verhandlungen zur KI-VO hatten die Menschen, die sich auf EU-Ebene Gedanken über eine Regulierung von KI-Systemen gemacht haben, vor allem die großen KI-Konzerne sowie die Anwendung durch Regierungen und weitreichende Einschnitte in unser aller Leben wie KI-Überwachungsmaßnahmen und Social Scoring wie in China im Kopf. Sie wollten bestimmte KI-Anwendungen mit für uns Menschen untragbarem Risiko in der EU verbieten und andere risikoreiche KI-Anwendungen regulieren.

Ganz kurz bevor die KI-VO für Europa beschlossen werden sollte, kam ChatGPT auf den Markt, ein KI-Anwendungsfall, der bis zu dem Zeitpunkt überhaupt nicht da war. Wenn heute von "KI" die Rede ist, meinen viele generative KI-Modelle und Large Language Models. In der KI-VO sind diese aber nur "noch eben schnell" mit reingenommen worden.

Die KI-VO richtet sich vornehmlich an Unternehmen und ist auch so geschrieben, dass Firmen mit eigenen Rechtsabteilungen damit etwas anfangen können. Sie unterscheidet zum Beispiel nur zwischen Anbieter, Betreiber, Bevollmächtigtem, Einführer, Händler, Inverkehrbringer etc. Von Autor:innen, die KI anwenden, um damit Bücher oder Blogartikel generieren zu lassen, ist nie so explizit die Rede. Wir müssen also immer schauen, wo wir mit der jeweiligen Verwendung in eine der Definitionen von des Gesetzestextes (Artikel 3) fallen. Das klingt alles so, als wären wir da meilenweit von weg, sind wir aber juristisch tatsächlich gar nicht.

Definition Betreiber (engl. "deployer"; Art. 3, Abs. 4 KI-VO)

Definition: "Betreiber" im Gesetzestext ist "eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet;"

Sprich, wenn wir einen Chatbot (neben)beruflich für unsere Arbeit als Autor:innen verwenden, sind wir Betreiber.

Die Transparenzpflichten für Betreiber gelten nach wie vor ab 2. August 2026!

Definition Anbieter (engl. "provider"; Art. 3, Abs. 3 KI-VO)

Definition: "Anbieter" im Gesetzestext ist "eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich;"

Transparenzpflicht nach KI-VO für KI-erzeugte Texte, Bilder, Videos, Musik ...

Die Transparenzpflicht für Betreiber (lies: professionelle Anwender:innen) ist in Artikel 50 Absatz 4 der KI-VO festgelegt. Achtung, der Teil ist zweigeteilt in Bild, Ton und Video und dann nochmal ein Absatz zu Text. Fangen wir mit Teil 1 an. Wörtlich steht da:

"(4)  Betreiber eines KI-Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die ein Deepfake sind, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden. Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist. Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms, so beschränken sich die in diesem Absatz festgelegten Transparenzpflichten darauf, das Vorhandensein solcher erzeugten oder manipulierten Inhalte in geeigneter Weise offenzulegen, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt."

Teil 1 für generierte Ton-, Bild- und Videoinhalte ist relativ klar: Wenn DeepFake, dann ausweisen, ggf. dezent am Rand.

Für ganz eindeutig fiktionale Produkte (humanoide Hasen, Meerjungfrauen etc.) gibt es hingegen keine Kennzeichnungspflicht.

Die finalen Guidelines geben uns eine ganze Reihe an Beispielen an die Hand, was als DeepFake zählen kann und was nicht. Es lohnt sich, für Cover-Art und Buchtrailer einen Blick drauf zu werfen. Einmal, was grundsätzlich unter die Definition von "DeepFake" fällt (Art. 3(60) KI-VO):

"(116) Examples of deep fakes under Article 3(60) AI Act
- AI-manipulated image of a scene involving two real professional footballers in front of a building resembling a football stadium.
- AI-generated audio involving voice cloning of a newspaper podcast’s regular presenters and a guest interlocutor discussing some news events.
-AI-generated video of an individual resembling a politician, holding a speech in front of an audience.
- AI-generated video featuring an AI-generated depiction of a celebrity influencer in an advertising or promotional context.
- AI-generated video featuring a realistic synthetic avatar of a company CEO congratulating employees with their work and the corporate results of the past year.
- An AI-generated image of a product in advertisement or packaging that can affect the audience’s perception and mislead as to the actual product appearance, characteristics or use (e.g. making the product appear not identical to the real product, more appealing or with improved quality than in real life).

Examples that do not constitute deep fakes under Article 3(60) AI Act
- AI-generated image of a scene involving a sphinx flying over the Eiffel Tower.
- AI-generated video of mice arguing in human language over the best type of cheese as part of an advertisement campaign for a cheese manufacturer.
- AI voice replication for fictional characters (e.g., for audiobooks, games or animation) when there is no deception as to the identity of the narrators.
- AI-manipulated radio broadcast adjusting technical audio parameters (e.g. normalising volume levels, noise reduction, audio compression) without altering the actual words spoken by speakers or their way of speaking.
- AI-generated cartoon of a pre-existing image depicting a historical event.
- Video of a presenter of a scientific TV-programme who walks across a mountainous region while addressing the retreat of glaciers which is illustrated by an AI-manipulated background animation that shows how the glaciers retreated from their historical levels to their current levels.
- AI-generated fictitious environments (e.g. fictitious forests and castles) in video games.
- Movies where real existing actors (not manipulated by AI) are playing against an AI-generated background (e.g. depicting a fictitious stretch of prairie, historical buildings of ancient cities etc.).
- A real product (e.g., a car) shown in an advertisement against an AI-generated background and surrounding environment as long as the ad is not likely to mislead the audience about the product’s actual representation and its characteristics and use.

Und einmal, wo es um die Rechte Dritter geht, also Urheberrecht, Persönlichkeitsrechte und Datenschutz:

"(124) Examples of deep fakes that are creative, satirical, fictional or analogous works:
- Artistic/fictional work: movies (or movie trailers) featuring AI-generated or manipulated deep fakes of de-aged, existing actors or digital replicas of dead actors or other persons, available in a cinema or on a streaming platform.
- Artistic/creative work: AI-generated music in any kind of genre resembling the individual style of existing artists.
- Satirical/fictional work: AI-manipulated image of an existing politician placing him in a scene clearly meant to criticise in a humorous manner certain policy decisions taken or supported by that person.
- Analogous creative/fictional work: AI-generated gaming imagery involving deep fake simulations of real, existing persons.

Examples of deep fakes that do not constitute artistic, creative, satirical, fictional or analogous work:
- AI-manipulated video in the style of a teleshopping channel involving deep fake simulation of humans advertising a product in an AI-generated scene depicting the functional use of the product by the simulated consumers with the aim of persuading viewers to buy the product.
- AI-generated image of celebrities implying their involvement in activities that never happened, lacking any fictional, satirical or analogous purpose.
-AI-manipulated video featuring a realistic synthetic influencer testing out a sponsored real product, focused solely on displaying the product functionalities.
- AI-generated video depicting realistic, holocaust scenes being shared on publicly available social media platforms."

Hinweis: Es gibt bereits einen Gerichtsentscheid im Bereich DeepFakes und Karikaturen vom OLG Wien (Beschluss vom 29.04.2026, 2 R 178/25y (Sicherungsverfahren)). Da ging es um ein KI-erstelltes Bild mit dem Gesicht einer natürlichen Person. Dabei sind wir im Bereich Urheberrecht und Persönlichkeitsrechte, konkret beim Bildnisschutz nach § 78 UrhG) -> Mehr Infos dazu in Thomas Schweigers Blog.

Wenn also die generierten Bilder von Charakteren sehr ähnlich aussehen wie (existierende) natürliche Personen, dann kann das rechtliche Konsequenzen haben, wie beispielsweise Schadenersatzforderungen oder Unterlassungsklagen. Nachdem das Trainingsmaterial der bildgebenden KI-Modelle aus einem großen Anteil Foto-/Bild-/Videomaterial von mehr oder weniger prominenten Personen besteht, sollte man sich gut überlegen, ob man diese Modelle grundsätzlich überhaupt verwenden möchte.

Zurück zum Text. In Teil 2 steht wörtlich:

"Betreiber eines KI-Systems, das Text erzeugt oder manipuliert, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, müssen offenlegen, dass der Text künstlich erzeugt oder manipuliert wurde. Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist oder wenn die durch KI erzeugten Inhalte einem Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt."

Da steht jetzt noch nichts von fiktionalen Texten, aber zu denen bekommen wir mit den Guidelines eine Konkretisierung angereicht.

Offensichtlich fiktionale Texte

Grundsätzlich gilt die Markierungspflicht für KI-generierte Texte im öffentlichen Interesse, außer es liegt eine Ausnahme vor. Nachrichten beispielsweise, die ein Mensch generieren lässt, selbst nochmal bearbeitet und für das Ergebnis die redaktionelle Verantwortung übernimmt, müssen nicht als KI-generiert markiert werden. 

In den Guidelines, Absatz 131, bekommen wir nun einige Konkretisierungen: Es geht um veröffentlichte Texte, die dazu da sind, die Öffentlichkeit zu informieren und die ein gewisses öffentliches Interesse haben.

"Examples of text published with the purpose of informing the public on matters of public interest under Article 50(4) AI Act Act which must be labelled as artificially generated or manipulated unless subject to human review/editorial control (see Section 6.2.3.):
- AI-generated summary of a human-authored article on a newspaper’s website discussing a recent decision by a town council.
- AI-manipulated parts of a lifestyle-website article comparing the effects of various diets on a particular disease in middle-aged women.
- AI-manipulated corporate reports published on a listed company’s website containing investor information.
- AI-generated message on a meteorological institute’s social media profile warning citizens about stormy weather and related precautionary measures."

Dagegen abgesetzt werden Texte, die nicht unter die Definition "Texte die die Öffentlichkeit informieren sollen bzw. die von öffentlichem Interesse sind" fallen:

"Examples of text which is not published with the purpose of informing the public on
matters of public interest falling outside the scope of Article 50(4) AI Act:
- AI-generated fantasy novels.
- AI-manipulated text that is part of a company’s advertisement or product descriptions (not
including any claims related to e.g. health, consumer safety or sustainability).
- News summary generated by a chatbot that is only available to the user that prompted the
chatbot.
- AI-manipulated text by a consultant for a client advice regarding measures to be taken for
regulatory compliance with applicable legislation."

Die vorläufige Fassung der Guidelines war, was fiktionale Texte anging, etwas großzügiger und nannte fiktionale Romane aller Genres. In der finalen Fassung sind nur noch fiktionale Fantasyromane explizit als "kein Text der die Öffentlichkeit informieren soll" genannt.

Gehen wir davon aus, dass wir Fantasyromane etwas weiter auslegen können und jetzt von eindeutig fiktiven Texten sprechen, können wir festhalten: bei eindeutig fiktionalen Texten (wir sind jetzt nur bei Text, nicht bei Cover oder Illustration, nur der Text!) muss man nicht ausweisen, dass diese mit KI erstellt wurden, weil eindeutig fiktionale Texte in der KI-Verordnung und auch jetzt in den klarstellenden Guidelines gar nicht vorgesehen sind.

ALLERDINGS muss man jetzt sagen: noch nicht! Denn dass uns als Autor:innen fiktionaler Werke die Entwicklungen im Bereich KI betreffen, spüren wir alle jeden Tag. Weitere Guidelines mit weiteren Konkretisierungen für Anwendungsfälle, die die Gesetzgeber:innen nicht mitgedacht hatten (wie gesagt, die KI-VO entstand vor dem Boom der LLMs), werden voraussichtlich kommen. Allerdings sind andere Themen wie Konkretisierungen zu Hochrisiko-KI dringlicher, von unseren fiktionalen Werken sterben (hoffentlich!) keine Menschen, im Gegensatz zu anderen Anwendungen.

Ein zweites ALLERDINGS würden wir Autor:innen von Romanen, die in der "Realwelt" spielen (also Krimis, Liebesromane, gesellschaftkritische Romane etc.) gerne die Empfehlung mitgeben, besonders achtsam zu sein und KI-generiertes Textmaterial auszuweisen, um nicht ins juristische Fettnäpfchen zu treten.

Für uns alle greift eher noch das dritte ALLERDINGS, denn es kann juristisch schwierig werden, sobald man sich außerhalb des fiktionalen Textes befindet. Die meisten von uns sind keine Medienhäuser mit 300 Angestellten, aber viele haben vielleicht einen Blog oder äußern sich auf Social Media. Juristisch könnte man einen Blog und auch ein Social Media Profil durchaus als Nachrichtenquelle definieren. Wenn man nun beispielsweise über sein Buch im eigenen Blog oder auf Social Media schreibt und nicht klar ist, welcher Teil fiktional ist und welcher sich beispielsweise mit Tagesgeschehen, Klimawandel, Sozialkritik oder weiteren politischen Themen beschäftigt, kann es juristisch eng werden. Hier kann einem ein gefinkelter Abmahnanwalt schnell einen Strick drehen, wenn man öffentlich von "Fakten" ausgeht, die dem eigenen Buch zugrunde liegen, die aber eine KI-"Halluzination" sind.

Transparenzpflichten gegenüber den Handelsplattformen

Wenn wir unsere Bücher entweder als Indies selbst auf die verschiedenen Handelsplattformen wie KDP, Tredition, Tolino Media, Ingram Spark etc. hochladen, müssen wir angeben, ob und wenn ja wie KI für die Erstellung des Werkes verwendet wurde. Das ist nicht neu, das gibt es schon seit mehreren Jahren. Da greift auch nicht die KI-Verordnung, sondern wir sind im Bereich Vertragsrecht drin. Was im Vertrag und in den AGB der jeweiligen Plattform steht, gilt. Den Vertrag habt ihr unterzeichnet und nach deren Hausrecht müsst ihr euch richten. Wenn ihr es nicht tut oder Falschangaben macht, wird im Zweifelsfall euer Account gesperrt und ihr seid diesen Einkommenskanal los. Die AGBs könnten aber noch andere Konsequenzen vorsehen, wie z.B. Vertragsstrafen. Das heißt ihr müsstet der Handelsplattform für den Verstoß Geld zahlen.

Zuviel KI = kein Urheberrecht

Was die meisten von uns viel direkter trifft als die Regelungen der KI-Verordnung, sind die Implikationen auf das gute alte Urheberrecht. Wenn zuviel KI im Einsatz war, hat man unter Umständen kein Urheberrecht auf den entstandenen Text (oder das Bild, das Lied etc.).

Hier werden wir bald Diskussionen zu beispielsweise VG-Wort Zählpixeln sehen, ob Journalist:innen, die die redaktionelle Verantwortung für einen KI-generierten Artikel übernommen haben, diesen überhaupt noch für die Urheberrechts-Vergütung (VG-Wort-Ausschüttung) anmelden dürfen, zumal die finalen Guidelines auch nur KI-generierte Artikel-Zusammenfassungen als Beispiel nennen. KI-generierte Artikel sind im Gegensatz zu den Draft Guidelines nicht mehr als Beispiel genannt. Die Auslegung scheint hier strenger geworden zu sein. Dass generierte und nicht mehr durch Menschen bearbeitete Artikel bestehen, ist allerdings oft genug zu beobachten.

Was ist wahrscheinlich nicht gemeint?

Ziemlich sicher Sachen wie KI-Unterstützung bei Rechtschreibung und Grammatik. Das ist in den Guidelines sogar ausdrücklich erwähnt. Bei (vielen) Vorschlägen für Umformulierungen kann es schon eng werden, aber dazu müssen wir noch die ersten Gerichtsurteile abwarten, was sich da durchsetzen wird.

Was ist zuviel KI?

Aus juristischer Sicht gibt es Bedenken für den ganzen Bereich, den man unter "AI-assisted" fassen kann. Also was Story-Aufbau, generierte Plotlines, vorgeschlagene Handlungsstränge, Charaktere und Settings, "wie würde die Person handeln in Situation XY" etc. angeht. Auch gibt es Bedenken, wenn die Texte insgesamt synthetisch generiert sind.

Auch hierzu haben wir noch keine Gerichtsentscheide, aber die ersten davon werden voraussichtlich wegweisend werden, auch was Anteil (Prozentbereiche), Messung, Nachweise etc. angeht.

Ich wollte doch schon immer mal ein Buch schreiben ...

Autor:innen die einfach nur immer schonmal ein Buch schreiben wollten und das mit ChatGPT jetzt einfacher und schneller machen konnten, betrifft die Markierungspflicht (samt ihrer Ausnahmen) wie alle anderen auch, selbst wenn die Person sagt, sie hätte keine Gewinnerzielungsabsicht. Es kann juristisch schwierig werden. Noch gibt es auch hier keine Gerichtsentscheide dazu, aber die Grenze könnte bei der Vergabe einer ISBN, also einer Inventarnummer für den Buchhandel, liegen. Vielleicht auch schon beim Hochladen auf eine kommerzielle Handelsplattform.

Die Haushaltsausnahme

Die Haushaltsausnahme gilt ausschließlich für Privatpersonen, beispielsweise wenn ein Familienmitglied ein Gedicht oder ein Bild für jemand anderen zum Geburtstag generieren lässt. Als Autor:innen die Bücher veröffentlichen und auch als (kleine) Verlage fallen wir da allesamt raus.

Dieser Beitrag ist in Zusammenarbeit mit Natascha Windholz entstanden. Sie ist Herausgeberin des Praxishandbuchs zur KI-Verordnung im Hanser-Verlag.