Es geht nicht darum um den Abruf von Daten aus bestehenden Datensätze. So wie ich es verstanden habe, ist die Frage ob man sozusagen dem System mit der Eingabe neue Daten füttert.

1. Du musst ein berechtigtes Interesse an der Verarbeitung verfolgen. Hier fällt es mir schwer, eines zu erkennen. Das heißt, die Prüfung wäre aus meiner Sicht hier schon zu Ende.
2. Die Verarbeitung muss erforderlich sein, um das Interesse zu verwirklichen.
3. Die Rechte und Freiheiten der betroffenen Person dürfen nicht überwiegen.

Alle drei Schritte müssen zu "deinen Gunsten" ausgehen. Das wäre hier nicht der Fall -> keine Rechtsgrundlage -> rechtlich nicht zulässig.

Als Rechtsgrundlage käme nur der Art. 6 Abs. 1 lit. f DSGVO (Interessenabwägung) in Betracht. Zur Prüfung hat der EuGH eine 3-Schritt-Methode entwickelt:

Was ein guter Grund ist …

Die Antwort ist dann: "Es kommt darauf an." Und dann ist die Frage: worauf?

BTW: die Prüfungsreihenfolge wäre wohl, ob der Anwendungsbereich überhaupt eröffnet ist (Art. 2 Abs. 2)

Dennoch denke ich, die DSGVO war gleichzeitig zu ambitioniert. Heute würde ich sagen, die Ideen waren oft 'out of this world' und haben (wiewohl alle richtig) die Menschen überfordert.

So kann eine Person die Löschung ihrer Daten fordern, gesetzliche Aufbewahrungsfristen oder Dokumentationspflichten können dem aber entgegen stehen.

Daher sollten IT Systeme diese Fälle (Purpose) unterscheiden können um die Speicherung und Verarbeitung auf die jeweilige Zwecke zu beschränken.

BTW: Persönlich denke ich, wir brauchen dringend ein Grundrecht darauf, gänzlich frei von Interaktion mit KI leben zu können.

Einfach mal auf der folgenden Seite nach Purpose suchen:
https://gdpr-info.eu/art-5-gdpr/

Anders gesagt: Du brauchst einen »Zweck«, warum du diese personenbezogenen Daten verarbeitest. Nach deinen Angaben hast Du aber keinen = Nicht zulässig.

Aber die Frage ist, ob der Regulierungsrahmen der DSGVO noch sinntragend ist

Ein LLM verwaltet: Token. Und erstellt darauf basierend eine plausibel klingende Antwort.

Wenn LLMs Zugang zu strukturierten Datensätzen haben, dann können sie damit arbeiten – wie jedes andere Programm auch, was Zugang zu diesen Daten hat. Diese sind aber nicht Teil des Sprachmodells selbst.

Somit ist die Frage an sich schon falsch gestellt.
Noch einmal: JEDES Programm, dass Zugriff auf Daten hat, kann mit diesen arbeiten. Das Problem ist nicht das Programm.

Art. 2 DSGVO definiert unter
(2) Diese Verordnung findet keine Anwendung auf die Verarbeitung personenbezogener Daten
c) durch natürliche Personen zur Ausübung ausschließlich persönlicher oder familiärer Tätigkeiten,

”Ausübung ausschließlich persönlicher Tätigkeiten“ müsste in dem genannten Szenario doch zutreffen?

Fazit: Sehr wahrscheinlich ist es verboten.

Moralisch denke ich, dass die LLM das eh schon weiß, falls die Marlies im Telefonbuch steht. Falls nicht wäre es halt so ähnlich ... 1/2