Self‑Hosting von Open‑Source‑LLMs – DSGVO‑konforme KI für Webentwickler

Einleitung

Wenn du als Entwickler oder Sysadmin gerade darüber nachdenkst, wie du Künstliche Intelligenz in deine Projekte einbinden kannst, ohne die Kontrolle über deine Daten zu verlieren, dann bist du hier richtig. In den letzten 24‑48 Stunden hat die französische Aufsichtsbehörde CNIL neue Richtlinien veröffentlicht – und das Thema Self‑Hosting von LLMs ist heute nicht mehr nur ein Trend, sondern eine praktische Lösung für DSGVO‑konforme KI.

CNIL‑Richtlinien 2024: Was bedeutet das?

Die CNIL hat am 2. Juli 2024 ihre zweite Serie von Empfehlungen für Entwickler von KI-Systemen herausgegeben. Die wichtigsten Punkte sind:

Datenschutz‑Impact‑Assessment: Unternehmen müssen frühzeitig Risiken bewerten und geeignete Maßnahmen ergreifen.
Transparenz: Nutzer sollen über die Funktionsweise, Datenquellen und Entscheidungsprozesse informiert werden.
Rechenschaftspflicht: Entwickler sind verpflichtet, Nachvollziehbarkeit und Audits sicherzustellen.

Diese Vorgaben gelten für alle KI‑Systeme, die personenbezogene Daten verarbeiten – unabhängig davon, ob sie in der Cloud oder vor Ort betrieben werden. Für Unternehmen mit strengen Datenschutzanforderungen (z. B. Rechtsanwälte, Ärzte, Steuerberater) bedeutet das: Wenn du deine LLMs selbst hostest, brauchst du keine Auftragsverarbeitungsverträge mehr und hast die volle Kontrolle.

Self‑Hosting von LLMs – Warum es sinnvoll ist

Open‑Source‑LLMs wie Llama 3, Mistral oder Qwen laufen auf eigener Hardware oder in einem europäischen Rechenzentrum. Das hat mehrere Vorteile:

Daten bleiben im Unternehmen: Keine Datenflüsse in die USA, keine Gefahr des CLOUD‑Act.
Kosteneffizienz bei hohem Volumen: Bei 50 – 100 aktiven Nutzern kann Self‑Hosting günstiger sein als Cloud‑APIs.
Anpassbarkeit: Fine‑Tuning, eigene Guardrails und Function Calling sind möglich.

Hardware‑Anforderungen im Überblick

Die benötigte GPU hängt von der Modellgröße ab. Für die meisten kleinen bis mittleren Unternehmen reicht ein 7 B‑Modell (z. B. Llama 3 8B) auf einer RTX 4060 Ti oder ähnlicher Karte.

Modellgröße | VRAM FP16 | VRAM 4‑Bit | RAM | Geeignete GPUs
-------------------------------------------------
7–8B        | 16 GB     | 5–6 GB     | 16 GB | RTX 4060 Ti, RTX 3090, A4000
13–14B      | 28 GB     | 8–10 GB    | 32 GB | RTX 4090, A5000
32–34B      | 68 GB     | 20–22 GB   | 64 GB | A6000, 2× RTX 4090
70B         | 140 GB    | 40–45 GB   |128 GB | A100‑80GB, 2× A6000, H100

Hosting‑Optionen

Eigenes Rechenzentrum: Hohe Kontrolle, aber hohe Anfangsinvestition.
Dedicated GPU‑Server in der EU (z. B. Hetzner): Günstig und datenschutzkonform.
Cloud On‑Demand (AWS, Azure, GCP): Schnell skalierbar, aber Daten können außerhalb der EU landen.

Praktischer Leitfaden für Webentwickler

Datenflüsse prüfen: Welche personenbezogenen Daten fließen in dein KI‑System? Dokumentiere die Flows.
Modell auswählen: Für 7–8 B reicht Llama 3 8B oder Mistral 7B. Beide laufen auf einer einzelnen GPU.
Server einrichten:
- Option A: Dedicated GPU‑Server (z. B. Hetzner RTX 4090, 180 €/Monat).
- Option B: Lokaler Server mit NVIDIA RTX 4060 Ti.
Deployment:
- Docker‑Container wie Ollama oder vLLM nutzen.
- REST‑API bereitstellen, z. B. /api/v1/ai/chat.
Datenschutz‑Dokumentation:
- Verzeichnis der Verarbeitungstätigkeiten anlegen.
- DSFA bei Bedarf durchführen (z. B. wenn KI Entscheidungen trifft).

Beispiel: Chat‑API mit Ollama und FastAPI

# requirements.txt
fastapi==0.110.0
uvicorn==0.29.0
ollama==0.1.4
pydantic==2.7.3

# main.py
from fastapi import FastAPI, HTTPException
import ollama
app = FastAPI()

@app.post("/chat")
def chat(prompt: str):
    try:
        response = ollama.chat(model="llama3.1", messages=[{"role": "user", "content": prompt}])
        return {"response": response["message"]["content"]}
    except Exception as e:
        raise HTTPException(status_code=500, detail=str(e))

# run: uvicorn main:app --host 0.0.0.0 --port 8000

FAQ – Häufig gestellte Fragen

Ist Self‑Hosting DSGVO‑konform? Ja, solange keine personenbezogenen Daten an Dritte übertragen werden.
Benötige ich einen Datenschutzbeauftragten? Nur wenn du mehr als 20 Mitarbeiter hast oder besondere Kategorien verarbeitest. Self‑Hosting allein löst die Pflicht nicht aus.
Wie viel kostet ein 70B‑Modell? Etwa 300–500 €/Monat bei einem GPU‑Server in der EU.

Fazit

Die CNIL‑Richtlinien zeigen, dass Datenschutz nicht nur ein Thema für große Unternehmen ist – auch kleine Agenturen und Selbstständige können von Self‑Hosting profitieren. Mit Open‑Source‑LLMs hast du die Kontrolle über deine Daten, kannst das Modell anpassen und gleichzeitig Kosten sparen, sobald dein Nutzer‑Volumen steigt.

Wenn du bereit bist, den nächsten Schritt zu gehen, starte mit einem 7 B‑Modell auf einer RTX 4060 Ti oder richte einen Dedicated GPU‑Server in der EU ein. Danach kannst du deine eigene Chat‑API bauen und die DSGVO‑Compliance sicherstellen – ohne Abhängigkeiten von US‑Anbietern.