⚙️ 🤖 Downloads anonymisiert zählen: Caddy-Log mit gekürzter IP, zpub stats, Datenschutz-Baustein #134

Open
opened 2026-11-04 19:07:05 +01:00 by holm · 6 comments
Owner
Dimension Bewertung Einschätzung
Aufwand █████░░░░░ Mittel — Caddy-Log-Labels, Auswerte-Befehl, Datenschutz-Baustein
Nutzen ███████░░░ Hoch — Reichweite je Folge ohne Tracker
Nachhaltigkeit ████████░░ Hoch — rein serverseitig, kein JS, kein Drittanbieter
Dringlichkeit ███░░░░░░░ Niedrig-mittel

Ziel (Holm 2026-11-04, Frage 70)

„der access log war früher absichtlich aus wegen datenschutz. nun haben wir eine erklärung. ich mag die anzahl der downloads anonymisiert erfassen.“

Befund

  • Stack podcast.zentonic.org (caddy2): früher caddy.log.output: file /log/podcast_zentonic_access.log (roll 1gb/30) — Labels entfernt, live ohne Log (Commit 66a3417 hält das fest)
  • Publisher-Datenschutzseite (#118) hat bereits den Baustein „Hosting und Server-Protokolle“ ([privacy] hosting, log_retention; IP, Zeit, URL, User-Agent)

Vorschlag

  1. Caddy (Stack-Op, d00-Rolle): Access-Log je Site mit Log-Filtern — remote_ip/client_ip per ip_mask (IPv4 /24, IPv6 /48), Header (Cookie, Authorization, Referer) entfernt; Datei rotiert, kurze Aufbewahrung der Rohlogs.
  2. Publisher zpub stats <log…> [--tenant] (Bash + jq, kein Python): zählt Abrufe je Folge (Audio-Pfade und Enclosure-URLs aus dem Tenant), dedupliziert vereinfacht nach IAB-Podcast-Measurement (gleiche maskierte IP + User-Agent + Datei innerhalb 24 h = 1; Range-Requests zusammengefasst; bekannte Bots raus). Ausgabe Tabelle/JSON/CSV; Aggregate ohne IP dürfen dauerhaft bleiben.
  3. Datenschutz-Baustein: Server-Protokolle mit gekürzter IP, Zweck Reichweitenmessung, Aufbewahrungsdauer der Rohlogs, Art. 6 Abs. 1 lit. f; neuer Schlüssel z. B. [privacy] stats = true.
  4. Doku: docs/privacy.md, docs/deploy.md (Caddy-Labels), README.

Offene Holm-Entscheide

  • 71 Welche Sites (podcast.zentonic.org, Demos, Archive)?
  • 72 Grad der Anonymisierung (IP gekürzt + User-Agent / IP ganz weg / Tages-Salz-Hash)
  • 73 Aufbewahrung der Rohlogs (7 / 30 Tage), danach nur Zählwerte

Schwächster Punkt

Gekürzte IPs fassen Hörer im selben /24-Netz zusammen (Firmen, Mobilfunk-NAT) → Zählung eher zu niedrig; ohne IP ganz ist keine Deduplizierung möglich → zu hoch (Apps laden in Stücken). Zahlen sind Größenordnung, kein IAB-zertifizierter Wert. Rohlogs liegen host-lokal auf caddy2 (kein geteilter Storage) — für kurzlebige Rohdaten vertretbar, Aggregate gehören ins Repo.

🤖 angelegt von Claude v00 (API/Token holm)

| Dimension | Bewertung | Einschätzung | |---|---|---| | Aufwand | `█████░░░░░` | Mittel — Caddy-Log-Labels, Auswerte-Befehl, Datenschutz-Baustein | | Nutzen | `███████░░░` | Hoch — Reichweite je Folge ohne Tracker | | Nachhaltigkeit | `████████░░` | Hoch — rein serverseitig, kein JS, kein Drittanbieter | | Dringlichkeit | `███░░░░░░░` | Niedrig-mittel | ## Ziel (Holm 2026-11-04, Frage 70) > „der access log war früher absichtlich aus wegen datenschutz. nun haben wir eine erklärung. ich mag die anzahl der downloads anonymisiert erfassen.“ ## Befund - Stack `podcast.zentonic.org` (caddy2): früher `caddy.log.output: file /log/podcast_zentonic_access.log` (roll 1gb/30) — Labels entfernt, live ohne Log (Commit 66a3417 hält das fest) - Publisher-Datenschutzseite (#118) hat bereits den Baustein „Hosting und Server-Protokolle“ (`[privacy] hosting`, `log_retention`; IP, Zeit, URL, User-Agent) ## Vorschlag 1. **Caddy (Stack-Op, d00-Rolle):** Access-Log je Site mit Log-Filtern — `remote_ip`/`client_ip` per `ip_mask` (IPv4 /24, IPv6 /48), Header (Cookie, Authorization, Referer) entfernt; Datei rotiert, kurze Aufbewahrung der Rohlogs. 2. **Publisher `zpub stats <log…> [--tenant]`** (Bash + jq, kein Python): zählt Abrufe je Folge (Audio-Pfade und Enclosure-URLs aus dem Tenant), dedupliziert vereinfacht nach IAB-Podcast-Measurement (gleiche maskierte IP + User-Agent + Datei innerhalb 24 h = 1; Range-Requests zusammengefasst; bekannte Bots raus). Ausgabe Tabelle/JSON/CSV; Aggregate ohne IP dürfen dauerhaft bleiben. 3. **Datenschutz-Baustein:** Server-Protokolle mit gekürzter IP, Zweck Reichweitenmessung, Aufbewahrungsdauer der Rohlogs, Art. 6 Abs. 1 lit. f; neuer Schlüssel z. B. `[privacy] stats = true`. 4. Doku: docs/privacy.md, docs/deploy.md (Caddy-Labels), README. ## Offene Holm-Entscheide - 71 Welche Sites (podcast.zentonic.org, Demos, Archive)? - 72 Grad der Anonymisierung (IP gekürzt + User-Agent / IP ganz weg / Tages-Salz-Hash) - 73 Aufbewahrung der Rohlogs (7 / 30 Tage), danach nur Zählwerte ## Schwächster Punkt Gekürzte IPs fassen Hörer im selben /24-Netz zusammen (Firmen, Mobilfunk-NAT) → Zählung eher zu niedrig; ohne IP ganz ist keine Deduplizierung möglich → zu hoch (Apps laden in Stücken). Zahlen sind Größenordnung, kein IAB-zertifizierter Wert. Rohlogs liegen host-lokal auf caddy2 (kein geteilter Storage) — für kurzlebige Rohdaten vertretbar, Aggregate gehören ins Repo. > 🤖 angelegt von Claude v00 (API/Token holm)
Author
Owner

Entscheide Holm 2026-11-04

  • 71: alle Sites auf caddy2 — podcast, demo, advent, ds, lns
  • 72a: IP gekürzt (IPv4 /24, IPv6 /48), User-Agent bleibt
  • 73b: Rohlogs 30 Tage, danach nur Zählwerte

Umsetzung: Worker (Publisher: zpub stats, Datenschutz-Baustein) + Worker in d00-Rolle (Caddy-Log-Labels).

🤖 angelegt von Claude v00 (API/Token holm)

## Entscheide Holm 2026-11-04 - **71:** alle Sites auf caddy2 — podcast, demo, advent, ds, lns - **72a:** IP gekürzt (IPv4 /24, IPv6 /48), User-Agent bleibt - **73b:** Rohlogs 30 Tage, danach nur Zählwerte Umsetzung: Worker (Publisher: `zpub stats`, Datenschutz-Baustein) + Worker in d00-Rolle (Caddy-Log-Labels). > 🤖 angelegt von Claude v00 (API/Token holm)
Author
Owner

Caddy-Teil live (Worker in d00-Rolle, Stack-Repo 373640c)

  • Alle 5 Sites (podcast, demo, advent, ds, lns): log mit format filter, request>remote_ip/client_ip → ip_mask 24 48, Cookie/Authorization/Referer gelöscht, User-Agent bleibt; Datei /log/<service>_access.log, roll_interval 24h, roll_keep_for 720h (30 Tage)
  • Beleg je Site: Testrequest mit Cookie/Referer/Authorization → Logzeile mit remote_ip x.y.z.0, nur Accept/User-Agent in den Headern
  • /log = Volume caddy2_caddy_log des Proxy-Stacks (host-lokal, Hetzner-Volume)

Offen:

  • Alte unmaskierte Rohlogs im Volume (podcast_zentonic_access.log 197 MB, Stand 3. Juni; …2026-03-20…log.gz 53 MB) — fallen nicht unter roll_keep_for; Löschung = Holm-Hand (73b)
  • URI inkl. Query-String wird vollständig geloggt (nicht Teil von 71–73)
  • Publisher-Teil (zpub stats, Datenschutz-Baustein): Worker läuft

🤖 angelegt von Claude v00 (API/Token holm)

## Caddy-Teil live (Worker in d00-Rolle, Stack-Repo 373640c) - Alle 5 Sites (podcast, demo, advent, ds, lns): `log` mit `format filter`, `request>remote_ip`/`client_ip` → `ip_mask 24 48`, Cookie/Authorization/Referer gelöscht, User-Agent bleibt; Datei `/log/<service>_access.log`, `roll_interval 24h`, `roll_keep_for 720h` (30 Tage) - Beleg je Site: Testrequest mit Cookie/Referer/Authorization → Logzeile mit `remote_ip` `x.y.z.0`, nur `Accept`/`User-Agent` in den Headern - `/log` = Volume `caddy2_caddy_log` des Proxy-Stacks (host-lokal, Hetzner-Volume) Offen: - Alte unmaskierte Rohlogs im Volume (`podcast_zentonic_access.log` 197 MB, Stand 3. Juni; `…2026-03-20…log.gz` 53 MB) — fallen nicht unter `roll_keep_for`; Löschung = Holm-Hand (73b) - URI inkl. Query-String wird vollständig geloggt (nicht Teil von 71–73) - Publisher-Teil (`zpub stats`, Datenschutz-Baustein): Worker läuft > 🤖 angelegt von Claude v00 (API/Token holm)
Author
Owner

HANDELN (Holm-Hand): alte unmaskierte Rohlogs löschen (73b)

Vorher prüfen:

ssh caddy2.zentonic.org ls -la /mnt/HC_Volume_104211471/_root/var/lib/docker/volumes/caddy2_caddy_log/_data/

Löschen (genau zwei Dateien, kein Glob):

ssh caddy2.zentonic.org rm -v /mnt/HC_Volume_104211471/_root/var/lib/docker/volumes/caddy2_caddy_log/_data/podcast_zentonic_access.log /mnt/HC_Volume_104211471/_root/var/lib/docker/volumes/caddy2_caddy_log/_data/podcast_zentonic_access-2026-03-20T09-07-55.392-size.log.gz

🤖 angelegt von Claude v00 (API/Token holm)

## HANDELN (Holm-Hand): alte unmaskierte Rohlogs löschen (73b) Vorher prüfen: ``` ssh caddy2.zentonic.org ls -la /mnt/HC_Volume_104211471/_root/var/lib/docker/volumes/caddy2_caddy_log/_data/ ``` Löschen (genau zwei Dateien, kein Glob): ``` ssh caddy2.zentonic.org rm -v /mnt/HC_Volume_104211471/_root/var/lib/docker/volumes/caddy2_caddy_log/_data/podcast_zentonic_access.log /mnt/HC_Volume_104211471/_root/var/lib/docker/volumes/caddy2_caddy_log/_data/podcast_zentonic_access-2026-03-20T09-07-55.392-size.log.gz ``` > 🤖 angelegt von Claude v00 (API/Token holm)
Author
Owner

Publisher-Teil gemergt, Release rc.21

Punkt Beleg
zpub stats Fixture-Test 19/19 ✓ (11 Downloads aus 30 Zeilen; Bots, HEAD, fremder Host, Dubletten raus); echter demo-Log: Testabruf /audio/005.mp3 → 005 „Analog ist auch digital“ = 1
[privacy] stats ohne: datenschutz.html byte-gleich; mit: gekürzte IP, Zweck, 30 Tage, Art. 6 Abs. 1 lit. f
Live demo + advent mit stats = true, Datenschutzseite live geprüft
Doku docs/stats.md inkl. caddy-docker-proxy-Labels, docs-drift 0

Issue bleibt offen, bis die alten unmaskierten Rohlogs gelöscht sind (Holm-Hand, Befehl oben).

🤖 angelegt von Claude v00 (API/Token holm)

## Publisher-Teil gemergt, Release rc.21 | Punkt | Beleg | |---|---| | `zpub stats` | Fixture-Test 19/19 ✓ (11 Downloads aus 30 Zeilen; Bots, HEAD, fremder Host, Dubletten raus); echter demo-Log: Testabruf `/audio/005.mp3` → 005 „Analog ist auch digital“ = 1 | | `[privacy] stats` | ohne: datenschutz.html byte-gleich; mit: gekürzte IP, Zweck, 30 Tage, Art. 6 Abs. 1 lit. f | | Live | demo + advent mit `stats = true`, Datenschutzseite live geprüft | | Doku | docs/stats.md inkl. caddy-docker-proxy-Labels, docs-drift 0 | Issue bleibt offen, bis die alten unmaskierten Rohlogs gelöscht sind (Holm-Hand, Befehl oben). > 🤖 angelegt von Claude v00 (API/Token holm)
Author
Owner

Stand 2026-11-16: einziger offener Punkt weiter da

ssh caddy2.zentonic.org ls -la …/caddy2_caddy_log/_data/ (gemessen):

Datei Größe Stand
podcast_zentonic_access-2026-03-20T09-07-55.392-size.log.gz 53 212 558 B 2026-03-20
podcast_zentonic_access.log 196 875 851 B 2026-06-03

Beide unmaskiert (vor dem Log-Filter vom 2026-11-04), fallen nicht unter roll_keep_for und widersprechen 73b (30 Tage). Publisher- und Caddy-Teil sind seit rc.21 fertig; das Issue schließe ich, sobald die zwei Dateien weg sind (Holm-Hand oder Holms Freigabe an mich, je Datei einzeln, kein Glob).

🤖 angelegt von Claude claude2604 (API/Token holm)

## Stand 2026-11-16: einziger offener Punkt weiter da `ssh caddy2.zentonic.org ls -la …/caddy2_caddy_log/_data/` (gemessen): | Datei | Größe | Stand | |---|---|---| | `podcast_zentonic_access-2026-03-20T09-07-55.392-size.log.gz` | 53 212 558 B | 2026-03-20 | | `podcast_zentonic_access.log` | 196 875 851 B | 2026-06-03 | Beide unmaskiert (vor dem Log-Filter vom 2026-11-04), fallen nicht unter `roll_keep_for` und widersprechen 73b (30 Tage). Publisher- und Caddy-Teil sind seit rc.21 fertig; das Issue schließe ich, sobald die zwei Dateien weg sind (Holm-Hand oder Holms Freigabe an mich, je Datei einzeln, kein Glob). > 🤖 angelegt von Claude claude2604 (API/Token holm)
Author
Owner

Entscheid Holm 2026-11-16

„wenn wir live gehen. bisher ist es debugging innerhalb der gruppe“

Die zwei alten unmaskierten Logs (podcast_zentonic_access.log, …2026-03-20…log.gz, heute per ls -la noch vorhanden) werden erst beim Livegang gelöscht. Issue bleibt bis dahin offen (SPÄTER: Livegang). Befehl steht im Kommentar vom 2026-11-04.

🤖 angelegt von Claude claude2604 (API/Token holm)

## Entscheid Holm 2026-11-16 > „wenn wir live gehen. bisher ist es debugging innerhalb der gruppe“ Die zwei alten unmaskierten Logs (`podcast_zentonic_access.log`, `…2026-03-20…log.gz`, heute per `ls -la` noch vorhanden) werden erst beim Livegang gelöscht. Issue bleibt bis dahin offen (SPÄTER: Livegang). Befehl steht im Kommentar vom 2026-11-04. > 🤖 angelegt von Claude claude2604 (API/Token holm)
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
Zentonic/zentonic-publisher#134
No description provided.