⚙️ 🤖 tag.sh überschreibt Quell-MP3 bei jedem Build, Kapitel driften; Build nicht idempotent (rsync schiebt alles) #68

Closed
opened 2026-11-02 20:27:07 +01:00 by holm · 2 comments
Owner
Dimension Bewertung Einschätzung
Aufwand ███░░░░░░░ Gering-mittel
Nutzen █████░░░░░ Mittel: weniger Upload, stabile ETags, kleinere Downloads
Bruchhäufigkeit ██████████ Bei jedem Build
Nachhaltigkeit ████████░░ Hoch
Dringlichkeit ███░░░░░░░ Niedrig

Befund (v00, 2026-11-02)

  1. Retag nicht deterministisch: Zwei Builds direkt hintereinander ohne inhaltliche Änderung erzeugen MP3s gleicher Größe, die sich in 5 Byte unterscheiden (ab Byte 594, im ID3-Bereich). Jeder Build ändert damit alle getrackten public/audio/*.mp3 und alle ETags. rsync lädt jedes Mal alles neu hoch, und Git sammelt Binär-Diffs.
  2. Eingebettetes Cover bläht die Folgen auf: 006.mp3 wuchs von 643 kB auf 1,66 MB, weil das 1400-px-PNG-Foto (1,3 MB) als APIC eingebettet wird. Apple holt das Episodenbild aus itunes:image. Fürs Einbetten reicht ein JPEG mit z. B. 600 px und Qualität 85.

Auftrag

  • Ursache der 5 Byte finden (vermutlich ein Zeitstempel oder ein Encoder-Feld). Retag nur ausführen, wenn sich die Tag-Eingaben ändern (Hash im episode.cache.json), oder deterministisch machen.
  • Fürs Einbetten in tag.sh eine verkleinerte JPEG-Ableitung verwenden. Die Original-Cover für die Web-Seite und itunes:image bleiben unverändert.

🤖 angelegt von Claude v00 (API/Token holm)

| Dimension | Bewertung | Einschätzung | |---|---|---| | Aufwand | `███░░░░░░░` | Gering-mittel | | Nutzen | `█████░░░░░` | Mittel: weniger Upload, stabile ETags, kleinere Downloads | | Bruchhäufigkeit | `██████████` | Bei jedem Build | | Nachhaltigkeit | `████████░░` | Hoch | | Dringlichkeit | `███░░░░░░░` | Niedrig | ## Befund (v00, 2026-11-02) 1. **Retag nicht deterministisch:** Zwei Builds direkt hintereinander ohne inhaltliche Änderung erzeugen MP3s gleicher Größe, die sich in **5 Byte** unterscheiden (ab Byte 594, im ID3-Bereich). Jeder Build ändert damit alle getrackten `public/audio/*.mp3` und alle ETags. rsync lädt jedes Mal alles neu hoch, und Git sammelt Binär-Diffs. 2. **Eingebettetes Cover bläht die Folgen auf:** `006.mp3` wuchs von 643 kB auf 1,66 MB, weil das 1400-px-PNG-Foto (1,3 MB) als APIC eingebettet wird. Apple holt das Episodenbild aus `itunes:image`. Fürs Einbetten reicht ein JPEG mit z. B. 600 px und Qualität 85. ## Auftrag - Ursache der 5 Byte finden (vermutlich ein Zeitstempel oder ein Encoder-Feld). Retag nur ausführen, wenn sich die Tag-Eingaben ändern (Hash im `episode.cache.json`), oder deterministisch machen. - Fürs Einbetten in `tag.sh` eine verkleinerte JPEG-Ableitung verwenden. Die Original-Cover für die Web-Seite und `itunes:image` bleiben unverändert. > 🤖 angelegt von Claude v00 (API/Token holm)
Author
Owner

v00: Ursache gefunden. Die Quell-MP3 wird bei jedem Build überschrieben, die Kapitelzeiten wandern

Holm 2026-11-02: Die Cover-Größe ist egal (echte Folgen haben 70–120 MB), dieser Teil entfällt. Ziel: Ein Build ohne Änderungen fasst keine Datei an, rsync schiebt nur Diff/Delta.

Befund (Byte-Vergleich zweier Builds, 001.mp3): Die 5 geänderten Byte liegen in den CHAP-Frames. Die Endzeit von ch0 war im Original 15000 ms, nach mehreren Builds 14988 → 14940 → … (in der August-Kopie schon 14892). Mit jedem Build rutschen die Kapitelmarken weiter nach vorn.

Ursache in scripts/tag.sh:

  1. MP3_PATH="$EP_DIR/audio/<basename>.mp3" ist zugleich Eingabe und Ausgabe (mv "$OUT_TMP" "$MP3_PATH"). Die Quelldatei im Episodenordner wird bei jedem Build neu gemuxt und überschrieben.
  2. -map_metadata 2 übernimmt nur die globalen Tags aus der ffmetadata-Datei. Die Kapitel nimmt ffmpeg standardmäßig aus Eingabe 0, also aus der bereits getaggten MP3 mit ihrem Start-Offset. Jeder Lauf verschiebt sie dadurch weiter.
  3. build.sh kopiert die MP3 danach bei jedem Build nach public/audio/. Neue mtime bedeutet: rsync überträgt alle Audiodateien.
  4. Dazu kommen HTML und feed.xml, die bei jedem Build mit neuem lastBuildDate bzw. neuer mtime neu geschrieben werden.

Risiko für echte Folgen: Die Audiodaten bleiben unverändert (-c copy, verifiziert), aber die Master-Datei des Podcasters wird bei jedem Build verändert, und ihre Kapitel wandern.

Fix (Auftrag):

  • tag.sh liest die Quelle nur noch und schreibt direkt nach public/audio/. Die Quelle bleibt unangetastet.
  • -map_chapters zeigt explizit auf die ffmetadata-Eingabe.
  • Tag-Schlüssel: sha1 über ffmetadata + Cover + Quelle, gespeichert im Cache. Ist der Schlüssel gleich und die Ausgabe vorhanden, wird nichts geschrieben.
  • Build: Write-if-changed für alle Ausgaben, damit unveränderte Dateien ihre mtime behalten. lastBuildDate ändert sich nur, wenn sich der Feed-Inhalt ändert.
  • Abnahme: Zwei Builds hintereinander → rsync -n --itemize-changes zeigt 0 Dateien.

🤖 angelegt von Claude v00 (API/Token holm)

## v00: Ursache gefunden. Die Quell-MP3 wird bei jedem Build überschrieben, die Kapitelzeiten wandern Holm 2026-11-02: Die Cover-Größe ist egal (echte Folgen haben 70–120 MB), dieser Teil entfällt. Ziel: **Ein Build ohne Änderungen fasst keine Datei an, rsync schiebt nur Diff/Delta.** **Befund (Byte-Vergleich zweier Builds, `001.mp3`):** Die 5 geänderten Byte liegen in den `CHAP`-Frames. Die Endzeit von ch0 war im Original `15000` ms, nach mehreren Builds `14988` → `14940` → … (in der August-Kopie schon `14892`). **Mit jedem Build rutschen die Kapitelmarken weiter nach vorn.** **Ursache in `scripts/tag.sh`:** 1. `MP3_PATH="$EP_DIR/audio/<basename>.mp3"` ist **zugleich Eingabe und Ausgabe** (`mv "$OUT_TMP" "$MP3_PATH"`). Die Quelldatei im Episodenordner wird bei jedem Build neu gemuxt und überschrieben. 2. `-map_metadata 2` übernimmt nur die globalen Tags aus der ffmetadata-Datei. Die **Kapitel** nimmt ffmpeg standardmäßig aus Eingabe 0, also aus der bereits getaggten MP3 mit ihrem Start-Offset. Jeder Lauf verschiebt sie dadurch weiter. 3. `build.sh` kopiert die MP3 danach bei jedem Build nach `public/audio/`. Neue mtime bedeutet: rsync überträgt alle Audiodateien. 4. Dazu kommen HTML und `feed.xml`, die bei jedem Build mit neuem `lastBuildDate` bzw. neuer mtime neu geschrieben werden. **Risiko für echte Folgen:** Die Audiodaten bleiben unverändert (`-c copy`, verifiziert), aber die Master-Datei des Podcasters wird bei jedem Build verändert, und ihre Kapitel wandern. **Fix (Auftrag):** - `tag.sh` liest die Quelle nur noch und schreibt direkt nach `public/audio/`. Die Quelle bleibt unangetastet. - `-map_chapters` zeigt explizit auf die ffmetadata-Eingabe. - Tag-Schlüssel: sha1 über ffmetadata + Cover + Quelle, gespeichert im Cache. Ist der Schlüssel gleich und die Ausgabe vorhanden, wird **nichts geschrieben**. - Build: Write-if-changed für alle Ausgaben, damit unveränderte Dateien ihre mtime behalten. `lastBuildDate` ändert sich nur, wenn sich der Feed-Inhalt ändert. - Abnahme: Zwei Builds hintereinander → `rsync -n --itemize-changes` zeigt 0 Dateien. > 🤖 angelegt von Claude v00 (API/Token holm)
holm changed title from ⚙️ 🤖 tag.sh: Retag nicht deterministisch (5 Byte/Build) + eingebettetes PNG-Cover bläht MP3 auf to ⚙️ 🤖 tag.sh überschreibt Quell-MP3 bei jedem Build, Kapitel driften; Build nicht idempotent (rsync schiebt alles) 2026-11-02 20:49:31 +01:00
Author
Owner

v00-Abnahme: PASS → geschlossen

Merge 039ac7e (Worker w-68), Sample-Rebuild ab3f2ee im Haupt-Tree mit echten Audioquellen:

  • Build 1 taggt neu, Build 2: 0 Dateien neuer als der Marker; die Quell-MP3s haben vor und nach den Builds denselben sha1.
  • Kapitel 003.mp3 (ffprobe): 0–15 s / 15–30 s / 30–45 s, wieder exakt.
  • Deploy: 13 Dateien (neue Cover + neu getaggte MP3s). Ein zweiter rsync-Lauf (dry-run) zeigt 0 Dateien.
  • check.sh live: 12 ✓ · 0 ✗.

Folge-Issue: webwizard/app.sh run_tag ruft tag.sh mit falscher Argumentzahl auf (war schon vorher defekt).

🤖 angelegt von Claude v00 (API/Token holm)

## v00-Abnahme: PASS → geschlossen Merge `039ac7e` (Worker w-68), Sample-Rebuild `ab3f2ee` im Haupt-Tree mit echten Audioquellen: - Build 1 taggt neu, Build 2: **0 Dateien** neuer als der Marker; die Quell-MP3s haben vor und nach den Builds denselben sha1. - Kapitel `003.mp3` (ffprobe): 0–15 s / 15–30 s / 30–45 s, wieder exakt. - Deploy: 13 Dateien (neue Cover + neu getaggte MP3s). Ein **zweiter rsync-Lauf (dry-run) zeigt 0 Dateien.** - check.sh live: 12 ✓ · 0 ✗. Folge-Issue: `webwizard/app.sh` `run_tag` ruft tag.sh mit falscher Argumentzahl auf (war schon vorher defekt). > 🤖 angelegt von Claude v00 (API/Token holm)
holm closed this issue 2026-11-02 20:58:56 +01:00
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference
Zentonic/zentonic-publisher#68
No description provided.