⚙️ 🤖 Messung: SQLite-Krypto-Store auf NFSv4.2 — Journal-Modus, Locks, Node-Wechsel #3

Closed
opened 2026-11-15 18:18:43 +01:00 by holm · 2 comments
Owner
Dimension Bewertung Einschätzung
Aufwand ████░░░░░░ Mittel — VM-Messaufbau + Auswertung
Nutzen █████████░ Sehr hoch — entscheidet, ob der Krypto-Store auf NFS sicher betrieben werden kann
Bruchhäufigkeit ███░░░░░░░ Gering bis mittel — Node-Wechsel, Netzausfall
Nachhaltigkeit ████████░░ Hoch — Messaufbau bleibt wiederholbar im Repo
Dringlichkeit ████████░░ Hoch — Voraussetzung für Gerüst und Betrieb

Auftrag

Aus Epic #1, Kommentar 18295: SQLite des matrix-rust-sdk auf NFSv4.2 mit genau einem Schreiber messen — Journal-Modus, Lock-Verhalten, Verhalten beim Node-Wechsel.

Ausgangslage (gelesen in matrix-sdk-sqlite 0.19.1, crates.io)

  • Krypto-, State- und Media-Store setzen fest PRAGMA journal_mode = wal (crypto_store.rs, state_store.rs, media_store.rs).
  • Zugriff über einen Pool von Leseverbindungen plus eine Schreibverbindung im selben Prozess (connection.rs). locking_mode = EXCLUSIVE ist damit keine Option ohne Eingriff in die Bibliothek.
  • Beim Schließen: PRAGMA locking_mode = NORMAL; PRAGMA wal_checkpoint(TRUNCATE).

Messaufbau

messung/sqlite-nfs/: NixOS-VM-Test, ein Kernel-nfsd-Server, zwei Clients als zwei Nodes, Mount nfs4 vers=4.2. Sonde probe.py bildet das Zugriffsmuster nach (WAL, BEGIN IMMEDIATE). Kein Bezug auf reale Hosts.

Szenarien:

  1. Durchsatz lokal vs. NFS, DELETE vs. WAL, datainvalidate aus mountstats
  2. Fremd-Node greift auf laufenden WAL-Store zu (verbotener Fall: was passiert?)
  3. Sauberer Wechsel: a schließt, b öffnet sofort
  4. Harter Absturz von a ohne Wächter-Lock: wann kann b schreiben, gehen bestätigte Transaktionen verloren?
  5. Netztrennung von a mit Wächter-Lock (fcntl auf eigener Lock-Datei): Übernahmezeit für b, Verhalten von a nach Rückkehr

Ergebnis als Kommentar hier und in Epic #1.

🤖 angelegt von Claude v00-botkern (API/Token holm)

| Dimension | Bewertung | Einschätzung | |---|---|---| | Aufwand | `████░░░░░░` | Mittel — VM-Messaufbau + Auswertung | | Nutzen | `█████████░` | Sehr hoch — entscheidet, ob der Krypto-Store auf NFS sicher betrieben werden kann | | Bruchhäufigkeit | `███░░░░░░░` | Gering bis mittel — Node-Wechsel, Netzausfall | | Nachhaltigkeit | `████████░░` | Hoch — Messaufbau bleibt wiederholbar im Repo | | Dringlichkeit | `████████░░` | Hoch — Voraussetzung für Gerüst und Betrieb | ## Auftrag Aus Epic #1, Kommentar 18295: SQLite des matrix-rust-sdk auf NFSv4.2 mit genau einem Schreiber messen — Journal-Modus, Lock-Verhalten, Verhalten beim Node-Wechsel. ## Ausgangslage (gelesen in matrix-sdk-sqlite 0.19.1, crates.io) - Krypto-, State- und Media-Store setzen fest `PRAGMA journal_mode = wal` (`crypto_store.rs`, `state_store.rs`, `media_store.rs`). - Zugriff über einen Pool von Leseverbindungen plus eine Schreibverbindung im selben Prozess (`connection.rs`). `locking_mode = EXCLUSIVE` ist damit keine Option ohne Eingriff in die Bibliothek. - Beim Schließen: `PRAGMA locking_mode = NORMAL; PRAGMA wal_checkpoint(TRUNCATE)`. ## Messaufbau `messung/sqlite-nfs/`: NixOS-VM-Test, ein Kernel-nfsd-Server, zwei Clients als zwei Nodes, Mount `nfs4 vers=4.2`. Sonde `probe.py` bildet das Zugriffsmuster nach (WAL, `BEGIN IMMEDIATE`). Kein Bezug auf reale Hosts. Szenarien: 1. Durchsatz lokal vs. NFS, DELETE vs. WAL, `datainvalidate` aus mountstats 2. Fremd-Node greift auf laufenden WAL-Store zu (verbotener Fall: was passiert?) 3. Sauberer Wechsel: a schließt, b öffnet sofort 4. Harter Absturz von a ohne Wächter-Lock: wann kann b schreiben, gehen bestätigte Transaktionen verloren? 5. Netztrennung von a mit Wächter-Lock (fcntl auf eigener Lock-Datei): Übernahmezeit für b, Verhalten von a nach Rückkehr Ergebnis als Kommentar hier und in Epic #1. > 🤖 angelegt von Claude v00-botkern (API/Token holm)
Author
Owner

Ergebnis Messung SQLite auf NFSv4.2 (2026-11-15)

Reichweite: NixOS-VM-Test, ein Kernel-nfsd-Server, zwei Clients, virtuelles Netz. Kernel 6.18.63 (Client und Server), nixpkgs 26.05pre, SQLite 3.53.3 über Python. Das ist dieselbe Unix-VFS wie bei rusqlite, aber nicht dessen gebündelte SQLite-Version. Lease des Servers: 90 s (Default). Szenarien 1–3 in vier Läufen (3–6), Szenarien 4–5 in zwei vollständigen Läufen (5, 6). Die Durchsatzzahlen gelten nur relativ, denn das Netz ist nicht real. Kein ZFS-Unterbau, keine realen Hosts.

Mount: nfs4 vers=4.2, hard, local_lock=none

# Szenario Ergebnis Läufe
1 Durchsatz, ein Schreiber WAL auf NFS 54–70 Transaktionen/s (lokal 177–205), DELETE auf NFS 27–32/s (lokal 90–109); datainvalidate = 0; Server vergibt Delegationen 4
2 Zweiter Node öffnet den laufenden WAL-Store 3 von 4 Läufen: Lesen und Schreiben von b scheitern sofort mit disk I/O error. 1 von 4 (Lauf 4): b schreibt 200 Commits erfolgreich parallel zu a. In allen 4 Läufen integrity_check ok, keine bestätigte Zeile verloren 4
3 Sauberer Wechsel: a schließt, b öffnet sofort sofort möglich, alle 600 Zeilen da, integrity_check ok 4
4 Harter Absturz von a, ohne Wächter-Lock b blockiert ~100 s im Kernel (Lease-Ablauf), schreibt danach; integrity_check ok; alle vor dem Absturz beobachteten Commits von a vorhanden 2
5 Netztrennung von a, mit Wächter-Lock (fcntl auf eigener Lock-Datei) b wartet, solange a lebt. b übernimmt 91–95 s nach der Trennung. Nach der Rückkehr meldet der Kernel bei a lost 1 locks. a endet 2–4 s danach; Lauf 6: SIGBUS (core dump; Vermutung: Zugriff auf die gemmapte -shm), Lauf 5: Signal nicht erfasst. integrity_check ok 2

Auffällig

  • Lauf 5: a hat 227 Commits bestätigt, in der Datenbank stehen 226 von a. Ein bestätigter Commit des abgetrennten Nodes fehlt. Lauf 6 hat die Lücke gezielt id für id gesucht: 249 von 249 vorhanden. Beobachtet also 1 von 2 Läufen. Der Mechanismus ist ungeklärt; Commits eines Nodes während der Trennung gelten damit als nicht haltbar.
  • Für einen Krypto-Store zählt ein verlorener Commit schwerer als bei gewöhnlichen Daten: Olm-/Megolm-Ratchet-Stände könnten zurückfallen. Das ist eine Vermutung und nicht gemessen.

Folgerungen für den Gerüst-Bau

  1. WAL auf NFSv4.2 mit genau einem Schreiber funktioniert. SQLite selbst schützt nicht verlässlich gegen einen zweiten Node: Meist scheitert der Zugriff sofort, einmal liefen zwei Schreiber parallel. Ohne Schaden ging das nur zufällig, denn der WAL-Index (-shm) ist nicht über Hosts kohärent.
  2. Ein Node-Wechsel ohne sauberes Schließen dauert etwa Lease + 5–10 s. Bei Default-Lease sind das rund 100 s.
  3. Pflicht: botkern nimmt vor dem Öffnen des Stores einen exklusiven fcntl-Lock auf eine eigene Lock-Datei im Store-Verzeichnis (Wächter). Ein zweiter Container wartet dann geordnet (gemessen: Szenario 5), statt den Store parallel zu öffnen.
  4. Ein abgetrennter alter Node wurde bei Rückkehr beendet (Lauf 6: SIGBUS). Der Prozess muss also unter einem Supervisor laufen, der ihn nicht blind neu startet, solange ein anderer Node den Wächter hält. Der Neustart wartet am Wächter.

Offen

  • Wiederholungsmessung Szenario 5 (n ≥ 10), um den fehlenden Commit zu quantifizieren
  • Nachmessung auf dem realen Storage (ZFS-Dataset, realer NFS-Server, realer Docker-Host) mit dem Original-Store von matrix-sdk-sqlite statt der Sonde

Messaufbau: messung/sqlite-nfs/ (nix-build messung/sqlite-nfs, Ergebnis result/results.json). Der Commit folgt, sobald der gitleaks-Hook (#2) aktiv ist.

🤖 angelegt von Claude v00-botkern (API/Token holm)

## Ergebnis Messung SQLite auf NFSv4.2 (2026-11-15) **Reichweite:** NixOS-VM-Test, ein Kernel-nfsd-Server, zwei Clients, virtuelles Netz. Kernel 6.18.63 (Client und Server), nixpkgs 26.05pre, SQLite 3.53.3 über Python. Das ist dieselbe Unix-VFS wie bei rusqlite, aber nicht dessen gebündelte SQLite-Version. Lease des Servers: 90 s (Default). Szenarien 1–3 in vier Läufen (3–6), Szenarien 4–5 in zwei vollständigen Läufen (5, 6). Die Durchsatzzahlen gelten nur relativ, denn das Netz ist nicht real. Kein ZFS-Unterbau, keine realen Hosts. Mount: `nfs4 vers=4.2, hard, local_lock=none` | # | Szenario | Ergebnis | Läufe | |---|---|---|---| | 1 | Durchsatz, ein Schreiber | WAL auf NFS 54–70 Transaktionen/s (lokal 177–205), DELETE auf NFS 27–32/s (lokal 90–109); `datainvalidate` = 0; Server vergibt Delegationen | 4 | | 2 | Zweiter Node öffnet den laufenden WAL-Store | 3 von 4 Läufen: Lesen und Schreiben von b scheitern sofort mit `disk I/O error`. **1 von 4 (Lauf 4): b schreibt 200 Commits erfolgreich parallel zu a.** In allen 4 Läufen `integrity_check` ok, keine bestätigte Zeile verloren | 4 | | 3 | Sauberer Wechsel: a schließt, b öffnet sofort | sofort möglich, alle 600 Zeilen da, `integrity_check` ok | 4 | | 4 | Harter Absturz von a, ohne Wächter-Lock | b blockiert ~100 s im Kernel (Lease-Ablauf), schreibt danach; `integrity_check` ok; alle vor dem Absturz beobachteten Commits von a vorhanden | 2 | | 5 | Netztrennung von a, mit Wächter-Lock (fcntl auf eigener Lock-Datei) | b wartet, solange a lebt. b übernimmt 91–95 s nach der Trennung. Nach der Rückkehr meldet der Kernel bei a `lost 1 locks`. a endet 2–4 s danach; Lauf 6: **SIGBUS** (core dump; Vermutung: Zugriff auf die gemmapte `-shm`), Lauf 5: Signal nicht erfasst. `integrity_check` ok | 2 | ### Auffällig - **Lauf 5:** a hat 227 Commits bestätigt, in der Datenbank stehen 226 von a. Ein bestätigter Commit des abgetrennten Nodes fehlt. Lauf 6 hat die Lücke gezielt id für id gesucht: 249 von 249 vorhanden. Beobachtet also 1 von 2 Läufen. Der Mechanismus ist ungeklärt; Commits eines Nodes während der Trennung gelten damit als nicht haltbar. - Für einen Krypto-Store zählt ein verlorener Commit schwerer als bei gewöhnlichen Daten: Olm-/Megolm-Ratchet-Stände könnten zurückfallen. Das ist eine Vermutung und nicht gemessen. ### Folgerungen für den Gerüst-Bau 1. WAL auf NFSv4.2 mit genau einem Schreiber funktioniert. SQLite selbst schützt **nicht verlässlich** gegen einen zweiten Node: Meist scheitert der Zugriff sofort, einmal liefen zwei Schreiber parallel. Ohne Schaden ging das nur zufällig, denn der WAL-Index (`-shm`) ist nicht über Hosts kohärent. 2. Ein Node-Wechsel ohne sauberes Schließen dauert etwa Lease + 5–10 s. Bei Default-Lease sind das rund 100 s. 3. **Pflicht:** botkern nimmt vor dem Öffnen des Stores einen exklusiven fcntl-Lock auf eine eigene Lock-Datei im Store-Verzeichnis (Wächter). Ein zweiter Container wartet dann geordnet (gemessen: Szenario 5), statt den Store parallel zu öffnen. 4. Ein abgetrennter alter Node wurde bei Rückkehr beendet (Lauf 6: SIGBUS). Der Prozess muss also unter einem Supervisor laufen, der ihn nicht blind neu startet, solange ein anderer Node den Wächter hält. Der Neustart wartet am Wächter. ### Offen - Wiederholungsmessung Szenario 5 (n ≥ 10), um den fehlenden Commit zu quantifizieren - Nachmessung auf dem realen Storage (ZFS-Dataset, realer NFS-Server, realer Docker-Host) mit dem Original-Store von matrix-sdk-sqlite statt der Sonde Messaufbau: `messung/sqlite-nfs/` (`nix-build messung/sqlite-nfs`, Ergebnis `result/results.json`). Der Commit folgt, sobald der gitleaks-Hook (#2) aktiv ist. > 🤖 angelegt von Claude v00-botkern (API/Token holm)
Author
Owner

Erledigt. Ergebnis im Kommentar 18510, bestätigt auf realem Storage in #5. Messaufbau committet in 3d2ba55 (messung/sqlite-nfs/, Branch dev). Offen bleibt nur die Wiederholungsmessung #4.

🤖 angelegt von Claude v00-botkern (API/Token holm)

Erledigt. Ergebnis im Kommentar 18510, bestätigt auf realem Storage in #5. Messaufbau committet in 3d2ba55 (`messung/sqlite-nfs/`, Branch dev). Offen bleibt nur die Wiederholungsmessung #4. > 🤖 angelegt von Claude v00-botkern (API/Token holm)
holm closed this issue 2026-11-15 19:16:55 +01:00
Sign in to join this conversation.
No description provided.