fix(files): beschaedigte Downloads werden gemeldet und abgebrochen
Die Pruefsumme wurde beim Ausliefern mitgerechnet und das Ergebnis weggeworfen -- ein gekipptes Bit wurde erkannt und verschwiegen. Jetzt: Logeintrag mit Datei-ID, Speicherschluessel, erwarteter und gelesener Summe, dazu panic(http.ErrAbortHandler), den chis Recoverer ausdruecklich durchreicht. Damit das wirkt, werden die letzten 32 KiB zurueckgehalten. Sonst waere die Datei beim Erkennen laengst vollstaendig beim Empfaenger und der Abbruch kaeme zu spaet. Erst wenn die Summe stimmt, darf der Schluss hinterher; sonst bekommt die Gegenstelle weniger Bytes als angekuendigt und wertet das als Fehler statt als Datei. scripts/pruefsumme-selbsttest.py, 14 Pruefungen: kippt ein Bit auf der Platte (nicht im Programm), in der Mitte der Datei, damit es nicht schon an der Laenge auffaellt; zwei Groessen ueber und unter den 32 KiB; und zuerst die Gegenprobe, dass eine heile Datei durchkommt. **Dabei gefunden:** Der neue Logeintrag blieb aus, obwohl der Abbruch funktionierte. zerolog.Ctx liefert einen *abgeschalteten* Logger, wenn im Kontext keiner steckt -- und Aether legte nie einen hinein. Alle 34 log.Ctx-Aufrufe im Baum schrieben ins Nichts, darunter die Warnung ueber verwaiste Blobs beim Zurueckrollen einer Fassung. Behoben zweifach: zerolog.DefaultContextLogger beim Start (deckt auch Hintergrundarbeit ab) und ein Logger mit request_id im Anfragekontext. Zwei Tests halten es fest. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
1 parent
c26bcba012
commit
2cc02941b9
7 files changed
+501
-10
No files matched your search
@@ -127,6 +127,20 @@ func main() {
|
||||
}
|
||||
zerolog.SetGlobalLevel(zerolog.InfoLevel)
|
||||
|
||||
// **Ohne diese Zeile schreibt jedes log.Ctx(ctx) ins Nichts.**
|
||||
//
|
||||
// zerolog.Ctx liefert einen *abgeschalteten* Logger, wenn im Kontext
|
||||
// keiner steckt und kein Standard gesetzt ist. Im Baum stehen 34 solcher
|
||||
// Aufrufe – darunter die Warnung, dass beim Zurückrollen einer Fassung ein
|
||||
// Blob verwaist ist, und die Meldung über eine beschädigte Datei beim
|
||||
// Download. Alle gingen bis zum 12.09.2026 verloren, und zwar lautlos:
|
||||
// Der Aufruf sieht richtig aus, und ausprobieren kann man ihn nur, indem
|
||||
// man den Fehler herbeiführt, den er melden soll.
|
||||
//
|
||||
// Gefunden beim Schreiben des Prüfsummen-Selbsttests – der neue
|
||||
// Logeintrag blieb aus, obwohl der Abbruch funktionierte.
|
||||
zerolog.DefaultContextLogger = &log.Logger
|
||||
|
||||
log.Info().Str("env", cfg.AppEnv).Str("addr", cfg.ListenAddr).Str("public_url", cfg.PublicURL).Msg("Aether starting")
|
||||
|
||||
ctx := context.Background()
|
||||
|
||||
@@ -486,20 +486,84 @@ func (h *Handler) Download(w http.ResponseWriter, r *http.Request) {
|
||||
|
||||
w.Header().Set("Content-Length", fmt.Sprintf("%d", f.Size))
|
||||
|
||||
// Verify checksum while streaming.
|
||||
// Prüfsumme beim Durchreichen mitrechnen – und den **Schluss
|
||||
// zurückhalten**, bis sie stimmt.
|
||||
//
|
||||
// Vorher wurde hier zwar gerechnet und verglichen, das Ergebnis aber
|
||||
// weggeworfen: kein Logeintrag, kein Hinweis, nichts. Der Kommentar an
|
||||
// dieser Stelle sagte selbst, was fehlt. Ein gekipptes Bit auf der Platte
|
||||
// wurde also erkannt und **verschwiegen** – bei einem Rechnungsarchiv,
|
||||
// in das man einmal im Jahr sieht, die teuerste Art von Stille.
|
||||
//
|
||||
// Die Kopfzeilen sind längst draußen, der Statuscode also nicht mehr zu
|
||||
// ändern – das stimmte. Nur folgt daraus nicht, dass man nichts tun kann:
|
||||
// Wer die letzten Kilobytes erst nach der Prüfung herausgibt, kann die
|
||||
// Verbindung noch fallen lassen, und der Browser sieht einen
|
||||
// abgebrochenen Download statt einer heilen Datei mit falschem Inhalt.
|
||||
h256 := sha256.New()
|
||||
reader := io.TeeReader(rc, h256)
|
||||
zurueck := &tailWriter{w: w, keep: verifyTail}
|
||||
|
||||
if _, err := io.Copy(w, reader); err != nil {
|
||||
return // client disconnected
|
||||
if _, err := io.Copy(zurueck, io.TeeReader(rc, h256)); err != nil {
|
||||
return // Gegenstelle ist weg
|
||||
}
|
||||
|
||||
actual := hex.EncodeToString(h256.Sum(nil))
|
||||
if actual != f.Checksum {
|
||||
// Log corruption; headers already sent, can't change status.
|
||||
// TODO: alert / observability hook
|
||||
_ = actual
|
||||
log.Ctx(r.Context()).Error().
|
||||
Str("file_id", f.ID.String()).
|
||||
Str("storage_key", f.StorageKey).
|
||||
Str("erwartet", f.Checksum).
|
||||
Str("gelesen", actual).
|
||||
Int64("size", f.Size).
|
||||
Msg("Pruefsumme stimmt nicht - Datei auf der Platte ist beschaedigt")
|
||||
|
||||
// ErrAbortHandler ist der vorgesehene Weg, eine Antwort mittendrin
|
||||
// fallen zu lassen: net/http schließt die Verbindung und schreibt
|
||||
// **keinen** eigenen Logeintrag dazu (chis Recoverer reicht diese eine
|
||||
// Panik ausdrücklich durch). Weil der Schluss noch nicht draußen ist,
|
||||
// bekommt die Gegenstelle weniger Bytes als im Content-Length
|
||||
// angekündigt – und wertet das als Fehler.
|
||||
panic(http.ErrAbortHandler)
|
||||
}
|
||||
|
||||
// Stimmt sie, darf der Rest hinterher.
|
||||
_ = zurueck.Flush()
|
||||
}
|
||||
|
||||
// verifyTail: So viele Bytes werden bis zur Prüfung zurückgehalten.
|
||||
//
|
||||
// Sie sind der ganze Hebel: Ohne sie wäre die Datei beim Erkennen des Fehlers
|
||||
// längst vollständig beim Empfänger, und ein Abbruch käme zu spät. 32 KiB
|
||||
// kosten nichts und liegen über dem, was io.Copy in einem Zug bewegt.
|
||||
const verifyTail = 32 * 1024
|
||||
|
||||
// tailWriter reicht alles durch außer den letzten `keep` Bytes.
|
||||
type tailWriter struct {
|
||||
w io.Writer
|
||||
keep int
|
||||
buf []byte
|
||||
}
|
||||
|
||||
func (t *tailWriter) Write(p []byte) (int, error) {
|
||||
t.buf = append(t.buf, p...)
|
||||
if ueber := len(t.buf) - t.keep; ueber > 0 {
|
||||
if _, err := t.w.Write(t.buf[:ueber]); err != nil {
|
||||
return 0, err
|
||||
}
|
||||
t.buf = append(t.buf[:0], t.buf[ueber:]...)
|
||||
}
|
||||
return len(p), nil
|
||||
}
|
||||
|
||||
// Flush gibt heraus, was zurückgehalten wurde. Wird es **nicht** gerufen,
|
||||
// bleibt die Antwort unvollständig – genau das ist der Zweck.
|
||||
func (t *tailWriter) Flush() error {
|
||||
if len(t.buf) == 0 {
|
||||
return nil
|
||||
}
|
||||
_, err := t.w.Write(t.buf)
|
||||
t.buf = t.buf[:0]
|
||||
return err
|
||||
}
|
||||
|
||||
// inlineSafeTypes sind die Typen, die im Browser angezeigt werden dürfen.
|
||||
|
||||
@@ -0,0 +1,100 @@
|
||||
package files
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"io"
|
||||
"testing"
|
||||
)
|
||||
|
||||
// Der tailWriter ist die Stelle, an der ein beschädigter Download noch
|
||||
// aufzuhalten ist. Was er falsch macht, merkt man sonst erst an einer Datei,
|
||||
// die heil aussieht und keine ist.
|
||||
|
||||
func TestTailWriterHaeltDenSchlussZurueck(t *testing.T) {
|
||||
var raus bytes.Buffer
|
||||
tw := &tailWriter{w: &raus, keep: 4}
|
||||
|
||||
if _, err := tw.Write([]byte("0123456789")); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if got := raus.String(); got != "012345" {
|
||||
t.Fatalf("durchgereicht %q, erwartet %q", got, "012345")
|
||||
}
|
||||
if err := tw.Flush(); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
if got := raus.String(); got != "0123456789" {
|
||||
t.Fatalf("nach Flush %q", got)
|
||||
}
|
||||
}
|
||||
|
||||
// Der Fall, auf den es ankommt: Ohne Flush darf der Empfänger die Datei
|
||||
// **nicht** vollständig haben.
|
||||
func TestOhneFlushBleibtEsUnvollstaendig(t *testing.T) {
|
||||
var raus bytes.Buffer
|
||||
tw := &tailWriter{w: &raus, keep: 4}
|
||||
io.Copy(tw, bytes.NewReader([]byte("0123456789")))
|
||||
if raus.Len() != 6 {
|
||||
t.Fatalf("%d Bytes draußen, erwartet 6", raus.Len())
|
||||
}
|
||||
}
|
||||
|
||||
// Eine Datei, die kleiner ist als der zurückgehaltene Schluss, darf ohne
|
||||
// Flush gar nichts hinauslassen.
|
||||
func TestKleineDateiBleibtGanzZurueck(t *testing.T) {
|
||||
var raus bytes.Buffer
|
||||
tw := &tailWriter{w: &raus, keep: 32}
|
||||
tw.Write([]byte("kurz"))
|
||||
if raus.Len() != 0 {
|
||||
t.Fatalf("%d Bytes zu früh draußen", raus.Len())
|
||||
}
|
||||
tw.Flush()
|
||||
if raus.String() != "kurz" {
|
||||
t.Fatalf("nach Flush %q", raus.String())
|
||||
}
|
||||
}
|
||||
|
||||
// Viele kleine Schreibvorgänge dürfen sich nicht anders verhalten als einer
|
||||
// großer – io.Copy zerlegt in Häppchen.
|
||||
func TestHaeppchenweiseGleichesErgebnis(t *testing.T) {
|
||||
var raus bytes.Buffer
|
||||
tw := &tailWriter{w: &raus, keep: 5}
|
||||
for _, c := range []byte("abcdefghijklmnop") {
|
||||
if _, err := tw.Write([]byte{c}); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
}
|
||||
if raus.String() != "abcdefghijk" {
|
||||
t.Fatalf("durchgereicht %q", raus.String())
|
||||
}
|
||||
tw.Flush()
|
||||
if raus.String() != "abcdefghijklmnop" {
|
||||
t.Fatalf("nach Flush %q", raus.String())
|
||||
}
|
||||
}
|
||||
|
||||
// Der Zwischenspeicher darf nicht mitwachsen: Bei einer 5-GB-Datei läge sonst
|
||||
// alles im Arbeitsspeicher.
|
||||
func TestZwischenspeicherWaechstNicht(t *testing.T) {
|
||||
tw := &tailWriter{w: io.Discard, keep: 1024}
|
||||
block := make([]byte, 32*1024)
|
||||
for range 100 {
|
||||
tw.Write(block)
|
||||
if len(tw.buf) > len(block)+tw.keep {
|
||||
t.Fatalf("Zwischenspeicher auf %d Bytes gewachsen", len(tw.buf))
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// Bricht die Gegenstelle weg, muss der Fehler nach oben durchkommen – sonst
|
||||
// liefe io.Copy weiter und läse die ganze Datei ins Nichts.
|
||||
type kaputterWriter struct{}
|
||||
|
||||
func (kaputterWriter) Write([]byte) (int, error) { return 0, io.ErrClosedPipe }
|
||||
|
||||
func TestSchreibfehlerKommtDurch(t *testing.T) {
|
||||
tw := &tailWriter{w: kaputterWriter{}, keep: 2}
|
||||
if _, err := tw.Write([]byte("abcdef")); err == nil {
|
||||
t.Fatal("Schreibfehler wurde verschluckt")
|
||||
}
|
||||
}
|
||||
@@ -4,6 +4,8 @@ import (
|
||||
"net/http"
|
||||
"time"
|
||||
|
||||
chimiddleware "github.com/go-chi/chi/v5/middleware"
|
||||
|
||||
"github.com/rs/zerolog"
|
||||
"github.com/rs/zerolog/log"
|
||||
)
|
||||
@@ -13,6 +15,17 @@ func Logger(next http.Handler) http.Handler {
|
||||
start := time.Now()
|
||||
ww := &responseWriter{ResponseWriter: w, status: http.StatusOK}
|
||||
|
||||
// Den Logger in den Kontext hängen, damit log.Ctx(r.Context()) in den
|
||||
// Handlern etwas findet – und damit jede Zeile aus einer Anfrage die
|
||||
// Kennung dieser Anfrage trägt. Ohne das schreibt log.Ctx gar nicht
|
||||
// (zerolog gibt dann einen abgeschalteten Logger zurück), und mit
|
||||
// einem globalen Standard allein ließe sich nicht mehr zuordnen,
|
||||
// welche Meldung zu welchem Aufruf gehört.
|
||||
l := log.Logger.With().
|
||||
Str("request_id", chimiddleware.GetReqID(r.Context())).
|
||||
Logger()
|
||||
r = r.WithContext(l.WithContext(r.Context()))
|
||||
|
||||
next.ServeHTTP(ww, r)
|
||||
|
||||
level := zerolog.InfoLevel
|
||||
|
||||
@@ -0,0 +1,55 @@
|
||||
package middleware
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"net/http"
|
||||
"net/http/httptest"
|
||||
"strings"
|
||||
"testing"
|
||||
|
||||
"github.com/rs/zerolog"
|
||||
"github.com/rs/zerolog/log"
|
||||
)
|
||||
|
||||
// Der Test, der gefehlt hat.
|
||||
//
|
||||
// zerolog.Ctx liefert einen **abgeschalteten** Logger, wenn im Kontext keiner
|
||||
// steckt. 34 Aufrufe von log.Ctx(...) im Baum schrieben deshalb ins Nichts –
|
||||
// darunter Warnungen über verwaiste Blobs und beschädigte Dateien. Der Aufruf
|
||||
// sieht dabei völlig richtig aus; auffallen kann es nur, wenn man den Fehler
|
||||
// herbeiführt, den er melden soll.
|
||||
func TestLoggerHaengtLoggerInDenKontext(t *testing.T) {
|
||||
var aus bytes.Buffer
|
||||
alt := log.Logger
|
||||
log.Logger = zerolog.New(&aus)
|
||||
defer func() { log.Logger = alt }()
|
||||
|
||||
h := Logger(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
||||
// Genau der Aufruf, der überall im Baum steht.
|
||||
log.Ctx(r.Context()).Error().Msg("kaputte-datei")
|
||||
}))
|
||||
|
||||
h.ServeHTTP(httptest.NewRecorder(), httptest.NewRequest("GET", "/x", nil))
|
||||
|
||||
if !strings.Contains(aus.String(), "kaputte-datei") {
|
||||
t.Fatalf("log.Ctx im Handler schrieb nichts. Ausgabe: %q", aus.String())
|
||||
}
|
||||
}
|
||||
|
||||
// Jede Zeile aus einer Anfrage soll deren Kennung tragen – sonst weiß man bei
|
||||
// zwei gleichzeitigen Downloads nicht, welche Meldung zu welchem gehört.
|
||||
func TestZeilenTragenDieAnfrageKennung(t *testing.T) {
|
||||
var aus bytes.Buffer
|
||||
alt := log.Logger
|
||||
log.Logger = zerolog.New(&aus)
|
||||
defer func() { log.Logger = alt }()
|
||||
|
||||
h := Logger(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
|
||||
log.Ctx(r.Context()).Error().Msg("x")
|
||||
}))
|
||||
h.ServeHTTP(httptest.NewRecorder(), httptest.NewRequest("GET", "/x", nil))
|
||||
|
||||
if !strings.Contains(aus.String(), "request_id") {
|
||||
t.Fatalf("keine request_id in der Zeile: %q", aus.String())
|
||||
}
|
||||
}
|
||||
Reference in new issue
Block a user