Wie "Ansturm" auf gitweb verhindern?

kls · January 26, 2026 at 10:34 AM

Hiermit scheint zumindest die HTML-seite zu funktionieren:

HTML

<!DOCTYPE html>
<html lang="en">
<head>
    <title>Redirecting...</title>
    <script type="text/javascript">
        // Automatically append 'VALID' and reload
        setTimeout(function() {
            window.location.href = window.location.href + "VALID";
        }, 0); // Timeout for 1 second
    </script>
</head>
<body>
    <p>You will be redirected...</p>
</body>
</html>

Display More

Jetzt muss ich nur noch des Apache-Setup hinbekommen.

neumann2k · January 26, 2026 at 11:21 AM

Quote from kls

Ich möchte es den Bots schwer machen, nicht den Usern.

reCAPTCHA v3 läuft ohne Benutzerinteraktion im Hintergrund.

kls · January 26, 2026 at 4:52 PM

Quote from neumann2k

reCAPTCHA v3 läuft ohne Benutzerinteraktion im Hintergrund.

Aber wenn ich mich nicht täusche ist das von Google, oder?
Nachdem ich Google-Maps für den Counter losgeworden bin möchte ich mir da nicht gerne wieder was "einfangen" ;-).

SHF · January 26, 2026 at 8:59 PM

Im Zuge dieses Beitrages habe ich mir eben das Anubis-Wiki noch mal näher angesehen und eventuell ist das auch hier eine brauchbare Lösung.

Quote from kls

Ich möchte es den Bots schwer machen, nicht den Usern.

Anubis quält den Besucher mit Javascript-Berechnungen (How Anubis works).
Bei einem normalen Browser fällt das nicht ins Gewicht (bei mir deutlich unter 1s und der Rechner ist nicht der Schnellste.)
Bei einem Server mit ein paar tausend Bots drauf läppert sich das aber.
Weitere Tests, ob es ein echter Browser ist, sind wohl auch noch geplant.

Quote from kls

Nachdem ich Google-Maps für den Counter losgeworden bin möchte ich mir da nicht gerne wieder was "einfangen" ;-).

Nach der Beschreibung ist Anubis open source Software (MIT License) und läuft lokal auf dem Webserver.
Auch setzten einige bekannte Seiten aus dem open source Bereich die Software ein.
(Wirklich beurteilen kann ich das Javascript selber aber nicht!)

Die haben auch eine detaillierte Installations-Anleitung für Apache-Server.
Und für OpenSuSE Tumbelweed gibt es das sogar als Paket.

Evtl. lohnt sich das mal anzusehen, ehe man das Rad neu erfindet.
Auf Dauer ist das vermutlich auch weniger Aufwand gelegentlich mal ein Update zu machen als sich immer selber mit den Bots rum zu schlagen.

davie2000 · January 26, 2026 at 10:04 PM

Quote from kls

Hiermit scheint zumindest die HTML-seite zu funktionieren:

Das setzt aber voraus, dass die "Browser" der Bots überhaupt Javascript unterstützen bzw. ("lokal") ausführen, oder?
Ich bin immer noch geflasht, von der schieren Anzahl der Requests - immerhin gehts hier um VDR und nicht irgendeine millionfach verbreitete (Standard)Bibliothek.

M-Reimer · January 26, 2026 at 10:41 PM

Man weiß nicht was die "Bots" können. Da hilft wohl nur ausprobieren.

Pragmatische Idee:

Mit "Mod Rewrite" über "RewriteCond" auf ein "Magic String" in "HTTP_COOKIE" matchen.
Wird dieser String NICHT gefunden, dann wird die aktuelle URL weitergeleitet auf ein HTML (z.B. "captcha.html") aber mit der URL von der weggeleitet wird als Parameter.
Auf dem HTML liegt JavaScript welches nun erstmal das Cookie mit dem "Magic String" setzt, sich dann die ursprüngliche URL aus dem Parameter holt und dahin umleitet
Ab jetzt ist das Cookie passend gesetzt und es erfolgen keine Weiterleitungen mehr.

Vorteil dieser Lösung: Man kann (zumindest bei Arch) dieses Cookie auch in einem Build-Script setzen und somit ohne ein Redirect an das ".tar.bz2" kommen ohne über einen Mirror zu gehen.

kls · January 27, 2026 at 10:18 AM

Inzwischen hat sich die Lage wieder beruhigt. Anscheinend haben jetzt die Bots alle Links durchforstet.

Hier für die, die es interessiert, der Verlauf der letzten Tage (wieso das Bild "blocked" ist, weiß ich nicht):

Normalerweise habe ich den Apache Server auf 150 Clients eingestellt, was völlig ausreicht. In der Nacht vom 21. zum 22. stieg die Zahl der gleichzeitigen Zugriffe dann langsam immer weiter an, um dann am 23. ständig alle 150 Clients zu belegen und damit sehr träge zu werden. Ich habe das dann schrittweise erhöht, bis es bei 800 dann nicht mehr permanent in der Sättigung war. Mit der Zeit ging es dann langsam wieder runter und seit letzter Nacht ist wieder "Ruhe" eingekehrt.

Die Seite ist jetzt wieder normal zugänglich.

kls · January 27, 2026 at 4:48 PM

Ich habe jetzt mal was eingebaut, das zumindest so aussieht als würde es Bots fernhalten, und dabei für den Benutzer keinerlei spürbaren Overhead erzeugt. Vielleicht mögen es ja einige von euch mal ausprobieren.

SHofmann · January 27, 2026 at 5:00 PM

Bei einem kurzen Test hat sich die Bedienung flüssig und ohne spürbare Verzögerung angefühlt. Aus meiner Sicht wäre dein Einbau in Ordnung.

wirbel · January 27, 2026 at 5:31 PM

git clone git://git.tvdr.de/vdr.git -> funktioniert

tarball downloaden -> funktioniert

Keine spürbare Einschränkung.

FireFly · January 27, 2026 at 6:36 PM

Ja, geht problemlos, man muss jetzt halt Javascript im Browser erlauben, was kein Problem ist.

Gibt es eigentlich einen Link um direkt einen tarball als vdr-2.7.8.tar.bz2 runterzuladen?
Wenn man auf den Snapshot tar.bz2 klickt wird vdr-77bfbc9.tar.bz2 runtergeladen (und alles ist im Unterverzeichnis vdr-77bfbc9).
Wenn man (wie hier im Forum mal beschrieben) per Hand https://git.tvdr.de/?p=vdr.git;a=snapshot;h=refs/tags/2.7.8;sf=tbz2 im Browser eingibt bekommt man ein vdr-2.7.8.tar.bz2 mit allem im Unterverzeichnis vdr-2.7.8 wie ich es zum Compilieren nutze.

wirbel · January 27, 2026 at 6:37 PM

Auf https://github.com/vdr-projects/vdr gibt es einen Mirror von @M-Reimer, der maximal ein-zwei Tage hinterher sein wird und auf den einige von uns Nutzern ab&&zu draufschauen, wie aktuell der ist.

Magst du den als zweite Download Quelle vermerkern?

kls · January 27, 2026 at 8:43 PM

Quote from FireFly

Gibt es eigentlich einen Link um direkt einen tarball als vdr-2.7.8.tar.bz2 runterzuladen?

Sowas hab ich in gitweb leider nicht gefunden.

kls · January 27, 2026 at 8:45 PM

Quote from wirbel

git clone git://git.tvdr.de/vdr.git -> funktioniert

Die direkten git-Funktionen sind von meiner Maßnahme nicht betroffen, nur das, was über HTTPS geht.

SHF · January 28, 2026 at 12:21 AM

Also hier funktioniert es im Browser auch.

Ich sehe jetzt 5 "Project"s auf der Übersichtsseiten, in der Erinnerung hatte ich aber nur 3.
Wobei es auch seinen kann, dass ich die letzten 3 Monate nicht auf der Übersichtsseite war.

Quote from FireFly

Gibt es eigentlich einen Link um direkt einen tarball als vdr-2.7.8.tar.bz2 runterzuladen?
Wenn man auf den Snapshot tar.bz2 klickt wird vdr-77bfbc9.tar.bz2 runtergeladen (und alles ist im Unterverzeichnis vdr-77bfbc9).
Wenn man (wie hier im Forum mal beschrieben) per Hand https://git.tvdr.de/?p=vdr.git;a=snapshot;h=refs/tags/2.7.8;sf=tbz2 im Browser eingibt bekommt man ein vdr-2.7.8.tar.bz2 mit allem im Unterverzeichnis vdr-2.7.8 wie ich es zum Compilieren nutze.

Das Herunterladen des tarball mit wget funktioniert bei mir jetzt nicht mehr, egal mit welchem Link. Im Browser geht es.
Wer sowas in seinem Buildscript einsetzt muss sich also wohl was überlegen...

Quote from kls

Sowas hab ich in gitweb leider nicht gefunden.

Und ich dachte bislang, ich bin zu blöd den zu finden....
Ein fester Link, der immer den aktuellen tarball liefert wäre echt praktisch.

Quote from kls

In der Nacht vom 21. zum 22. stieg die Zahl der gleichzeitigen Zugriffe dann langsam immer weiter an ...

Das müssen recht große, stark verteilte Systeme sein, das hätte einem eigentlich gleich klar sein müssen.
Nach der ersten Entdeckung der neuen Links dauert es eine Weile, bis der Scan-Auftrag an die ganzen Bots verteilt ist. Die dürften den dann wohl eigenständig abarbeiten.
Und da pro IP nur eine Anfrage kam, hat jeder der Bots wohl auch nur diese eine Seite als Auftrag bekommen.

Das dürfte auch der Grund gewesen sein, warum das Passwort nichts gebracht hat.
Auch wenn die Seite schon lange nicht mehr erreichbar ist, weiß der einzelne Bot gar nichts davon. Der wird stumpf seine Liste abarbeiten und es ggf. (nach Wechsel der PI) sogar mehrfach probieren und erst dann einen Fehler melden.

Ich gehe inzwischen davon aus, dass das Passwort doch was gebracht hätte, wenn man es vor dem einspielen der neuen VDR-Version gesetzt hätte.
Dann hätte niemand die Änderungen gesehen und der "Ansturm" hätte gar nicht erst angefangen.

kls · January 28, 2026 at 12:50 AM

Quote from SHF

Das Herunterladen des tarball mit wget funktioniert bei mir jetzt nicht meh

Wie sieht denn der URL aus, den du dafür verwendest?

Quote from SHF

Ein fester Link, der immer den aktuellen tarball liefert wäre echt praktisch.

Den gibt es:

https://git.tvdr.de/?p=vdr.git;a=s…/latest;sf=tbz2

Der Dateiname enthält halt leider nur einen Hash und nicht die Versionsnummer.

SHF · January 28, 2026 at 1:22 AM

Quote from kls

Wie sieht denn der URL aus, den du dafür verwendest?

wget https://git.tvdr.de/?p=vdr.git;a=snapshot;h=HEAD;sf=tbz2
wget https://git.tvdr.de/?p=vdr.git;a=snapshot;h=refs/tags/2.7.8;sf=tbz2
wget https://git.tvdr.de/?p=vdr.git;a=snapshot;h=stable/latest;sf=tbz2
Als Ergebnis bekomme ich immer die "neue" HTML-Seite mit dem Javascript drin.

Das war auch primär als Hinweis für diejenigen gedacht, die so etwas machen.
Ich hab es nur getestet, weil ich vermutete, dass wget an dem Javascript scheitern könnte. Aktuell benötige/verwende ich das nicht.

Quote from kls

Der Dateiname enthält halt leider nur einen Hash und nicht die Versionsnummer.

Sorry, mit "sauberer" Versionsnummer meinte ich.
(Die Pakete mit Hash finde einfach nicht wieder und habe sie öfters schon mehrfach runter geladen.)

kls · January 28, 2026 at 11:04 PM

Zumindest der letzte Download klappt mit

wget 'https://git.tvdr.de/?p=vdr.git;a=snapshot;h=stable/latest;sf=tbz2'

(man beachte, dass der URL in Hochkommas ist, sonst wäre es wegen des ';' nur https://git.tvdr.de/?p=vdr.git, was den Mechanismus triggert)

Der Pattern snapshot.*stable/latest ist von dem Mechanismus ausgenommen, weil das immer nur eine Datei ist. Wenn ich snapshot generell ausnehme, dann wären das wieder sehr viele Dateien.

Wie "Ansturm" auf gitweb verhindern?

Post by kls (January 27, 2026 at 10:14 AM).

Post by kls (January 27, 2026 at 10:17 AM).

Participate now!

Post by kls (January 27, 2026 at 10:14 AM).

Post by kls (January 27, 2026 at 10:17 AM).

Participate now!

Post by kls (January 27, 2026 at 10:14 AM).

Post by kls (January 27, 2026 at 10:17 AM).