[tvscraper] falsche Zuordnung Untertitel/Staffel/Folge

kfb77 · September 30, 2025 at 3:39 PM

Mir sind ein paar falsche Zuordnungen von neuen Folgen von Serien aufgefallen. Hier mal ein Beispiel:

Korrekt wäre die 17/1, die auch vom EPG kommt.

MarkusE : Hast du eine Idee, was hier schief läuft ? Die korrekte Folge ist in der Quelle vorhanden:

SOKO Stuttgart (Fernsehserie 2009– ) - Liste der Folgen - IMDb

MarkusE · September 30, 2025 at 3:56 PM

Auf https://thetvdb.com/series/stuttga…isodes/11359701 ist die Folge auch.

Wurde dort am September 25, 2025 angelegt.

Aus Performancegründen cached tvscraper die Episodenliste. Ich würde mal sagen, tvscraper hat diese Episode mit veralteten Daten im Cache gesucht und nicht gefunden...

kfb77 · September 30, 2025 at 4:02 PM

Den Verdacht hatte ich auch, da ich es ja nur bei neuen Folgen beobachtet hatte.

Cache macht Sinn, aber wäre es möglich, täglich zu prüfen, ob ein Eintrag aktualisiert wurde und dann neu laden ?

Wie kann ich den Cache löschen um die aktuellen Fehler zu beseitigen ?

MarkusE · September 30, 2025 at 4:27 PM

Ändere doch mal in config.h:

Code

bool isUpdateFromExternalDbRequired(time_t lastUpdate) { return difftime(time(0), lastUpdate) >= 60*60*24*7; }

vermutlich spricht nichts gegen ein tägliches Update, Du kannst also schreiben:

Code

bool isUpdateFromExternalDbRequired(time_t lastUpdate) { return difftime(time(0), lastUpdate) >= 60*60*24*1; }

wenn das bei Dir problemlos läuft, übernehme ich es in's git

kfb77 · September 30, 2025 at 4:42 PM

Danke, Änderung ist drin, ich melde mich, falls Probleme auftauchen.

kfb77 · October 1, 2025 at 9:28 AM

O.g. Sendung (u.a.) wurde innerhalb einer Stunde nach dem Neustart korrigiert.

Aber nicht alle, hier ein Beispiel, wo falsch geblieben ist. Auch eine neue Folge:

MarkusE · October 1, 2025 at 5:05 PM

https://thetvdb.com/series/soko-leipzig#seasons

-> thetvdb kennt nur 25 Staffeln

kfb77 · October 1, 2025 at 5:16 PM

Auf der Scraper Seite ist ein Link zu IMDb drin (und keiner zu thetvdb). Also verstehe ich das so, dass dies die verwendete Quelle ist.

Und da gibt es eine Staffel 26 mit den neuen Folgen. Nutzt du IMDb nicht, gibst es aber als Quelle an ? Ich bin verwirrt.

SOKO Leipzig (Fernsehserie 2001– ) - Liste der Folgen - IMDb

MarkusE · October 1, 2025 at 5:24 PM

> Auf der Scraper Seite ist ein Link zu IMDb drin (und keiner zu thetvdb). Also verstehe ich das so, dass dies die verwendete Quelle ist.

Quelle für Serien ist normalerweise TheTVDB, und Quelle für Filme ist TMDB. In diesen Datenbanken ist oft der Link zu IMDb gepflegt, der dann an dieser Stelle angezeigt wird.

kfb77 · October 1, 2025 at 5:31 PM

OK, habe ich jetzt verstanden. Wäre es möglich, weitere Quellen zu nutzen, falls in der primären Quelle nichts gefunden wurde ?

"Die Überwältigung" ist ja nicht annährend ähnlich zu "Die Entscheidung". Die korrekte Zuordnung wäre in IMDb oder in eplists vorhanden. eplists gab es schon mal als Feature Request.

MarkusE · October 1, 2025 at 5:44 PM

Im Prinzip ist es natürlich möglich, weitere Datenbanken (IMDb, eplists, ...) hinzuzufügen.

Ich müsste dazu halt die Datenbank aufboren -> Aufwand. Mal sehen. Jedenfalls nicht kurzfristig.

Die IMDb API verlangt außerdem einen AWS Account. Habe ich nicht, hört sich irgendwie aufwändig an.

kfb77 · October 1, 2025 at 5:52 PM

Wahrscheinlich wäre eplists am einfachsten zu implementieren und auch am sinnvollsten. Die Datenbank wird schon seit langen von der VDR Gemeinde gepflegt. Wird auch von epg2vdr und epgsearch (ich weiß nicht ob das noch geht, weil die Skripte dazu keiner mehr pflegt, der letzte Update war vor vielen Jahren von mir) genutzt.

kfb77 · October 5, 2025 at 7:48 PM

Quote from MarkusE

wenn das bei Dir problemlos läuft, übernehme ich es in's git

Keine Probleme bis jetzt, kann ins git.

nobanzai · October 6, 2025 at 7:43 PM

Quote from kfb77

Wahrscheinlich wäre eplists am einfachsten zu implementieren und auch am sinnvollsten. Die Datenbank wird schon seit langen von der VDR Gemeinde gepflegt. Wird auch von epg2vdr und epgsearch (ich weiß nicht ob das noch geht, weil die Skripte dazu keiner mehr pflegt, der letzte Update war vor vielen Jahren von mir) genutzt.

Das fände ich toll - ich hatte viel da drin aktualisiert, als ich noch EPGD genutzt habe.
Vor allem konnte man dann da Alternativen eintragen, falls es eben mehrere abweichende Titel für Folgen gab.

MegaV0lt · October 7, 2025 at 8:37 AM

Quote from nobanzai

ich hatte viel da drin aktualisiert, als ich noch EPGD genutzt habe.

Dito. Hab ein Skript, dass die Datensammlung erheblich erleichtert. Die Daten kommen in der Regel von Fernsehserien.de

Beispielausgabe

Display Spoiler

Code

darkwing@darkwing-PC /home/_VirtualBox/Machines/yaVDR 0.7 $ mk_episodes.sh From
  mk_episodes.sh => Version: 231111 by MegaV0lt
Lösche alle *.episodes-Dateien, die älter als 14 Tage sind
Lade Episodenliste von https://www.fernsehserien.de

--2025-10-07 08:36:03--  https://www.fernsehserien.de/from/episodenguide
Auflösen des Hostnamens www.fernsehserien.de (www.fernsehserien.de) … 3.66.114.19, 18.196.146.102, 3.68.179.234
Verbindungsaufbau zu www.fernsehserien.de (www.fernsehserien.de)|3.66.114.19|:443 … verbunden.
HTTP-Anforderung gesendet, auf Antwort wird gewartet … 200 OK
Länge: nicht spezifiziert [text/html]
Wird in ‘/tmp/~websrc.htm’ gespeichert.

/tmp/~websrc.htm                       [ <=>                                                            ]  90,29K  --.-KB/s    in 0,06s   

2025-10-07 08:36:03 (1,49 MB/s) - ‘/tmp/~websrc.htm’ gespeichert [92458]


Starte verarbeitung der geladenen Episodenliste
Staffel  Episode  Folge  Titel
# 01. Season
01	1	1	Eine lange Reise in die Nacht
01	2	2	So, wie die Dinge liegen
01	3	3	Tag der Auswahl
01	4	4	Ein Stein und ein Zauberbaum
01	5	5	Silhouetten
01	6	6	Buch 74
01	7	7	Alle guten Dinge
01	8	8	Fensterscherben, offene Türen
01	9	9	In den Wald
01	10	10	So viel werden wir sehen
# 02. Season
02	1	11	Fremde in einem fremden Land
02	2	12	Die Freundlichkeit Von Fremden
02	3	13	Am Ende der Kraft
02	4	14	Dieser gewählte Weg
02	5	15	Wiegenlied
02	6	16	Tanz zu Zweit
02	7	17	Böse bis aufs Mark
02	8	18	Den Wald vor lauter Bäumen nicht
02	9	19	Magischer Feuerball
02	10	20	Es war Einmal
# 03. Season
03	1	21	Zerbrechen
03	2	22	Wenn wir gehen
03	3	23	Mausefalle
03	4	24	Hin und Zurück
03	5	25	Tageslicht
03	6	26	Narbengewebe
03	7	27	Diese zerbrechlichen Leben
03	8	28	An der Schwelle
03	9	29	Offenbarungen, Kapitel Eins
03	10	30	Offenbarungen, Kapitel Zwei

Display More

MarkusE · October 9, 2025 at 5:53 PM

Also, falls ich eplists Daten in tvscraper nutzen würde, würde es dann genügen, die eplists Daten nur zu lesen?

Oder müsste ich auch die Möglichkeit zum Ergänzen / Ändern von eplists Daten mit einbauen?

kfb77 · October 9, 2025 at 6:02 PM

Nur lesen, die Seite hat eine Web Oberfläche zum manuellen Ergänzen der Daten.

Eine Diskussion über das Script von MegaV0lt gibt es hier:

Post

RE: Skript zum Parsen von fernsehserien.de

Ja ich hab das auch offline mit Mike Constabel besprochen: es ist in keinem Fall gewüscht hier automatisch ungeprüft Content hochzuladen was den Gemeinwohl der Gemeinschafft stört, er behält sich vor diese Useraccounts zu sperren. Es ist ja auch nicht so das fernsehserien.de die allgemeingültige Wahrheit darstellt, oft findet man die wenn man zwei oder drei webseiten querlist. Da ist es schon beschämend wenn jemand mit roher Gewalt diesen Kontent eigennützig wegbügelt.

Das mit den en Dateien ist…

CKone

June 27, 2015 at 12:35 PM

MegaV0lt · October 9, 2025 at 6:03 PM

Ich denke lesen würde reichen. Falls das eingebaut wird, könnte ma das einstellbar machen? In der Art von 'eplists nutzen, eplists priorisieren'

MarkusE · October 9, 2025 at 7:09 PM

Ich könnte 'https://www.eplists.de/eplists_full_utf8.cgi?action=dutf' einmal täglich herunterladen, entpacken, parsen und die Daten in meine Datenbanken laden. Ist das so gedacht oder gibt es da eine API, mit der ich z.B. die Daten nur einer Serie herunterladen kann? Falls ja, wo gibt es Dokumentation zu dieser API?
Sind alle Episodennamen deutsch (also wie von deutschen Sendern im EPG benannt), oder gibt es auch englische / andere Sprachen? Wie erkenne ich, welcher Episodenname in welcher Sprache ist, bzw. finde heraus, ob auch englische Episodennamen gepflegt sind?
Wenn ich den deutschen Namen einer Serie auf https://thetvdb.com gefunden habe, z.B. "Doctor Who (2005)", wir finde ich dann den Namen der Serie in eplists heraus?

nobanzai · October 9, 2025 at 7:20 PM

Womöglich hilft da der Sourcecode von EPGD weiter?
Ansonsten sieht das so aus (https://www.eplists.de/eplist.cgi?act…le=Doctor%20Who

Code

# Die neuen Staffeln (ab 2005) auf Pro7 entsprechen
# den Staffeln 27 und 28.
# Leider laesst sich das "komische" Format der alten Folgen
# in diesem Listenformat nicht abbilden.
#
# SEASONLIST
# 1	1	14
# 2	15	28
# 3	29	42
# 4	43	60
# 5	61	74
# 6	75	88
# 7	89	104
# 8	105	117
# 9	118	130
# 10	131	144
# 11	145	155
# 12	156	166
# 13	168	176
# /SEASONLIST
#
#SE	EP	No.	Title
#
# 01. Season
01	1	1	Rose
01	2	2	Das Ende der Welt
01	3	3	Die rastlosen Toten
01	4	4	Aliens in London
01	5	5	Der Dritte Weltkrieg
01	6	6	Dalek
01	7	7	Langzeitstrategie
01	8	8	Vatertag
01	9	9	Das leere Kind
01	10	10	Der Doktor tanzt
01	11	11	Der Spalt
01	12	12	Böser Wolf
01	13	13	Getrennte Wege
01	14	14	Die Weihnachtsinvasion
01	14	14	Die Weihnachtsinvasion (Weihnachtsspecial 2005)	#alternative

Display More

Alternative Namen von Folgen, auch in anderen Sprachen, werden als "#alternative" markiert - sieht man beim o.a. Link u.a. ganz unten in der letzten Staffel.
Das Format ist schon etwas strange, zumal Zeilen mit Kommentarzeichen teilweise Bedeutung haben.
Der Teil SEASONLIST muss z.B. trotz Kommentarzeichen die richtigen Anzahlen an Folgen per Season enthalten.

[tvscraper] falsche Zuordnung Untertitel/Staffel/Folge

kfb77 September 30, 2025 at 3:40 PM

RE: Skript zum Parsen von fernsehserien.de

Participate now!

kfb77 September 30, 2025 at 3:40 PM

RE: Skript zum Parsen von fernsehserien.de

Participate now!

kfb77 September 30, 2025 at 3:40 PM