[tvscraper] Fehlende Scrapings

  • Weiteres Fundstück: Game Two steckt mit #Episodennummer im EPG und wird bislang jeweils einzeln mit "Game Two #123" einsortiert und erfolglos zu scrapen versucht. Edit: Gerade bemerkt, dass aktuell überhaupt nur noch ein EPG-Eintrag für die Serie vorhanden ist. Kann also sein, dass das mit das Erkennungsproblem liegt.

    Edited once, last by rüsseltier (December 20, 2023 at 10:16 AM).

  • Hier auch mal 2 Fehler:

    Hi heifisch ,

    ich bräuchte da mehr Informationen. Ein falscher Autotimer bedeutet, dass entweder die Sendung im EPG oder die Aufzeichnung falsch gescraped wurde. Kannst Du das herausfinden und hier posten?

    ~ Markus

    Client1: ASUS P5QC, Dual Core 3G, Cine S2, Ext. Board von TBE, Xubuntu 20.04, VDR 2.6x

    Client2: RPI3

    Server: RPI4, Sundtek SkyTV Dual 2x

  • Na, der tvscraper macht da viel Traffic :)

    Meine Probleme damit:

    - habe alle Autotimer bzw. die Master-Vorlage (vdradmin-am) mit Zeitausschluß zwischen 23:30 und 06:00 versehen. Nur manuell erstellte Timer können das überschreiben. UND die "Verbesserungs"-Timer von tvscraper leider auch.

    - die "Verbesserungs-Timer" ignorieren leider jede Serien-Info (S02E11 - Style, epgsearchuservars.conf). Diese Wiederholungen kommen oft zustande, da das automatische (markad --cut) Schneiden die Aufnahme-Laufzeiten "beeinträchtigt". Und jede Aufnahme mit % beginnen lassen ist auch nicht, schon gar wegen S0xE0y-Sortierung.

    Seltsamerweise enthalten die in der Langbeschreibung auch selten Serien-Infos, beziehen sich aber auf einen S0xE0y-Eintrag.

    Irgendwie schade, daß ich dieses Feature so kaum ausnützen kann und es üblicherweise abschalte.

    vdr User #2022 - hdvdr2:

    Lenovo SFF M83, Intel(R) Core(TM) i5-4670S, 32 GB Ram, zram-swap/tmp, ubuntu-focal+ESM, softhddevice-cuvid, ffmpeg-6.1(git)

    ddbridge-6.5 mit 2xDVB-S2 und (Flex) 2xDVB-C/T Tunern, nvidia-GF1050Ti SFF (nvidia-dkms-565.57.01), System SSD btrfs,

    timeshift-btrfs, Video 8TB HDD XFS/cow, yavdr-ansible-2.7.3-seahawk, epgd-git mit plugins, Kernel 6.12.9+dddvb-0.9.39-git

    vdradmin-am-3.6.13-git, vdr-live-ng, vdrmanager (Smartphones als FB)

  • ich bräuchte da mehr Informationen. Ein falscher Autotimer bedeutet, dass entweder die Sendung im EPG oder die Aufzeichnung falsch gescraped wurde. Kannst Du das herausfinden und hier posten?

    Hallo MarkusE.

    Sorry, dass ich vergessen habe, welche Daten Du benötigst und wie man die beschafft.

    Was brauchst Du noch mal genau und wie holt man das?

    In dem Fall oben stimmt das Scrapping der Aufnahme. Das Scrapping des EPG ist aber falsch.

    Die Sendung 10 vor 10 auf 3sat HD wird als Fast & Furious 10 erkannt.

    Und noch ein Fehler:

    Die Aufnahme Spuren wird korrekt erkannt. Das EPG von arte HD Tracks wird falsch erkannt.

    Gentoo Linux ~ VDR 2.6.9 ~ DD Octopus NET V2 S2 Max - SAT>IP ~ LENOVO ThinkServer TS200V ~ Intel(R) Core(TM) i5 CPU680@3.60GHz ~ 16GB RAM ~ NVIDIA T400

  • Die Sendung 10 vor 10 auf 3sat HD wird als Fast & Furious 10 erkannt.

    Hmm, das ist schon sehr kurios.

    Man müsste mal für 10 vor 10 einen Eintrag bei der TMDB anlegen, dann müsste das aufhören.

    Irgendein Heinzelmännchen hat das mittlerweile getan.

    Code
    Dec 17 15:26:32 vdr vdr: [1563] tvscraper: searchResultTvMovie::log, id: 385687, title: "10 vor 10"
    Dec 17 15:26:32 vdr vdr: [1563] tvscraper: searchResultTvMovie::log, i: 0, match: 0,500000, weight 0,600000, desc: Text
    Dec 17 15:26:32 vdr vdr: [1563] tvscraper: searchResultTvMovie::log, i: 1, match: 1,000000, weight 0,200000, desc: Year
    Dec 17 15:26:32 vdr vdr: [1563] tvscraper: searchResultTvMovie::log, i: 2, match: 0,904738, weight 0,200000, desc: Vote, ..
    Dec 17 15:26:32 vdr vdr: [1563] tvscraper: searchResultTvMovie::log, i: 3, match: 0,122951, weight 0,200000, desc: Duration
    Dec 17 15:26:32 vdr vdr: [1563] tvscraper: searchResultTvMovie::log, i: 4, match: 0,000000, weight 0,300000, desc: Actors
    Dec 17 15:26:32 vdr vdr: [1563] tvscraper: searchResultTvMovie::log, i: 5, match: 0,000000, weight 0,100000, desc: Director Writer
    Dec 17 15:26:32 vdr vdr: [1563] tvscraper: searchResultTvMovie::log, i: 8, match: 1,000000, weight 0,000100, desc: PositionInExternalResult
    Dec 17 15:26:32 vdr vdr: [1563] tvscraper: searchResultTvMovie::log, i: 9, match: 1,000000, weight 0,200000, desc: TranslationAvailable
    Dec 17 15:26:32 vdr vdr: [1563] tvscraper: searchResultTvMovie::log, getMatch(): 0,503104, delim:

    Edited once, last by rüsseltier (December 21, 2023 at 9:42 AM).

  • Bei mir habe ich bemerkt das unter den Serien vereinzelt nicht mehr das entsprechende Bild zur Staffel vorhanden ist.

    Als Beispiel "Neues aus Büttenwarder", von der ich 16 Staffeln habe wird nur noch das Bild von Staffel 1 für alle angezeigt...

    Hard- / Software
    • SatIP-Server / Octopus NET - MINI ITX / Chieftec IX-01B Case / Max8 / DUR-LINE UK 124 - Unicable / 8x DVB-S2
    • Server / Ubuntu 24.04 / seahawk1986 - yaVDR-ansible - 2.7.3 / 6x vtuner / ProLiant ML10 v2 / VmWare-ESXI 7.0.3 / 32 GB RAM / 2x 4TB Raid1
    • Client / Ubuntu 24.04 / seahawk1986 - yaVDR-ansible - 2.7.3 / 2x vtuner / Intel NUC8i3BEH / 16GB RAM / 512GB m.2 SSD / 85" Samsung TV / Denon X3300W AVR
  • Bei mir habe ich bemerkt das unter den Serien vereinzelt nicht mehr das entsprechende Bild zur Staffel vorhanden ist.

    Als Beispiel "Neues aus Büttenwarder", von der ich 16 Staffeln habe wird nur noch das Bild von Staffel 1 für alle angezeigt...

    Füge mal TheTVDB_SeriesID;Neues aus Büttenwarder;81977 in deine override.conf ein und mach ein svdrpsend PLUG tvscraper dels 41108 && svdrpsend PLUG tvscraper delc 'Neues aus Büttenwarder' && systemctl restart vdr && svdrpsend PLUG tvscraper scep.

    Ansonsten holt er sich die Daten wohl neuerdings aus der TMDB, wo alles in eine Staffel gemanscht ist. Man müsste da eine Art Wertung machen, wer von den beiden DBs den qualitativ hochwertigeren Eintrag hat. (Anzahl Bilder, Anzahl Staffeln, Länge/Anzahl Handlungssbeschreibungen...). Oder du ergänzt zärtlich den TMDB-Eintrag.

    Edited 3 times, last by rüsseltier (December 21, 2023 at 2:44 PM).

  • Oha, ich versuchs - diese feine Unterscheidung empfand ich als einen besonderen Pluspunkt von tvscraper... ?(

    Hard- / Software
    • SatIP-Server / Octopus NET - MINI ITX / Chieftec IX-01B Case / Max8 / DUR-LINE UK 124 - Unicable / 8x DVB-S2
    • Server / Ubuntu 24.04 / seahawk1986 - yaVDR-ansible - 2.7.3 / 6x vtuner / ProLiant ML10 v2 / VmWare-ESXI 7.0.3 / 32 GB RAM / 2x 4TB Raid1
    • Client / Ubuntu 24.04 / seahawk1986 - yaVDR-ansible - 2.7.3 / 2x vtuner / Intel NUC8i3BEH / 16GB RAM / 512GB m.2 SSD / 85" Samsung TV / Denon X3300W AVR
  • rüsseltier

    nutzt Du denn tvscraper als Client/Server-Variante oder nur einfach lokal?

    Hard- / Software
    • SatIP-Server / Octopus NET - MINI ITX / Chieftec IX-01B Case / Max8 / DUR-LINE UK 124 - Unicable / 8x DVB-S2
    • Server / Ubuntu 24.04 / seahawk1986 - yaVDR-ansible - 2.7.3 / 6x vtuner / ProLiant ML10 v2 / VmWare-ESXI 7.0.3 / 32 GB RAM / 2x 4TB Raid1
    • Client / Ubuntu 24.04 / seahawk1986 - yaVDR-ansible - 2.7.3 / 2x vtuner / Intel NUC8i3BEH / 16GB RAM / 512GB m.2 SSD / 85" Samsung TV / Denon X3300W AVR
  • Oha, ich versuchs - diese feine Unterscheidung empfand ich als einen besonderen Pluspunkt von tvscraper... ?(

    Das war bisher mehr oder weniger Zufall, dass er sich für die TVDB-Variante entschieden hatte.

    Ich glaube nicht, dass es an den jüngsten Änderungen im TVScraper liegt, eher an dem, was aus den Datenbanken kommt.

    > nutzt Du denn tvscraper als Client/Server-Variante oder nur einfach lokal?

    Nur lokal.

  • Der aktuelle Stand ist für mich nicht mehr interessant. Löcher in der Beschilderung wo bisher immer alles passte und die 'Nacharbeit' brachte keinen Erfolg. Weiterhin als Client/Server-Variante hier nicht nutzbar und nur lokal auf Clients uninteressant - ich steige aus...

    Vielleicht später mal wieder

    Hard- / Software
    • SatIP-Server / Octopus NET - MINI ITX / Chieftec IX-01B Case / Max8 / DUR-LINE UK 124 - Unicable / 8x DVB-S2
    • Server / Ubuntu 24.04 / seahawk1986 - yaVDR-ansible - 2.7.3 / 6x vtuner / ProLiant ML10 v2 / VmWare-ESXI 7.0.3 / 32 GB RAM / 2x 4TB Raid1
    • Client / Ubuntu 24.04 / seahawk1986 - yaVDR-ansible - 2.7.3 / 2x vtuner / Intel NUC8i3BEH / 16GB RAM / 512GB m.2 SSD / 85" Samsung TV / Denon X3300W AVR
  • Im git ist ein Update.

    Ist jetzt noch nicht so richtig gut :( , aber besser als der letzte git Stand :) .

    - Feature: #<zahl> wird analog wie (<zahl>) behandelt

    - Einlesen von runtimes auch aus Episoden von TMDb

    - Update der override.conf, thanks to rüsseltier

    - Neue Datenbanktabelle tv_equal legt das Mapping zwischen den TMDb und TheTVDB ids ab. Wird zur Zeit nur verwendet, um unnötigen Aufwand bein Identifizieren eines Events zu sparen

    - Client / Server: Der Server erkennt nun Fehler beim Kopieren der Daten, und wiederholt das bis zum Erfolg. Möglicherweise ist ein Neustart des Clients notwendig, damit die Daten kopiert werden können.

    TODO:

    - Client / Server: Client darf nicht mehr das Kopieren der Daten vom Server verhindern.

    - Mapping zwischen den TMDb und TheTVDB: Da kann man noch mehr rausholen, z.B. immer die Daten von TheTVDB anzeigen, wenn vorhanden.

    Client1: ASUS P5QC, Dual Core 3G, Cine S2, Ext. Board von TBE, Xubuntu 20.04, VDR 2.6x

    Client2: RPI3

    Server: RPI4, Sundtek SkyTV Dual 2x

    Edited once, last by MarkusE (December 22, 2023 at 9:22 AM).

  • Bei mir habe ich bemerkt das unter den Serien vereinzelt nicht mehr das entsprechende Bild zur Staffel vorhanden ist.

    Als Beispiel "Neues aus Büttenwarder", von der ich 16 Staffeln habe wird nur noch das Bild von Staffel 1 für alle angezeigt...

    Ich denke mal, Ursache ist dass der Treffer aus TMDb und nicht mehr der Treffer aus TheTVDB verwendet wird.

    Vermutlich ist es am Besten, TheTVDB zu verwenden, falls vorhanden.

    Client1: ASUS P5QC, Dual Core 3G, Cine S2, Ext. Board von TBE, Xubuntu 20.04, VDR 2.6x

    Client2: RPI3

    Server: RPI4, Sundtek SkyTV Dual 2x

  • ...das teste ich aber auch noch ;)

    Hard- / Software
    • SatIP-Server / Octopus NET - MINI ITX / Chieftec IX-01B Case / Max8 / DUR-LINE UK 124 - Unicable / 8x DVB-S2
    • Server / Ubuntu 24.04 / seahawk1986 - yaVDR-ansible - 2.7.3 / 6x vtuner / ProLiant ML10 v2 / VmWare-ESXI 7.0.3 / 32 GB RAM / 2x 4TB Raid1
    • Client / Ubuntu 24.04 / seahawk1986 - yaVDR-ansible - 2.7.3 / 2x vtuner / Intel NUC8i3BEH / 16GB RAM / 512GB m.2 SSD / 85" Samsung TV / Denon X3300W AVR
  • Also, bei mir scraped er Brackelmann jetzt (wieder) aus der TVDB (negative ID = TVDB).

    Man sieht aber den nur marginalen Unterschied bei der Bewertung.

    Evtl. war bei Taipan auch kurz mal die TVDB nicht erreichbar.

  • Noch was im Zusammenhang mit dem Scraping von NHK World-JPN:

    Beispiel mit Übersetzung in de und en.

    Trotzdem meint der Scraper, dass TranslationAvailable 0,00000 ist.

    Das Problem zieht sich durchs komplette Programm von NHK.

    Die Eigennamen der Sendungen bleiben in der Übersetzung gleich, aber die Beschreibungen sind übersetzt und sollten für die Bewertung honoriert werden.

    Verwandtes Problem auf arte (API-Key ergänzen)

    Originalsprache is Griechisch, Übersetzungen in DE und EN vorhanden, TranslationAvailable trotzdem 0.

    Edit: Weiterer Fall auf arte (en, fr, de vorhanden).

    Code
    Dec 22 12:16:19 vdr vdr: [2332] tvscraper: searchResultTvMovie::log, id: 1219107, title: "die mittelmeerküche - rezept für ein langes leben?"
    Dec 22 12:16:19 vdr vdr: [2332] tvscraper: searchResultTvMovie::log, i: 0, match: 1,000000, weight 0,600000, desc: Text
    Dec 22 12:16:19 vdr vdr: [2332] tvscraper: searchResultTvMovie::log, i: 1, match: 0,300000, weight 0,200000, desc: Year
    Dec 22 12:16:19 vdr vdr: [2332] tvscraper: searchResultTvMovie::log, i: 2, match: 0,059473, weight 0,200000, desc: Vote, ..
    Dec 22 12:16:19 vdr vdr: [2332] tvscraper: searchResultTvMovie::log, i: 3, match: 0,870901, weight 0,200000, desc: Duration
    Dec 22 12:16:19 vdr vdr: [2332] tvscraper: searchResultTvMovie::log, i: 4, match: 0,000000, weight 0,300000, desc: Actors
    Dec 22 12:16:19 vdr vdr: [2332] tvscraper: searchResultTvMovie::log, i: 5, match: 0,000000, weight 0,100000, desc: Director Writer
    Dec 22 12:16:19 vdr vdr: [2332] tvscraper: searchResultTvMovie::log, i: 8, match: 1,000000, weight 0,000100, desc: PositionInExternalResult
    Dec 22 12:16:19 vdr vdr: [2332] tvscraper: searchResultTvMovie::log, i: 9, match: 0,000000, weight 0,200000, desc: TranslationAvailable
    Dec 22 12:16:19 vdr vdr: [2332] tvscraper: searchResultTvMovie::log, getMatch(): 0,470071, delim:

    Edited once, last by rüsseltier (December 22, 2023 at 2:30 PM).

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!