[Announce] vdr-plugin-tvscraper 1.2

  • Jetzt gehts - er konnte die vdr.pc nicht finden.

    Trotzdem:

    Als Info werden diese Meldungen "highlighted", was leider bei dunkler Schrift auf hellem Background quasi nicht mehr lesbar ist.

    Warum reicht eine normale Anzeige nicht?

    Vor allem sind aktuell

    Code
    start scraping epg
    epg scraping done
    
    und 
    
    schedule for channel EURONEWS GERMAN SD S19.2E-1-1012-6388 is not availible, skipping

    dasselbe Level, was Warnungen wie letztere irgendwie degradiert.

    VDR zwei drei
    • VDR 01 (Server): 2.7.4/6 4 x TT Budget S2-3200
      Plugins: [channellists - control - epgsearch - live - markad - streamdev-server - tvscraper]
    • VDR 02 (Client): 2.6.9 1 x TT Premium S2-6400 (HDMI an TV), 1 x softhddevice (HDMI an TV); TV Grundig 40 VLE 8160 SL; TFT-Display Origen AE 16T
      Plugins: [channellists - control - dvbhddevice - epgsync - graphtftng - mpv - osd2web - osdteletext - skinnopacity - softhddevice - streamdev-client - svdrpservice]
  • > Als Info werden diese Meldungen "highlighted", was leider bei dunkler Schrift auf hellem Background quasi nicht mehr lesbar ist.

    Welches Tool zur Anzeige verwendest Du?

    Code
    schedule for channel EURONEWS GERMAN SD S19.2E-1-1012-6388 is not availible, skipping

    Würde ich jetzt auch nicht überbewerten. Kommt z.B. wenn du in den Einstellungen für EURONEWS scrapen gewählt hast, aber es den Kanal so nicht mehr gibt.

    Client1: ASUS P5QC, Dual Core 3G, Cine S2, Ext. Board von TBE, Xubuntu 20.04, VDR 2.6x

    Client2: RPI3

    Server: RPI4, Sundtek SkyTV Dual 2x

  • > Als Info werden diese Meldungen "highlighted", was leider bei dunkler Schrift auf hellem Background quasi nicht mehr lesbar ist.

    Welches Tool zur Anzeige verwendest Du?

    journalctl in einem xfce4-terminal

    VDR zwei drei
    • VDR 01 (Server): 2.7.4/6 4 x TT Budget S2-3200
      Plugins: [channellists - control - epgsearch - live - markad - streamdev-server - tvscraper]
    • VDR 02 (Client): 2.6.9 1 x TT Premium S2-6400 (HDMI an TV), 1 x softhddevice (HDMI an TV); TV Grundig 40 VLE 8160 SL; TFT-Display Origen AE 16T
      Plugins: [channellists - control - dvbhddevice - epgsync - graphtftng - mpv - osd2web - osdteletext - skinnopacity - softhddevice - streamdev-client - svdrpservice]
  • journalctl ist irgendwie nicht mein Tool.

    Aufgerufen, dann G gedrückt (Ich will ja die neuesten Meldungen sehen).

    Dann 2 min gewartet, dann mit Strg-C die Berechnung der Zeilennummern abgebrochen ...

    Moment, ich habe nicht nur die Berechnung der Zeilennummern abgebrochen, ich habe journalctl beendet :( -

    Also nochmal starten, nochmal G drücken, nochmal warten ...

    Sorry, es muss doch möglich sein, ein solches Tool halbwegs performant zu programmieren ....

    Aber tatsächlich, verschiedene Meldungen werden in verschiedenen Farben angezeigt. Keine Ahnung, woher journalctl weiß, welche Meldung ein Fehler, eine Warnung, ... ist.

    Aber die Farben sind bestimmt einstellbar, bei mir ist das Rot, Grau und Weiß.

    Kann jetzt nicht sein, dass ich das Level meiner Meldungen ändere, nur weil journalctl bestimmte Meldungen nicht so darstellen kann, dass sie lesbar sind.

    Client1: ASUS P5QC, Dual Core 3G, Cine S2, Ext. Board von TBE, Xubuntu 20.04, VDR 2.6x

    Client2: RPI3

    Server: RPI4, Sundtek SkyTV Dual 2x

  • Da kannst auch den direkten Weg über die Syslog gehen.

    Du brauchst dazu ein Format File (z.B. 10-format.conf) in /etc/rsyslog.d, das die Severity mit ins syslog schreibt.

    dann "service restart rsyslogd".

    Damit sieht dann eine Live Meldung im Syslog z.B. so aus:

    Code
    Nov 18 16:37:58 user.err        VDR-2404-Dev    vdr: [203998] live: use ffmpeg.conf file /var/lib/vdr/plugins/live/ffmpeg.conf

    "user.err" zeigt, dass dies als Fehlermeldung ausgegeben wird (könnte man mal bei Gelegenheit auch auf isyslog reduzieren, ist ja kein Fehler).

    Das hat dann auch den Vorteil, dass man direkt im Syslog nach Fehlermeldungen suchen kann.

    VDR

    Server: Ubuntu 24.04 headless VDR im LXC Container, Plugins: satip (Octopus NET SL SX8), live, epgsearch, epg2vdr, markad

    Clients: LibreELEC auf RasPi3 und RasPi 3+

    Edited 3 times, last by kfb77 (November 18, 2024 at 8:10 PM).

  • Also, wenn man natürlich ein Journal sehr lange persistent vorhält und sich dann alles auf einmal anzeigen lässt, dann dauert das ne Weile, das stimmt. Aber im Regelfall macht man das ja nicht, sondern will nur die Meldungen

    - von heute: "alias jct='/usr/bin/journalctl --all --since=today'"

    - oder seit dem letzten Boot: alias jcb='/usr/bin/journalctl --all --boot'

    sehen.

    Oder man sucht nach irgendwas "/usr/bin/journalctl --all --grep blah"

    Dann geht das auch ziemlich schnell mit dem Anzeigen.

    Und wieso Zeilennummern? Was für Zeilennummern und wenn ja, wofür?

    Die Farben kann man nicht einstellen, die sind fix, auch wenn es drei verschiedene "sets" gibt.

    Und wissen tut journalctl die Priority einer Message natürlich aus dem Level, mit dem sie durch journald gelogged worden ist.

    VDR zwei drei
    • VDR 01 (Server): 2.7.4/6 4 x TT Budget S2-3200
      Plugins: [channellists - control - epgsearch - live - markad - streamdev-server - tvscraper]
    • VDR 02 (Client): 2.6.9 1 x TT Premium S2-6400 (HDMI an TV), 1 x softhddevice (HDMI an TV); TV Grundig 40 VLE 8160 SL; TFT-Display Origen AE 16T
      Plugins: [channellists - control - dvbhddevice - epgsync - graphtftng - mpv - osd2web - osdteletext - skinnopacity - softhddevice - streamdev-client - svdrpservice]
  • Aufgerufen, dann G gedrückt (Ich will ja die neuesten Meldungen sehen).

    In dem Fall kannst du es so aufrufen: journalctl -fl - -f sorgt dafür, dass neu eingetrudelte Logeinträge ausgegeben werden und -l verhindert, dass zu lange Zeilen mit eingekürzt werden.

    Meine VDRs

    VDR 1: Intel DH67BL, Celeron 540, 4 GB Ram, POV Geforce GT 1030, Ubuntu 24.04 (yavdr-ansible), VDR 2.7.4, CIR-Empfänger
    VDR 2: Acer Revo 3610, Pinnacle PCTV SAT 452e, Medion X10, yaVDR 0.6
    Client 1: Raspberry Pi 2, Ubuntu 22.04 (yavdr-ansible), VDR 2.6.1

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • Im git ist v1.2.12

    Ich habe so wie im live Plugin das Locking der einzelnen VDR Objekte sichergestellt.

    Client1: ASUS P5QC, Dual Core 3G, Cine S2, Ext. Board von TBE, Xubuntu 20.04, VDR 2.6x

    Client2: RPI3

    Server: RPI4, Sundtek SkyTV Dual 2x

  • Bin noch mit focal unterwegs, alle updates, ESM.

    Analog dem gefixten Problem bei live nun auch hier:

    "msgfmt -c -o po/de_DE.mo po/de_DE.po
    In file included from tvscraper.c:65:
    tools/stringhelpers.h:1669:177: error: ‘multiline’ is not a member of ‘std::regex_constants’"

    und kein Kompilieren mehr.

    Wenn möglich, bittääh anpassen :)

    vdr User #2022 - hdvdr2:

    Lenovo SFF M83, Intel(R) Core(TM) i5-4670S, 32 GB Ram, zram-swap/tmp, ubuntu-focal+ESM, softhdcuvid, ffmpeg-6.1(git)

    ddbridge-6.5 mit 2xDVB-S2 und (Flex) 2xDVB-C/T Tunern, nvidia-GF1050Ti SFF (nvidia-dkms-575.51.02), system SSD btrfs,

    timeshift-btrfs, Video 8TB HDD XFS/cow, yavdr-ansible-2.7.5-seahawk, epgd-git mit plugins, Kernel 6.12.28+dddvb-0.9.41-git

    vdradmin-am-3.6.13-git, vdr-live-ng, vdrmanager (Smartphones als FB)

  • Im git ist jetzt v1.2.13:

    • neues Service Interface, das von live 3.5.0 benötigt wird
    • fehlende Sprachen ergänzt
    • obsolete Einträge aus override_tvs.conf entfernt
    • kleinere Fehlerkorrekturen und Verbesserungen


    Viel Spaß, Markus

    Client1: ASUS P5QC, Dual Core 3G, Cine S2, Ext. Board von TBE, Xubuntu 20.04, VDR 2.6x

    Client2: RPI3

    Server: RPI4, Sundtek SkyTV Dual 2x

  • Die alten Service Interfaces sind nach wie vor drin. 1.2.13 kann also auch mit älteren Versionen von Live verwendet werden.

    Client1: ASUS P5QC, Dual Core 3G, Cine S2, Ext. Board von TBE, Xubuntu 20.04, VDR 2.6x

    Client2: RPI3

    Server: RPI4, Sundtek SkyTV Dual 2x

  • Ich verwende tvscraper (hauptsächlich wegen der Bilder und einiger Kanäle, die es in tvm/tvsp nach IDs nicht zu finden gibtr) zusätzlich zu epgd und einer angepaßten epgsearchuservars.conf in epgsearch.

    Nun erhalte ich - erst nach Ende der Aufnahmen (nicht mehr rot in der "live"-Liste der Aufnahmen) - fast immer eine "doppelt gemoppelte" Angabe der SxxEyy - Angaben, oft auch nur am Ende ein " - S2024E01" oder so ähnlich, auch für Nicht-Serien.

    Manchmal, aber selten, stimmen die am Beginn mittels der epgsearchuservars erzeugten SxxEyy nicht mit denen am Ende überein. Ich lösche die am Ende eigentlich immer.

    Möchte mir das aber ersparen. Mir ist nur nicht klar, wie diese zustandekommen bzw. wenn das tvscraper macht, wie ich das abstellen kann?

    vdr User #2022 - hdvdr2:

    Lenovo SFF M83, Intel(R) Core(TM) i5-4670S, 32 GB Ram, zram-swap/tmp, ubuntu-focal+ESM, softhdcuvid, ffmpeg-6.1(git)

    ddbridge-6.5 mit 2xDVB-S2 und (Flex) 2xDVB-C/T Tunern, nvidia-GF1050Ti SFF (nvidia-dkms-575.51.02), system SSD btrfs,

    timeshift-btrfs, Video 8TB HDD XFS/cow, yavdr-ansible-2.7.5-seahawk, epgd-git mit plugins, Kernel 6.12.28+dddvb-0.9.41-git

    vdradmin-am-3.6.13-git, vdr-live-ng, vdrmanager (Smartphones als FB)

  • Im git ist ein Update. Damit gibt es eine neue Einstellung bei tvscraper: "Episode in das EPG schreiben".

    wmautner , wenn Du das auf "nein" änderst, schreibt tvscraper keine Episoden Informationen mehr in's VDR EPG. Damit sollte das von Dir beschriebene Verhalten nicht mehr auftreten.

    Anmerkung: tvscraper schreibt da z.B.:

    Code
    Name in externer Datenbank: Babylon 5                                                                              
    Name der Episode: Rückkehr der Finsternis                                                                          
    Nummer der Staffel: 2                                                                                              
    Nummer der Episode: 2

    in das EPG. Die SxxEyy werden NICHT von tvscraper erzeugt, das macht vermutlich epgsearch oder epg2vdr.


    Bitte testen.

    Client1: ASUS P5QC, Dual Core 3G, Cine S2, Ext. Board von TBE, Xubuntu 20.04, VDR 2.6x

    Client2: RPI3

    Server: RPI4, Sundtek SkyTV Dual 2x

  • Danke - mach ich noch heute. Interessanterweise werden die Einträge (hinter dem Titel, nicht als Präfix, wie mein epgsearchuservars) erst NACH Beenden der Aufnahme hinzugefügt. Und auch dann, wenn in der Beschreibung weder Kategorie "Serie" noch irgendwas mit Staffel vorkommt. Oft ist die "Staffel" dann einfach eine Jahreszahl.

    Bin ich wirklich der Einzige, bei dem das auftritt? Ja, ich hab epgd UND tvscraper laufen.

    vdr User #2022 - hdvdr2:

    Lenovo SFF M83, Intel(R) Core(TM) i5-4670S, 32 GB Ram, zram-swap/tmp, ubuntu-focal+ESM, softhdcuvid, ffmpeg-6.1(git)

    ddbridge-6.5 mit 2xDVB-S2 und (Flex) 2xDVB-C/T Tunern, nvidia-GF1050Ti SFF (nvidia-dkms-575.51.02), system SSD btrfs,

    timeshift-btrfs, Video 8TB HDD XFS/cow, yavdr-ansible-2.7.5-seahawk, epgd-git mit plugins, Kernel 6.12.28+dddvb-0.9.41-git

    vdradmin-am-3.6.13-git, vdr-live-ng, vdrmanager (Smartphones als FB)

  • > Interessanterweise werden die Einträge (hinter dem Titel, nicht als Präfix, wie mein epgsearchuservars) erst NACH Beenden der Aufnahme hinzugefügt

    Also, tvscraper fügt solche Einträge hinter dem Titel nie hinzu. Egal, welche Einstellungungen verwendet werden, ein solches Feature (ändern Name und/oder Titel einer Aufnahme) ist in tvscraper nicht implementiert.

    Könnte epgsearch sein, oder auch epgd.

    Client1: ASUS P5QC, Dual Core 3G, Cine S2, Ext. Board von TBE, Xubuntu 20.04, VDR 2.6x

    Client2: RPI3

    Server: RPI4, Sundtek SkyTV Dual 2x

  • Könnte epgsearch sein, oder auch epgd.

    Ich verwende nur EpgSearch und kann diesen Effekt nicht bestätigen. Kling also nach epgd

    Hardware: Antec NSK2480, Asus P8B75-M LX, Intel Core i5-3570T, 4 GB RAM, NVIDIA GT610, TT-Premium S2-6400, 128 GB SSD, 14 TB HDD, Pioneer BDR-207EBK
    Software: Ubuntu 22.04 LTS mit Kernel 6.8 und VDR 2.7.5 (mit offiziellen und eigenen Patches)
    Plugins: devstatus, dvbhddevice, dvd, dvdswitch, epgsearch, extrecmenu, recsearch, femon, live, markad, mlist, osdteletext, remote, screenshot, skinnopacity, streamdev, systeminfo, undelete, xineliboutput
    Addons: VDR Convert 0.1.0 (angepasst)

  • Ok, sorry, es hat sich bei mir nichts geändert, SxxEyy NACH ENDE der Aufnahme doppelt, also am Ende nochmal.

    Das spielt es etwa seit November.

    Muß mal sehen, wo die Logs sind, wenn im tvscraper debug eingeschaltet ist.

    Halt, hab's gefunden. Das debug-Log ist nur im Journal und zeigt nix interessantes, aber ein /etc/vdr/scripts/check_recordings macht das. Hab es auskommentiert.

    vdr User #2022 - hdvdr2:

    Lenovo SFF M83, Intel(R) Core(TM) i5-4670S, 32 GB Ram, zram-swap/tmp, ubuntu-focal+ESM, softhdcuvid, ffmpeg-6.1(git)

    ddbridge-6.5 mit 2xDVB-S2 und (Flex) 2xDVB-C/T Tunern, nvidia-GF1050Ti SFF (nvidia-dkms-575.51.02), system SSD btrfs,

    timeshift-btrfs, Video 8TB HDD XFS/cow, yavdr-ansible-2.7.5-seahawk, epgd-git mit plugins, Kernel 6.12.28+dddvb-0.9.41-git

    vdradmin-am-3.6.13-git, vdr-live-ng, vdrmanager (Smartphones als FB)

    Edited once, last by wmautner (April 21, 2025 at 9:16 PM).

  • > Muß mal sehen, wo die Logs sind, wenn im tvscraper debug eingeschaltet ist.

    Wie gesagt, tvscraper fügt solche Einträge hinter dem Titel nie hinzu.

    Client1: ASUS P5QC, Dual Core 3G, Cine S2, Ext. Board von TBE, Xubuntu 20.04, VDR 2.6x

    Client2: RPI3

    Server: RPI4, Sundtek SkyTV Dual 2x

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!