[Announce] TVScraper 0.0.4

  • Hi,


    ich habe einige kleine Verbesserungen beim Scrapen von Aufnahmen eingebaut:


    Code
    Version 0.0.4
    - Scrap a running recording also if the corresponding
      channel was not scraped already
    - do some more sophisticated search for recordings
      first replace all "-" with " " in rec title
      second remove everything behind "-" in rec title


    Ciao Louis

  • Hallo Loius,


    erstmal vielen Dank für die neue Version.


    Da bei mir das Aufzeichnungverzeichnis zwar gescannt wurde, jedoch keine Daten gefunden wurden,
    habe ich das /var/cache/vdr/plugins/tvscraper/movies und /var/cache/vdr/plugins/tvscraper/series Verzeichnis gelöscht, wie auch die tvscraper.db


    Nach einem Neustart habe ich die Funktionen im Plugin "scrapen" wieder angeworfen, es werden jedoch
    in den beiden o.g. Verzeichnissen keine Dateien erstellt. Die tvscraper.db wird wohl neu erstellt und von
    sqllite gefüttert.


    Es sind mehr Aufzeichnungen im Videoverzeichnis, das scrapen stoppt jedoch früher:

    Code
    08:28:46 ubuntu vdr: [4123] tvscraper: scraping series "Härtetest extrem"
    Sep  1 08:28:46 ubuntu vdr: [4123] tvscraper: calling http://thetvdb.com/api/GetSeries.php?seriesname=H%C3%A4rtetest%20extrem&language=de
    Sep  1 08:28:46 ubuntu vdr: [4123] tvscraper: nothing found for "Härtetest extrem"
    Sep  1 08:28:46 ubuntu vdr: [4123] tvscraper: scraping series "Härtetest extrem"
    Sep  1 08:28:46 ubuntu vdr: [4123] tvscraper: found in cache Härtetest extrem => 0
    Sep  1 08:28:46 ubuntu vdr: [4123] tvscraper: scraping series "Unsere erste gemeinsame Wohnung"
    Sep  1 08:28:46 ubuntu vdr: [4123] tvscraper: calling http://thetvdb.com/api/GetSeries.php?seriesname=Unsere%20erste%20gemeinsame%20Wohnung&language=de
    Sep  1 08:28:47 ubuntu vdr: [4123] tvscraper: nothing found for "Unsere erste gemeinsame Wohnung"


    Mach ich hier einen Gedankenfehler, da nicht "neu" gescrapt wird, oder liegt es an der neu eingefügten Funktion seit
    Version 0.3, dass er schon einmal gescrapte Daten nicht neu einliest ?

    VDR: E-Q5I Gehäuse, Zotac Ion, mit YaUsbIR Einschalter, Easyvdr 3.0, TBS5990
    VDR2: Asrock Q1900-ITX, DD-Octopus, DD-Duoflex S2, Easyvdr 3.5

    2 Mal editiert, zuletzt von Imsadi ()

  • Hi Imsadi,


    ist das das vollständge Log, wenn du dein Aufnahmeverzeichnis scrapst? Generell passt das so erst mal, die Logmeldung


    Code
    Sep  1 08:28:46 ubuntu vdr: [4123] tvscraper: found in cache Härtetest extrem => 0


    sagt, dass "Härtetest extrem" bereits einmal gescrapt war, nichts dafür gefunden wurde und deshalb nicht mehr neu gescrapt wird, da im Cache schon vorhanden. Allerdings sollte schon dein komplettes Aufnahmeverzeichnis durchsucht werden. Wie schaut dein Aufnahmeverzeichnis denn aus?


    Ciao Louis

  • Hallo Louis,


    habe 10 Aufnahmen, die teilweise als Serie aufgenommen sind. Diese scrapt er nicht !


    Das Zweite ist, dass die Datenbank schon einmal gefüllt wurde und er für diese
    Kanäle keinen neuen scrape macht, die Daten (Bilder etc.) wurden manuell aus
    den Verzeichnissen gelöscht. Bedeutet für mich, dass ich die Datenbank löschen muß,
    rein theoretisch.

    VDR: E-Q5I Gehäuse, Zotac Ion, mit YaUsbIR Einschalter, Easyvdr 3.0, TBS5990
    VDR2: Asrock Q1900-ITX, DD-Octopus, DD-Duoflex S2, Easyvdr 3.5

  • Hm,


    du musst erst den VDR stoppen und dann das komplette Verzeichnis /var/cache/vdr/plugins/tvscraper löschen. Wenn du das bei laufendem VDR machst, wird beim beenden die inMemory DB aus /dev/shm/ wieder zurückgesichert...


    Also erst VDR stoppen, dann Verzeichnis /var/cache/vdr/plugins/tvscraper komplett löschen, dann VDR wieder starten und dann neu das Videoverzeichnis scrapen und dann mal die Logausgabe posten.


    Ciao Louis

  • :tup you are the man !


    Das war es, mal sehen, ob die Bilder nun auch im Aufzeichnungsmenü erscheinen.


    Danke sehr !

    VDR: E-Q5I Gehäuse, Zotac Ion, mit YaUsbIR Einschalter, Easyvdr 3.0, TBS5990
    VDR2: Asrock Q1900-ITX, DD-Octopus, DD-Duoflex S2, Easyvdr 3.5

  • Moin Louis,


    ich habe den tvscraper-service im restfulapi-plugin eingebaut http://www.vdr-portal.de/board…ulapi-plugin/#post1158994
    Dabei ist mir aufgefallen das für die Banner immer ein Pfad zuckgegeben wird, auch wenn kein Banner existiert.
    Wie kann ich in restfulapi (über den tvscraper) prüfen, ob ein Banner wirklich existiert?


    Gruß S.

  • Hi,



    Wie kann ich in restfulapi (über den tvscraper) prüfen, ob ein Banner wirklich existiert?


    Zum einen gibt der jeweilige Serviceaufruf nur true zurück, falls für den übergebenen Event ein Eintrag in der Datenbank gefunden wurde. Ein Banner gibt es aber nur für Serien, du musst also noch "tvMediaType == typeSeries" prüfen.


    Ciao Louis

  • Und genau das habe ich gemacht. Das Problem scheint darin zu liegen, das ein Eintrag in der DB existiert, aber kein Banner.

  • Hm, du solltest ja eh immer noch die Existenz des ausgegebenen Bildpfades im Filesystem prüfen.


    Ich hatte zu Begin auch teilweise den Effekt, dass ich fälschlicherweise den 404 Fehler beim Herunterladen eines Bild als Bild gespeichert habe...dann ist die Datei natürlich da, kann aber nicht angezeigt werden. Schau doch mal, ob die anngegebene Datei existiert, und prüfe dann den Inhalt. Wenn da html drinn steht, ist es noch ein Fehler im scraper. Dann bitte die Serie posten, damit ich das mal prüfen kann...


    Ciao Louis

  • Ok, mit:

    Code
    if (mediaInfo.type == typeSeries) {
               bannerPath = (FileSize(mediaInfo.banner.path.c_str()) != -1) ? mediaInfo.banner.path : "";
            }


    kann ich prüfen ob das Banner existiert. Ich fände es aber logischer, wenn das schon im tvscraper passiert (und dann ja nur einmal bei erstellen).


    Die Serie um die es geht ist 'Unsere Ozeane' (ist mit vier Teilen a 43 Minuten gesendet worden).
    Im dazu passenden Verzeichnis gibt es nur poster_0.jpg, auf IMDB gibt es aber noch diveres zu dem Eintrag...

  • Hi,


    stimmt, die Prüfung hatte ich noch vergessen. Ist im Git gefixt. Jetzt wird nur der Pfad ins Banner reingeschrieben, falls es auch im Filesystem existiert.


    De Serie "Unsere Ozeane" gibt es zweimal auf thetvdb.com, einmal mit und einmal ohne Banner. Der tvscraper scapt wohl die ohne Banner...kannste im Log nachverfolgen.


    Ciao Louis

  • Danke, funktioniert jetzt.

  • Hab da noch einen Vorschlag:



    Im Log dazu kommt dann sowas:

    Code
    Sep  1 22:22:05 yavdr vdr: [4853] tvscraper: scraping movie "Aushilfsgangster (Nr.116)"
    Sep  1 22:22:05 yavdr vdr: [4853] tvscraper: calling api.themoviedb.org/3/search/movie?api_key=abb01b5a277b9c2c60ec0302d83c5ee9&query=Aushilfsgangster%20%28Nr.116%29&language=de
    Sep  1 22:22:06 yavdr vdr: [4853] tvscraper: scraping movie "Aushilfsgangster "
    Sep  1 22:22:06 yavdr vdr: [4853] tvscraper: calling api.themoviedb.org/3/search/movie?api_key=abb01b5a277b9c2c60ec0302d83c5ee9&query=Aushilfsgangster%20&language=de


    Damit es richtig schön wird, könnte in str_cut das anhängende Leerzeichen ja noch entfernt werden...

    2 Mal editiert, zuletzt von Saman ()

  • Jo danke, das kann ich noch aufnehmen. Das Leerzeichen am Ende stört zwar nicht, ich kann es aber trotzdem noch rausnehmen.


    Ciao Louis

  • Würde zuerst den Teil in den Klammern löschen und den Test machen, bevor alles nach dem Strich gelöscht wird und geprüft wird....siehe Terminator 2 - Tag der Abrechnung (Directors Cut)

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • Hm, beide Reihenfolgen können richtig oder falsch sein...ich muss dass wohl noch ein bisschen mehr "elaborated" machen ;)


    Ciao Louis

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!