tvscraper 0.0.5 - overrides

louis · 2. September 2013

Hi,

in der Version 0.0.5 des TVScrapers sind die folgenden Änderungen hinzugekommen:

Code

Version 0.0.5
- Fixed a bug that banner is only filled with path if
  image exists in Filesystem
- str_cut removes ending space
- modification of sophisticated movie search
  also "(" are considered and text is cutted, depending
  if "(" or "-" occur first in search string
- introduced possibility to ignore titles, set scrap
  type and substitute search strings manually. See file
  "conf/override.conf" in source tree for explanation.

Die override.conf aus dem source Tree wird mit einem make install automatisch nach <PLGCONFDIR>/override.conf kopiert. Diese Datei wird vom Plugin dann benutzt. Hier die Syntax:

Code

# -----------------------------------------------------------------
# Usage
# -----------------------------------------------------------------
# ignore EPG Entries or recordings with title "string" completely
# -----------------------------------------------------------------
# ignore;string
# -----------------------------------------------------------------
# define scrap type if type of EPG event or recording with title
# "string" is not detected correctly
# type is either "series" or "movie"
# -----------------------------------------------------------------
# settype;string;type
# -----------------------------------------------------------------
# always substitute search string of EPG event or recording with
# title "string" with "substitution"
# -----------------------------------------------------------------
# substitute;string;substitution
# -----------------------------------------------------------------

Alles anzeigen

Ich habe mal exemplarisch ein paar Eitragungen vorgenommen...wäre cool, wenn ihr das mal ausgiebig testen könntet, ob sich da noch Bugs eingeschlichen haben.

Ciao Louis

FireFly · 2. September 2013

Kannst Du demnächst mal das Interface besser dokumentieren? In service.h stehen ja momentan nur die Strukturen drin, aber man muss dem Service ja Strings schicken, damit er die Strukturen füllt (und weiß welche Struktur er füllen soll). Außerdem hat kls ja empfohlen, dass die Strings eine Versionsnummer enthalten, damit bei Änderungen die Anfragen unterschieden werden können.

louis · 2. September 2013

FireFly: klar kann ich machen, wobei ich dachte, es sei selbsterklärend Eigentlich muss man in den Strukturen nur das cEvent Objekt setzen (egal ob das jetzt aus dem Live EPG oder von cRecInfo einer Aufnahme kommt), der Rest passiert dann von selbst. Die Strings für den Service heissen genau so wie die Struktur selbst.

Das mit den Versionsnummern fand ich irgendwie überflüssig...mal schauen, kann ich ja noch ändern.

Ciao Louis

FireFly · 2. September 2013

Zitat von louis

Eigentlich muss man in den Strukturen nur das cEvent Objekt setzen (egal ob das jetzt aus dem Live EPG oder von cRecInfo einer Aufnahme kommt), der Rest passiert dann von selbst.

Das langt ja schon als Erklärung, einfach als Kommentar in service.h

Zitat von louis

Die Strings für den Service heissen genau so wie die Struktur selbst.

Aha, auch hier würde ein Kommentar in service.h langen. Oder besser einen String mit #define anlegen? So hab ich es gemacht, dann kann man im Plugin direkt die Konstante nehmen und brauch im Quelltext nix ändern

Zitat von louis

Das mit den Versionsnummern fand ich irgendwie überflüssig...mal schauen, kann ich ja noch ändern.

Solange sich die Strukturen nicht ändern isses ja ok. Bei nem API-Update kann man dann ja _v1_1 dranhängen

TheChief · 2. September 2013

Irgendwas stimmt da noch nicht. Beim scrapen des Videoverzeichnisses schmiert mir der VDR ab, immer beim gleichen Film.

Code

Core was generated by `/usr/local/bin/vdr -u root -g /tmp -c /etc/vdr -v /video0 -E /var/cache/vdr/epg'.
Program terminated with signal 6, Aborted.
#0  0x00007fb2a27f0475 in raise () from /lib/x86_64-linux-gnu/libc.so.6
(gdb) bt
#0  0x00007fb2a27f0475 in raise () from /lib/x86_64-linux-gnu/libc.so.6
#1  0x00007fb2a27f3675 in abort () from /lib/x86_64-linux-gnu/libc.so.6
#2  0x00007fb2a304589d in __gnu_cxx::__verbose_terminate_handler() () from /usr/lib/x86_64-linux-gnu/libstdc++.so.6
#3  0x00007fb2a3043996 in ?? () from /usr/lib/x86_64-linux-gnu/libstdc++.so.6
#4  0x00007fb2a30439c3 in std::terminate() () from /usr/lib/x86_64-linux-gnu/libstdc++.so.6
#5  0x00007fb2a3043bee in __cxa_throw () from /usr/lib/x86_64-linux-gnu/libstdc++.so.6
#6  0x00007fb2a30954fd in std::__throw_logic_error(char const*) () from /usr/lib/x86_64-linux-gnu/libstdc++.so.6
#7  0x00007fb2a30a13f9 in char* std::string::_S_construct<char const*>(char const*, char const*, std::allocator<char> const&, std::forward_iterator_tag) () from /usr/lib/x86_64-linux-gnu/libstdc++.so.6
#8  0x00007fb2a30a1463 in std::basic_string<char, std::char_traits<char>, std::allocator<char> >::basic_string(char const*, std::allocator<char> const&) () from /usr/lib/x86_64-linux-gnu/libstdc++.so.6
#9  0x00007fb29051f99f in cTVScraperWorker::GetScrapType (this=this@entry=0x7fb2880fdc00, event=event@entry=0x41a0700)
    at worker.c:82
#10 0x00007fb29052820e in cTVScraperWorker::ScrapRecordings (this=this@entry=0x7fb2880fdc00) at worker.c:161
#11 0x00007fb290528808 in cTVScraperWorker::Action (this=0x7fb2880fdc00) at worker.c:228
#12 0x000000000050c22d in cThread::StartThread (Thread=0x7fb2880fdc00) at thread.c:262
#13 0x00007fb2a3dd3b50 in start_thread () from /lib/x86_64-linux-gnu/libpthread.so.0
#14 0x00007fb2a2898a7d in clone () from /lib/x86_64-linux-gnu/libc.so.6
#15 0x0000000000000000 in ?? ()

Alles anzeigen

Vielleicht siehst Du ja woran es liegt.

Hier noch die Film Info

Code

C S19.2E-1-1051-28724 arte
E 486681 1226104800 4200 0 FF
T Heimatfilm
D Spielfilm/Drama, 2008|||Kurzkritik: Krasse Milieustudie, top gespielt||Thrill ** / Gefühl ** / Anspruch * / tv14-Allgemein *** / tv14-Anspruch * / tv14-Thrill * / tv14-Gefühl ** / Allgemein ***||"Heimatfilm" erzählt die Geschichten von Karsten, Till und Steffi. Die Jugendlichen leben in einer Kleinstadt irgendwo in Deutschland. Ihr Alltag ist geprägt von Langeweile, Zigaretten und Alkohol. Die Frustration über mangelnde Zukunftsperspektiven staut sich bei Till immer mehr an und entlädt sich in Aggressionen gegen seinen Chef. Als Steffi eines Nachts nach einem Streit mit ihrem Freund Till den Park verlässt, in dem sie gefeiert haben, ist bei ihm das Maß voll. Zusammen mit Karsten lässt er seiner Wut freien Lauf..|Nach einer wahren Begebenheit erzählt "Heimatfilm" die Geschichte von drei jungen Menschen, 24 Stunden vor einem Verbrechen. In einer ganz normalen deutschen Kleinstadt, die alles dafür tut, eine saubere und blühende Stadt zu sein. Doch auch hier stehen die Menschen vor Problemen, wie sie in ganz Deutschland zu finden sind: Arbeitslosigkeit, Landflucht, Armut, Resignation. Der Film zeigt ein Zustandsmoment kleinstädtischer Banalitäten, gesellschaftlicher Verrohung und einer zutiefst aggressiven Jugendsubkultur. Die Geschichte von Karsten, Till und Steffi gehört zu denen, die jeden Tag überall in Deutschland passieren. Niemand beachtet sie.||Info: Regisseur Christian Klandt ist 1978 in Frankfurt/Oder geboren und in Beeskow aufgewachsen. Seit 2000 lebt und arbeitet er in Berlin. Bis Oktober 2004 absolviert er ein Regiestudium an der Hochschule für Film und Fernsehen "Konrad Wolf" in Potsdam-Babelsberg. Momentan bereitet er seinen ersten abendfüllenden Spielfilm "Weltstadt" vor, in dem die Darsteller von "Heimatfilm" erneut mitwirken.|||Director: Christian Klandt ||Cast: Justus Carriere (Polizist Günter), Hendrik Arnst (Heinrich), Henrike von Kuick (Nadine, Freundin Steffi), Franziska Krumwiede (Mutter Karsten), Veit Lowack (Malermeister), Jürgen A. Verch (Jargo, Obdachloser), Karoline Schuch (Steffi), Herr Knoblich (Bewohner Obdachlosenheim), Heinz Kreitzen (Bewohner Obdachlosenheim), Wilk Müller (Chef Kosmetikstudio), Gerdy Zint (Karsten), Florian Bartholomäi (Till), Ellen Reichert (Kundin Solarium)|Category: Spielfilm|Genre: Drama|Year: 2008|Format: 4:3|
X 2 03 deu 
X 2 03 fra

TheChief · 2. September 2013

override.conf

Code

ignore;Galileo
settype;Tatort;series
settype;Sherlock;series
settype;Columbo;series
settype;Fritz the Cat;movie

iNOB · 2. September 2013

Die hier findet er bei mir nicht:

Code

settype;16 Blocks;movie
settype;Alice im Wunderland;movie
settype;Beim ersten Mal;movie
settype;Crimson Tide - In tiefster Gefahr;movie
settype;Das Vermächtnis der Tempelritter;movie
settype;Das Vermächtnis des geheimen Buches;movie
settype;Denn zum Küssen sind sie da;movie
settype;Der ewige Gärtner;movie
settype;Die Brücke;movie
settype;Die letzte Legion;movie
settype;Die Solomon Brüder;movie
settype;Die Thomas Crown Affäre;movie
settype;Happy Feet (Happy Feet);movie
settype;Harry Potter und der Feuerkelch;movie
settype;Harry Potter und der Orden des Phönix;movie
settype;Hautnah;movie
settype;Hidalgo - 3000 Meilen zum Ruhm;movie
settype;Identität;movie
settype;K-Pax - Alles ist möglich;movie
settype;Krumme Geschäfte (The Last Time);movie
settype;Lucky # Slevin;movie
settype;Merry Christmas;movie
settype;München;movie
settype;Mythos und Wahrheit;movie
settype;Pandorum;movie
settype;Pirates of the Caribbean - Am Ende der Welt;movie
settype;Pirates of the Caribbean - Fluch der Karibik 2;movie
settype;Planet 51;movie
settype;Ratatouille;movie
settype;Sag' kein Wort;movie
settype;Sherlock Holmes;movie
settype;Signs - Zeichen;movie
settype;Stirb langsam 4.0;movie
settype;Sunshine;movie
settype;The 51st State;movie
settype;The King's Speech;movie
settype;The Sentinel - Wem kannst du trauen;movie
settype;Unterfinanziert (Underfunded);movie
settype;Verführung einer Fremden;movie
settype;Voll auf die Nüsse;movie
settype;Von Löwen und Lämmern;movie
settype;Wolkig mit Aussicht auf Fleischbällchen;movie
settype;Zwölf Winter;movie

Alles anzeigen

louis · 2. September 2013

TheChief: kannst du bitte mal das aktuelle Git testen, ob es immer noch crasht?

Ansonsten bitte auch mal das Debug Log vom tvscraper posten, bevor er crasht.

Ciao Louis

louis · 2. September 2013

iNOB: wie ist dein Posting jetzt zu verstehen? Erkennt der tvscraper diese Filme fälschlicherweise als Serie (siehe debug Log)? Oder wie? Die Aufnahmen sind doch sicherlich länger als 75 Minuten, also sollten solche Einträge in der override.conf nicht notwendig sein...

Wenn der scraper nichts zu einem Film findet, schau mal ins debug log, da stehen die genauen Aufrufe für themoviedb.com, damit kannst du ja ein bisschen testen was schiefläuft.

Ciao Louis

louis · 2. September 2013

FireFly: ich habe mal das README im Git um die Beschreibung der Serviceschnitstelle ergänzt. Das sollte so verständlich sein oder?

Ciao Louis

iNOB · 2. September 2013

Ups... dann hab ich das falsch verstanden. Die Genannten erkennt er überhaupt nicht. Weder als Film noch als Serie.

Gruß
iNOB

louis · 2. September 2013

Das sollte aber nicht sein, da müsste er eigentlich fast alles finden...schau doch mal wie oben beschrieben ins Debug Log (im Setup aktivieren).

Ciao Louis

TheChief · 2. September 2013

Also crashen tut es nicht mehr. Dennoch hab ich mit einem Film ein Problem:

X-Men Origins: Wolverine - Extended Version

Den findet er einfach nicht, obwohl es den bei MovieDB gibt. Eventuell ist der Strich kein Bindestrich?

EDIT: Schneidet er eventuell nach dem ersten Strich ab?

BTW: Kann ich ganze Verzeichnisse ignorieren? Privatfilme, Musik, Comedy?

Ansonsten funktionierts super.

louis · 2. September 2013

TheChief: ja da schneidet er nach dem ersten Strich ab...das wäre doch was für substitute in der override.conf

Ganze Verzeichnisse kann man nicht ausblenden.

Ciao Louis

TheChief · 2. September 2013

Wie funktioniert das mit substitute?

Könnte man ganze Verzeichnisse nicht anhand des Dateinamens/-pfad der Aufnahme ignorieren? Dürfte doch nicht so schwer sein.

Vielleicht "ignore;Musik/" und dann im Code den Pfad checken.

louis · 2. September 2013

Zitat von TheChief

Wie funktioniert das mit substitute?

Na oben stehts doch...in deinem Fall:

Code

substitute;X-Men Origins: Wolverine - Extended Version;X-Men Origins: Wolverine

oder so ähnlich

Ciao Louis

TheChief · 2. September 2013

Na mal probieren, danke.

FireFly · 2. September 2013

Zitat von louis

FireFly: ich habe mal das README im Git um die Beschreibung der Serviceschnitstelle ergänzt. Das sollte so verständlich sein oder?

Das muss dicke langen, die allgemeinen Details stehen ja auch in plugins.html. Nur das "retrieve" ist immer falsch geschrieben

Saman · 3. September 2013

Moin,

Zitat von louis

...wäre cool, wenn ihr das mal ausgiebig testen könntet, ob sich da noch Bugs eingeschlichen haben.

hier sieht das gut aus:

Code

Sep  3 11:38:54 yavdr vdr: [4426] tvscraper: substitute "Es war (k)einmal im Märchenland" with "Es war keinmal im Märchenland" because of override.conf
Sep  3 11:38:54 yavdr vdr: [4426] tvscraper: scraping movie "Es war keinmal im Märchenland"
Sep  3 11:38:54 yavdr vdr: [4426] tvscraper: calling api.themoviedb.org/3/search/movie?api_key=abb01b5a277b9c2c60ec0302d83c5ee9&query=Es%20war%20keinmal%20im%20M%C3%A4rchenland&language=de
Sep  3 11:38:56 yavdr vdr: [4426] tvscraper: "Es war keinmal im Märchenland" successfully scraped, id 5393

Code

Sep  3 11:38:58 yavdr vdr: [4426] tvscraper: scraping movie "Aushilfsgangster (Nr.116)"
Sep  3 11:38:58 yavdr vdr: [4426] tvscraper: calling api.themoviedb.org/3/search/movie?api_key=abb01b5a277b9c2c60ec0302d83c5ee9&query=Aushilfsgangster%20%28Nr.116%29&language=de
Sep  3 11:38:58 yavdr vdr: [4426] tvscraper: scraping movie "Aushilfsgangster (Nr.116)"
Sep  3 11:38:58 yavdr vdr: [4426] tvscraper: found cache Aushilfsgangster (Nr.116) => -1
Sep  3 11:38:58 yavdr vdr: [4426] tvscraper: scraping movie "Aushilfsgangster"
Sep  3 11:38:58 yavdr vdr: [4426] tvscraper: calling api.themoviedb.org/3/search/movie?api_key=abb01b5a277b9c2c60ec0302d83c5ee9&query=Aushilfsgangster&language=de

Code

Sep  3 11:51:24 yavdr vdr: [4977] tvscraper: using type 1 for "Der Grüffelo" because of override.conf
Sep  3 11:51:24 yavdr vdr: [4977] tvscraper: scraping movie "Der Grüffelo"
Sep  3 11:51:24 yavdr vdr: [4977] tvscraper: calling api.themoviedb.org/3/search/movie?api_key=abb01b5a277b9c2c60ec0302d83c5ee9&query=Der%20Gr%C3%BCffelo&language=de
Sep  3 11:51:27 yavdr vdr: [4977] tvscraper: "Der Grüffelo" successfully scraped, id 28118
Sep  3 11:51:27 yavdr vdr: [4977] tvscraper: using type 1 for "Das Grüffelokind" because of override.conf
Sep  3 11:51:27 yavdr vdr: [4977] tvscraper: scraping movie "Das Grüffelokind"
Sep  3 11:51:27 yavdr vdr: [4977] tvscraper: calling api.themoviedb.org/3/search/movie?api_key=abb01b5a277b9c2c60ec0302d83c5ee9&query=Das%20Gr%C3%BCffelokind&language=de
Sep  3 11:51:29 yavdr vdr: [4977] tvscraper: "Das Grüffelokind" successfully scraped, id 81684

Gruß S.

louis · 3. September 2013

Saman: cool, danke für die Tests und das Feedback.

PS: Du scrapst ja krasse Sachen..."Der Grüffelo" und "Das Grüffelokind"...hehe, was man nicht alles bei themoviedb findet

Ciao Louis

tvscraper 0.0.5 - overrides

Jetzt mitmachen!

Teilen

Benutzer online in diesem Thema