epgd ( 0.3.2 ) scraper will nicht mehr

horchi · 13. April 2016

Hmm TVM scheint das Format wieder zurück geändert zu haben :o

Code

<Sendung>
    <Aktualisierung>0</Aktualisierung>
    <Beginn>2016-04-13 00:10:01</Beginn>
    <Beschreibung>Kitty (Susan Sarandon) ist m<E4>chtig sauer auf ihren Ehemann Nick Murder (James Gandolfini). In seiner W<E4>sche hat sie einen delikaten Brief gefunden, den der Bauarbeiter an die Dessousverk<E4>uferin Tate (Kate Winslet) geschrieben hat. Das gibt m<E4>chtig Zoff.</Beschreibung>
    <Bewertung>3</Bewertung>
    <Bewertungen>Spa<DF>=2;Action=1;Gef<FC>hl=1;Spannung=0;Anspruch=0</Bewertungen>
    <Bilddateiname>7f295770-fcc9-11e5-bb6e-8171797a5686-1.jpg</Bilddateiname>
    <Darsteller>James Gandolfini (Nick Murder);Susan Sarandon (Kitty);Kate Winslet (Tula);Steve Buscemi (Angelo);Bobby Cannavale (Fryburg);Christopher Walken (Cousin Bo);Mandy Moore (Baby);Mary-Louise Parker (Constance);Aida Turturro (Rosebud);Barbara Sukowa (Gracie);John Turturro (Regie);John Turturro (Drehbuch);Tom Stern (Kamera);John Turturro (Produzent)</Darsteller>
    <Dauer>105 min</Dauer>

horchi · 13. April 2016

ja sie haben die Änderung zurück genommen, mit dem alten tvmovie.xsl läuft es wieder!

dxwilli · 13. April 2016

kann jemand die alte tvmovie.xls posten?

horchi · 13. April 2016

Bitteschön.

BTW: Es genügt nach dem stoppen des epgd die Referenzen in fileref zu löschen und den epgd nach dem Start zu triggern:

Code

stop epgd # (oder wie auch immer ... je nach Distribution)
mysql -u epg2vdr -pepg -Depg2vdr --default-character-set=utf8 -e "delete from filref where source = 'tvm';"
start epgd # ( ... je nach Distribution)
killall -HUP epgd

der Rest Zieht sich allen gerade.

Jörg

ofenheizer · 13. April 2016

Jörg, danke für die Info.
Hatte es auch durch Zufall entdeckt, da ich nach einem git pull von heute morgen mit make install wieder die alte *xsl installiert hatte :).

Mal eine blöde Frage ... warum wird denn nach so einer Änderung immer wieder alles neu gescraped? Aktuell wieder über 20000 series episodes? Die sollten doch trotz so einer Änderung bei tvm schon alle in der DB vorhanden sein?

Markus

dxwilli · 13. April 2016

Danke Jörg

nun scheint es erstmal wieder zu laufen, ausser:

Code

pr 13 16:27:20 VDRServer epgd: Request for unexpected field 'numrating', ignoring Apr 13 16:27:20 VDRServer epgd: Ignoring unexpected element Apr 13 16:27:20 VDRServer epgd: Request for unexpected field 'numrating', ignoring Apr 13 16:27:20 VDRServer epgd: Ignoring unexpected element

das kommt nun ständig im Syslog, kannte ich noch nicht. Übrigens, bei dir fehlte in der mysql Zeile ein e in fileref. habs aber gemerkt, gg.

Gruss Willi

SvenS · 13. April 2016

Hi,

gerade neu importiert und kein:

Code

Request for unexpected field 'numrating'

Scheint also irgendwas in deiner Datenbank schief zu sein.

bye
Sven

dxwilli · 13. April 2016

wenn ich wüsste, was

CKone · 13. April 2016

Zitat von dxwilli
Danke Jörg

nun scheint es erstmal wieder zu laufen, ausser:
Code
pr 13 16:27:20 VDRServer epgd: Request for unexpected field 'numrating', ignoring Apr 13 16:27:20 VDRServer epgd: Ignoring unexpected element Apr 13 16:27:20 VDRServer epgd: Request for unexpected field 'numrating', ignoring Apr 13 16:27:20 VDRServer epgd: Ignoring unexpected element
das kommt nun ständig im Syslog, kannte ich noch nicht. Übrigens, bei dir fehlte in der mysql Zeile ein e in fileref. habs aber gemerkt, gg.

Gruss Willi
Alles anzeigen

gehe davon aus das du auf master bist, dieses xsl aber zum http gehört

Christian

horchi · 13. April 2016

zeig mal bitte:

Code

mysql -u epg2vdr -pepg -Depg2vdr --default-character-set=utf8 -e "show create table events"

horchi · 13. April 2016

master ist TOT es lebe der http Branch

CKone · 13. April 2016

Zitat von ofenheizer

Mal eine blöde Frage ... warum wird denn nach so einer Änderung immer wieder alles neu gescraped? Aktuell wieder über 20000 series episodes? Die sollten doch trotz so einer Änderung bei tvm schon alle in der DB vorhanden sein?

weil es hier gar nicht ums downloaden geht sondern darum die notwendigen Verknüpfungen zwischen dem Event und dem scrapcontent zu erstellen. Anders als bei eplists haben wir ja keine Kopie der gesamten theTVdb und themoviedb auf der Platte liegen.

Also es wird nicht wirklich viel runtergeladen aber er muss natürlich trotzdem einmal komplett rüber über die events

Christian

ofenheizer · 13. April 2016

Danke Christian.

TheChief · 13. April 2016

Zitat von CKone

weil es hier gar nicht ums downloaden geht sondern darum die notwendigen Verknüpfungen zwischen dem Event und dem scrapcontent zu erstellen. Anders als bei eplists haben wir ja keine Kopie der gesamten theTVdb und themoviedb auf der Platte liegen.

Also es wird nicht wirklich viel runtergeladen aber er muss natürlich trotzdem einmal komplett rüber über die events

Christian

Aber was dauert daran eigentlich so lange? Aktuell läuft das bei mir schon wieder fast 45min.

Code

Apr 13 17:18:48 homeserver epgd: series episode 5600 / 26718 scraped...continuing scraping
Apr 13 17:18:49 homeserver epgd: series episode 5610 / 26718 scraped...continuing scraping
Apr 13 17:18:51 homeserver epgd: series episode 5620 / 26718 scraped...continuing scraping
Apr 13 17:19:02 homeserver epgd: series episode 5630 / 26718 scraped...continuing scraping
Apr 13 17:19:03 homeserver epgd: series episode 5640 / 26718 scraped...continuing scraping
Apr 13 17:19:04 homeserver epgd: series episode 5650 / 26718 scraped...continuing scraping

louis · 13. April 2016

TheChief: am Schluss siehst du ja auch, wieviel MB runtergeladen worden sind. Wobei es natürlich auch darauf ankommt, wann die Daten in die DB gekommen sind. Es wird ja auch aufgeräumt, falls die entsprechenden Events nicht (mehr) vorhanden sind. Ansonsten würde ja irgendwann die DB platzen...

Ciao Louis

TheChief · 13. April 2016

Hab ja erst vor ein paar Tagen mal gedroppt, als es die Probleme mit tvm gab (aber auch da nicht die scraper-Tabellen angefasst). Heute hab ich nur die tvm-filerefs gelöscht.

Code

Apr 13 18:43:39 homeserver epgd: series episode 15960 / 26718 scraped...continuing scraping

Anscheinend wird alles neu geholt. Ich beobachte mal, wieviele GB es am Ende sind.

dxwilli · 13. April 2016

@ horchi:

Spoiler anzeigen

Last login: Wed Apr 13 14:26:35 2016 from vaio-neu.local
root@VDRServer:~# mysql -u epg2vdr -pepg -Depg2vdr --default-character-set=utf8 -e "show create table events"
+--------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table |
+--------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| events | CREATE TABLE `events` (
`eventid` int(11) unsigned NOT NULL DEFAULT '0',
`channelid` varchar(50) NOT NULL DEFAULT '',
`masterid` int(11) unsigned NOT NULL AUTO_INCREMENT,
`useid` int(11) unsigned DEFAULT NULL,
`source` varchar(10) DEFAULT NULL,
`fileref` varchar(50) DEFAULT NULL,
`inssp` int(10) DEFAULT NULL,
`updsp` int(10) DEFAULT NULL,
`updflg` varchar(1) DEFAULT NULL,
`delflg` varchar(1) DEFAULT NULL,
`tableid` int(2) DEFAULT NULL,
`version` int(3) DEFAULT NULL,
`title` varchar(200) DEFAULT NULL,
`comptitle` varchar(200) DEFAULT NULL,
`shorttext` varchar(300) DEFAULT NULL,
`compshorttext` varchar(300) DEFAULT NULL,
`longdescription` mediumtext,
`starttime` int(10) DEFAULT NULL,
`duration` int(5) DEFAULT NULL,
`parentalrating` int(2) DEFAULT NULL,
`vps` int(10) DEFAULT NULL,
`shortdescription` varchar(3000) DEFAULT NULL,
`actor` varchar(3000) DEFAULT NULL,
`audio` varchar(50) DEFAULT NULL,
`category` varchar(50) DEFAULT NULL,
`country` varchar(50) DEFAULT NULL,
`director` varchar(250) DEFAULT NULL,
`flags` varchar(100) DEFAULT NULL,
`genre` varchar(100) DEFAULT NULL,
`info` text,
`music` varchar(250) DEFAULT NULL,
`producer` text,
`screenplay` varchar(500) DEFAULT NULL,
`shortreview` varchar(500) DEFAULT NULL,
`tipp` varchar(250) DEFAULT NULL,
`topic` varchar(500) DEFAULT NULL,
`year` varchar(10) DEFAULT NULL,
`rating` varchar(250) DEFAULT NULL,
`fsk` varchar(2) DEFAULT NULL,
`movieid` varchar(20) DEFAULT NULL,
`moderator` varchar(250) DEFAULT NULL,
`other` text,
`guest` text,
`camera` text,
`extepnum` int(4) DEFAULT NULL,
`imagecount` int(2) DEFAULT NULL,
`episode` varchar(250) DEFAULT NULL,
`episodepart` varchar(250) DEFAULT NULL,
`episodelang` varchar(3) DEFAULT NULL,
`scrseriesid` int(11) DEFAULT NULL,
`scrseriesepisode` int(11) DEFAULT NULL,
`scrmovieid` int(11) DEFAULT NULL,
`scrsp` int(11) DEFAULT NULL,
PRIMARY KEY (`eventid`,`channelid`),
KEY `masterid` (`masterid`),
KEY `idxcomptitle` (`comptitle`),
KEY `idxsource` (`source`),
KEY `idxfilerefsource` (`fileref`,`source`),
KEY `idxchannelid` (`channelid`),
KEY `idxuseid` (`useid`),
KEY `idxuseidchannelid` (`useid`,`channelid`),
KEY `idxupdflgupdsp` (`updflg`,`updsp`),
KEY `idxsourcechannelid` (`source`,`channelid`),
KEY `idxscrsp` (`scrsp`),
KEY `idxsourceupdsp` (`source`,`updsp`),
KEY `idxscrseriesid` (`scrseriesid`)
) ENGINE=InnoDB AUTO_INCREMENT=409406 DEFAULT CHARSET=utf8 |
+--------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
root@VDRServer:~#

3PO · 13. April 2016

Zitat von horchi

ja sie haben die Änderung zurück genommen, mit dem alten tvmovie.xsl läuft es wieder!

Könnte man nicht eine "Formatprüfung" einbauen, damit man das nicht immer ändern muss?

dxwilli · 13. April 2016

Zitat von horchi

master ist TOT es lebe der http Branch

und woher bekomme ich nun das passende (alte) .xls ?

utiltiy · 13. April 2016

Zitat von dxwilli

und woher bekomme ich nun das passende (alte) .xls ?

Woher hattest du dass vor der Umstellung? Eventuell eine Sicherung?

epgd ( 0.3.2 ) scraper will nicht mehr

Jetzt mitmachen!

Teilen