epgd ( 0.3.2 ) scraper will nicht mehr

Hallo zusammen,

mir ist gestern auch aufgefallen, dass etwas nicht mehr stimmt.
Am markantesten ist es mir bei ARD/ZDF/WDR aufgefallen, wo gar kein EPG oder nur ein paar Einträge (jetzt/nächste/ab ein paar Stunden) im VDR ankommen.
Habe dann epg2vdr und epgd auf aktuellen git-Stand gebracht, aber das Problem blieb.
In der DB sind jedoch augenscheinlich alle Einträge für ARD (als Beispiel, andere Sender gleich bzw. ähnlich) vorhanden. Es wird trotz "merge=1" nicht ins VDR aufgenommen.

Bin gestern auf keinen grünen Zweig gekommen und lade daher erst einmal das epg2vdr-Plugin nicht mehr mit. So habe ich wenigstens das DVB-EPG.

Viele Grüße,
Chriss

Ich habe heute morgen noch mal "frische" tvm.xmls geladen und mal eins mit xmltproc und dem tvm.xslt transformiert.

Ergebnis:

<?xml version="1.0"?>
<events xmlns="http://www.w3.org/TR/xhtml1/strict" xmlns:date="http://exslt.org/dates-and-times">
	<event id="90114799">
		<starttime>NaN</starttime>
		<duration>1800</duration>
		<title>Olaf verbessert die Welt</title>
		<shorttext>Die Schubert-Show!</shorttext>
		<year>2016</year>
		<country>D</country>
		<category>Kabarett</category>
		<genre>Kabarett</genre>
		<shortreview>"Lass uns gehen" - aber bitte erst nach der Show</shortreview>
		<longdescription>Zum Thema Schönheit macht sich Olaf Schubert Gedanken und hat passende Gäste eingeladen: die hübschen Jungs von Revolverheld und den hinreißenden Jürgen von der Lippe.</longdescription>
		<parentalrating>0</parentalrating>
		<moderator>Olaf Schubert</moderator>
		<actor>Revolverheld (Gast), Jürgen von der Lippe (Gast)</actor>
	</event>

Problem scheint zu sein, dass er die starttime nicht mehr berechnen kann, daher ist die dann nach dem laden in der DB auch "0".

Mach das gleiche doch nochmal, nach dem Du im xsl

<xsl:variable name="curYear" select="substring(//Sendung/Beginn,1,4)" />

auf

<xsl:variable name="curYear" select="substring(//Sendung/Beginn,7,4)" />

geändert hast. Würde mich mal interessieren.

EDIT: Geht anscheinend nicht, zumindest wenn ich xsltproc laufen lasse.

Zitat von TheChief

Mach das gleiche doch nochmal, nach dem Du im xsl

<xsl:variable name="curYear" select="substring(//Sendung/Beginn,1,4)" />

auf

<xsl:variable name="curYear" select="substring(//Sendung/Beginn,7,4)" />

geändert hast.

Alles anzeigen

Kracht immer noch in date2utc. Die von dir vorgeschlagene Änderung dürfte aber Teil der Lösung sein.

Weisst du, wie das Datum bisher in den Eingansfiles angegeben wurde?

EDIT: Hab mal im Eingansfile auf <Beginn>2016-04-08 01:00:00</Beginn> geändert, dann scheints zu funktionieren

Bin gerade eine Lösung am Testen:

<xsl:template name="date2UTC">
    <xsl:param name="date"/>
    <xsl:variable name="datum" select="substring-before($date, 'T')"/>
    <xsl:variable name="zeit" select="substring-after($date, 'T')"/>
    <xsl:variable name="dd" select="substring($datum,1,2)"/>
    <xsl:variable name="mm" select="substring($datum,4,2)"/>
    <xsl:variable name="yyyy" select="substring($datum,7,4)"/>
    <xsl:variable name="datetime" select="concat($yyyy, '-', $mm, '-', $dd, 'T', $zeit)" />


    <xsl:variable name="tz">
        <xsl:choose>
            <xsl:when test="date:seconds(date:difference($dststart,$datetime)) &gt;= 0 and date:seconds(date:difference($datetime,$dstend)) &gt;= 0">+02:00</xsl:when>
            <xsl:otherwise>+01:00</xsl:otherwise>
        </xsl:choose>
    </xsl:variable>
    <xsl:value-of select="date:seconds(concat($datetime,$tz))"/>
</xsl:template>

Und natürlich oben:

<xsl:variable name="curYear" select="substring(//Sendung/Beginn,7,4)" />

Damit hab ich zumindest mal eine starttime. Eventuell können da aber auch nochmal XSL Profis drüber schauen, denn ich hab immernoch eine Menge mit starttime=0 in der DB. Ob es wirklich funktioniert kann ich erst in ein paar Minuten sagen. Er läd noch fleissig.

EDIT:

root@homeserver:/etc/epgd# epgd-showmerge 
+---------------+--------+
| count(source) | source |
+---------------+--------+
|        119010 | tvm    |
|         29201 | vdr    |
+---------------+--------+
+----------+--------+--------+
| count(*) | source | updflg |
+----------+--------+--------+
|   107988 | tvm    | A      |
|     6726 | tvm    | I      |
|     6888 | vdr    | A      |
|     1554 | vdr    | D      |
|    18246 | vdr    | I      |
|      385 | vdr    | R      |
+----------+--------+--------+

Zumindest hat es geladen, merge läuft noch.

Also zumindestens das Transfomationsergebnis sieht damit gut aus

Gemischte Events sehe ich noch nicht. Im Moment scraped er 25000 Serienepisoden, das dauert...

Hallo,

Zitat von TheChief

Bin gerade eine Lösung am Testen:

Nicht schlecht Herr Specht Cheffe Das sieht sehr, sehr gut aus. Testweise nur Das Erste durchlaufen lassen:

Und im VDR auch alles paletti

Gruß und Dank!
Tomas

wenn die Uhrzeiten der Files in der selben Zeitzone sind wie in den alten dann lass das so - kann Dirk vllt später mal einchecken oder häng doch das angepasste xslt mit dem Verweis auf master kurz hier an.

Kann denn mal jemand mit nem Clickfinder schauen ob der noch geht - wenn nicht könnte man mutmaßen das die Umstellung nur temporär ist...

Danke Leute!

löppt bei mir auch. Alles wieder da

Falls das temporär ist könnte man natürlich in der xsl das Format checken und beide unterstützen.

Tanke auch einmal, das war die Lösung

noch mal zusammengefasst:

im Ordner /etc/epgd/
in der Datei tvmovie.xsl

die Zeile 8

<xsl:variable name="curYear" select="substring(//Sendung/Beginn,1,4)" />

in

<xsl:variable name="curYear" select="substring(//Sendung/Beginn,7,4)" />

ändern

und in Zeile 339 den <xsl:template name="date2UTC">
durch diesen ersetzen

<xsl:template name="date2UTC">
    <xsl:param name="date"/>
    <xsl:variable name="datum" select="substring-before($date, 'T')"/>
    <xsl:variable name="zeit" select="substring-after($date, 'T')"/>
    <xsl:variable name="dd" select="substring($datum,1,2)"/>
    <xsl:variable name="mm" select="substring($datum,4,2)"/>
    <xsl:variable name="yyyy" select="substring($datum,7,4)"/>
    <xsl:variable name="datetime" select="concat($yyyy, '-', $mm, '-', $dd, 'T', $zeit)" />


    <xsl:variable name="tz">
        <xsl:choose>
            <xsl:when test="date:seconds(date:difference($dststart,$datetime)) &gt;= 0 and date:seconds(date:difference($datetime,$dstend)) &gt;= 0">+02:00</xsl:when>
            <xsl:otherwise>+01:00</xsl:otherwise>
        </xsl:choose>
    </xsl:variable>
    <xsl:value-of select="date:seconds(concat($datetime,$tz))"/>
</xsl:template>

Dann sollte nach einem

epgd-dropall

der epgd wieder laufen.

Korrigiert mich bitte wenn es nicht stimmen sollte. Mir ist dabei der gedanke gekommen das es evtl an der Zeitumstellung liegen könnte und man das irgendwie in die xsl mit einbauen könnte/wollte/sollte...

So Long...

Hallöle, hier ist Martha!

Gerade verpasse ich meine Serien(timer), weil der epg vom epgd leer ist
Wie sich das hier liest, habt Ihr ja schon eine Lösung gefunden, aber ich versteh' nicht so recht, welche Dateien ich ändern muss... Gibt's vielleicht auch eine Anleitung für Dummies ?

Danke für Eure Hilfe Ihr Lieben ♥

Euer Martha

Zitat von Bastelmax

Dann sollte nach einem

Code

epgd-dropall

der epgd wieder laufen.

Muss man nicht, wenn schon Daten geladen wurden war das:

delete from fileref where source = 'tvm'

der Tipp im HTTP Branch

Hier gibt es das entsprechende File

Dateien gibt's im Mainthread.

Christian

Oki, Feini

Dann ist ja alles in Butter

Das epgd-dropall hatte ich für die geschrieben die es schnell an der Konsole machen wollen...

So bin ich halt vorgegangen und es lief wieder

So Long...

Hallo

nachdem ich auch nur noch EPG für 3 Tage hab, und TVM nicht ausgewertet wird, habe ich die hier vorgestellte tvmovie.xsl
entsprechend geändert. Nachfolgend ein epgd -dropall. Nun geht bei mir nix mehr

epgd-showmerge zeigt:

root@VDRServer:~# epgd-showmerge
ERROR 1146 (42S02) at line 1: Table 'epg2vdr.events' doesn't exist
ERROR 1146 (42S02) at line 1: Table 'epg2vdr.events' doesn't exist
root@VDRServer:~#

Was kann ich noch machen? ich benutze noch Yavdr 5 von Frodo. Irgenjemand einen heissen Tip ?
EPGD lief hier fast ein Jahr problemlos, bis jetzt.

Gruss Willi

Den epgd (neu-)starten? Dann sollte er die Tabellen wieder anlegen.

Danke, jetzt scheint es erstmal wieder zu funktionieren.

Gruss

wie gesagt, ich weiß nicht warum ihr die Tabellen droppt

leider zu früh gefreut. Das selbe Problem wie vorher. Mein EPG reicht genau 3 Tage. Von TVM werden zwar Daten geladen aber nicht ausgewertet.

Die tvmovie.xsl habe ich, wie oben angegeben, geändert.Diesmal mache ich kein Dropall. Aber ich bin mit meinem Latein am ende.

root@VDRServer:~# epgd-showmerge 
+---------------+---------+ 
| count(source) | source | 
+---------------+---------+ 
| 102038 | epgdata | 
| 341 | tvm | 
| 20154 | vdr | 
+---------------+---------+ 
+----------+---------+--------+ 
| count(*) | source | updflg | 
+----------+---------+--------+ 
| 4889 | epgdata | A | 
| 8521 | epgdata | C | 
| 1007 | epgdata | I | 
| 94 | epgdata | R | 
| 81502 | epgdata | S | 
| 4083 | epgdata | T | 
| 254 | tvm | A | 
| 14 | tvm | C | 
| 45 | tvm | R | 
| 10 | tvm | T | 
| 1588 | vdr | A | 
| 588 | vdr | D | 
| 3716 | vdr | I | 
| 12631 | vdr | L | 
| 211 | vdr | P | 
| 31 | vdr | R | 
+----------+---------+--------+

Gruss Willi