tvmovie2vdr mit UTF-8

Hat erstmal funktioniert,
aber, das über ein externes Programm die Texte konvertiert werden, hat mich ein wenig gestört, also hab ich mich kurz mal an eine Integrierte Perl Lösung gemacht:

bei Zeile 20 folgendes einfügen

use Encode;

und ab Zeile 208 den Code so ändern

for ($i=0; $i<=$xmlcount ;$i++) {
                doexit() if $please_exit;
                $found_orig_event = 0;
                if ($i <= $epgcount) { # mit bestehenden Daten abgleichen
                        $eline = "@{$EPG{$sender}}[$i]->{event_id} @{$EPG{$sender}}[$i]->{start} @{$EPG{$sender}}[$i]->{duration} 0";
#                      $tline = "@{$EPG{$sender}}[$i]->{title}";
#                      $sline = "@{$EPG{$sender}}[$i]->{subtitle}";
#                      $dline = "@{$EPG{$sender}}[$i]->{summary}";
                        $tline = Encode::encode( "UTF-8", "@{$EPG{$sender}}[$i]->{title}");
                        $sline = Encode::encode( "UTF-8", "@{$EPG{$sender}}[$i]->{subtitle}");
                        $dline = Encode::encode( "UTF-8", "@{$EPG{$sender}}[$i]->{summary}");
                        $vline = "@{$EPG{$sender}}[$i]->{vpsstart}";
                        for ($j=0; $j<=$xmlcount ;$j++) {
                                doexit() if $please_exit;
                                if (   (abs(@{$EPG{$sender}}[$i]->{start}    -  @{$XML{$sender}}[$j]->{start})    < 600)
                                        and (abs(@{$EPG{$sender}}[$i]->{duration} -  @{$XML{$sender}}[$j]->{duration}) < 600)
                                        and (similarity(@{$EPG{$sender}}[$i]->{title},@{$XML{$sender}}[$j]->{title}) >= 0.4)) {

Naja, hab ich mich wohl zu früh gefreut, mit dem Patches an tvm2vdr hab ich jetzt auch Umlaute in den
EPG-Beschreibungen, aber beim EPG-Titel hab ich noch immer diese komischen Kästchen anstatt der Umlaute ???

Hat da jemand ne Idee?

Ist nicht auf meinem Mist gewachsen, aber nach einem Thread hier um Forum, habe ich das Use Encode in die erste Zeile von tvmoviefetch gepackt, dann nach der Zeile 169 (die ursprüngliche Zeile 167, +2 wegen dem Use Encode und einer Leerzeile):

my $tmpwertung=$wertung=$flags=$kurztext=$darsteller=$regie=$tmpdata= "";
                my $summary=$audio=$format=$rate=$infotext=$type="";
                my $imagecounter=0;


=>              Encode::from_to($event, "iso-8859-1", "utf8");


                $event_id = $1%65536            if $event =~ m|<SendungID>(.*?)</SendungID>|;

Läuft bei mir problemlos.

Hallo,
gibts auch eine Loesung fuer die tvinfofetch wegen der Umlaute im epg ?
Gerade getestet mit premiere.start

tvinfo: getting channel start.premiere.de for 28.01.2008 (channel 10/22 - day 9/30)
tvinfo: getting  57664339 (2008-01-28 06:00 SchlagerBox)
tvinfo: getting  57664341 (2008-01-28 07:00 Hitcocktail)
tvinfo: getting  57664343 (2008-01-28 08:00 clip rotation)
tvinfo: getting  57664345 (2008-01-28 10:00 Ein gesegnetes Team)
tvinfo: getting  57664347 (2008-01-28 11:00 Fýhl dich wohl - ý la carte)
tvinfo: getting  57664349 (2008-01-28 12:00 Die Schattenmacher)
tvinfo: getting  57664351 (2008-01-28 14:05 Power Play)
tvinfo: getting  57664354 (2008-01-28 16:00 Kommissar Beck: Zerschlagene Trýume)
tvinfo: getting  57664356 (2008-01-28 17:50 Ein Fall fýr zwei)
tvinfo: getting  57664358 (2008-01-28 18:50 Und týglich grýýt das Erdmýnnchen)

mfg

Quote

Original von Ramirez
Ist nicht auf meinem Mist gewachsen, aber nach einem Thread hier um Forum, habe ich das Use Encode in die erste Zeile von tvmoviefetch gepackt, dann nach der Zeile 169 (die ursprüngliche Zeile 167, +2 wegen dem Use Encode und einer Leerzeile):

Code

my $tmpwertung=$wertung=$flags=$kurztext=$darsteller=$regie=$tmpdata= "";
                my $summary=$audio=$format=$rate=$infotext=$type="";
                my $imagecounter=0;


=>              Encode::from_to($event, "iso-8859-1", "utf8");


                $event_id = $1%65536            if $event =~ m|<SendungID>(.*?)</SendungID>|;

Läuft bei mir problemlos.

Funktioniert bei mir auch. Doch seit dem krieg ich bei enigmang keine epgimages
mehr angezeigt. Der Bilderordner ist aber voll. Ob das an der Zeichenkodierung
liegen kann, weiss ich noch nich.

Moin, Moin

bin kein Programmierer habe sicher beim Patchen einen Fehler gemacht.

1. Habe mir tvmovie2vdr-0.5.14 runtergeladen und entpackt
2. In das Verzeichnis ~/tvmovie2vdr-0.5.14/inc gewechselt und den Patch als utf8.diff gespeichert.

3. Ein patch < utf8.diff ergabe ein

patching file tvmoviefetch
Hunk #1 FAILED at 338.
1 out of 1 hunk FAILED -- saving rejects to file tvmoviefetch.rej

Quote

Hat erstmal funktioniert,
aber, das über ein externes Programm die Texte konvertiert werden, hat mich ein wenig gestört, also hab ich mich kurz mal an eine Integrierte Perl Lösung gemacht:

Externes Programm bezieht sich das nur auf TK/TCL???

Viele Grüße Frank

Quote

Funktioniert bei mir auch. Doch seit dem krieg ich bei enigmang keine epgimages
mehr angezeigt. Der Bilderordner ist aber voll. Ob das an der Zeichenkodierung
liegen kann, weiss ich noch nich.

Hallo,

nutze hier tvmovie2vdr aus dem e-tobi-repository (also 0.5.14). Verwende debian lenny (d.h. perl 5.10.0). Vdr läuft wie das ganze System auf utf-8.
Ich habe den Patch genauso eingebaut (Encode::from_to($event, "iso-8859-1", "utf8");) und er funktioniert manchmal, meistens aber nicht.
Ich kann das weder an bestimmten Sendern oder Umlauten noch an irgendwas anderem festmachen.
Beispiel :
ZDF Sonntag 15.6.2008 :
14:05 Bürger, rettet Eure Städte ! -> alle Umlaute kaputt
20:45 Türkei-Tschechien -> Umlaut heil
Die Detailbeschreibungen sind übrigens in beiden Fällen kaputt.
So ist das überall (geschätzt 10-20% heil, der Rest kaputt).

Kann das irgendjemand bestätigen bzw. nachvollziehen ?
Welche Info braucht es noch ? (In den Logs kann ich nichts Böses feststellen.)

Tschuess..
Michael

Ja hab mit dem Encode::from_to($event, "iso-8859-1", "utf8") das gleiche Problem.
Hab mir ne andere Lösung gebastelt, die das recode von Torsten/WarEagle und das Encode::from_to verwendet. Ist aber noch nicht perfekt gibt noch immer falsche Umlaute.

Moin allerseits,

ich habe an dem Problem letzte Nacht auch mal ein wenig rumgeforscht.

Und zwar hatte ich das Problem, dass die Description Ordnung war, aber im Title und im Subtitle immer Kästchen statt Umlauten oder SZ zu sehn waren.

Irgendwie scheint es so zu sein, dass die Title-Daten doppelt codiert sind bzw in den Quelldaten irgendwas mit der codierung nicht ganz korrekt zu sein scheint, denn wenn man sie doppelt nach utf8 umwandelt (encode("utf8", $data);) dann klappt es mit den *meisten* Daten. Vereinzelte Umlaute sind dann keine Kästechen mehr, sonder sehen so aus als wenn man UTF8 Daten mit einem latin1-Locale anschaut (oder wars umgekehrt? ;))

Also entweder ist da irgendwo ein Bug im Perlcode, der nur speziell den $title/$subtitle betrifft - hab da aber nix gefunden wo das anders behandelt wird als die anderen Daten - oder es muss wirklich noch ein check irgendwo eingebaut werden, der die Daten aus den XML-Files reparieren kann.

Mein "fix" sieht jetzt z.Z so aus, dass ich also den $title und $subtitle doppelt encode und die $description einfach.

Da dies aber m.E. nach kein 100% richtiger Fix sein kann, will ich mir jetzt auch grad nicht die Mühe machen und einen vernünfigen Patch dafür bauen (was bedeutet dass ich auch meine ganzen Test-prints etc rauskicken und aufräumen muss... ;))

Deshalb nur kurze Beschreibung, was ich jetzt, wo geändert hab sodass die EPG Daten ertragbar sind:

Datei "/usr/bin/tvm2vdr"
Dort nach den 6 Zeilen WriteEPG() suchen und oben drüber die codierung der Daten einbauen. Das sieht dann, wenns fertig ist in etwa so aus:

WriteEPG("E $eline");
 $tline = encode("UTF8", "$tline" );
 $tline = encode("UTF8", "$tline" );
 $sline = encode("UTF8", "$sline" );
 $sline = encode("UTF8", "$sline" );
 $dline = encode("UTF8", "$dline" );
 WriteEPG("T $tline" );
 WriteEPG("S $sline") if ($sline ne "");
 WriteEPG("D $dline") if ($dline ne "");
 WriteEPG("V $vline") if ($vline ne "");
 WriteEPG("e");

Wollte den zwischen stanbd nur mal hier abladen, vielleicht kommt damit ja jemand anders wieder ein Stück weiter...

Hallo,

Ich habe das Ganze jetzt noch mal genauer untersucht, und herausgefunden, dass die
Umlaute in den download-Dateien heil sind, wenn ich den Patch von Torsten/Warhammer
verwende. Danach gehen sie aber irgendwo wieder kaputt !

Ich konnte den Effekt dann auf die Methode makeEPGevent in der Datei helperfunc
eingegrenzen und durch Ändern von Zeilen wie
- my $title = pack "U0C*", unpack "C*", shift; -
in
- my $title = shift; -
(und analog alle anderen Parameter) erfolgreich korrigieren.
Jedenfalls sind jetzt alle Umlaute heil

Ich kenne mich aber nicht genug in perl aus, um beurteilen zu können, was mit
pack/unpack eigentlich genau bezweckt wurde und somit auch, ob sich evtl.
negative Seiteneffekte durch meine Änderungen ergeben könnten.

Ein Vergleichssystem mit Debian etch statt lenny und somit perl 5.8 statt 5.10
zeigt dieses Verhalten nicht (gleiche Version vdr und tvmovie2vdr, ebenfalls System
und vdr auf utf-8 eingestellt). Dort funktioniert der Patch auch ohne meine
Anpassungen.

Nochmal mangelndes Wissen meinerseits : Ob das Problem debianspezifisch ist oder
generell perl 5.10 betrifft, weiss ich nicht !

Randbermerkungen :

Wenn man cron-gesteuert das Skript aufruft, sollte man unbedingt auch crongesteuert
den Ordner downloadfiles komplett leeren, da ein erneutes Anwenden von recode die
Daten zerstört.

Der Recode-Patch verträgt sich m.E. nicht mit der Option $useupdate, da die Dateien
im Ordner downloadupdatefiles nicht recodet werden und deshalb defekt bleiben.
Das ergibt dann in der Folge schwer reproduzierbare Effekte.

Tschuess..
Michael

Hi,

bin zwar nicht sicher, ob es die perl Version 5.10 aber mit dem Wechsel der Version haben die Probleme erst begonnen.

Ich werd mal deinen fix testen, und testen ob man nicht doch wieder Encode::from_to verwenden kann.

Hallo,

was das pack / unpack genau machen soll, hab ich mich auch schon gefragt. Und es einfach mal rauszunehmen war ne sehr gute Idee, ALT255!

Ich habe jetzt diese pack/unpack Klamotten auch mal komplett entfernt, die Dateien selbst nach UTF8 konvertiert und einen recode Aufruf für $event eingebaut.

Klappt bei mir auf Debian etch mit e-tobi Paketen (1.6.0) und vdr-addon-tvmovie2vdr 0.5.14-1 jetzt perfekt!

Gruß
-Marc

bei mir geht es nur wenn ich diese zeile:
$event = encode("UTF8", $event);
aus tvmoviefetch auskommentiere!

ich würde es begrüßen wenn tvmovie2vdr, direkt in den vdr wandert - vorteil: schneller, keine svdrp probleme.

danke, gruss, onur

Hallo Onur,

dann hast du entweder kein UTF8 System oder noch an einer anderen Stelle einen Hack eingebaut der die Daten der XML-Files schon vorher konvertiert.

mschiff

War nicht meine Arbeit, war die von panik105.

Konvertierst du die xml files jetzt noch nach utf-8 oder lässt du sie in ISO-8859-1 und der encode Aufruf für $event reicht ?

Hallo ALT255,

ok dann danke an panik105, hab mich da wohl vertan

Die XML Files *dürfen* nicht vorher konvertiert werden sonst ist das konvertieren doppelt und man hat wieder Müll statt Umlauten. Also wirklich nur diese drei Diff's auf die Original Dateien anwenden und sonst *nichts* ändern bzw anderes einbauen.

Gruß
-mschiff

Mit den 3 Patches von mschiff sehen die "normalen" Sonderzeichen (äöüß) gut in Titel, Episode und Description gut aus.

Allerdings geht dies Sache beim Apostroph (' über #, kein Accent-irgendwas) zumindest bei Pro7 schief (eg. Grey's Anaotmy, What's up Dad), dort wird aus dem Apostroph im VDR die Zeichenfolge "â(Pfeil gegen den Urzeigersinn)(Kästchen)", während bei RTL "Doctor's Diary" richtig angezeigt wird.

hm, seltsam. Bei mir sehen auch diese Sendungen sauber aus. Hast du evtl an einer anderen Stelle noch einen "alten" Hack vergessen zu entfernen oder so etwas?

Komisch daran ist, dass doch das apostroph garkein sonderzeichen ist. Zumindest das normale ' ist ascii 0x27 (bzw ascii 39 (dec) oder 047 (oct))

Was an an meinen patches noch fehlt, ist eien Abfrage, ob das System überhaupt auf UTF-8 läuft und das recode wegzulassen wenn dies nicht der Fall ist, dann könnten die patches auch upstream aufgenommen werden.

Sledge Hammer: Aber das wird nicht dein Problem sein , denke ich.

Also das Apostroph problem hab ich auch,
Aber das kommt vermutlich von der Quote problematik.
Denn die Maskierung solcher Zeichen haben wir ja entfernt.