tvmovie2vdr mit UTF-8

mhmm --- langsam zweifle ich an meinem Verstand

habe die 3 Patches von MSchiff angewandt. Anschließend alle Downloadfiles gelöscht und tvm2vdr gestartet.

Manches haut nun hin, manches nicht. 2 Beispiele angehängt. Die selbe Sendung einmal in xxv, einmal in vdradmin ...

Und nun ?

mit den 3 patches bekomme ich alles richtig, bis auf das hochkomma (')

aber ein weiteres Problem tut sich auf:
der EPG-Text in den mit vdrconvert erzeugten DVD-Menüs sind total verhauen.

ich nutze runvdr und /etc/sysconfig/vdr original von opensuse11,
den VDR 1.6.0-1 selbst drüberkompiliert.

im runvdr selbst ist keine explizite UTF-8 exportiert, denke das ist bei vdr 1.6 auch nicht mehr notwendig?

Den Apostroph-Fehler habe ich übrigens auch. Da hatte ich wohl vorher nicht richtig hingeschaut oder es tritt tatsächlich nicht immer auf.

Ich bin auf der Suche nach dem Grund...

Hallo nochmal,

Der Fehler liegt scheinbar in den XML-Dateien die aus dem Netz kommen. Dieses Apostroph ist kein 7- oder 8-Bit Zeichen, sondern ein Multibyte-Zeichen: hex: e2 80 99

Und somit ist es definitiv kein normales Hochkomma wie auf Shift-# wie man vermuten könnte.

Dort befinden sich also UTF-8 Multibyte-Zeichen in den Dateien, die dort definitiv nicht hingehören.

Alles was mir dazu einfällt ist: Es muss etwas code in tvm2vdr geben, der solche Fehler fixt.

Ein generischer Ansatz fällt mir dazu nicht ein. Ich denke es geht nur über statische fixups. Hoffentlich halten sich solche "bugs" in Zukunft dann in Grenzen.

Hat jemand ne bessere Idee?

Ich habe dazu in der /usr/share/vdr-addon-tvmovie2vdr/helperfunc in sub xmltvtranslate ab Zeile 498 mal folgendes eingefügt:

# fixups for encoding bugs in xml source files
# multibyte "’" -> "'"
$line=~s/\xe2\x80\x99/'/g;

Wenn man dann vdr stoppt, die epg.data löscht, vdr wieder startet und dann den tvm2vdr neu laufen läßt (als vdr user!), sieht das Hochkomma wieder richtig aus.

Meine komplette neue helperfunc ist anbei (mit gzip gepackt um encoding Problemen beim Transport zu entgehen ;-))

Die Datei einfach auf den VDR kopieren und dann so installieren:

(als root):

vdr:~# gunzip -c helperfunc.gz > /usr/share/vdr-addon-tvmovie2vdr/helperfunc

Gruß
-Marc

Es ist nicht nur der Apostroph, sondern auch Sonderzeichen wie das … betroffen. Ich habe mir den Patch von mschiff genauer angeschaut und das "Problem gefunden". In der tvmoviefetch wird $event nach UTF-8 konvertiert. Allerdings geschieht dies vor dem Ersetzen diverser "Sonderzeichen".

Wenn man die UTF-8 Konvertierungszeile hinter die Ersetzungsregeln der Zeichen verschiebt, klappt es auch mit dem ' oder dem …

Ich habe den "Patch für den Patch" hier angehangen. Erst die drei Patches von mschiff einspielen und dann meinen.

Viel Spaß damit!

Grüße
Michi

mschiff: Hehe, kurz bevor du geantwortet hast, hab ich meinen Patch noch getestet und hier angefangen den Text zu verfassen Deinen Post habe ich erst nach meinem gelesen.

Ich hab mir das EPG ein bisserl durchgeschaut und konnte mit meinem Patch keine fehlerhaften Zeichen mehr entdecken.

Grüße
Michi

Oh, gut gesehn, danke für den fix!

Allerdings frage ich mich gerade ob man denn wohl überhaupt noch die einzelnen Zeichen umwandeln muss wenn wir jetzt eh UTF8 verwenden?

Allerdings wäre das für diese Zeichen sehr "hackish", denn man müsste die Zeichen nachwievor behandeln, weil sie ja fälschlicherweise in den XML-Files auftauchen...

Gruß
-Marc

danke für die Patches. ich hab allerdings immer noch keine Umlaute ... what the f..k is this ?

sigiberlin:

Vielleicht solltest du nochmal von vorne anfangen....

* Ist dein System wirklich auf UTF-8 eingestellt?
* tvm2vdr nochmal ganz neu installieren und dann die Patches anwenden (Die drei, die ich zusammen gepostet hab und das von skiller2k1 von gestern abend.
* vdr stoppen
* epg.data löschen
* vdr starten
* tvm2vdr laufen lassen (als vdr user!)

Gruß
-Marc

Quote

Original von sigiberlin
danke für die Patches. ich hab allerdings immer noch keine Umlaute ... what the f..k is this ?

Wie sieht denn dein Setup aus? Ich habe vdr-1.6.0 und starte ihn mit VDR_LANG="de_DE.utf8".

Grüße
Michi

hab tvm2vdr schon mehrmals neu aufgespielt ... im Moment ist die ungepatchte Version drauf, und da sind die EPG-Daten noch am besten zu lesen ...

meine /etc/init.d/runvdr beinhaltet

export LANG = "de_DE.UTF-8"
export VDR_LANG = "de_DE.UTF-8"

ich hatte da auch schon mal "de_DE.UTF8" zu stehen, also ohne Bindestrich. das selbe Ergebnis ...

Quote

Original von sigiberlin
ich hatte da auch schon mal "de_DE.UTF8" zu stehen, also ohne Bindestrich. das selbe Ergebnis ...

Was sagt denn locale -a? Stimmt das mit dem UTF Eintrag davon überein?

Grüße
Michi

locale -a sagt:

C
de_AT.utf8
...
de_DE.utf8
...

Quote

Original von sigiberlin
de_DE.utf8

Und VDR sagt beim starten sowas wie "vdr: [16427] codeset is 'UTF-8' - known"? Trage die Zeile mal korrekt so in deine runvdr ein wie es locale -a ausspuckt.

Grüße
Michi

muß ich warten - aktuelle Aufnahme läuft bis 12:10, nächste startet 12:20 ...

ok, und dann aber die gepatchte tvm2vdr-Version, oder ? is mal jemand so nett und schickt mir seine (ohne die channels_wanted etc)

Quote

Original von sigiberlin
ok, und dann aber die gepatchte tvm2vdr-Version, oder ? is mal jemand so nett und schickt mir seine (ohne die channels_wanted etc)

Ich kann dir nur die debian-modifizierte tvmovie2vdr Version geben. Die hat diverse Pfad-Anpassungen in der tvm2vdr (Einfach an dein System anpassen). Hab sie mal angehangen. Ist gepatcht mit den mschiff Änderungen und meinem Apostroph-Fix.

Grüße
Michi

läuft grade. nach der Mittagspause weiß ich mehr. erstmal: Danke !!

also im OSM und in vdradmin siehts schon mal spitze aus ! xxv lädt grade neu, da weiß ichs noch nicht ...

Danke !!!!

edit:

in xxv siehts noch nicht so rosig aus. Hab mal ein Beispiel angehängt ..

Quote

Original von sigiberlin
in xxv siehts noch nicht so rosig aus. Hab mal ein Beispiel angehängt ..

Scheint dein Problem von hier zu sein. Bei mir passt es sowohl im OSD, als auch im Live-Plugin perfekt.

Grüße
Michi

EDIT: Im VDR-Admin mit UTF-8 Einstellung in den Optionen auch keinerlei Probleme.

das mag wohl sein ... also mal UTF-8 in utf8 geändert, xxv neu gestartet und nun abwarten...