Tester gesucht: XXV und UTF-8

Hulk,

naja, solche fixes solltest Du nicht anbieten wenn Du davon nicht überzeugt bist.
Wenn sein System nicht richtig eingestellt ist, sollte das nicht das Problem von XXV sein.

Ich hab in der Gentoo Section das oben im vdr-1.6 Ankündigungstread verlinkt auf einen Artikel von mir auf der gentoo-vdr ML wie das richtig einzustellen ist.

Zudem seh ich es wenn user bei uns im IRC #gentoo-vdr nachfragen, die kommen alle mit falschen locale Sytemsettings daher.
vdradmin-am läuft auch nicht mit falschem Setting, Rattenschwanz ohne Ende....

Also ich bin mir ziemlich sicher das mein System UTF8 koreckt unterstützt. Hatte das zugegebener maßen schon recht frühzeitig auf all meinen Rechnern eingerichtet und damit mehr als genug Probleme (z.b. Umbenennen von aufnahmen).

Sicher ist neben dem de_DE.utf8 auch noch die anderen Profiele vorhanden aber die dürfen doch nicht stören oder?
Also das ganze sieht so aus:

vdrserv ~ # locale
LANG=de_DE.utf8
LC_CTYPE="de_DE.utf8"
LC_NUMERIC="de_DE.utf8"
LC_TIME="de_DE.utf8"
LC_COLLATE="de_DE.utf8"
LC_MONETARY="de_DE.utf8"
LC_MESSAGES="de_DE.utf8"
LC_PAPER="de_DE.utf8"
LC_NAME="de_DE.utf8"
LC_ADDRESS="de_DE.utf8"
LC_TELEPHONE="de_DE.utf8"
LC_MEASUREMENT="de_DE.utf8"
LC_IDENTIFICATION="de_DE.utf8"
LC_ALL=de_DE.utf8
vdrserv ~ # locale -a
C
de_DE
de_DE@euro
de_DE.utf8
en_US
en_US.utf8
POSIX

ich habe hier die Version net-www/xxv-1.2.1315 am laufen und das init script ist das "/var/cvsroot/gentoo-x86/net-www/xxv/files/xxv.utf8,v 1.1 2008/03/11 21:48:01 hd_brummy" daran müssen doch keine Änderungen vorgenommen?

Dabei habe ich die selben Fehler mit den cvs skins als auch mit jenen aus dem xxv-skins-1.2 ebuild.

Der Workaround von Hulk scheint auf den ersten blick jedoch zu funktionieren.

Moin,

@ Swer

jo, locale Setting sieht ok aus.
initscript nur per etc-update actualsieren, nix ändern

Eventuell, falls noch nicht geschehen, dev-perl/JSON auf 2.07 actualisieren.

Leider hatte der Workaround doch nicht so recht funktioniert.
Er hatte zwar das ä in März in der Übersicht im xstyle Skin korriegiert jedoch nicht in der Ansicht "Was läuft um 18:00". Wobei das wohl auch kein permanenter Efekt ist.

Auch ohne fix scheint das deltab und das blue skin in Ordnung. Dort wird ja auch nicht der Monat in der Überschrift angezeigt. Auch die beiden Aufnamen die in dem html und xstyle skin Fehler haben werden hier richtig Angezeigt.

Was mir beim besten willen nicht einleuchtet ist warum es nur diese Zwei Aufnahmen (andere habe ich noch immer nicht gefunden)sind und warum bei der einen das erste ü richtig ist das zweite jedoch nicht.

Ich hänge noch mal ein parr Bilder an damit man besser versteht was das Problem ist.

[Blockierte Grafik: http://www.image-load.eu/out.php/i35483_AUFNAHMENDELTAB.jpg] 
[Blockierte Grafik: http://www.image-load.eu/out.php/i35482_XSTYLE.jpg]
[Blockierte Grafik: http://www.image-load.eu/out.php/i35481_DATUMXSTYLE.jpg]

Achso JSON ist in version 2.07 instaliert

Weiter ist mir aufgefallen das die Codierung auch nach einer Autotimersuche nicht mehr passt. Dieses habe ich mit xstyle und deltab getestet.

@ swer

hmm, sieht so aus als ob das vorwiegend von Premiere oder KD epg Vorschau ist.

Trage mal bitte in, falls noch nicht geschehen,
/etc/conf.d/vdr
export VDR_CHARSET_OVERRIDE="ISO8859-15"
ein, VDR restarten, das fixt die Umlautprobleme.

Eventull nochmal die EPG, PHP-Myadmin nehm ich dafür immer, aus der Tabelle leeren und beim xxv start neu einlesen lassen.

Darstellungs problem im epg solltest Du eigentlich bei den genannten Problemen ohne den fix auch im OSD Epg haben.

Die scins an sich scheinen , wie schon oben von Hulk erwähnt, passend zu jeweiligen Version, nochmals überarbeitet werden zu müssen.

Also als Basis sollte es auf jeden Fall im html skin hinhauen,...

Ja ich habe diese Variable bereits gesetzt. Schon von Anfang an.
Wobei es sich bei der Fabelhaften Welt der Amelie um eine Aufnahme von VOX handelt und dort EPG Infos von Tvmovie zu sehen sind.

Auch stammen diese Aufnahmen ja noch aus den prä UTF8 Zeiten und wurden mit convmv und die info.vdr Dateien mit conv auf UTF8 umgestellt. Wie alle anderen auch.
Wobei es sich sicher um einen Fehler im Skin handeln muss da dieser ja nicht mit jedem auftritt. Und dort wo er auftritt nur in der Liste nicht in der Detailansichten oder beim Mausover .
Die entsprechenden Tabellen habe ich schon mal gelöscht auch habe ich eine neue Datenbank angeleckt. Und nach dem das EPG plötzlich nach Umlauten abgeschnitten wurde ( lag an tvmovie2vdr )habe ich das Default charset vom mysql Server auf utf8 umgestellt.
Aber es hat sich nie was geändert.

Ich habe jetzt noch mahl das html skin genommen dort habe ich die selben Fehler wie im xsytle Skin. Also

- Fehler im Datum bei was läuft um
- Die zwei Problematischen Aufnahmen

In allen Skins habe ich Fehler beim neu einlesen der Aufnahmen und beim aktualisieren der Autotimer.

Insgesamt hatte das deltab skin am wenigsten Fehler (blue und die anderen habe ich mir nicht richtig angeschaut ). Und im style Skin ist das Datum nur fehlerhaft wenn man unter Was läuft jetzt schaut nicht aber wenn man in der Übersicht ist.

mal ne ganz dumme Frage von mir

hier ist immer von "utf8" die Rede.

ich habe gestern nen testrechner aufgesetzt mit Ubuntu 8.04.
locale | grep LANG sagt "LANG=de_DE.UTF-8"
die Daenbank hab ich vom vdr kopiert.

phpmyadmin sagt mir "deutsch German (utf-8)"

hier wird immer von "utf8" gesprochen, z.b. "cat dump.sql | iconv -f latin1 -t utf8 | mysql -u root -pkh6npVcT xxv"
oder
"alter table RECORDS CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci;"

habe

1. mysqldump -e xxv > dump.sql

phpmyadmin auf dem "echten" vdr sagt mir "MySQL-Zeichensatz: UTF-8 Unicode (utf8)" sowie "Language: deutsch (German)" an

Bei den Tabellen steht noch "latin1_swedish_ci" unter "Kollation"

wenn ich mit dem dump aus dieser datenbank das cat ... iconv -f latin1 -t utf8 ausführe, hab ich danach auf dem testrechner in den datenbanken sowas:

"Film~00 Kids~Eulen - Kleine Freunde in groý?er Gefahr"
"Zoo~Giraffe, Erdmännchen & Co.~Immer ý?rger mit dem..."

da ist doch was falsch Aber was ??

Zitat

Original von Hulk
Hi,

Die DEV-Version von XXV kann mit r1308 VDR Daten in der Encodierung UTF-8 verarbeiten und anzeigen. Da ich aber noch keinen VDR mit UTF-8 Unterstützung habe, kann ich es nicht komplett austesten.

Damit des Abwärtskompatibel bleibt muss es in /etc/init.d/xxvd per "xxvd --utf8" gestartet werden.
Ebenfalls zu empfehlen ist das LANGUAGE="de_DE.utf8" in /etc/init.d/xxvd zu setzen.

mhmm ---

ich habe --utf8 ans Ende des OPTIONS= ... gehängt.

bei LANGUAGE steht "de_DE.UTF-8"

dann habe ich die Datenbank konvertiert.

dann habe ich per convmv testweise ein verzeichnis konvertiert und die Aufnahmeliste neu eingelesen.

im VDR-OSM wird diese Aufnahme richtig mit einem ß angezeigt.
In vdradmin auch
in xxv steht anstelle des ß ein ý ...

Autotimer findet zwar Sendungen mit Umlauten und erstellt auch Timer, aber die sehen besch...rt aus
Auch beim Neueinlesen der Aufnahmen kommt es jetzt zu Problemen..

was mache ich falsch ?

ich hadere immer noch mit der utf8-Einrichtung....

habe jetzt mal die Datenbank XXV gelöscht (bzw. kopiert...) und will die Tabellen neu anlegen lassen... gefunden habe ich /contrib/create-database.sql. Daraus die Zeile mit "utf8" kopiert und in phpmyadmin im sql-Fenster ausgeführt.

Dnn die Tabellen. die ugrade-xxv ausgeführt. Ok, aber da fehlen mir jetzt ein paar Tabellen. Ok, unwichtig: EPG ...

wie zum Geier war das doch gleich noch? werden die fehlenden Tabellen beim Start angelegt ????

okok .... man führe die install.sh aus ...

Moin xpix, hulk und poetter

mal kurz status bericht zum heutigen snapshot ( r 1365 )

Was immer noch nicht geht, btw. ging das aber mal in der Version r 1315, ist der saubere utf-8 support.

Ich bekomme alle Umlaute nur mit einem Platzhalter dargestellt,
Opera mit fragezeichen,
Win IE mit leerem square,

In der xxv db/tabelle "EPG" liegt das epg mit allen Umlauten sauber drin,

Autotimer die umlaute mit drinhaben funzen dadurch natürlich auch nicht.

"CSI: Den Tätern auf der Spur" werden nicht gefunden.

Ich hab darauf den Autotimer bis zum Umlaut gekürzt, gefunden werden jetzt die autotimer, in der db/tabelle "Autotimer" stehen aber eigenartigerweise die suchstrings noch in voller länge drin.

Im log erscheinen folgende Zeilen:

<snipp>
1534 (200) [2008-11-09 19:33:02] TIMERS: Couldn't find epg event for timer with id 9 - Serien~CSI: Den Ttern auf der Spur
1535 (200) [2008-11-09 19:33:02] TIMERS: Couldn't find epg event for timer with id 10 - Serien~Bones - Die Knochenjäägerin
</snapp>

#####
vdr2jpeg funzt nicht, ....

EDIT //
Sorry, funzt doch mit der neusten vdr2jpeg-0.1.1 version

Cheers :prost2:

Zitat

Das ganze Thema entwickelt sich zu einer undankbaren Aufgabe, die in störender Weise jede Menge Zeit bindet, und mich von sinnvolleren Dingen abhält

Naja, hier wird ja niemand zu etwas gezwungen, es dauert halt so lange wie es dauert ...

#####
Moin Hulk,

Ich habe jetzt folgendes herausgefunden,
es scheint an der unterschiedlichen definition der locale zu liegen.

locale -a ergibt bei mir:

<snipp>
LANG=de_DE.utf8
...
...
LC_ALL=de_DE.utf8
<snapp>

Das bracht mich kurzerhand auf die Idee das folgendermassen zu ändern:

--- bin/xxvd	(Revision 1365)
+++ bin/xxvd	(Arbeitskopie)
@@ -324,7 +324,7 @@
     my $dbh = DBI->connect($dsn, $usr, $pwd,{
                       PrintError => 1,
                       AutoCommit => 1,
-                      mysql_enable_utf8 => ($charset =~ m/UTF-8/ ? 1 : 0),
+                      mysql_enable_utf8 => ($charset =~ m/utf8/ ? 1 : 0),
                       mysql_auto_reconnect => 1
             });

Beachte die unterschiedliche Schreibweise UTF-8 ^= utf8 im charset

Und schon hab ich die schönsten Umlaute der Welt,

eventuell könnte man so was vorher abfangen mit irgendeiner alias definition:

UTF-8 alias utf-8 alias utf8 alias UTF8 ; ( syntactisch sicherlich absoluter Müll )

aber damit sollten dann alle eventualietäten der unterschiedlichen Ausgaben erfasst sein,
btw. könnte man auch die "richtige" Schreibweise aus locale -a detectieren und das dementsprechen verwenden.

btw. perl ist bei gentoo 5.8.8, irgendwie hängt da das perl team noch hinterher bei uns...

Cheers

/bin/joerg

Zitat

An der von Dir vermuteten Stelle wird aber nicht mit der Umgebungsvariable bzw. dem Inhalt von locale gearbeitet, wie diese heißt ist momentan vollkommen irrelevant. Nur der Kommandozeilenschalter "xxvd --utf8" gibt den UTF-8 Modus vor.

Jo, ok
Ich hab mal die betreffende Stelle mit sinnloser Eingabe versehen, dann gings auch

Moin Hulk,

hier die Ausgabe von perl -MDBI -e 'DBI->installed_versions'

vdr1 ~ # perl -MDBI -e 'DBI->installed_versions'
  Perl            : 5.008008    (i686-linux)
  OS              : linux       (2.6.24.4-r3)
  DBI             : 1.601
  DBD::mysql      : 4.005
  DBD::Sponge     : 12.010002
  DBD::Proxy      : 0.2004
  DBD::Gofer      : 0.010103
  DBD::File       : 0.35
  DBD::ExampleP   : 12.010007
  DBD::DBM        : 0.03

aber ...

Ein Rückschritt auf ne ältere Version von DBI, DBI-1.50, brachte da keine Änderung hier auf meinem System.

Kann ich das irgendwie per kommandline herausbekommen, ob ich Perl mit "mysql_enable_utf8 => 1" oder "mysql_enable_utf8 => 0" am laufen habe ?

####
Und gleich nochwas fuer Poetter, wenn der noch im Team sein sollte und von dem imho der Part mit der Medienliste war.

Wenn ich ne Eintrag zur Medienliste hinzufügen will, und die DVD-Palace DB abfragen will,
zb. Schlagwort Terminator sollte doch einiges an Ausgaben liefern, bekomm ich nur
"Suchergebniss: Keine Titel gefunden"

Kann das hier jemand nachvollziehen?

Cheers

/bin/joerg

Ui, was sind denn das für Postingzeiten von dir --> 04:15 Uhr

So , ich hab die svn 1369 hier am laufen, da gibts mit UTF-8 keine Probs mehr bei mir

Schon ne Idee zu meiner Anfrage warum ich DVD-Palace nix , btw, kein Eintrag, zurückbekomme?

Brauchst Du irgendwelche An/Ausgaben um das zu debuggen ?

Moin Xpix, Hulk, Poetter

Die r1383 läuft soweit rund bei mir, bis auf die Sache mit DVD-Palace.
Ich hab da den Poetter nicht erreicht, bzw. kein Reply bekommen.
Wenn Du, Hulk, da nicht nen besseren Draht zu ihm hast um ihn da mal mit der Nase drauf zu stossen,
und es sowieso keiner fixen kann/will, schmeiss den unnutzbaren Kram wieder raus.
Schade drum, ich fand es ein ganz nützliches Feature.

Problem mit der Version sind Hier -> VDR-Gentoo gemeldet worden, im anschliessenden Posting auch der fix dazu.
Wobei ich den Fehler auf meinem System nicht nachvollziehen konnte.

xxv-skins-1383

Der neue skin "Jason" funzt bei mir nicht, Fehlermeldung in etwa beim Laden:
"skin zu alt, bitte auf neuere Version updaten" oder so ähnlich.
Eventuell ist der noch in der Entwicklung?
Dann hab ich warscheinlich mit dem snapshot ne nicht funzende early Version ausgecheckt.

Gibts eigentlich ne Todo Liste was noch an features rein soll, btw. ist irgendwann ne xxv-1.3 in Sicht? (wenn der DVD-Palace kram gefixt ist)

Cheers

/bin/joerg