Beiträge von nobanzai

nobanzai · 8. Oktober 2018

horchi schrieb:

kein Problem so hatte ich es auch nicht aufgefasst wollte nur das Ziel verstehen.

Das könnte man machen aber nicht mit nur einer Tabellen Liste, es gibt eine Gruppe die immer gedropt wird und eine andre nur auf wunsch.

Dann noch eine Gruppe von Tabellen mit User Eintellungen die noch seltener gedropt werden sollen und dann noch eine mit vermutlich überschneidender Menge an Tabellen welche man vermutlich vorher sichern möchte.

Finde es für mich so recht einfach zu pflegen.

Alles anzeigen

Ok

nobanzai · 5. Oktober 2018

horchi schrieb:

nein hab ich eigentlich nicht vor, welchen Vorteil hätte das beim verwenden?

War nur so ne Idee, wollte dir nicht zu nahe treten.

Beim Verwenden ist es nicht von Vorteil, aber evtl. beim Pflegen des Codes und beim Lesen durch Dritte.

Ciao.

Michael.

nobanzai · 4. Oktober 2018

horchi schrieb:

Du machst nichts falsch, das im .ssh Ordner ist für das epgd-tool welches einen anderen Autor hat als der epgd und die restlichen Skripte, daher etwas unterschiedlich ticken.

Die Skripte von mir gingen bislang immer stumpf davon aus dass das Passwort 'epg' ist und nicht geändert wurde

Ich habe es jetzt (git) so erweitert das die Variable MYSQL_PWD sofern schon gesetzt nicht mehr geändert wird. Diese Variable wird - sofern gesetzt - von dem mysql Tools entsprechend auch dem 'mysql' Kommando herangezogen.

Soll heißen bei abweichendem Passwort MYSQL_PWD setzen.

Grüße Jörg

Alles anzeigen

Hm, ich peils grad net - ich meinte die Scripten in <src>/scripts.

Welche meinst du? Die anderen im selben Verzeichnis bis auf epgd-tool?

Und noch ne Frage:

Magst du deine Scripten nicht auch ein wenig genereller bauen, also nicht alle Views und Tabellen namentlich aufführen, sondern sowas wie ich in meinem Script da oben gemacht habe, d.h. die Views und Tabellen dynamisch zusammensuchen? Das mit dem "if exists" werde ich bei meinem Script auch noch einbauen - das kannte ich noch nicht.

Danke und ciao.

Michael.

nobanzai · 3. Oktober 2018

horchi schrieb:

und zu der Timers Tabelle gibt das drop Skript das hier aus:
[...]

kurzum das verwenden dieses Skriptes ist zum 'platt' machen eine gute Idee. Ich versuche auch immer daran zu denken das zu pfelgen wenn sich etwas ändert.

Was mache ich eigentlich falsch, wenn ich von den epgd-Tools gesagt bekomme "Access denied for user 'epg2vdr'@'localhost' (using password: YES"?

Ich habe DBPass in epgd.conf geändert, aber eigentlich auch im passenden File "~/.ssh/mysqlpasswd" die Variable "PASSWORD" entsprechend gesetzt.

Irgendwie ist mir nicht klar, wie hier PASSWORD und MYSQL_PWD im Script zusammenspielen sollen.

nobanzai · 3. Oktober 2018

horchi schrieb:

mit 10.1.34-MariaDB-0ubuntu0.18.04.1 habe ich den Effekt noch nicht.

Mit dem String 'NULL' haben die m.E. aber was merkwürdiges "geschraubt" :o

/Edit:

Das mit den Defaults sollte bei "show create table timers" z.B. so aussehen:

`action` varchar(1) DEFAULT 'a',

Ansonsten mal zum Test die ' hier weglassen:

Alles anzeigen

Versuche ich mal, wenn ich wieder vom Urlaub daheim bin - danke für den Hinweis.

nobanzai · 23. September 2018

Falls noch irgendjemand über das epgd-tool hinaus irgendwelche backup/recovery/reset Routinen braucht, hänge ich mal mein Script an.

Wie immer - ohne Gewähr.

Shell-Script

#!/bin/bash
fUsage() {
action="$1"
case "$action" in
5) $ECHO "$VERSION"
exit 0
;;
esac
$ECHO
case "$action" in
4) $ECHO "wrong parameter!";;
3) $ECHO "mutual exclusive parameters!";;
2) $ECHO "missing parameter!";;
1) $ECHO "unknown parameter!";;
esac
$ECHO "\tusage:\t$my_name [-a <action>][-h][-V]"
$ECHO
$ECHO "\t\t-a <action> \"backup\", \"recovery\" or \"reset\""
$ECHO "\t\t-h display this help"
$ECHO "\t\t-V displays version number and date"
$ECHO
exit $action
}
VERSION="version 0.01 / 23.09.2018"
ECHO="/bin/echo -e"
ECHON="/bin/echo -e -n"
while getopts a:hV OPTION
do
case "$OPTION" in
a) action="$OPTARG";;
h) fUsage 0;;
V) fUsage 5;;
*) fUsage 4;;
esac
done
shift `expr "$OPTIND" - 1`
[ -z "$action" ] && fUsage 2
case "$action" in
backup|recovery|reset)
;;
*)
fUsage 4
;;
esac
# set -x
HOST="vdr"
USER="epg2vdr"
DATABASE="epg2vdr"
OUTDIR="/var/backup.epgd/"
declare -a MYTABLES
MYTABLES=(
"channelmap"
"parameters"
"searchtimers"
"users"
"vdrs"
)
[ -r ~/.ssh/epgdpass ] && . ~/.ssh/epgdpass
if [ -n "$PASSWORD" ]
then
case "$action" in
backup)
for _mytable in "${MYTABLES[@]}"
do
OUTFILE="${OUTDIR}${_mytable}.csv"
[ -e "$OUTFILE" ] && rm -f "$OUTFILE"
$ECHON "backing up \"${_mytable}\" to \"${OUTFILE}\" ... "
mysql --host="$HOST" --database="$DATABASE" \
--user="$USER" --password="$PASSWORD" \
--execute="SELECT * FROM ${_mytable} INTO OUTFILE '${OUTFILE}' FIELDS TERMINATED BY ',' ENCLOSED BY '''' LINES TERMINATED BY '\\n';"
case "$?" in
0) $ECHO "OK." ;;
*) $ECHO "Error!" ;;
esac
OUTFILE="${OUTDIR}${_mytable}.sql"
[ -e "$OUTFILE" ] && rm -f "$OUTFILE"
$ECHON "backing up \"${_mytable}\" to \"${OUTFILE}\" ... "
mysqldump --host="$HOST" --user="$USER" --password="$PASSWORD" \
"$DATABASE" "$_mytable" >"$OUTFILE"
case "$?" in
0) $ECHO "OK." ;;
*) $ECHO "Error!" ;;
esac
done
;;
recovery)
$ECHON "Really? You will overwrite several tables [y|n] "
read var
case "$var" in
y|Y)
for _mytable in "${MYTABLES[@]}"
do
INFILE="${OUTDIR}${_mytable}.sql"
$ECHON "recovering \"${_mytable}\" from \"${OUTFILE}\" ... "
mysql --host="$HOST" --database="$DATABASE"\
--user="$USER" --password="$PASSWORD" \
<"$INFILE"
case "$?" in
0) $ECHO "OK." ;;
*) $ECHO "Error!" ;;
esac
done
;;
*)
$ECHO "Aborted!"
;;
esac
;;
reset)
$ECHON "Really? This function isn't tested yet [y|n] "
read var
case "$var" in
y|Y)
VIEWS=$( mysql --host="$HOST" \
--user="$USER" --password="$PASSWORD" \
--database="$DATABASE" \
--raw --batch \
--execute="SELECT TABLE_NAME FROM information_schema.TABLES WHERE TABLE_TYPE='view';" \
| grep -vi "table_name"
)
for _view in $VIEWS
do
for _mytable in "${MYTABLES[@]}"
do
[ "$_view" = "$_mytable" ] && continue 2
done
$ECHON "dropping view \"${_view}\" ... "
mysql --host="$HOST" --database="$DATABASE" \
--user="$USER" --password="$PASSWORD" \
--execute="DROP VIEW ${_view};"
case "$?" in
0) $ECHO "OK." ;;
*) $ECHO "Error!" ;;
esac
done
TABLES=$( mysql --host="$HOST" \
--user="$USER" --password="$PASSWORD" \
--database="$DATABASE" \
--raw --batch \
--execute="SELECT TABLE_NAME FROM information_schema.TABLES WHERE TABLE_TYPE='base table';" \
| grep -vi "table_name"
)
for _table in $TABLES
do
for _mytable in "${MYTABLES[@]}"
do
[ "$_table" = "$_mytable" ] && continue 2
done
$ECHON "dropping table \"${_table}\" ... "
mysql --host="$HOST" --database="$DATABASE" \
--user="$USER" --password="$PASSWORD" \
--execute="DROP TABLE ${_table};"
case "$?" in
0) $ECHO "OK." ;;
*) $ECHO "Error!" ;;
esac
done
;;
*)
$ECHO "Aborted!"
;;
esac
;;
esac
else
$ECHO "No password found to connect to database - abortig!"
fi

Alles anzeigen

nobanzai · 23. September 2018

schnoefftel schrieb:

Was sagt denn das Syslog? Sind epgd und epg2vdr auf dem selben Rechner?

Kürzlich irgendwo ein Update gemacht?

Epgdata-Abo abgelaufen?

Gruß Jan

Danke für deine Antwort, aber wie geschrieben: Keinerlei Fehler in irgendeinem Log - weder im Journal, aka syslog noch im Log von epgd selber.

Kein Update, kein abgelaufenes Abo, da auch alles geholt und in die DB geschrieben wird nach einem Truncate der entsprechenden Tabellen.

Ich hab jetzt *alle* bis auf die für mich wesentlichen (vor allem searchtimers und parameters) Tabellen truncated, danach hat epgd alles brav wieder eingelesen und jetzt geht auf einmal wieder alles.

Kann man so machen, macht aber keinen Spass.

Mich würde nur mal interessieren, was sich da verstrubbelt hatte, denn wie gesagt - gemeldet wurden keinerlei Fehler.

Ciao.

Michael.

nobanzai · 23. September 2018

Ho *,

ich habe aktuell (seit letzter Woche) das Problem, dass weder über das WebIF Programminfos verfügbar sind, noch Daten an den VDR weiter gereicht werden. Die EPG-Daten wurden immer scheinbar weniger und waren am Ende ganz weg.

In der Datenbank sind allerdings alle Events und auch die Channelmaps vorhanden, wenn man sich das Ganze per SQL ansieht.

Ich habe auch scon mal alle Tabellen truncated und alles neu einlesen lassen. Dabei treten keine Fehler auf, lt. Journal läuft alles sauber durch. Danach sind auch die Tabellen wieder gefüllt - nur das Ursprungsproblem ist leider nach wie vor da.

Hat Jemand ne Idee?

Hat sich evtl. die Datenstruktur von epgdata wieder mal geändert, wo meine EPG-Daten primär herkommen?

Danke und ciao.

Michael.

nobanzai · 8. September 2018

"xhost +"? Wahlweise weniger radikale Varianten von xhost.

nobanzai · 7. September 2018

Probier mal, ob es geht, wenn du apparmor beendest.

nobanzai · 2. September 2018

Ok, da kommt tatsächlich der String "NULL" zurück.

Ich hab mal Zeile 927in lib/db.c geändert auf:

Code

fields[row[0]].def = (row[6] && strcmp(row[6], "NULL") != 0) ? row[6] : "";

Jetzt kommen nur noch zwei Meldungen:

Code

Sep 02 13:40:27 boston epghttpd[19574]: before alterModifyField: timers.STATE
Sep 02 13:40:27 boston epghttpd[19574]: colDef >'u'<->u<
Sep 02 13:40:27 boston epghttpd[19574]: Type & Primary >0<
Sep 02 13:40:27 boston epghttpd[19574]: Info: Definition of field 'timers.STATE' modified, try to alter table
Sep 02 13:40:27 boston epghttpd[19574]: Execute [alter table timers modify column state VARCHAR(1) comment '\'D\'eleted, \'R\'unning, \'F\'inished' default 'u']
Sep 02 13:40:27 boston epghttpd[19574]: before alterModifyField: timers.ACTION
Sep 02 13:40:27 boston epghttpd[19574]: colDef >'a'<->a<
Sep 02 13:40:27 boston epghttpd[19574]: Type & Primary >0<
Sep 02 13:40:27 boston epghttpd[19574]: Info: Definition of field 'timers.ACTION' modified, try to alter table
Sep 02 13:40:27 boston epghttpd[19574]: Execute [alter table timers modify column action VARCHAR(1) comment '' default 'a']

Und da stehen als Defaultwerte in der Datenbank wirklich 'a' und 'u' inkl. der Hochkommata.

Soll das so?

nobanzai · 2. September 2018

Ich hab mal ein wenig "printf debugging" eingebaut:

Code

Sep 02 11:14:47 boston epghttpd[26881]: before alterModifyField: vdrs.VIDEOFREE
Sep 02 11:14:47 boston epghttpd[26881]: colDef >NULL<-><
Sep 02 11:14:47 boston epghttpd[26881]: Type >1< Primary >2<
Sep 02 11:14:47 boston epghttpd[26881]: Info: Definition of field 'vdrs.VIDEOFREE' modified, try to alter table
Sep 02 11:14:47 boston epghttpd[26881]: Execute [alter table vdrs modify column videofree INT(11) unsigned comment '' ]

Sieht aus, als läge es an der Zeile 953 in lib/db.c:

Code

( strcasecmp(fieldInfo->def.c_str(), getField(i)->getDefault()) != 0 && !(getField(i)->getType() & ftPrimary))

Wobei ich mangels Ahnung von mariadb nicht weiß, was da auf einmal anders als vorher ist.

Kann es sein, dass NULL unerwartet ist für fieldInfo->def.c_str()?

Ciao.

Michael.

nobanzai · 1. September 2018

Hi *,

nach Update auf die openSUSE Leap 15.0 und damit auf mariadb 10.2.15 werden alle (?) Felddefinitionen bei *jedem* Start angemault:

Code

Sep 01 15:04:29 boston epgd[22516]: Checking table structure and indices ...
Sep 01 15:04:29 boston epgd[22516]: Checking table 'analyse'
Sep 01 15:04:29 boston epgd[22516]: Info: Definition of field 'analyse.VDRMASTERID' modified, try to alter table
Sep 01 15:04:29 boston epgd[22516]: Execute [alter table analyse modify column vdr_masterid INT(11) unsigned comment '' ]
Sep 01 15:04:29 boston epgd[22516]: Info: Definition of field 'analyse.VDRSTARTTIME' modified, try to alter table
Sep 01 15:04:29 boston epgd[22516]: Execute [alter table analyse modify column vdr_starttime INT(10) comment '' ]

Es kommen keine Fehler ansonsten und danach scheint epgd auch zu laufen, aber beim nächsten Start geht dasselbe Spiel wieder los.

Auch beim Starten von epghttpd passiert dasselbe.

Ist das eine Inkompatibilät zu dieser MariaDB Version oder hab ich was übersehen?

Danke und ciao.

Michael.

nobanzai · 30. Juni 2018

nobanzai schrieb:

Hi,

entweder ich hab was auf den Augen oder im EPG meines VDR fehlen alle Übertragungen der Fußball-WM ab dem 30.06. 8-(

Am morgigen Samstag sollten eigentlich um 16 und um 20 Uhr zwei Spiele kommen, stattdessen stehen im EPG 2 Filme zu diesen Zeiten drin.

Hat das noch jemand oder hab ich hier ein DB-Problem?

Ciao.

Michael.

Alles anzeigen

hm, heute sind die ersten 5 der 8 Spiele im EPG aufgetaucht - *gleichzeitig* sind aber die Filme zur selben Zeit auch noch drin 8-<

Ich nehme an, epgdata hat da ein Problem.

nobanzai · 29. Juni 2018

Hi,

entweder ich hab was auf den Augen oder im EPG meines VDR fehlen alle Übertragungen der Fußball-WM ab dem 30.06. 8-(

Am morgigen Samstag sollten eigentlich um 16 und um 20 Uhr zwei Spiele kommen, stattdessen stehen im EPG 2 Filme zu diesen Zeiten drin.

Hat das noch jemand oder hab ich hier ein DB-Problem?

Ciao.

Michael.

nobanzai · 13. Juni 2018

hopsi schrieb:

Vielleicht hilft es ja jemandem, wenn Du hier für die Ewigkeit hinterlegst, wie Du das gemacht hast? Danke!

Christian

Im Groben so, wie ich es oben in meiner Frage bereits beschrieben hatte:

1. Rechte zum Export in Dateien vergeben, z.B.:

Code

GRANT FILE ON *.* TO 'epg2vdr'@'localhost' identified by 'epg';

2. Ggf. die entsprechende Sicherheitseinstellung von mysql zum Export in beliebige Dateien aushebeln, d.h. in /etc/my.cnf.d/secure_file_priv.cnf (oder wo immer das auch steht in der jeweiligen Distro) "secure_file_priv" auskommentieren oder anpassen:

Code

[server]
; secure_file_priv = /var/lib/mysql-files
secure_file_priv =

3. searchtimers mittels mysql cli exportieren:

Code

mysql -u epg2vdr -p epg -e "SELECT * FROM searchtimers INTO OUTFILE 'searchtimers.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '''' LINES TERMINATED BY '\n';"

4. epgd-Datenbank löschen:

Code

epgd-tool -del-db

5. epgd-Datenbank neu anlegen:

Code

epgd-tool -new-db

6. Warten, bis EPGD mit allen Aufgaben soweit fertig ist, also epg wieder einlesen, Bilder holen, Sendernamen ermitteln usw.

7. Einstellungen via epghttpd GUI wieder setzen wie vorher (u.a. Mailsettings, Format für Logos, ...)

8. searchtimers mittels mysql cli importieren:

Code

mysql -u epg2vdr -p epg -e "LOAD DATA INFILE 'searchtimers.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '''' LINES TERMINATED BY '\n';"

Das ist jetzt aus dem Kopf reproduziert, d.h. es können Fehler drin sein.

Aber der Ablauf sollte damit im Groben klar sein.

Ciao.

Michael.

nobanzai · 13. Juni 2018

Ich habs jetzt einfach mal ausprobiert - hat genauso geklappt

Danke fürs Lesen!

nobanzai · 12. Juni 2018

Hi *,

ich möchte gerne alle Tabellen bis auf die Suchtimer löschen, d.h. searchtimers exportieren, dropall, alle Tabellen neu anlegen (z.b. mit epgd-tool) und dann searchtimers wieder importieren.

Ohne jetzt das Schema im Ganzen im Kopf zu haben, wäre die Frage, ob das geht oder ob da irgendwelche constraints dagegen sprächen?

Danke und ciao.

Michael.

nobanzai · 3. Juni 2018

SurfaceCleanerZ schrieb:

Hi,

Nativ nein, per Patch ja...

Ob das in 2.4 wer getestet hat, weiß ich nicht... Soll tun laut dem Thread hier.

Mfg Stefan

Ok, danke.

Dann kommt das erst mal nicht in Frage.

nobanzai · 3. Juni 2018

Dieter schrieb:

Hi, ist das nicht schon bei 2.2 rausgeflogen?

Mag sein - ich habs ja nie benutzt bisher.

Beiträge von nobanzai

[behoben, aber nicht verstanden][epgd] keinerlei EPG-Infos mehr via WebIF oder VDR, aber in der DB

[behoben, aber nicht verstanden][epgd] keinerlei EPG-Infos mehr via WebIF oder VDR, aber in der DB

[behoben, aber nicht verstanden][epgd] keinerlei EPG-Infos mehr via WebIF oder VDR, aber in der DB

[behoben, aber nicht verstanden][epgd] keinerlei EPG-Infos mehr via WebIF oder VDR, aber in der DB

[epgd] nach Update auf mariadb 10.2.15 -> Felddefinitionen werden bei jedem Start angemault

[behoben, aber nicht verstanden][epgd] keinerlei EPG-Infos mehr via WebIF oder VDR, aber in der DB

[behoben, aber nicht verstanden][epgd] keinerlei EPG-Infos mehr via WebIF oder VDR, aber in der DB

[behoben, aber nicht verstanden][epgd] keinerlei EPG-Infos mehr via WebIF oder VDR, aber in der DB

Alle Jahre wieder - Problem nach Systemupdate nach Opensuse Leap 15.0

Alle Jahre wieder - Problem nach Systemupdate nach Opensuse Leap 15.0

[epgd] nach Update auf mariadb 10.2.15 -> Felddefinitionen werden bei jedem Start angemault

[epgd] nach Update auf mariadb 10.2.15 -> Felddefinitionen werden bei jedem Start angemault

[epgd] nach Update auf mariadb 10.2.15 -> Felddefinitionen werden bei jedem Start angemault

[epgd] epgdata -> es fehlen alle Übertragungen der Fußball-WM ab dem 30.06.

[epgd] epgdata -> es fehlen alle Übertragungen der Fußball-WM ab dem 30.06.

[solved][epgd] Löschen alle Tabellen bis auf die Suchtimer

[solved][epgd] Löschen alle Tabellen bis auf die Suchtimer

[solved][epgd] Löschen alle Tabellen bis auf die Suchtimer

video0, video1, ...

video0, video1, ...