Verzeichniss von Festplatten schreiben - geht das noch übersichtlicher

lexi · March 8, 2009 at 12:05 PM

hi,

ich möchte den Inhalt von meinen usb/sata Festplatten - zur besseren Übersicht - in jeweils eine der platte zugeordneten Datei schreiben Das funktioniert manuell schon recht gut. Nur wird derzeit die Festplatte nicht eindeutig ausgewertet, sondern sich am automatisch gemounteten /dev/sdx orientiert.

Bash

#!/bin/sh
# dient zum speichern des Inhalltes von (USB) Wechselplatten
DATE=$(date +%d.%m.%Y_%T) # Datumsangabe
CUT=$(mount | grep usb_ | cut -b 6-9) # filtert den angeschlossen usb Anschluss heraus
DIR=/mnt/data/scripts/wechselplatten/Inhalt # Ordner wo das Inhaltsverzeichniss abgelegt werden soll 
LOG=$DIR/inhalt-$CUT.txt # wie die Inhaltsdatei heisen soll
LS1="ls /media/usb_$CUT/*" # Optionen (einzelne Titel) mit den das Verzeichniss erstellt wird
LS2="ls /media/usb_$CUT" # Hauptverzeichniss ausgeben lassen
echo $DATE > $LOG
echo " " >> $LOG
df -h | grep Datei >> $LOG
df -h | grep $CUT >> $LOG
echo " " >> $LOG
echo "Hauptverzeichniss : " >> $LOG
echo " " >> $LOG
echo " " >> $LOG
echo "Einzelne Tilel : " >> $LOG
echo " " >> $LOG
$LS1 >> $LOG

Display More

Wenn nach den reboot (oder usbunmount) eine andere platte die selbe sdx bezeichnung bekommt wird die vorhanden Datei aber überschrieben obwohl es nicht zur Festpaltte passt. Da muss also für den brauchbaren Einsatz ne andere lösung her. (wahrscheinlich über fdisk -l den disk ident. auswerten)

Wie wertet man übersichtlich die Unterschiedlichen disk identiver aus? Oder gibt es nur die Möglichkeit das für jede Platte einzeln mit ner if then Abfrage zu machen und dann wieder die ca. 15 Zeilen.. und weiter zur nächsten Platte...

Gruss Lexi

ps. es geht mir nicht um das mounten der platten, das läuft schon automatisch

edit : topic angepasst

geronimo · March 8, 2009 at 12:09 PM

Hi,

hast Du schon mal geschaut, ob Deine USB-Platte unter /dev/disk/by-uuid/ aufgeführt ist?

hth Geronimo

frank-km · March 8, 2009 at 12:11 PM

Du kannst tune2fs einsetzen.

1. Namen für Partition vergeben
tune2fs -L dein-plattenname /dev/sde1

2. Namen checken:
dumpe2fs -h /dev/sde1 | grep name

3. Via Name mounten
in /etc/fstab eintragen
LABEL= dein-plattenname /dein-mountpoint ext3 acl,user_xattr 1 1

4. Mounten
mount -a

Auch nach Reboot wird die Platte gemountet.

lexi · March 8, 2009 at 6:52 PM

hi,

wahrscheinlich hätte mein erster post und das Topic besser beschrieben werden können

Vorrangig geht es mir um die "wiederholungen" im script. Mal mein derzeitiges :

Bash

#!/bin/sh
# dient zum speichern des Inhalltes von (USB) Wechselplatten
DATE=$(date +%d.%m.%Y_%T) 	# Datumsangabe
CUT=$(mount | grep usb_ | cut -b 6-9) # filtert den angeschlossen usb Anschluss heraus
DIR=/mnt/data/scripts/wechselplatten/Inhalt # Ordner wo das Inhaltsverzeichniss abgelegt werden soll 
LOG=$DIR/inhalt-$CUT.txt 	# wie die Inhaltsdatei heisen soll
LS1="ls /media/usb_$CUT" 	# Optionen (einzelne Titel) mit den das Verzeichniss erstellt wird
LS2="ls /media/usb_$CUT/*" 	# Hauptverzeichniss ausgeben lassen
LS3="ls /media/usb_$CUT/*/*"
LS4="ls /media/usb_$CUT/*/*/*"
LS5="ls /media/usb_$CUT/*/*/*/*"
FDISK=
FP1=0x562ca10e 			# Plattenkennzeichnung  
LOG1=$DIR/Filmarchiv-2.txt	# 	grober Inhalt 
NAME1=Filmarchiv-2		# "4"   Filme unsortiert
FP2=0x5c2e4f1f
LOG2=$DIR/Serienarchiv-1.txt
NAME2=Serienarchiv-1		# /	Serien sortiert
FP3=0x12
LOG3=$DIR/Filmarchiv-1.txt
NAME3=Filmarchiv-1		# /	Filme sortiert
FP4=0xad45fd1d
LOG4=$DIR/Dokus.txt
NAME4=Dokus			# "3"	Dokus/Musik/Charmed
FP5=0x65f6f3d4
LOG5=$DIR/stick.txt
NAME5=intenso-stick
# auf die erste eingetragene Platte testen
fdisk -l | grep $FP1
if [ "$?" = "0" ] ; then 
echo "Festplatte 1 - $NAME1 erkannt, Inhalt wird erstellt"; echo $DATE > $LOG1
echo " " >> $LOG1; df -h | grep Datei >> $LOG1; df -h | grep $CUT >> $LOG1
echo " " >> $LOG1; echo "$LS1 : " >> $LOG1; echo " " >> $LOG1; $LS1 >> $LOG1
echo " " >> $LOG1; echo "$LS2 : " >> $LOG1; echo " " >> $LOG1; $LS2 >> $LOG1
echo " " >> $LOG1; echo "$LS3 : " >> $LOG1; echo " " >> $LOG1; $LS3 >> $LOG1
echo " " >> $LOG1; echo "$LS4 : " >> $LOG1; echo " " >> $LOG1; $LS4 >> $LOG1
echo " " >> $LOG1; echo "$LS5 : " >> $LOG1; echo " " >> $LOG1; $LS5 >> $LOG1
else
echo "Festplatte 1 - $NAME1 ist nicht angeschlossen weiter geht es"
fi
# nun geht es mit der zweiten weiter
fdisk -l | grep $FP2
if [ "$?" = "0" ] ; then 
echo "Festplatte 2 - $NAME2 erkannt, Inhalt wird erstellt"; echo $DATE > $LOG2
echo " " >> $LOG2; df -h | grep Datei >> $LOG2; df -h | grep $CUT >> $LOG2
echo " " >> $LOG2; echo "$LS1 : " >> $LOG2; echo " " >> $LOG2; $LS1 >> $LOG2
echo " " >> $LOG2; echo "$LS2 : " >> $LOG2; echo " " >> $LOG2; $LS2 >> $LOG2
echo " " >> $LOG2; echo "$LS3 : " >> $LOG2; echo " " >> $LOG2; $LS3 >> $LOG2
echo " " >> $LOG2; echo "$LS4 : " >> $LOG2; echo " " >> $LOG2; $LS4 >> $LOG2
echo " " >> $LOG2; echo "$LS5 : " >> $LOG2; echo " " >> $LOG2; $LS5 >> $LOG2
else
echo "Festplatte 2 - $NAME2 ist nicht angeschlossen weiter geht es"
fi
# und nun die dritte 
fdisk -l | grep $FP3
if [ "$?" = "0" ] ; then 
echo "Festplatte 3 - $NAME3 erkannt, Inhalt wird erstellt"; echo $DATE > $LOG3
echo " " >> $LOG3; df -h | grep Datei >> $LOG3; df -h | grep $CUT >> $LOG3
echo " " >> $LOG3; echo "$LS1 : " >> $LOG3; echo " " >> $LOG3; $LS1 >> $LOG3
echo " " >> $LOG3; echo "$LS2 : " >> $LOG3; echo " " >> $LOG3; $LS2 >> $LOG3
echo " " >> $LOG3; echo "$LS3 : " >> $LOG3; echo " " >> $LOG3; $LS3 >> $LOG3
echo " " >> $LOG3; echo "$LS4 : " >> $LOG3; echo " " >> $LOG3; $LS4 >> $LOG3
echo " " >> $LOG3; echo "$LS5 : " >> $LOG3; echo " " >> $LOG3; $LS5 >> $LOG3
else
echo "Festplatte 3 - $NAME3 ist nicht angeschlossen weiter geht es"
fi
# und nun die vierte 
fdisk -l | grep $FP4
if [ "$?" = "0" ] ; then 
echo "Festplatte 4 - $NAME4 erkannt, Inhalt wird erstellt"; echo $DATE > $LOG4
echo " " >> $LOG4; df -h | grep Datei >> $LOG4; df -h | grep $CUT >> $LOG4
echo " " >> $LOG4; echo "$LS1 : " >> $LOG4; echo " " >> $LOG4; $LS1 >> $LOG4
echo " " >> $LOG4; echo "$LS2 : " >> $LOG4; echo " " >> $LOG4; $LS2 >> $LOG4
echo " " >> $LOG4; echo "$LS3 : " >> $LOG4; echo " " >> $LOG4; $LS3 >> $LOG4
echo " " >> $LOG4; echo "$LS4 : " >> $LOG4; echo " " >> $LOG4; $LS4 >> $LOG4
echo " " >> $LOG4; echo "$LS5 : " >> $LOG4; echo " " >> $LOG4; $LS5 >> $LOG4
else
echo "Festplatte 4 - $NAME4 ist nicht angeschlossen weiter geht es noch nicht"
fi
# doch noch der stick zum test wenn 2 laufwerke angeschlossen sind 
fdisk -l | grep $FP5
if [ "$?" = "0" ] ; then 
echo "Festplatte 5 - $NAME5 erkannt, Inhalt wird erstellt"; echo $DATE > $LOG5
echo " " >> $LOG5; df -h | grep Datei >> $LOG5; df -h | grep $CUT >> $LOG5
echo " " >> $LOG5; echo "$LS1 : " >> $LOG5; echo " " >> $LOG5; $LS1 >> $LOG5
echo " " >> $LOG5; echo "$LS2 : " >> $LOG5; echo " " >> $LOG5; $LS2 >> $LOG5
echo " " >> $LOG5; echo "$LS3 : " >> $LOG5; echo " " >> $LOG5; $LS3 >> $LOG5
echo " " >> $LOG5; echo "$LS4 : " >> $LOG5; echo " " >> $LOG5; $LS4 >> $LOG5
echo " " >> $LOG5; echo "$LS5 : " >> $LOG5; echo " " >> $LOG5; $LS5 >> $LOG5
else
echo "Festplatte 5 - $NAME5 ist nicht angeschlossen weiter geht es noch nicht"
fi

Display More

ab der Zeile 40 "wiederholt sich das ganze ja "fast" da gibt es doch bestimmt bessere Möglichkeiten? Die das ganze dann noch besser erweitern lassen wenn ne weitere Platte hinzu kommt?

@ geronimo

ja ist da. Du fragst wegen den eindeutigen zuordnen? Der disk identifer von fdisk ist kürzer und damit funktioniert es derzeit ganz gut. Naja wenn mehr als eine platte drann ist dann geht das noch schief...

@ frank-km

1 und 2 wäre ne alternative scheint aber nicht mit jeder partition klar zu kommen. Mounten geschieht eh schon automatisch. Und ob das mit Namen gemountet wird ist mir egal.

Gruss Lexi

ps. hat zufällig noch einer ne idee um die $LS1-$LS5 zu optimieren

berndl · March 8, 2009 at 7:20 PM

Hi,
interessant!

Ich habe mir in Perl mal was aehnliches gebastelt, Basis ist ein einfaches 'find /video -iname *.rec' um alle Filme zu finden (von den bereits gemounteten Platten).
Dann kann man in Perl sehr einfach den kompletten Pfad in seine einzelnen Bestandteile zerlegen (Trenner ist '/') und dann weiter verarbeiten (bei mir Erzeugung eines .html Files).
In Perl waere das Problem mit LS1...LS5 wahrscheinlich einfacher (und universeller!) zu loesen.

Gruss,
- berndl

geronimo · March 9, 2009 at 6:06 AM

Moin,

Quote

Der disk identifer von fdisk ist kürzer und damit funktioniert es derzeit ganz gut. Naja wenn mehr als eine platte drann ist dann geht das noch schief...

Weiß nich ...
... ich lese daraus, dass es eben nicht funzt.

Ich habe so ein Wechselplattenrack, bei dem ich zur Laufzeit Platten ein- und ausschalten, bzw. wechseln kann - das hat mich anfangs auch etwas Arbeit gekostet. Genau wie die vielen USB-Teile, die mal hier, mal da eingesteckt werden und jeweils andere devices erhalten.

Seit ich /dev/disk/by-uuid/... verwende, ist mit dem Kwatsch schluss. Jetzt kann ich auch Skripte zwischen den Rechnern portieren und die laufen gleichermaßen.

Quote

Vorrangig geht es mir um die "wiederholungen" im script.

Hm, je nachdem, was Dir wichtiger ist. Wenn Du, vom OSD gelöschte Aufnahmen, die sich noch auf Platte befinden rausfiltern möchtest, ist die Methoden von berndl gut.
Ich habe seinerzeit mit 'find /video0 -name index.vdr -print' gearbeitet. Damit findet man garantiert nur VDR-Aufnahmen, muss aber selbst schauen, ob das Verzeichnis bereits eine Löschkennung enthält.

Ich habe es zwar auch mit perl gemacht, sollte aber auch mit bash Mitteln gehen.
sed und Co ist Dein Freund.
Was mir beim bashen sehr geholfen hat war: http://tldp.org/LDP/abs/html

Gruß Geronimo

Dauser · March 9, 2009 at 6:33 AM

Ich würde die usb platten mit
device=$(hwinfo --usb|grep "scsi"|cut -d " " -f5|cut -d "," -f1|uniq)
ermitteln und die
wiederholenden sachen in einer for schleife unterbringen.
In der schleife kan man ja testen ob z.B. $i gemountet ist.
mount | grep $i && ... usw

Im übrigen kriegt man über den ablauf des skripts eine menge herraus.
wen man am anfang des skripts
set -x
hinzufügt

geronimo · March 9, 2009 at 8:06 AM

Quote

mount | grep $i && ... usw

ein grep von /proc/mounts dürfte noch etwas schneller sein ...

die hwinfo der usb-platten läßt sich übrigens auch aus /proc auslesen

Dauser · March 9, 2009 at 11:18 AM

ok mit proc/mounts hast du recht.

ich habe schonmal versucht usb zuverlässig zu ermitteln aber hier
http://vdr-portal.de/board/thread.php?threadid=74380&hilightuser=6502

ich würde wieder auf hwinfo setzen

geronimo · March 9, 2009 at 3:20 PM

Hi Dauser,

sorry, der Fred ist an mir vorbei gegangen

Allerdings ist es *imho* schon was anderes, ob Du genau wissen willst, was für ein Device es ist, oder "einfach" eine Platte zuverlässig zu infizieren.
Du hast sicher recht, die Ausgaben von hwinfo zu parsen dürfte portabler sein, als /proc selbst aus zu werten - ich schätze, hwinfo wird letztlich auch nix anderes machen.

Gruß Geronimo

lexi · March 14, 2009 at 12:29 PM

hi,

habe gestern mal wieder etwas weiter getestet. Habe mal ne for schleife und by-uuid auswerten probiert. Das funktioniert auch schon im reinen teststadium ganz gut

Code

#! /bin/bash
set -x
FP1="6e32e7d1-4061-4908-ba58-3d5014796c26"
FP1N=Dokus
FP2="8f78089d-2093-4bd5-af83-f85d6d42760a"
FP2N=Filme1
LS="$(ls -ln $UUID > $LOG)"
UUID=/dev/disk/by-uuid
LOG=/mnt/data/scripts/wechselplatten/uuid.log
ls -ln $UUID > $LOG


    for i in $FP1 $FP2 ; do 
	ls -ln $UUID | grep $i 
        if [ "$?" = "0" ] ; then
        echo $i erkannt
	ls -ln $UUID | grep $i | cut -f 3 -d "/"
	echo $i ist an /dev/$(ls -ln $UUID | grep $i | cut -f 3 -d "/") angeschlossen
	else
	echo $i ist nicht angeschlossen 
	fi
done

Display More

nur wäre es schöner wenn man in Zeile 12 for i in 1 2 3 4 ....; do einsetzen könnte (oder auch a b c d ..) und zum Beispiel in Zeile 15 dann den Name der dazugehörigen Platte auswerten könnte "echo $FP$iN erkannt"

Gibt es Möglichkeiten mit klammern, ', " oder was weis ich das umzusetzen?

Quote

Im übrigen kriegt man über den ablauf des skripts eine menge herraus.
wen man am anfang des skripts
set -x
hinzufügt

Danke, das ist echt hilfreich Schon oft gesehen (auskommentiert) und nie drumm gekümmert was sich dahinter verbirgt.

Gruss Lexi

berndl · March 14, 2009 at 1:39 PM

Hi,
hmm, ich versteh' glaube ich doch noch nicht ganz, was du machen willst. Willst du von ein paar Platten (die, wie oben geschrieben schon gemounted sind) "nur" einen Dump mit 'ls' machen? Und wenn die gemounted sind, haengen die alle unter einem gleichen Mountpoint? (z.B. /mnt)

Dann kannst du doch ein 'ls -lR /Pfad > temp.txt' machen oder ein 'find /Pfad -iname *.* > temp.txt'. Dann hast du alles in einem Rutsch in einer Datei stehen und kannst die weiter verarbeiten. Und die Zuordnung, welcher Pfad welcher Platte entspricht bekommst du ja z.B. aus der /etc/fstab.

Habe ich das richtig verstanden?

Gruss,
- berndl

geronimo · March 14, 2009 at 3:25 PM

Quote

nur wäre es schöner wenn man in Zeile 12 for i in 1 2 3 4 ....; do einsetzen könnte (oder auch a b c d ..) und zum Beispiel in Zeile 15 dann den Name der dazugehörigen Platte auswerten könnte "echo $FP$iN erkannt"

Meinst Du sowas:

Code

devDir='/dev/disk/by-uuid'


   for i in $(ls $devDir); do 
      echo "aktuelle Platte ist: $i"; 


   done

Gruß Geronimo

lexi · March 15, 2009 at 11:14 AM

Quote

Original von berndl
Hi,
hmm, ich versteh' glaube ich doch noch nicht ganz, was du machen willst. Willst du von ein paar Platten (die, wie oben geschrieben schon gemounted sind) "nur" einen Dump mit 'ls' machen? Und wenn die gemounted sind, haengen die alle unter einem gleichen Mountpoint? (z.B. /mnt)

fast Richtig, es kann aber mal nur eine zusätzliche Platte am System dran/drin (usb/wechselrahmen) sein, oder auch mahl mehrere.

Quote

Original von berndl
Dann kannst du doch ein 'ls -lR /Pfad > temp.txt' machen oder ein 'find /Pfad -iname *.* > temp.txt'. Dann hast du alles in einem Rutsch in einer Datei stehen und kannst die weiter verarbeiten.

naja, wenn alle platten drann sind würde das so gehen wenn nur eine nicht angeschlossen ist fehlt so aber deren Inhaltsverzeichniss. Von daher hätte ich das gerne in extra Dateien geschrieben und die eindeutig zugeordnet.

Quote

Original von berndl
Und die Zuordnung, welcher Pfad welcher Platte entspricht bekommst du ja z.B. aus der /etc/fstab.

bei gen2vdr werden die platten automatisch über das script /_config/bin/usb_mount.sh erkannt (insofern das aktiviert wurde) Das möchte ich auch beibehalten. Mit der fstab ist da nichts.

Gruss Lexi

lexi · March 15, 2009 at 11:30 AM

Quote

Original von geronimo

Meinst Du sowas:

Code

devDir='/dev/disk/by-uuid'


   for i in $(ls $devDir); do 
      echo "aktuelle Platte ist: $i"; 


   done

Gruß Geronimo

es soll noch eine Lösung gefunden werden um das erstelle Inhaltsverzeichniss jeweils in eine namentlich bessere zuordenbarkeit zu bekommen. Ist hier aber auch erst mal egal werde das für diesen Fall dann am ende des scripts die dateinamen umbenennen lassen. Aber generell würde mich das schon interessieren warum das mit "$FP$iN" nicht klappt und wie man das ändern könnte

Gruss Lexi

berndl · March 15, 2009 at 12:35 PM

Quote

Original von lexi
...
fast Richtig, es kann aber mal nur eine zusätzliche Platte am System dran/drin (usb/wechselrahmen) sein, oder auch mahl mehrere.
...
naja, wenn alle platten drann sind würde das so gehen wenn nur eine nicht angeschlossen ist fehlt so aber deren Inhaltsverzeichniss. Von daher hätte ich das gerne in extra Dateien geschrieben und die eindeutig zugeordnet.
...
bei gen2vdr werden die platten automatisch über das script /_config/bin/usb_mount.sh erkannt (insofern das aktiviert wurde) Das möchte ich auch beibehalten. Mit der fstab ist da nichts.
Gruss Lexi

Display More

ok, dann nehme ich alles zurueck und behaupte das Gegenteil :o)
Meine Perl-Loesung hilft dir dann auch nicht weiter. Und zu shell-Scripten kann ich nu wirklich nix sinnvolles beitragen.

Gruss,
- berndl

geronimo · March 16, 2009 at 2:29 PM

Hi lexi,

manchmal bin ich so neben der Spur, dass ich garnicht merke, wenn ich mit beiden Füßen auf der Leitung stehe.

Hast Du dir iafs schon mal angeschaut?

Hatte ich "eigentlich" für genau den Zweck geschnitzt.
Wäre interessant zu hören, wenn Du es schon ausprobiert hast, warum, bzw. was nicht duht, und ob sich da nicht was machen ließe ...

Gruß Geronimo

geronimo · March 17, 2009 at 11:22 AM

Hi lexi,

um Deine Frage auch noch zu beantworten, hier ein kleines Beispiel, wie Du mehrere Variablen in einer Schleife verändern könntest ...

Es gibt dabei mehrere Stolperfallen:

Du brauchst für den Zugriff auf ein Array-Element die Syntax mit den geschweiften Klammern
der Zähler muss mit let erhöht werden

Was Du machen wolltest ist das geschachtelte Auflösen von Variablen. Das geht auch, ist aber schwieriger, weil Du da mit subshells arbeiten musst.
Ich denke mit dieser Schleifenart kommst Du rel. einfach und doch elegant zum Ziel.

Bash

#!/bin/bash
CUT='xyz'
Base='/media'
cmds=(
"ls /media/usb_$CUT",
"ls /media/usb_$CUT/*",
"ls /media/usb_$CUT/*/*",
"ls /media/usb_$CUT/*/*/*",
"ls /media/usb_$CUT/*/*/*/*"
)
ids=(
"0x562ca10e",
"0x5c2e4f1f",
"0x12",
"0xad45fd1d",
"0x65f6f3d4"
)
names=(
"Filmarchiv-2",
"Serienarchiv-1",
"Filmarchiv-1",
"Dokus",
"intenso-stick"
)


i=0
max=${#names[@]}  # number of entries in array 'names'
while [ $i -lt $max ]; do
   # execute command ...
   ${cmds[$i]}


   # tell current name ...
   echo "$i.) name: ${names[$i]}"


   # tell current id ...
   echo "$i.) id: ${ids[$i]}"


   # increment index for next iteration
   let i=$i+1
done

Display More

Gruß Geronimo

geronimo · March 17, 2009 at 4:34 PM

So, habe die andere Konstruktion wieder gefunden.

Ich hatte es bei meinem Installateur verwendet, aber wenn man sowas nicht regelmäßig braucht, ist's auch schnell wieder vergessen.
Muss mich übrigens korrigieren - das mit der subshell war ein anderes Problem.

Nun denn, hier also die Variante, mit der Du Deine Variablen hochzählen kannst:

Bash

#!/bin/bash
Id1="0x562ca10e"
Name1="Filmarchiv-2"


Id2="0x5c2e4f1f"
Name2="Serienarchiv-1"


Id3="0x12"
Name3="Filmarchiv-1"


Id4="0xad45fd1d"
Name4="Dokus"


Id5="0x65f6f3d4"
Name5="intenso-stick"




i=1
while [ $i -le 5 ]; do
   tmp="Name$i"
   eval name=\$$tmp
   tmp="Id$i"
   eval id=\$$tmp


   echo "$i.) name: [$name]"
   echo "    id..:  $id"


   let i=$i+1
done

Display More

Der Knackpunkt liegt bei der Verwendung von eval und dem doppelten Dollar, wobei der erste "entschäft" werden muss - deshalb der Backslash.

Gruß Geronimo

berndl · March 17, 2009 at 5:42 PM

heiliger Strohsack, wer kommt denn auf sowas?

Participate now!