[Bash] Array-Inhalt mit grep weiterverarbeiten

HTPC-Schrauber · 18. Dezember 2009

Hi,

ich habe eine Inputdatei. Die formatiere ich etwas um. Und zwar in ein Array, weil ich ungerne temporäre Dateien schreiben möchte.

Ich möchte nur aus dem Array nur die Elemente, welche einen bestimmten Text enthalten.

Bei normalen Dateien würde man das einfach mit Grep machen.

Der Versuch mit:
echo ${array[*]} | grep "irgendwas"

schlägt aber fehlt. Es kommt immer das gesamte Array heraus.
Der Grund ist mir klar geworden, als ich das grep weggelassen habe und mal nur das Array echoed habe. echo gibt den Array-Inhalt nicht zeilenweise aus sondern hängt alle Elemente einfach hintereinander.

Wie gebe ich den Array-Inhalt zeilenweise aus?
Eine Schleife drehen wollte ich eigentlich vermeiden, weil das ja auch nicht gerade schnell ist.

Grüße

lubot · 18. Dezember 2009

Hallo!

Ganz ohne Schleife gehts wohl nicht, aber es ist möglich für die ganze Schleife nur einmal grep aufzurufen:

Code

for i in ${!array[@]}
do
    echo "${array[$i]}"
done | grep "irgendwas"

Noch schneller läuft das ganze, wenn du auf grep verzichtest:

Code

for i in ${!array[@]}
do
    [[ "${array[$i]}" =~ "irgendwas" ]] && echo "${array[$i]}"
done

Ziemlich übler Bashism, aber es läuft

Grüße
Sebastian

d.heinrichs · 18. Dezember 2009

Zitat

Original von HTPC-Schrauber
ich habe eine Inputdatei. Die formatiere ich etwas um. Und zwar in ein Array, weil ich ungerne temporäre Dateien schreiben möchte.

Wie wär's mit perl:

Perl

#!/usr/bin/perl


open (FILE, "<meineDatei") or die "Fehler!\n";
my @array = <FILE>;
foreach my $line (grep (/irgendwas/, @array)){
  print ($line."\n");
}
exit(0);

HTH...

Dirk

HTPC-Schrauber · 18. Dezember 2009

Zitat

Original von lubot

Code

for i in ${!array[@]}
do
    [[ "${array[$i]}" =~ "irgendwas" ]] && echo "${array[$i]}"
done

Das klappt leider nicht. Weil dann der ganze Inhalt übereinstimmen müsste. Incl. Gross/Klein. Oder irre ich?

Was macht ${!array[@]} ?

d.heinrichs: Hmm, würde auch gehen. Allerdings wollte ich ungerne Perl und Bash mischen. Und das Script macht insgesamt noch ne ganze Menge mehr als nur das. Dementsprechend wärs wohl geschickter wenn ich bei einer Sprache bleibe. Trotzdem danke.

geronimo · 18. Dezember 2009

Hallo,

also wenn Du Dein Script auch noch nach nem Jahr Pause verstehen willst, würde ich nicht die Bash-Syntax bis aufs letzte ausreizen, sondern eher etwas konventioneller (langsamer?) bleiben:

Bash

#!/bin/bash
pattern="what ever"


for line_nr in $(seq 0 $((${#array[@]} - 1))); do
   tmp=`echo ${array[$line_nr]} | grep "$pattern"`
   if [ "x$tmp" != "x" ]; then
      echo $tmp;
   fi   
done

Gruß Geronimo

P.S. ich persönlich würde array noch in all_lines oder so umbenennen

lubot · 18. Dezember 2009

EDIT: geronimos Ansatz mit eingefügt.

${!array[@]} wird zu 0, ..., ${#array[@]}
Also im Fall unten 0, 1, 2

Nein es muss nicht der ganze Inhalt übereinstimmen. Du kannst aber anstatt "eins" auch .*eins.* schreiben.

Code

#/!bin/bash


search_text="MODULES" 


array=()


while read one_line
do
	i=${#array[@]}
	array[$i]="$one_line"
done < /etc/rc.sysinit


echo ${!array[@]}
echo


time \
for i in ${!array[@]}
do
	[[ "${array[$i]}" =~ "$search_text" ]] &&
		echo "${array[$i]}"
done


echo


time \
for i in ${!array[@]}
do
	[[ "${array[$i]}" =~ .*$search_text.* ]] &&
		echo "${array[$i]}"
done


echo


time \
for i in ${!array[@]}
do
	echo "${array[$i]}"
done | grep "$search_text"


echo


time \
for line_nr in $(seq 0 $((${#array[@]} - 1)))
do
	tmp=`echo ${array[$line_nr]} | grep "$search_text"`
	if [ "x$tmp" != "x" ]; then
		echo $tmp;
	fi   
done

Alles anzeigen

Gibt folgendes aus:

Code

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423


# Load modules from the MODULES array defined in rc.conf
for mod in "${MODULES[@]}"; do
ACPI_MODULES="ac battery button fan processor thermal"
j="$(echo ${MODULES[@]} | /bin/sed 's|-|_|g')"
#add disabled MODULES (!) to blacklist - much requested feature
for n in ${ACPI_MODULES}; do


real    0m0.066s
user    0m0.060s
sys     0m0.003s


# Load modules from the MODULES array defined in rc.conf
for mod in "${MODULES[@]}"; do
ACPI_MODULES="ac battery button fan processor thermal"
j="$(echo ${MODULES[@]} | /bin/sed 's|-|_|g')"
#add disabled MODULES (!) to blacklist - much requested feature
for n in ${ACPI_MODULES}; do


real    0m0.076s
user    0m0.073s
sys     0m0.000s


# Load modules from the MODULES array defined in rc.conf
for mod in "${MODULES[@]}"; do
ACPI_MODULES="ac battery button fan processor thermal"
j="$(echo ${MODULES[@]} | /bin/sed 's|-|_|g')"
#add disabled MODULES (!) to blacklist - much requested feature
for n in ${ACPI_MODULES}; do


real    0m0.091s
user    0m0.073s
sys     0m0.013s


# Load modules from the MODULES array defined in rc.conf
for mod in "${MODULES[@]}"; do
ACPI_MODULES="ac battery button fan processor thermal"
j="$(echo ${MODULES[@]} | /bin/sed 's|-|_|g')"
#add disabled MODULES (!) to blacklist - much requested feature
for n in ${ACPI_MODULES}; do


real    0m5.813s
user    0m2.960s
sys     0m2.710s

Alles anzeigen

Du brauchst für die Regex mindestens Bash 3.1.

HTPC-Schrauber · 18. Dezember 2009

Also die letzten beiden Schleifen sind doch eindeutig besser lesbar und zu verstehen.

Aber das
for i in ${!array[@]}
derart viel schneller ist als
for line_nr in $(seq 0 $((${#array[@]} - 1)))
das find ich schon hammerhart.

lubot · 18. Dezember 2009

Zitat

Original von HTPC-Schrauber
Also die letzten beiden Schleifen sind doch eindeutig besser lesbar und zu verstehen.

Aber das
for i in ${!array[@]}
derart viel schneller ist als
for line_nr in $(seq 0 $((${#array[@]} - 1)))
das find ich schon hammerhart.

Alles anzeigen

Das geronimos Schleife so langsam ist liegt nicht am seq, sonder daran, dass in jedem Schleifendurchgang, also für jede Zeile einzeln, grep aufgerufen wird. Das kostet. Bei der anderen Schleife wird grep, nachdem die Schleife komplett durchgelaufen ist, aufgerufen. Also nur einmal.

geronimo · 18. Dezember 2009

Danke lubot für die harten Fackten.

Das der Unterschied so groß ist, hat mich auch überrascht. Ist doch immer gut, mal ne Messung einzuschieben!
Also wenn der Bezug zu den gefundenen Zeilen irrelevant ist, würde ich den ersten Vorschlag von lubot nehmen. Das ist ein guter Kompromiss aus Lesbarkeit und Geschwindigkeit.
Ansonsten muss man wohl oder übel zur zeilenbasierten Verarbeitung greifen.
Wenn man den bashismus gut kommentiert, sollte man auch wieder reinfinden können

Gruß Geronimo

HTPC-Schrauber · 18. Dezember 2009

Öhm, so bashig find ich die Schleife aber auch gar nicht. Oder?
Also ich mein bis auf das Array ist doch da nicht Wildes dran. Oder bin ich schon zu sehr an Bash gewöhnt?

lubot · 18. Dezember 2009

Welche von den vieren meinst du?

geronimo · 18. Dezember 2009

Nö, die Schleifen sind alle ok.

Aber pattern-matching mit Bash würde ich schon nimmer als Grundwissen einstufen. Das ist schon "Oberstufen-Wissen". Kann natürlich sein, dass das für Dich kalter Kaffee ist. Bei mir ist es so, dass ich vielleicht alle halbe Jahr mal ein bisschen tiefer ins Bashwissen eintauchen muss.
Wenn ich da nach nem halben Jahr meine eigenen Werke anschaue, muss ich schon etwas grübeln.

Wenn Du das Problem nicht hast, ist ja gut

HTPC-Schrauber · 18. Dezember 2009

Ich hab jetzt diese Version genommen:

Zitat

for i in ${array[*]}
do
echo "$i"
done | grep "irgendwas"

Einfacher und funktioniert genauso.

Das Ding ist natürlich Teil eines sehr viel größeren Scripts. Das Script hat schon mehr was mit Programm zu tun. Aber gut. Ich benutze da auch noch den OSDServer um ein VDR-Menü zu erzeugen.
Wenns fertig ist wird es hier im Forum im EPGData2VDR-Thread zu finden sein.

Das Kontrukt oben kommt da drin jedenfalls mehrfach vor. Zusätzlich noch mit cut garniert.

Insgesamt kann ich meinen eigenen Code aber nachher schon auch wieder lesen. Also so übel scheints nicht zu sein.

Jedenfalls danke ich vielmals für die ausgiebige Hilfe und Beratung.

Urig · 19. Dezember 2009

Zitat

Originally posted by HTPC-Schrauber
Der Versuch mit:
echo ${array[*]} | grep "irgendwas"

schlägt aber fehlt. Es kommt immer das gesamte Array heraus.

Da kann man aber durchaus was daraus machen, man muss nur noch etwas dazu geben:

Bash

#!/bin/bash


array=("1 2 3" "4 a b" "c d e" "f 5 6")


oldifs="$IFS"
IFS=$'\n'
array2=(`echo "${array[*]}" | grep [0-9]`)
IFS="$oldifs"


echo "${array2[*]}"

Alles anzeigen

... ergibt ein Array mit nur noch 3 Elementen, nämlich "1 2 3" "4 a b" "f 5 6".

Gruß,

Udo

[Bash] Array-Inhalt mit grep weiterverarbeiten

Jetzt mitmachen!

Teilen