[HOWTO] Schnelleres Compilieren auf dem VDR

whoisthomas · August 29, 2008 at 7:04 PM

Hallo zusammen,

vielleicht habt Ihr wie ich auch den Drang, öfters am VDR rumzubasteln.

Und vielleicht habt Ihr auch nicht die leistungsfähigste CPU im VDR, sondern eher einen Stromspar-Prozzi wie z.B. den VIA Eden.

Dann habt Ihr bestimmt auch das Problem, dass die make-Vorgänge quälend lange dauern, insbesondere wenn wider mal ein neuer Kernel gebaut werden muss.

Dann habt Ihr vielleicht Interesse an folgender Lösung:
Aufsetzen eines Compile-Clusters mit ICECREAM

Was braucht man dazu?
Zunächst mal mehrere LINUX-Rechner, es soll ja schliesslich ein Cluster werden.
Wer wie ich neben dem Compilieren gerne etwas auf seinem Windows-Desktop erledigt, kann hierbei auch zu VMWare greifen und einen virtuellen LINUX-Server aufsetzen.
Hier also meine Vorgehensweise:

1. VMWare Server kostenlos hier runterladen und installieren

2. Eine VM mit einem Minimal-Linux aufsetzen (kein Desktop, kein X, kein sonstiger Schnickschnack). Das Netzwerk der VM habe ich auf "default bridged" gestellt.

3. Auf allen Rechnern (können beliebig viele physikalische Kisten oder VMs sein) ICECREAM installieren. Für Gentoo sieht das so aus (für andere Distris bitte googlen):

a) emergen von maskiertem Package für ICECREAM zulassen

Code

echo "sys-devel/icecream ~x86" >> /etc/portage/package.keywordsw

b) ICECREAM installieren

Code

emerge -av sys-devel/icecream

c) /etc/make.conf anpassen
Anzahl der Prozessoren im Cluster + 1 setzen (=N)

Code

MAKEOPTS="-jN"

portage soll ICECREAM nutzen

Code

PREROOTPATH="/usr/lib/icecc/bin"

d) /etc/profile anpassen
make soll ICECREAM nutzen

Code

PATH="/usr/lib/icecc/bin:${PATH}"

e) /etc/conf.d/icecream anpassen
Auf dem Server (es darf nur einen geben!):

Code

ICECREAM_RUN_SCHEDULER="yes"

Auf allen Clients:

Code

ICECREAM_RUN_SCHEDULER="no"

Anzahl der Prozessoren im Cluster + 1 setzen (=N), siehe oben

Code

ICECREAM_MAX_JOBS="N"

Ich musste bei mir noch die IP des ICECREAM-Servers/Schedulers eintragen, da das Broadcasting scheinbar nicht funktioniert hat:

Code

ICECREAM_SCHEDULER_HOST="192.168.1.99"

4. So jetzt noch den ICECREAM-Dienst auf allen Rechnern, inkl. VDR starten

Code

/etc/init.d/icecream start

und ggf. so einstellen, dass der Dienst beim Hochfahren gestartet wird:

Code

rc-update add icecream default

5. make oder emerge starten und sich freuen, wie schnell das geht.
Ein Kernel make dauert bei mir nur noch ca. 25% der Zeit, da die meiste Arbeit auf meinem DualCore Desktop (innerhalb der VM) verrichtet wird.
Das schöne an ICECREAM (im Unterschied zu distcc) ist, dass der Server die Last dynamisch verteilt, d.h. die schnellen Rechner bekommen mehr Compile-Jobs.

Moorviper · August 29, 2008 at 9:10 PM

seeeeeehr geil danke hab eindlich die tt 3200er in der s100 drinn und das compilieren war so ätzend lahm

bis ich da die ehd und den vdr zum laufen bringen würde das würde dauern
mit der lösung sollte das schneller gehen

thanks

gruß

ronnykornexl · October 19, 2008 at 6:26 AM

Morgen

Mal eine Frage, kann man irgend wie, die Priortät erhöhen?

Meine, auf der VDR Kiste (icream client / 863 MHz) dauert das Kompilieren länger, als auf dem Server ( 5200 MHz)?

Es geht schon deutlich "flotter", icemon zeigt auch an das sich was tut, aber wie gesagt auf dem Server selbst, geht es mindestens doppelt so fix?

Auf dem Server, wie folgt gestartet (SuSE):

Code

/usr/sbin/iceccd -d -l /var/log/iceccd --nice 5 -u icecream -b /var/cache/icecream -m 1

LG Ronny

ilmusy · October 20, 2008 at 12:23 AM

was passiert wenn man kompilieren möchte während der Server ausgeschaltet ist? Geht das dann noch?

Marcus 2208 · October 20, 2008 at 1:24 AM

Na das nenn ich mal ne geniale Idee! Compilieren alla SET@home, nur lokal!

ronnykornexl · October 20, 2008 at 5:02 AM

Quote

Original von ilmusy
was passiert wenn man kompilieren möchte während der Server ausgeschaltet ist? Geht das dann noch?

Ja, aber ebend nur mit der lokalen Leistung.

LG Ronny

knebb · October 20, 2008 at 6:21 AM

Klasse!

So etwas sollte es viel oefters geben- nicht nur fuer Compilierorgien, sondern auch fuer andere Anwendungen.

Es haben doch fast alle hier mehrer Rechner mit mehreren CPUs rumstehen. Warum sollten wir uns einen neuen Desktop kaufen, wenn die Rechenleistung auf den anderne Kisten in der Summe vorhandne ist?

Naja, dank Multi-Core CPUs haelt ja nun endlich in der Programmierung der Anwendugen Parallelisierung Einzug.

Und der naechste Schritt zur nicht-lokalen Parellelisierung ist dann nicht mehr weit.

Gespannt wartend, Christian

ronnykornexl · October 25, 2008 at 8:16 AM

Quote
Original von ronnykornexl
Morgen

Mal eine Frage, kann man irgend wie, die Priortät erhöhen?

Meine, auf der VDR Kiste (icream client / 863 MHz) dauert das Kompilieren länger, als auf dem Server ( 5200 MHz)?

Es geht schon deutlich "flotter", icemon zeigt auch an das sich was tut, aber wie gesagt auf dem Server selbst, geht es mindestens doppelt so fix?

Auf dem Server, wie folgt gestartet (SuSE):
Code
/usr/sbin/iceccd -d -l /var/log/iceccd --nice 5 -u icecream -b /var/cache/icecream -m 1
LG Ronny
Display More

Morgen

Glaube es liegt an dem hier ....

Code

/usr/sbin/iceccd -d -l /var/log/iceccd --nice 5 -u icecream -b /var/cache/icecream -m 1
                                       ^^^^^^^^

Habe mal shell> cat /proc/cpuinfo ausgeführt, beide Kerne liefen auf 1000 MHz, dann mal auf KPowersave, das CPU Frequenzverhalten von Dynamisch auf Leistung gesetzt, siehe da beide Töppe auf 2600 MHz.

Kompilieren, geht nun deutlich flotter, auf den Client.

Für SuSE:

Code

shell> yast2 sysconfig set ICECREAM_NICE_LEVEL=19
shell> rcicecream restart

LG Ronny

gizmo · December 14, 2008 at 9:05 AM

wenn ich 64Bit und 32Bit Linux'e habe, bekomm ich da Probleme?
Was ist da zu beachten?

Auf der Icecream Seite steht was, dass ich die Optimierungen (CFlags für den Prozzi) weg lassen soll...

Was ich eben nicht unbedingt möchte - sonst könnte ich gleich zu Binär-Distros wechseln...

Hat da jmd. Erfahrungen?

netz · February 10, 2009 at 2:00 AM

Hallo,
ich versuche es, auf Suse 11.1 (64-bit AMD Athlon 64 X2 Dual Core 4800+ @ 2.50GHz) für Gentoo (i686 Celeron (Coppermine) @ 0.73GHz) zu übersetzen.

Dazu habe ich die Entwicklungsumgebung (compiler environment) von Gentoo auf Suse geladen.

Unter Gentoo

Code

icecc --build-native

Unter Suse

Code

export ICECC_VERSION=i686-4.1.2.tar.gz

In der Firewall von Suse habe ich noch die Ports freigegeben.
http://en.opensuse.org/Icecream

Wie es aussieht wird unter Gentoo (Installation nach Anleitung von oben) problemlos übersetzt.
Im Icecream Monitor werden mir die Zwei Plattformen mit eingehenden und ausgehenden Jobs angezeigt.

Quote

Hosts: Plattform i686
Outgoing jobs: Server Suserechner

Quote

Hosts: Plattform x86_64
Incomming jobs: Client Gentoorechner

Kann jemand mit Erfahrungen sagen, ob der Ablauf des Übersetzen so stimmt?

bis dann,
Nando

netz · February 16, 2009 at 5:12 PM

Hallo,
was hat es mit sys-devel/crossdev auf sich? Es ist bei mir nicht installiert.
http://www.gentoo-wiki.info/HOWTO_Setup_An…cross-compiling

Manchmal steht auch im Icecream Monitor, im Host des Activy, bei State nur LocalOnly und dann Finished (beim Übersetzen).
Im Host des Scheduler (Suse 11.1) taucht nichts auf.
Gibt Inecream nur größere Jobs weiter?

Im Icecream Monitor tauch dann irgendwann wieder Client und Host auf. Im Host des Activy -> Client und im Host des Suse Rechners -> Server. Im System Monitor des Suse Rechners ist der Task cc1 zu finden.

bis dann,
Nando

ronnykornexl · February 21, 2009 at 4:33 PM

Quote

Original von netz
Hallo,
was hat es mit sys-devel/crossdev auf sich? Es ist bei mir nicht installiert.
http://www.gentoo-wiki.info/HOWTO_Setup_An…cross-compiling

Manchmal steht auch im Icecream Monitor, im Host des Activy, bei State nur LocalOnly und dann Finished (beim Übersetzen).
Im Host des Scheduler (Suse 11.1) taucht nichts auf.
Gibt Inecream nur größere Jobs weiter?

Im Icecream Monitor tauch dann irgendwann wieder Client und Host auf. Im Host des Activy -> Client und im Host des Suse Rechners -> Server. Im System Monitor des Suse Rechners ist der Task cc1 zu finden.

bis dann,
Nando

Display More

Habe auf dem Client, die .bashrc erweitert, aber keinen Plan, wie das bei Gentoo läuft.

Code

shell> cat ~/.bashrc
export PATH=/opt/icecream/bin:$PATH:/usr/local/bin
alias make="make -j2"

Also, ohne '-j2' sah ich fast ausschließlich 'State nur LocalOnly'.

---------------

Später ...

Das Howto ganz oben ist ja für Gentoo, somit wird es wohl nicht an -j2 liegen,

LG Ronny

netz · February 21, 2009 at 5:55 PM

Hallo Ronny,
hier ist eigentlich gut beschrieben, wie es einzurichten ist.
http://de.gentoo-wiki.com/wiki/Emerge_be…n#Konfiguration

Quote

File: /etc/make.conf

MAKEOPTS="-jN" # Anzahl der Prozessoren im Cluster +1
PREROOTPATH="/usr/lib/icecc/bin" # Portage veranlassen mit Icecream zusammen zuarbeiten

File: /etc/profile

PATH="/usr/lib/icecc/bin:${PATH}" # Icecream veranlassen mit make zusammen zuarbeiten
# Sollte von Hand in die Datei eingetragen werden
# da echo die Variable gleich auflöst

File: /etc/conf.d/icecream

ICECREAM_RUN_SHEDULER="no" # Soll die unser Server werden ist hier "yes" einzutragen
ICECREAM_MAX_JOBS="N" # Hier die maximalen Jobs eintragen, also das was vorher
# bei MAKEOPTS="-jN" stand

Display More

Allerdings ist bei mir kein Unterschied in der Geschwindigkeit zu bemerken (gerade v4l-dvb-hg übersetzt).
Icecream-Daemon auf Activy läuft -> zirka 21Minuten
- Server-Client-Anzeigen im Icecream-Monitor
- cc1 im System-Monitor des Servers
- ~20 % CPU-Nutzung des Server

Icecream-Daemon auf Activy gestoppt -> zirka 20Minuten
- keine Server-Client-Anzeigen im Icecream-Monitor
- ~15 % CPU-Nutzung des Server

(ICECREAM_NICE_LEVEL="5", MAKEOPTS="-j3")

[edit]
Ist ccache dafür verantwortlich, dass es beim 2.Versuch ebenso schnell ablief?
MAKEOPTS="-j3" auskommentiert aus /etc/make.conf bringt eine Dauer von ~50 Minuten
Was mich nur wundert, ist die niedrige CPU-Last des Servers.
[edit]

bis dann,
Nando

decembersoul · February 21, 2009 at 7:15 PM

Ich hatte es früher schon mal verwendet und hatte damals ein paar Probleme wenn es unterschiedliche gcc und libc Versionen installiert waren.
Ist das heute kein Problem mehr ?

netz · February 21, 2009 at 7:21 PM

Das gleiche, aus dem Source-Verzeichnis, auf dem Server übersetzt, dauert ~7 Minuten.
Kann man das optimieren?

decembersoul
Fehlermeldungen sind mir nicht aufgefallenm, nur etwas wie diese Zeile (Test von eben).

Code

...
 * Preparing dvb module make -j3 HOSTCC=i686-pc-linux-gnu-gcc CROSS_COMPILE=i686-pc-linux-gnu- LDFLAGS= KDIR=/usr/src/linux default scripts/make_makefile.pl
...

ronnykornexl · February 21, 2009 at 8:35 PM

Weiß, nicht mit den unterschiedlichen gcc-versionen, liegen hier zbs. zu nah bei einnander.

Code

server: gcc (SUSE Linux) 4.3.2 [gcc-4_3-branch revision 141291]
client: gcc (GCC) 4.3.3 (CRUX)

Bei mir lohnt sich das ganze auf jeden Fall.

Code

server: 5200 MHz
client: 863 MHz (vdr)

Treiber (dvb) verteilt übersetzt:

Code

real    6m37.987s
user    3m45.382s
sys     1m38.322s

Hier mal ohne:

Code

real    20m18.801s
user    15m23.618s
sys     3m43.194s

Sind doch ein paar Minuten, unterschiedt.

Wollte mir eigentlich auch schon einen neuen Unterbau für vdr zulegen, da die Distri (Crux) Source basiert ist (bis auf die Basis).

Dank Icecream, hat das nun noch reichlich Zeit

LG Ronny

netz · February 21, 2009 at 8:43 PM

Manuell mit dem gleichen Source-Verzeichnis auf dem Activy.
- Activy Client Jobs 1
- Suse Server Jobs 10

make CC=icecc -j10
zirka 13 Minuten

Naja, vllt. braucht man eine Gigabit-Leitung. Ich habe nur 100-MBit.

ronnykornexl · February 21, 2009 at 8:45 PM

Quote

Original von netz
Manuell mit dem gleichen Source-Verzeichnis auf dem Activy.
- Activy Client Jobs 1
- Suse Server Jobs 10

make CC=icecc -j10
zirka 13 Minuten

Naja, vllt. braucht man eine Gigabit-Leitung. Ich habe nur 100-MBit.

Hier auch nur 100 MBit LAN.

LG Ronny

ronnykornexl · February 21, 2009 at 8:57 PM

Dachte immer mit -j<N> waren die CPUs gemeint, dabei geht es im die Jobs.

Jetzt mal auf 10 gesetzt, geht noch eine Ecke fixer (dvb komplett):

Code

real    4m34.671s
user    3m30.069s
sys     0m58.360s

LG Ronny

netz · February 21, 2009 at 9:01 PM

Das geht jetzt aber in die falsche Richtung.
Bei mir sollte es schneller werden, nicht bei dir.

Participate now!