Docker-Bausteine für VDR

Moin,

angetrieben durch Forschungsdrang und auch die Not, dass meine "schöne" Plex+usw+VDR Kiste immer mal wieder Probleme macht, habe ich rumprobiert wie ich das Ressourcenmanagement besser in den Griff bekommen kann.

Der erste Gedanke war, doch mal XEN zu machen und dann die einzelnen Anwendungen getrennt voneinander zu virtualisieren, also

1) VDR
2) Plex + Python-Scriptesammelsurium
3) iStreamdev + FFMPEG für's Umrechnen
4) eine "Spielwiesen"-Box für diverse, andere Dienste

Was mir dabei nicht gefällt, ist der massive Overhead den ich für jede VM rumschleppen muss.

Auf der Arbeit sind wir vor 2 Wochen in der Mittagspause auf Docker gekommen, und von daher probiere ich damit ein wenig herum.
Wer mehr zu Docker wissen will: https://www.docker.com/whatisdocker/

Was ich aktuell am laufen habe:

* Ubuntu 12.04 Base Installation (basiert auf einem yavdr0.5 sogar)
* Ubuntu:12.04 Docker Container als privileged System (heisst es hat Zugriff auf die Devices nativ) mit yavdr debs aus den stable ppas
* Ubuntu Container mit Plex von hier https://github.com/needo37/plex

Noch starte ich alles manuell, und ich spiele mit den Scripten rum.

Aber man kann sich "relativ" einfach ein Docker-Repo aufsetzen bzw. ein public Image in die "Registry" (public repo) bei docker.io legen.

Was bringt das? Ja, ich kann per Container die Ressourcen managen, ich kann jeden Container separat updaten/pflegen, aber das System ist halt klein Vergleich zu einer VM. Ich "könnte" (wenn ich wollte) auch einen Archlinux-Container starten (z. Bsp. https://registry.hub.docker.com/u/base/archlinux/) und dann archvdr austesten

Oder, oder oder ... Da Docker wie git mittel Commits versioniert kann ich auch Forks bilden, zurückgehen auf einen vorherigen Stand, etc.

So - hat jemand Interesse an sowas? Für die Distri Devs ist das sicher sehr interessant ... Wenn ja, dann würde ich mich über ein oder zwei Tester freuen.

Was denkt ihr dazu?

Grüße, J*

=====================================================

Nachfolgend ein bisschen Kickstart-Info - Basierend auf Ubuntu 12.04 braucht man:

* docker (http://docs.docker.com/install…u-precise-1204-lts-64-bit)
* apparmor

und los gehts.

Den VDR-Container z. Bsp. so starten:

> docker run -i -t --privileged=true ubuntu:12.04 /bin/bash

Dann auf der Shell arbeiten, und nach der letzten, relevanten Aktion die Seed-ID nach dem root@ in Clipboard. Dann einen Commit in ein eigenes Image:

> docker commit -m="installed yavdr base" -a="Jondalar" ab0ed68501ef jondalar/yavdr


usw ...

Hi Hepi,

Zitat von hepi

Auf jeden Fall finde ich jegliche Virtualisierung eigentlich nur dann interessant, wenn man damit ein Problem lösen kann, das sonst unlösbar (oder unbequem lösbar) ist. Und die Probleme, die Du lösen willst (inkompatible libs?), beschreibst Du eigentlich oben kaum. Deshalb kann ich nicht so richtig nachvollziehen, wozu der Aufwand gut sein soll.

Die Frage ist berechtigt - bei mir dient der Server daheim als:

• VDR zum aufnehmen
• VDR als Sky-Recevier Ersatz zum TV glotzen
• EPG Server
• PLEX Media Server, hauptsächlich um US Serien und Aufnahmen offline bzw. auf iOS zu schauen
• Downloader für div. Media (da gehe ich mal nicht näher drauf ein jetzt)
• Time-Machine Backup Medium

Plex und die div. Downloadtools sind alles vermaledeite Python-Tools, die ich überhaupt nicht in den Griff bekomme, was die Ressourcen-Nutzung von z.Bsp. FFMPEG aus Plex heraus betrifft. IONice, UserResources, usw .. alles nix.

Ausserdem graut es mir schon vor dem Moment, in dem ich von yavdr 0.5 auf eine 0.x gehen werde und wieder meine Config nachziehen muss, dann das ganze andere Zeug nachinstallieren, usw.

Daher der Gedanke an Virtualisierung. Beim Spiel mit Virtualbox bin ich recht weit gekommen, aber VBOX kann halt einfach nicht gut mit Hardware wie DVB. XEN liest sich vielversprechend, aber auch sehr kompliziert finde ich ... dann kam wie gesagt Docker ins Gespräch.

Ich denke an sowas wie:

1) Basis CoreOS als Hauptsystem
2) yaVDR Container
3) Plex Container
4) Download und Converter Container
5) Streaming Container mit iVDR/iStreamdev
6) Rest in einem Container

So kann ich jedem Container eigene Ressourcen zuweisen. Durch das Bridged Networking theoretisch auch ohne grosse Anpassungen, wenn ich skalieren/migrieren will und mehr als einen Server einsetze. (Z.Bsp. Streaming auf meinen Hetzner oder Strato auslagern und dann VPN zwischen den Containern). Eigentlich alle Vorteile der Virtualisierung halt.

Docker ist meiner bisherigen Sicht nach nur eleganter, da es nicht ein komplettes System virtualisiert sondern mit den Overlays einfach Platz spart. Und schneller läuft ...

Aus VDR Sicht könnte ich mir vorstellen, dass wir so nicht alles immer in jede Distri packen müssen, sondern eher Komponenten zur Auswahl haben. Auch der Test einer neuen Version/Distribution wird ja so relativ leicht. Und da die Container halt Container sind, kann man seinen Stand recht einfach mit anderen Teilen (quasi nur ein Push in ein Public-Repo oder das .Dockerfile per Mail, im Forum, etc ... )

Aber zurück zu Deiner Frage - was ich lösen will, ist das mit der Server dank 100% auf 4 Cores durch ein Python-gescriptetes FFMPEG/Handbrake dicht macht und ich zerstörte Aufnahmen habe oder sogar einen Neustart brauche.

Grüße,
J*

Zitat von gda

Ich habe noch nicht reingesehen, aber ich hoffe dass das nicht stimmt. Ich nehme doch an du meinst nur den VDR selbst und ein paar Plugins vielleicht.
Die yavdr-*-Pakete machen in einem Docker doch keinen Sinn. Ich sehe da nur Server-Dienste. Alles was mit Ausgabe zu tun hat scheint mir da nicht reinzugehören.

Hi gda,

ne - das war missverständlich. Ich habe entlang der docker.com Anleitung den kernel der yavdr0.5a auf 3.8.x gehoben und dann docker installiert. Plex im Container lässt sich prima regeln...

Aber, warum siehst Du nur server Dienste in den Containern? Mit "--privileged=true" kann ich den Container ja auch direkt an die Devices lassen. Ich hab's noch nicht probiert, setze aber aktuell in einer 2. Partition auf meine SSD 14.04 auf und wollte genau das dann austesten.

Ein gekapselte yaVDR in einem Container fände ich zum testen gar nicht so schlecht.

Ausserdem setze ich gerade ein Docker-Repo auf, da pushe ich dann meine "Werke" mal hin. Wer da mit drauf will, der schicke mir bitte eine PM.

Cheers
J*

Kurzes Update:

Ich habe mal einen Docker-Image basierend auf dem plex-pass-image von needo73 aufgebaut. (wer KEIN pass hat, der sollte im Dockerfile den download link tauschen, heute http://downloads.plexapp.com/p….12.504-3e7f93c_amd64.deb)


Hier zu finden: https://github.com/Jondalar/plex

Mini-howto (für yaVDR geht's bei mir, alles andere muss jeder sehen ob's was bringt)

1) Docker installieren, siehe: http://docs.docker.com/install…u-precise-1204-lts-64-bit

2) einfach mit 'docker pull jondalar/plex' das image ziehen, oder mein Github Projekt auschecken, am besten nach /usr/local/src/dockerfiles

3) fällt weg wenn ihr mit docker pull gearbeitet habt!
Sonst:

docker build -t jondalar/plexvdr /usr/local/src/dockerfiles/plex

4) Config Ordner anlegen, bei mir ist es /usr/local/docker-configs ... Rechte könnten noch optimiert werden - ich lasse es fürs erste bei 777 (oder chmod a+rwx) auf dem Ordner


5) Plex-Container instanzieren, dabei die Pfade für die Aufnahmen und evtl. AVI/MKV Files setzen:

docker run -d --net="host" --name="plex" -v /usr/local/docker-configs:/config -v /srv/vdr/video.00/AVIs:/data -v /srv/vdr/video.00/Filme:/recordings -v /etc/localtime:/etc/localtime:ro -p 32400:32400 jondalar/plexvdr

6) Plex aufmachen, http://ipzumvdr:32400/web/

Bei mir geht es sofort, und das Live-TV-Plugin ist da, sowie auch der Scraper für VDR.

7) falls das automatisch starten soll, dann ein upstart oder systemd script wie hier beschrieben. Meins zum Beispiel:
/etc/init/plexmediaserver

# plexpms - service job filedescription "Plex Media Server"author "Jondalar"# Start the media server after network and filesystem# Otherwise this lead to a unresponsive serverstart on filesystem and started docker# When to stop the servicestop on runlevel [!2345]# Automatically restart process if crashedrespawn# What to executescript	/usr/bin/docker start -a plexend script

Falls es jemand testen mag, würde ich mich freuen und natürlich auch über Feedback!

Achtung - das Ding braucht StreamDev und restfulapi, sonst geht der LiveStream natürlich nicht.

Cheers
J*

Merci

Falls das einer testet und noch was mit chmod/chown an Verbesserungen findet - immer her damit.

Cheers
J*

Zitat von Zabrimus

Wünsche:
Schön wäre es, wenn Docker bzw. der Container (out of the box) die IP über DHCP bezieht und ich damit nicht immer freie Ports auf dem Host suchen muss. Mein Versuch mit z.B. pipeworks führte zu einer Kernel Panic Eine manuelle Konfiguration der Bridge und des Routings sind mir zu umständlich.

Hi Zabrimus,

schau mal hier https://docs.docker.com/articles/networking/#configuring-dns für Container-Container Kommunikation musst Du ja nur die Ports einmal kennen (was Du ja tust) und dann den DNS Namen für die /etc/hosts beim linken setzen.

Ansonsten schau Dir das mal an: https://github.com/rogaha/docker-desktop

Da ruft er über die Container ID ab, welche Ports des Containers wo auf dem Host gemappt sind. Sowas sollte sich ja auch in einem Script verwenden lassen denke ich.

Meine "Projekte" nach dem ich Plex und die ganze Newreader Strecke am rennen habe:

* StreamDev-IPTV-Server für's Ausland inkl. VPN Tunnel zu mir daheim
* Container-Bundle mit EPGD+Scraper und MySQL für einen EPG-Service, der jederzeit ausgelagert werden kann
* Data-Volume-Container für /etc/vdr und /var/lib/vdr

und irgendwann probiere ich an der Ausgabe des Bildes über xpra weiter, evtl. geht das ja sogar damit den Server total von der Ausgabe abzukoppeln und theoretisch ein verteiltes System zu haben.

Frage: Dein Image - macht aber keine Ausgabe, richtig? Nur über StreamDev?

Cheers
J*