Beiträge von rafter

  • zdf mediathek

    Zitat

    Ich hab jetzt schon zum zweiten mal versucht hier einen ordenlichen Weg des Parsers duch die Webseite zu finden. Es ist kein problem von Hand die nötigen media links zu finden, jedoch ich die Struktur so blöd gestaltet, das ich keinen möglichkeit finde dies zu automatisieren.


    Wie meinst du das genau? Hast du keinen >automatisierbaren Weg< gefunden oder >gar keinen Weg< , der ohne manuellen Eingriff gangbar ist?


    Hattest Du dir mal hier meinen post zu dem Thema durchgelesen? Kann sein dass es hilft ...


    rafter

  • zdf mediathek

    Kann nicht falsch sein. Ich weiß aber nicht wie man ein repository einrichtet und wie es verwaltet wird. Wenn das aber jemand in die Hand nimmt, bin ich auch mit dabei.

  • zdf mediathek

    Hey,


    pinky666


    das ist ne ganz feine Idee von Dir. Und die xml-Dateien, die am Ende generiert werden, sind vodcatcher-konform, ja? Evtl könnte man die ARTE-Mediathek, an der ich gerade arbeite, ebenfalls auf diese Weise einbinden ...


    Dein Helper würde es ja auch erlauben, lokal die Mediathek vorzuhalten. Und wir müssten den Online-Dienst von SRTwist anpassen , wenn wir Deine Codebasis verwenden wollen. Mein Code ist wirklich sehr unübersichtlich geworden. Bist du Java-Entwickler oder sowas in der Richtung?


    Weiter oben wurde ja der Verdacht geäußert, dass nicht alle Video-Sendungen der Mediathek im Online-Dienst abrufbar wären. Wie stellt Du eben dies sicher? Ich würde gerne mehr über die Funktionsweise erfahren. :)


    SRTwist


    Kannst du dir mal den Helper und seinen Output ansehen und Deinen Senf zu der Sache dazu geben ? ;)


    Schönen Gruß und ein frohes Fest
    Rafter

  • zdf mediathek

    Hi,


    Zitat

    Original von pinky666
    ...kleiner Gedankenanstoß zur Bechleunigung ("Accept-Encoding", "gzip"), leider passt noch was nicht ganz.


    Cool danke. Werde ich mir mal anschauen. Spätestens an den Weihnachtsfeiertagen. Was passt denn noch nicht ganz?


    Was mit den Sendungen nicht passen soll, da hab ich auch noch keine Idee. Muss aber auch zugeben, dass ich wegen Klausuren am Java-Programm längere Zeit nicht mehr gearbeitet habe.


    Gruß rafter

  • zdf mediathek

    Hi!


    Zitat

    Original von hampelratte
    daher werden von dem parser anscheinend auch nicht alle sendungen erfasst. wenn man beispielsweise in der zdfmediathek nach kerner sucht, findet man viel mehr, als im vodcatcher verfügbar ist.


    Das liegt womöglich zum Teil daran, dass es in der Mediathek viele Bilderserien gibt, die das Vodcatcher-Plugin nicht wiedergeben kann.

  • Wunschliste Plugin ebuilds

    Hallo,


    Zitat

    Original von hampelratte
    ich fände das video on demand plugin interessant. zumal sich da ja im augenblick auch was in richtung zdf mediathek tut. ich hab das bei mir zwar von hand kompilieren können, aber die zusammenarbeit mit dem mplayer plugin will noch nicht so ganz.


    Soweit ich weiß, wird das VOD-Plugin nicht mehr gepflegt. Aber Tobi hat ein neues Plugin "Vodcatcher" geschrieben, das u.a. auf den Dienst von SRTwist zugreift und so die ZDF Mediathek einbindet (Infos hier). Es soll auch demnächst veröffentlicht werden. Ich betreibe (unter ct-vdr) bereits eine Testversion davon und arbeite auch noch an der Einbindung von arte(plus7) und ARD (wenn deren Mediathek irgendwann mal online geht).


    Gruß rafter


    EDIT: Link zum Plugin

  • zdf mediathek

    Hi!


    So, habe mir mal das Arte-Portal "ARTE+7" angeschaut. Hier kann das gesamte Programm noch maximal sieben Tage nach der TV-Ausstrahlung online angesehn werden.


    Hier mal meine bisherigen Erkenntnisse dazu:


    Mein Einstieg stellt wieder die Inhaltsseite dar:
    [URL=http://plus7.arte.tv/de/streaming-home/1698112,templateId=renderTagCloud,CmPage=1697480,CmPart=com.arte-tv.streaming.html]Inhaltsseite Arte+7[/URL]
    Hier kann ich mir im Quelltext ganz bequem die Links zu den einzelnen Sendungsrubriken oder den Sendetagen rausziehen:


    Dieser [URL=http://plus7.arte.tv//de/streaming-home/1697480,selectedTags=2-201107.html]Link[/URL] zum Beispiel liefert die Sendungen vom "Dienstag, 20.11."
    Nun wieder den Quelltext angucken und im JavaScript-Bereich, wo das "Karussel" aufgebaut wird, folgenden XML-Link suchen & finden:

    Zitat

    so.addParam("quality", "best");
    so.addVariable("xmlURL", "/de/streaming-home/1698112,templateId=renderCarouselXml,CmPage=1697480,CmPart=com.arte-tv.streaming,selectedTags=2-201107.xml");


    [URL=http://plus7.arte.tv//de/streaming-home/1698112,templateId=renderCarouselXml,CmPage=1697480,CmPart=com.arte-tv.streaming,selectedTags=2-201107.xml]Klick[/URL]
    Jetzt haben wir sogar schon alles schön beieinander: Titel, Datum, wann die Sendung online ging und wann sie offline gehen wird, URL zu einem Vorschaubild und URL zur Seite, wo wir das Video selbst finden können.


    Machen wir das mal schnell: [URL=http://plus7.arte.tv/de/detailPage/1697660,CmC=1739248,scheduleId=1734596.html]Klick[/URL]
    Im Quelltext diesmal weiter nach unten scrollen bis zu folgender Anzeige, et voilà:

    Zitat

    availableFormats[3] = new Object();
    availableFormats[3]["format"] = "WMV";
    availableFormats[3]["quality"] = "HQ";
    availableFormats[3]["url"] = "http://mfile.akamai.com/39759/wmv/artegeie.download.akamai.com/39759/mfile/arteprod/A7_SGT_ENC_03_034723-002-B_PG_HQ_DE.wmv?obj=03d62088e2d6425c8a6c2d27df9b43c1";
    availableFormats[3]["fileId"] = "1762544";


    Schon haben wir den Link zum WMV.


    kleiner Hinweis noch. Meistens handelt es sich in den Quelltexten um relative URLs. Diese beziehen sich dann auf "http://plus7.arte.tv/".


    Ich denke ich werde die Funktionen der Java-Applikation in den kommenden Wochen auch auf Arte anpassen ...


    Gruß rafter

  • zdf mediathek

    Hi,


    Zitat


    Wo kann man dies bekommen ?


    Siehe Anhang. Mittlerweile erwartet die Applikation aber eine Datenbank im Hintergrund, in die die Daten gespeichert werden können. Ein aktuelles Strukturabbild ist als SQL-Dump ebenfalls im Anhang zu finden.


    Die Kompilate erfordern eine Java Laufzeitumgebung Version 1.5 oder höher.

    Zitat

    apt-get install java-common sun-java5-jre


    Außerdem wird zur Datenbankanbindung der JDBC Treiber (MySQL Connector/J) benötigt, der in die Java-Bibliotheken eingebunden werden muss.
    Aus dem Archiv die "mysql-connector-java-5.0.4.jar" extrahieren und nach /usr/lib/jvm/java-1.5.0-sun-1.5.0.13/jre/lib/ext kopieren.

    Code
    /usr/lib/jvm/java-1.5.0-sun-1.5.0.13/jre/lib/ext/mysql-connector-java-5.0.4.jar


    Gruß rafter

  • zdf mediathek

    hallo


    Das ZDF ist der Ansicht:


    Zitat

    Kann ich mir Videos runterladen und auf meiner Festplatte abspeichern?


    Nein, aus rechtlichen Gründen dürfen Videos nicht aus der Mediathek heruntergeladen werden.


    Es unterstützt meines Wissens auch keine frei zugänglichen Schnittstellen, über die auf das Angebot (ohne Umweg über die ZDF-eigene Portalseite via Browser) zugegriffen werden kann. Ist dieses NichtVorhandenSein nun schon eine Kopierschutzmaßnahme? Und umgehe ich sie mit meinem kleinen Script?!
    Ein vernünftiger Mensch würde wohl nein sagen, aber unter welchem Blickwinkel das ZDF (und Juristen) die ganze Sache betrachten würden, ist ne andere Sache ...


    Zitat

    mit der veröffentlichung der Daten über nen rss feed könnte es tatsächlich probleme geben.


    Aus diesem Grund hat SRTwist seinen Dienst ja auch wieder bis auf weiteres geschlossen. Und er wartet noch immer auf eine Reaktion auf eine diesbezügliche Mail an das ZDF.
    Sinn war eben auch, das zentral über einen Server abzuwickeln, damit nicht jeder auf seiner Maschine ne DB laufen lassen und sich auch noch um die regelmäßige Aktualisierung kümmern muss.


    Wenn wir offensichtlich und deutlich auf die Quellen hinweisen, sollte das doch zulässig sein, meine ich.


    Gruß rafter

  • zdf mediathek

    Hi

    Zitat

    Original von kdeiss
    Jaaaaa totales interesse an der datenbankversion und anleitung. Aber eigentlich schade das es nicht mehr standalone lüppt. Kann man das nicht zweigleisig weiterfahren ?


    Prinzipiell würde ich die Quellen sehr gerne hier reinstellen, aber momentan möchte ich mit der Veröffentlichung neuer Versionen warten, bis SRTwist vom ZDF ne Antwort erhalten hat und wir wissen, wie es rechtlich denn nun aussieht.


    Gruß Rafter

  • zdf mediathek

    kdeiss


    Hi ja danke. Elegant gelöst.


    Aber damit du nicht zukünftig Probleme löst, die schon gelöst sind, stelle ich hier mal meine aktuelle Entwicklerversion rein. Der Code ist noch an einigen Stellen zu optimieren und es können u.U. noch einige Fehler darin lauern.



    @all
    Allerdings ist die Applikation nicht mehr Standalone funktionsfähig. Sie erwartet nämlich im Hintergrund eine MySQL-Datenbank mitsamt den erforderlichen JDBC-Treibern.
    Wenn Interesse besteht, also jemand das zum Beispiel zuhause lokal ausprobieren möchte, schreib ich gern eine kleine Anleitung.


    Denn in Zukunft wird dieser Dienst ja von einem Server aus geleistet, und auf dem läuft das momentan schon.


    Gruß Sebastian

  • zdf mediathek

    Hallo,


    kdeiss

    Zitat

    Alle Files werden in mehreren Versionen vorgehalten:


    Ja stimmt. Wir können ja mal alle drei Varianten in die Datenbank aufnehmen.
    Benutzt Du eigentlich die Feed-Erstellungs-Funktion des Java Programms? Weil die hab ich in der aktuellen Version gerade auskommentiert. An der aktuellen Version ändere ich noch ein paar Details und stelle sie demnächst online.


    Wegen den bugs bemühe ich mich, das noch hinzubekommen. Für Hinweise bin ich natürlich sehr dankabr ;)


    SRTwist
    Für die beiden zusätzlichen Stream-Qualitäten erstellen wir einfach zwei zusätzliche Spalten in der DB oder? Dann kann ja der Client bei seiner Anfrage die gewünschte Quali gleich als Paramter mit übergeben und der Server übergibt ihm dann den entsprechenden Stream-Link.


    Schönen Tag noch

  • zdf mediathek

    Hi@all
    Es gibt ja auch sowas ähnliches bei Arte (ARTE +7) und bald auch eine [URL=http://www.daserste.de/videowindow_320_dyn~x,320~y,184~real,plusminus/plumi_071009_4.rm~cm.asp]ARDMediathek[/URL] ... Also noch reichlich zu tun ;)

  • zdf mediathek

    SRTwist


    Zitat

    kannst auch schon au dem Server arbeiten, wen du willst, dann lege ich dir ne DB und nen User an un schick sie dir per Mail.


    Okay. Ich bräuchte folgende Struktur:


    Code
    Tabelle "Title"
Spalten "Id" | "Title"


Tabelle "Subtitle"
Spalten "Id" | "Subid" | "Subtitle" | "mms"


    Ich möchte also fürs erste die Themen/Kategorien in der ersten Tabelle "Title" mitsamt Titel abspeichern. In der Tabelle "Subtitle" sollen dann die zu der jeweiligen Themen-ID gehörigen Sendungen angelegt werden. Somit wären beide Tabellen über die Spalte "Id" verknüpft.


    Gruß rafter

  • zdf mediathek

    @ SRTwist


    Ahso, also wenn ich Dich richtig verstehe, willst du im ersten Schritt eine RSS-Feed Erstellung auf Anfrage realisieren. Die Datenbeshaffung ist kein Problem, das kann ich mit Java und JDBC übernehmen, da es nur relativ geringe Änderungen am Code erfordert. Habe mir jetz auch MySQL auf die Platte geholt und werde damit ein wenig experimentieren.
    Und die Generierung selbst? Willst du dafür eine Scriptsprache verwenden?


    Zitat

    rafter ?


    Das meinte ich mit technischen Detaiks :D

  • zdf mediathek

    Zitat

    darüber könnte man denke ich derzeit ach leichter sie leute hier zum mitwirken bsw testen bewegen, da es etwas zugänglicher ist als über den VDR und das VOD plugin.


    Gut, da geb ich Dir recht. Wenn wir das größer aufziehen wollen mit einer DB als backend müssten wir mal die Resourcen klären.
    Meine Erfahrung mit Datenbanken beschränkt sich auf DB2 Express von IBM (gibts als Freeware) in Verbindung mit Java Server Faces. Im Endeffekt ist aber prinzipiell egal, welche DB wir als Datenablage verwenden.


    Ich müsste mich dann mal ein bisschen weiter in die Materie einarbeiten, und da muss ich auch mal gucken, wie ich das zeitlich zu meinem Studium passt. Aberein sehr großes Interesse habe ich daran, allein schon wegen dem Lerneffekt. Und wenn damit mehr Leute involviert werden können wäre das Klasse :tup


    Zuerst sollten wir uns also auf das technische einigen und welche Funktionen wir in der ersten Version realisieren wollen.


    Oh mann, das wird ein Spaß :)


    Gruß rafter

  • zdf mediathek

    Zitat

    Original von SRTwist
    da stimmt was nicht mit den erzeugten xml Datein,


    Okay das schau ich mir mal an. Habe auch eine Nachricht an ojacques, den Autor des VOD-Plugins, bezüglich eben dem Format dieser Feeds geschrieben. Mal sehn was da rauskommt.


    Zitat

    wäre es nicht leichter wenn die Inhalte: titel, beschreibung, link, timestamp, sparte, .. in ne DB geschrieben werden würden zur Weiterverarbeitung?


    Dann könnte man auf den anfragenden Client leichter reagieren.


    Also eine Datenbankanbindung wäre ne tolle Sache, womit sich noch deutlich mehr Sachen realisieren lassen würden (z.B. Webinterface mit Suchfunktion etc.). Sollten wir allerdings erst einmal zurükstellen, bis die Baisfunktionen getesten sind.


    Gruß rafter