Schnittmarken austauschen - Tester gesucht

HI @ all, xpix

Erstmal noch ein wenig "Klugschiss" über PTS Zeitstempel (sorry, aber für das Aufsetzen der
Datenbank wäre das wichtig, dass alle eine grobe Vorstellng haben, was das ist ...)

Bei den Encodern der Fernsehsender läuft ne grosse, fette Uhr. Die Uhr zeigt die Zeit aber
nicht in Sekunden oder Minuten an, sondern in 1/90000 Sekunden. Die springt auch nicht jeden
Tag um Mitternacht um, sondern wenn 33 Bits voll sind (33 Bits, ich könnte ja immer noch in
den Teppich beissen .....:motz2). Mit anderen Worten läuft die Uhr von
0 - 8589934592, oder umgerechnet von
0 - 95443.7176888889 Sekunden oder noch besser von
0 - 1 Tag, 2 h, 30 min und 43.7176888888889 Sekunden.

Diese Uhr wir benutzt, um den ausgestrahlten Audio- und Video-Schnippseln einen Zeitstempel
aufzudrücken, der sich auf diese Uhr bezieht; das ist der berühmte PTS, der von meinen Skript
extrahiert wird. Das machen die Sender, damit der Player (also die DVB-Karte) die
absoluten Unterschiede zwischen Audio und Video berechnen, und die Spuren
synchronisieren können. Dabei spielt es ja keine Rolle, wie "spät" es ist ;). Man braucht einfach
eine gemeinsame Skala mit ausreichend hoher Auflösung. So kann man einfach trotz evt
fehlendem Material (Signalstörungen) die Sync sicherstellen.

Mein Skript sagt nun: Wenn alle das gleiche digitale Signal empfangen, dann beziehen sich die
Audio und Video Daten auch auf dieselbe Uhr.

Deshalb ist der PTS in der Aufnahme ein "portables" Schnittmarkenformat.
Wenn aber der Sender 2 digitale Senderstationen betreibt, in denen jeweils eine dicke, fette
Uhren läuft, und 2 verschiedene Signale rauschiebt (jede Sendestation was anderes), dann
unterscheiden sich die Zeitstempel.

Deshalb das Experiment.

Bis hierher alles unklar? Gut.

Zu xpix Frage:

Zitat

Keine Aenderung zum alten Ergebniss, was mich aber doch schon sehr erstaunt(!) ich hatte die
alten Marks geloescht und es kommt auf die ZIFFER genau das gleiche Ergebniss raus. So
framegenau kann ich ja gar nicht meine Marks beim zweiten Mal gesetzt haben. Da muesste
doch wenigstens ein kleiner Unterschied zum alten Ergebniss sein? Oda nich?

Nein, es muss auf die letze Ziffer genau identsich sein ;).
Der VDR kann nich an jedem Frame schneiden, sondern nur an GOP-Grenzen setzen, also
(normalerweise) nur alle 0.48 Sekunden. Die Schnittmarke bezieht sich auf GENAU ein Bild, das
hat GENAU einen Zeitstempel - also sollte auch immer dasselbe rauskommen.

Zitat

Original von xpix

Das funktioniert schon mal super. Jetzt die PTS von Raymund in echte Marks konvertiert ... und
.... man Doc du bist der GROESSTE. Die Marks von Raymund stimmen bei mir
HUNDERTPROZENTIG!!!!!

Das heisst wenn Raymund seine Werbebloecke aus Enterprise rausschneidet kann ich sie mir
laden und das wars!! Wau, erste Etappe geschafft! Ich mach mich gleich an den Server.

Alles anzeigen

Erstmal Danke fürs Lob
Klasse, bei Raymund und Dir gehen die Uhren also gleich - aber anders als bei schelli,
holymoly, joe, martini2 und mir .... gonz ist ganz speziell, der hat beide Uhren Also behaupte
ich mal, er hat nicht so genau geguckt (ws bei Raymunds marken).

Jetzt wissen wir aber immer noch nicht, was Raymund und xpix vom Rest unterscheidet, das
müssen wir noch rauskriegen..... Es wäre ja kein Beinbruch, wenn man die Datenbank
"doppelt" führen müsste, aber dann muss man ja wissen, welche Einträge für das eigene Setup
"gültig" ist.

Zitat

Warum bei mir die Marks um 1-2 Sekunden verschoben sind? Ich habe ein wenig die lange
Vorlaufzeit (6min) in verdacht. Vielleicht liegt es daran?

Solte nix machen, siehe oben den "Klugschiss"

Was wir machen könnten:

• Zusätzlich zur ptsmark wird noch die md5sum des nächsten GOPs in das ptsmark file
  geschrieben, und auch auf dem Server abgelegt. Das hilft nicht beim Suchen, aber "falsche"
  marks kann man so identifizieren, bevor man automatisch mit den "falschen" schneidet.
• Wir kennen das Datum der Aufnahme, das kann ich auch aus dem Verzeichnisnamen
  extrahieren, bevor man die Daten zum Server schiebt. Aus der Kombination von Datum und
  Zeitstempelbereich (also erster PTS bis letzter PTS der eigenen Aufnahme) kann man auch
  schon herauslesen, ob die ptsmarks überhaupt die richtige sein kann. Das wird momentan
  noch nicht extrahiert, ist aber trivial. Schliesslich könnten liebe Leute einfach alle epg-Daten
  von tvtv.de und alle der Sender in die Datenbank einchecken, und die md5sums berechnen.
  Damit ist es dann egal, ob man die Summary per epg oder per tvtv.de bekommen hat, man
  sucht einfach nach der passenden md5sum.

Dann könnte man nach:

• Datum
• PTS-Range
• Summary-md5sum

suchen, das sollte klappen. Und man muss wissen, ob man ptsmarks für xpix und raymund
sucht, oder für doc und die anderen.
Ich würde gern möglichst bald klären, woran das liegt.

BTW: Wir wissen auch nicht, wie das bei anderen Sendern ist

Zum Perlskript selbst:

Das ist ja ne 0.0.2 Version, also nicht gerade das, was man als stabil bezeichnet

Was fehlt:

• auf jeden Fall eine bessere Logik, die wieder ne marks.vdr aus der ptsmarks.vdr macht. Wenn
  nämlich mal die Uhr überläuft und wieder auf null springt (währen einer Aufnahme), dann geht
  nix mehr...
• Auch wenn man schon in der Aufnahme rumgeschnitten hat, funzt es nicht, selbst wenn der
  Film intakt sein sollte.
• Die Aufruf Konventionen sind sch....
  Besser wäre: das Skript heisst pts2marks, und wird in /usr/bin/ gespeichert. Dann setzt man
  einen symlink drauf mit dem Namen marks2pts.
• Dann kann man schon mal den Parameter sparen, der dem Skript sagt, was es tun soll, das
  findet es selber über den Namen heraus, mit dem es gestartet wurde.

Default-Aktionen:

• wenn als marks2pts /video/Aufnahme/XYZ aufgerufen, wird im /video/Aufnahme/XYZ nach der
  Datei marks.vdr gesucht und in dasselbe Verzeichnis eine ptsmarks.vdr geschrieben.
• wenn als pts2marks /video/Aufnahme/XYZ aufgerufen, wird im /video/Aufnahme/XYZ nach
  der Datei ptsmarks.vdr gesucht und in dasselbe Verzeichnis eine marks.vdr geschrieben (evt
  vorhandene alte wird nach marks.vdr.orig gesichert).

Vorschläge, weitere Ideen/ Wünsche?

Cheers

Peter / doc

Zitat

Original von xpix
Mannoman, der Doc schreibst sich ja hier einen Wolf

Also die Datenbank ist fertig, der Aufbau ist sehr trivial aber sie erfuellt seinen Zweck:

:):):)

Zitat

Also, die URL fuer das Teil:
http://xpix.dieserver.de/cgi/pts/pts.cgi

Lesen eines bestimmten Datensatzes mit der Epg-ID 12345:
http://xpix.dieserver.de/cgi/pts/pts.cgi?epg=12345
oder so ...
http://xpix.dieserver.de/cgi/pts/pts.cgi?epg=12345&txt=1

Wenn txt aktivert wurde, wird das ergebniss als ganz normale Textdatei geschickt.

Einen Satz abspeichern:
http://xpix.dieserver.de/cgi/pts/pts.cgi?sender=ARD&epg=12345&marks=3992387584-3993272320-4016701440-4021846016-4034265088-4046422016-4059725824-4068016128&date=12312312312

Alles anzeigen

Hrmpf, in meiner (selbstgebackenen) Channels.conf heisst das Ding "Das Erste". Kann ich irgendwo rauskriegen, wie die Sender bei Dir (in der Datenbank) benannt sind? (und jetzt muss ich doch mal nachschauen, was diese EPG-ID eigentlich ist ...)

Zitat

Dabei gibts bis jetzt folgender Felder:

sender = sendername (ARD, ZDF usw.)
epg = Epg-ID unter der die marks abgespeichert werden sollen
marks = die PTS Daten getrennt mit einem '-'
date = Datum der Aufnahme als Zeit in sekunden seit Epoche (1.1.70 00:00 Uhr)

Alles anzeigen

Beim Date: Aufnahme-Anfang, Sendungsanfang, Sendungsende?

Zitat

media = Kann SAT, CABLE o. TERR enthalten, falls es da doch feine Unterschiede gibt

Besser: xpix/raymund oder der ganze Rest ;), Nein, im Ernst: das Prob steht noch aus....

Zitat

Sicherlich koennen wir hier noch jede Menge sachen aendern oder besser machen, aber zum testen sollte es erstma reichen.

Auf jeden Fall
Klasse Job, da werde ich heute abend ja wieder was zu tun haben BTW:
Wäre natürlich cool, wenn man Dir am Anfang ein paar Screenshots schicken könnte (nur ein paar), die die Szenen zeigen, die markiert wurden.... Nur so zum Fehler finden....

Cheers

Peter / doc

Zitat

Original von Raymund
HI
Um die Verwirrung um die von mir gesetzten marks aufzulösen

Und ich sach noch, dat klappt nich mitte marken einfach so, nichma mitte Uhr hat dat ohne Probleme fumktioniert ;););)

Cheers
Peter / doc

Gute Nacht Raymund,

Zitat

es wird eine ptsmakrs.vdr mit einem ptsmark erstellt mehr nicht.

nur so viel: Das ist erst für Verion 0.0.5 vorgesehen share_marks steigt aus, wenn die Aufnahme mittendrin geschnitten wurde. Nur am Anfang und am Ende darf man was weschneiden....

Ne, das liegt an dem Weg, wie eine PTS mark wieder zurückkonvertiert wird. Mein "hinweg" mach ich folgendes:

Ich habe eine Zeit aus den marks.vdr, zB 8 Sekunden. Das sind genau 200 Bilder. Damit suche ich in der index.vdr "Wo ist das 200ste Bild". Die Antwort ist dann "in datei 001.vdr, offset xyz". Dann hole ich aus der Datei 001.vdr ein MB, das am Offset startet, und suche den ersten Zeitstempel. Der ist dann ein"ptsmark".

Beim Weg zurück istz es komplizierter:

Ich habe einen Zeitstempel, und keine Ahnung, mit welchem Zeitstempel die Aufnahme anfängt. Also lese ich erstmal den ersten und den letzten Zeitstempel ein.

Dann schaue ich, wie gross der Abstand zwischen dem ersten Zeitstempel und der ptsmark ist, zB wieder 8 Sekunden. Also springe ich 200 Bilder weiter, und schaue, ob dort der richtige Zeitstempel ist (also der, der in der ptsmarks festgehalten wurde). Nun hast Du aber dummerweise zwischen dem ersten Zeitstempel und dem Bild Nummer 200 jede Menge Bilder gelöscht (durch das schneiden), und damit auch die Zeitstempel. Wenn Du 100 Bilder gelöscht hast, dann sucht mein Skript am "neuen" Bild 200 einen Zeitstempel, der jetzt aber an Bild 100 hängt (es "fehlen" ja 100 Bilder). Bums, aus, fertig, Skript gibt auf - macht nen Fehler.

Aber die Suchfunktion kann man beliebig genau machen, daran solls nicht scheitern. Habe ich mal erwähnt, das es ein Quick-Hack in der Version 0.0.2 ist;)?

Cheers

Peter / doc

Hi Raymund,

wenn Du ein File geschnitten hast, dann wird es immer etwas komplizierter.... Wenn man die einzelnen Teile
nicht wieder in 2 GB Stücke zusammfügt, dann funktioniert Dein Weg 1a. Selbst wenn man sie zusammfügt,
sollten sich in der neuen marks.vdr Referenzen auf die Schnitte befinden, wahrscheinlich ist einfach noch ein
Bug drin

xpix und ich habe gestern nacht noch ein wenig rumgespielt, und ich bastel gerade das automatische up-
und Downloaden ein. Das hätte ich gern als erstes drin, dann kann man das Tool schrittweise erweitern.

Punkte:
- Bessere Suchfunktion für PTS
- "Fuzzy" mode, der auch eine mark setzt, wenn der PTS nicht genau passt. Also einfach auf den nächsten
IFrame bezogen
- Umgang mit geschnittenen Aufnahmen
- Umgang mit PTS Überläufen
- Angabe von "Shift" sollte möglich werden, wenn bei Dir oder mir immer alles um 2 Sekunden verschoben
ist, dann setzt Du einfach einen fixen Shift auf -2 Sekunden
- min 100 Sachen, an die wir noch gar nicht denken

Trotzdem will ich erstmal den Upload/Download einbauen, damit mehr Leute testen können. Nützt ja nix,
wenn wir Tageschau nicht mehr selber schneiden müssen, es sollte ja auch für andere Filme / Sender
funzen, und da haben wir noch gar nichts versucht.

Ich werde ws heute noch was posten

Cheers

doc

Hi @ all,

Ich habe was zusammen gestiefelt, aber jetzt muss ich mal für 2 h oder so weg, und will noch was testen. Werde es also erst später Posten. Ich habe noch ein Problem mit der Datenbank-Ausgabe, da kriege ich immer viel zu viel Hits, wenn ich nach einer epg-id suche.... Aber der richtige scheint als erster zu kommen Und mehr als einen Hit wertet das Skript momentan auch noch nicht aus.

Also,

bis später

Cheers

doc