Neue Struktur für NetCeiver Software

M-Reimer · May 28, 2023 at 2:07 PM

Beim Paketieren von minisatip (mit Netceiver-Support) und vdr-plugin-mcli bin ich auf eine zumindest unschöne Situation gestoßen das die von minisatip genutzte "libmcli" eigentlich nur als Bestandteil von vdr-plugin-mcli "abfällt". Wenn man also minisatip mit NetCeiver-Support bauen will, dann muss man entweder genau wissen wie man die Library einzeln im VDR-Plugin-Quellcode baut oder man muss VDR auch dann kompilieren wenn man eigentlich nur minisatip gebraucht hätte.

Ich habe mich mal ein paar Tage mit dem Thema befasst und rausgekommen sind folgende neuen Projekte:

https://github.com/vdr-projects/libnetceiver

Ehemaliges "libmcli" mit "sprechenderem" Namen. Mit "mcli" bringt niemand den Netceiver in Verbindung und das Kürzel "cli" ist eigentlich auch schon für "Command Line Interface" belegt. "LibNetCeiver" kann nach Installation mit "pkg-config" gefunden werden und ist somit leicht in anderen Projekten nutzbar.

https://github.com/vdr-projects/netcv2dvbip

War ursprünglich auch beim VDR-Plugin dabei. Jetzt wegen der Komplexität als eigenes Projekt ausgelagert. Linkt gegen "libnetceiver".

https://github.com/vdr-projects/v…ee/libnetceiver

Variante des VDR-Plugins das auch gegen oben genannte "libnetceiver" dynamisch baut.

Man kann "minisatip" unverändert gegen die neue "libnetceiver" bauen weil ich ein "install-legacy" in die Library gebaut habe. Dieser legt Symlinks an damit minisatip seine gewohnte Struktur wieder vorfindet.

Über ein paar Rückmeldungen wäre ich dankbar.

wirbel · May 28, 2023 at 3:53 PM

>>Über ein paar Rückmeldungen wäre ich dankbar.

libnetceiver ist als Name gut gewählt.

Einen guten Namen zu einer guten Idee zu finden ist meist schwieriger als gedacht.

M-Reimer · May 28, 2023 at 5:51 PM

Ich hab die Anpassung des vdr-plugin-mcli jetzt erstmal als Pull-Request dort stehen. Wenn pbrb vorher dazu kommen sollte einen Testlauf zu machen, dann wäre schön wenn er den PR direkt durchwinken könnte. Ich habe ihm auch jeweils eine "Maintainer"-Einladung für die neuen Repos geschickt damit er auch über das "neue Konstrukt" durchgehend Checkin-Rechte hat.

Andernfalls sehe ich für mich als nächste Gelegenheit zum Test das kommende Wochenende. Ich habe selber keinen Netceiver und mache die ganze Anpass-Orgie hauptsächlich für einen Freund der die Hardware vor zig Jahren gekauft hat und jetzt weiter nutzen möchte. "Mal eben vorbeifahren" ist aber nicht. Da geht auf jeden Fall ein ganzer Tag für drauf.

cinfo · May 28, 2023 at 7:01 PM

Hm, kann jemand helfen

Code

In file included from /usr/include/unicode/umachine.h:52,
                 from /usr/include/unicode/utypes.h:38,
                 from /usr/include/unicode/ucnv_err.h:88,
                 from /usr/include/unicode/ucnv.h:51,
                 from /usr/include/libxml2/libxml/encoding.h:31,
                 from ../lib/defs.h:232,
                 from ../lib/headers.h:12,
                 from netcvdiag.c:6:
/usr/lib/gcc/x86_64-linux-gnu/11/include/stdbool.h:38: note: this is the location of the previous definition
   38 | #define true    1
      | 
cc -lxml2 -L../lib -lnetceiver -pthread -o netcvdiag netcvdiag.o 
/usr/bin/ld: netcvdiag.o: in function `show_stats':
netcvdiag.c:(.text+0xdbd): undefined reference to `mcg_to_fe_parms'
/usr/bin/ld: netcvdiag.c:(.text+0xdd5): undefined reference to `mcg_get_satpos'
collect2: error: ld returned 1 exit status
make[1]: *** [Makefile:86: netcvdiag] Fehler 1
make[1]: Verzeichnis „/usr/src/vdr/PLUGINS/libnetceiver/tools“ wird verlassen
make: *** [Makefile:13: tools] Fehler 2

Display More

M-Reimer · May 28, 2023 at 7:08 PM

Vom obersten Level kompiliert (Repo-Root) oder direkt in "tools"?

Wenn direkt in "tools": Vorher muss in "lib" auch "make" gemacht worden sein. Sonst liegt die Library dort noch nicht vor.

cinfo · May 28, 2023 at 7:28 PM

von Repo-Root

die lib wurde erstellt aber bei tools geht nichts

make in /lib ist OK

Code

cc -c -O2 -fPIC -Wall -I../common -I../.. -DCLIENT -DLIBRARY -D_REENTRANT -D_GNU_SOURCE -DAPI_SOCK -I/usr/include/libxml2 -O3 -o logging.o logging.c
cc  -shared mld_common.o mld_client.o mld_reporter.o mcast.o recv_tv.o recv_ccpp.o tools.o tca_handler.o tra_handler.o satlists.o interfaces.o api_server.o ciparser.o ci_handler.o mmi_handler.o logging.o -lxml2 -lpthread -lz -lm -Wl,-soname="libnetceiver.so.1" -o libnetceiver.so.1.0.0
ln -sf libnetceiver.so.1.0.0 libnetceiver.so

make in /tools kommt der Fehler wie aus der Repo-Root

Code

/usr/lib/gcc/x86_64-linux-gnu/11/include/stdbool.h:38: note: this is the location of the previous definition
   38 | #define true    1
      | 
cc -lxml2 -L../lib -lnetceiver -pthread -o netcvdiag netcvdiag.o 
/usr/bin/ld: netcvdiag.o: in function `show_stats':
netcvdiag.c:(.text+0xdbd): undefined reference to `mcg_to_fe_parms'
/usr/bin/ld: netcvdiag.c:(.text+0xdd5): undefined reference to `mcg_get_satpos'
collect2: error: ld returned 1 exit status
make: *** [Makefile:86: netcvdiag] Fehler 1

make aus Repo-Root mit Fehler

Code

/usr/lib/gcc/x86_64-linux-gnu/11/include/stdbool.h:38: note: this is the location of the previous definition
   38 | #define true    1
      | 
cc -lxml2 -L../lib -lnetceiver -pthread -o netcvdiag netcvdiag.o 
/usr/bin/ld: netcvdiag.o: in function `show_stats':
netcvdiag.c:(.text+0xdbd): undefined reference to `mcg_to_fe_parms'
/usr/bin/ld: netcvdiag.c:(.text+0xdd5): undefined reference to `mcg_get_satpos'
collect2: error: ld returned 1 exit status
make[1]: *** [Makefile:86: netcvdiag] Fehler 1
make[1]: Verzeichnis „/usr/src/vdr/PLUGINS/libnetceiver/tools“ wird verlassen
make: *** [Makefile:13: tools] Fehler 2

Display More

hier hängt er in /tools

M-Reimer · May 28, 2023 at 7:38 PM

Komisch. Bei mir läuft das alles auf Anhieb.

Mach mal in "lib":

Code

nm -D libnetceiver.so | grep ' T '

um zu sehen ob "mcg_to_fe_parms" exportiert ist.

Ansonsten: Welche Distribution und welcher Compiler. Wenn niemand vorher eine Lösung finden sollte, dann setze ich halt notgedrungen mal eine VM damit auf.

cinfo · May 28, 2023 at 7:57 PM

ich be mal die tool(s) aus dem aktuellem MCLI Plugin (@pbrb )genommen damit geht es dann. Auch ab Repo-Root

~~Ich habe alles mal angehängt~~

Code

/usr/lib/gcc/x86_64-linux-gnu/11/include/stdbool.h:38: note: this is the location of the previous definition 38 | #define true 1 | cc -pthread -o netcvlogview netcvlogview.o mcast.o tools.o strip netcvlogview
make[1]: Verzeichnis „/usr/src/vdr/PLUGINS/libnetceiver/tools“ wird verlassen

Quote from M-Reimer
Komisch. Bei mir läuft das alles auf Anhieb.
Mach mal in "lib":
Code
nm -D libnetceiver.so | grep ' T '
um zu sehen ob "mcg_to_fe_parms" exportiert ist.

Code

root@BM2LTS-DD:/usr/src/vdr/PLUGINS/libnetceiver/lib# nm -D libnetceiver.so | grep ' T '
000000000000ecf0 T api_sock_exit
000000000000eb90 T api_sock_init
000000000000d1b0 T check_header
0000000000007e60 T check_if_already_redirected
0000000000007eb0 T check_if_sid_in
000000000000ef70 T ci_cpl_clear
000000000000eff0 T ci_cpl_clear_caids
000000000000f030 T ci_cpl_clear_capids
000000000000efb0 T ci_cpl_clear_pids
000000000000ed40 T ci_cpl_find_caid_by_pid
000000000000ee20 T ci_cpl_find_slot_by_caid_and_pid
000000000000f070 T ci_decode_ll
0000000000011600 T ci_exit
0000000000011310 T ci_find_dev_by_uuid
0000000000011560 T ci_init
00000000000112a0 T ci_register_handler
00000000000112d0 T ci_unregister_handler
0000000000011040 T ci_write_pdu
0000000000006a80 T client_udp_open
0000000000007450 T client_udp_open_buff
0000000000006fa0 T client_udp_open_cb
0000000000006dc0 T client_udp_open_host
00000000000074e0 T client_udp_open_host_buff
00000000000062e0 T client_upd_process
0000000000007cf0 T count_all_pids
0000000000007cd0 T count_receivers
000000000000cac0 T fe_parms_to_mcg
0000000000007b90 T find_any_slot_by_mcg
000000000000d210 T get32_lsb_first
000000000000a670 T get_tca_data
0000000000008fc0 T get_tra_data
000000000000d570 T gunzip
000000000000d410 T gunzip_
000000000000d3d0 T gzip
000000000000d250 T gzip_
000000000000d620 T handle_tca
000000000000d840 T handle_tra
0000000000005430 T icmpv6_code
0000000000005420 T icmpv6_type
0000000000005440 T inchksum
000000000000e070 T int_destroy
000000000000e080 T int_find
000000000000e150 T int_find_first
000000000000e0d0 T int_find_name
00000000000055c0 T ipv6_checksum
00000000000053e0 T lookup
0000000000006660 T mcast_set_if
000000000000d180 T mcg_get_id
000000000000d000 T mcg_get_pid
000000000000d070 T mcg_get_priority
000000000000d0c0 T mcg_get_satpos
000000000000cfc0 T mcg_get_streaming_group
000000000000d020 T mcg_init_streaming_group
000000000000d1a0 T mcg_set_id
000000000000cfe0 T mcg_set_pid
000000000000d090 T mcg_set_priority
000000000000d160 T mcg_set_satpos
000000000000cf60 T mcg_set_streaming_group
000000000000d0e0 T mcg_to_all_parms
000000000000cd00 T mcg_to_fe_parms
0000000000006270 T mld_client_exit
0000000000006180 T mld_client_init
0000000000011d60 T mmi_broadcast_client_exit
0000000000011ca0 T mmi_broadcast_client_init
0000000000011b50 T mmi_cam_reinit
0000000000011ac0 T mmi_cam_reset
0000000000011ab0 T mmi_close_menu_session
0000000000011d70 T mmi_get_data
0000000000011be0 T mmi_get_menu_text
0000000000011850 T mmi_open_menu_session
00000000000122d0 T mmi_poll_for_menu_text
0000000000011710 T mmi_print_info
0000000000011c80 T mmi_send_menu_answer
000000000000d5f0 T nc_get_list
000000000000d600 T nc_lock_list
000000000000d610 T nc_unlock_list
000000000000d5e0 T print_trace
000000000000d240 T put32_lsb_first
0000000000008bb0 T recv_add
00000000000086d0 T recv_count_pids
0000000000008c60 T recv_del
0000000000008e80 T recv_exit
0000000000008cc0 T recv_init
0000000000008840 T recv_pid_add
0000000000008930 T recv_pid_del
0000000000008710 T recv_pids
00000000000087d0 T recv_pids_get
0000000000008560 T recv_redirect
0000000000007e00 T recv_show_all_pids
0000000000007d40 T recv_show_pids
0000000000008680 T recv_stop
000000000000c840 T recv_tca
0000000000009f30 T recv_ten
000000000000a3e0 T recv_tra
0000000000008a20 T recv_tune
000000000000a3c0 T register_ten_handler
0000000000007b70 T register_ts_handler
0000000000008430 T rejoin_mcgs
000000000000da90 T satellite_find_by_diseqc
000000000000e000 T satellite_find_pol_by_ref
000000000000dfa0 T satellite_find_sec_by_ref
000000000000df30 T satellite_get_lof_by_ref
000000000000deb0 T satellite_get_pos_by_ref
0000000000005800 T send_mldv2_report
0000000000005680 T sendpacket6
0000000000006760 T server_udp_open
0000000000006a10 T server_udp_open_host
0000000000007f00 T set_redirected
00000000000083b0 T stop_sid_mcgs
000000000000d830 T tra_get_list
0000000000006f60 T udp_close
00000000000075c0 T udp_close_buff
0000000000006560 T udp_ipv6_join_multicast_group
00000000000065e0 T udp_ipv6_leave_multicast_group
0000000000006e30 T udp_read
0000000000007550 T udp_read_buff
0000000000006ef0 T udp_write
000000000000e1a0 T update_interfaces

Display More

M-Reimer · May 28, 2023 at 8:35 PM

Die Tools vom alten Repo linken nicht gegen irgend eine Library. Das war also nicht Sinn der Übung. Ich hab aber keine Ahnung warum es bei mir einwandfrei läuft und bei dir nicht...

Die Library passt auf jeden Fall. Eigentlich sollte es klappen.

Problem ist halt: Weil es bei mir läuft kann ich nur schwer debuggen.

cinfo · May 28, 2023 at 8:59 PM

Quote from M-Reimer

Die Tools vom alten Repo linken nicht gegen irgend eine Library. Das war also nicht Sinn der Übung. Ich hab aber keine Ahnung warum es bei mir einwandfrei läuft und bei dir nicht...
Die Library passt auf jeden Fall. Eigentlich sollte es klappen.
Problem ist halt: Weil es bei mir läuft kann ich nur schwer debuggen.

naja die Lib sieht ja sehr gut aus und hat ja auch

mcg_to_fe_parms

mcg_get_satpos

keine Ahnung was da die netcvdiag.c dagegen hat -- Aber da werde ich aber nicht der Einzige sein mit diesem Problem, also abwarten.

Code

cc -lxml2 -L../lib -lnetceiver -pthread -o netcvdiag netcvdiag.o 
/usr/bin/ld: netcvdiag.o: in function `show_stats':
netcvdiag.c:(.text+0xdbd): undefined reference to `mcg_to_fe_parms'
/usr/bin/ld: netcvdiag.c:(.text+0xdd5): undefined reference to `mcg_get_satpos'
collect2: error: ld returned 1 exit status
make: *** [Makefile:86: netcvdiag] Fehler 1

cinfo · May 29, 2023 at 7:59 AM

Quote

Man kann "minisatip" unverändert gegen die neue "libnetceiver" bauen weil ich ein "install-legacy" in die Library gebaut habe. Dieser legt Symlinks an damit minisatip seine gewohnte Struktur wieder vorfindet.

wie sieht man, das minisatip gegen libnetceiver oder libmcli gebaut hat?

Code

minisatip version 1.2.80~1246944, compiled in May 28 2023 19:15:01, with s2api version: 050B
[29/05 07:57:29.891 main]: Built with dvbcsa
[29/05 07:57:29.891 main]: Built with CI
[29/05 07:57:29.891 main]: Built with dvbapi
[29/05 07:57:29.891 main]: Built with tables processing
[29/05 07:57:29.891 main]: Built with pmt processing
[29/05 07:57:29.891 main]: Built with satip client
[29/05 07:57:29.891 main]: Built with linux dvb client
[29/05 07:57:29.891 main]: Built with backtrace
[29/05 07:57:29.891 main]: Built with netceiver
[29/05 07:57:29.891 main]: Built with ddci
[29/05 07:57:29.891 main]: Built without t2mi

Display More

M-Reimer · May 29, 2023 at 11:01 AM

Quote from cinfo

wie sieht man, das minisatip gegen libnetceiver oder libmcli gebaut hat?

Der Part ist einfach: Mach "ldd" auf das kompilierte "minisatip" und schaue ob dort "libnetceiver.so.1" gelinkt ist. Das minisatip-Makefile greift zwar über "-lmcli" drauf zu, aber über den "soname" in der Library wird das letztlich trotzdem korrekt auf die "richtige" Library verknüpft.

Im Anhang ist ein angepasstes Makefile. Das ist zwar jetzt nur "Stochern im Dreck" aber vielleicht hilft das. Ich hab im Wesentlichen die Argumente am Linker umsortiert. Außerdem linke ich die Binaries nicht mehr gegen libxml2. Keines der Binaries nutzt Funktionen aus libxml2. Entsprechend muss auch nicht verlinkt werden.

cinfo bitte mal ausprobieren. Umbenennen in "Makefile" und ablegen unter "tools".

cinfo · May 29, 2023 at 12:39 PM

Quote from M-Reimer

cinfo bitte mal ausprobieren. Umbenennen in "Makefile" und ablegen unter "tools".

war leider nicht die Lösung -- gleicher Fehler

Code

cc -L../lib -lnetceiver -pthread netcvdiag.o -o netcvdiag
/usr/bin/ld: netcvdiag.o: in function `show_stats':
netcvdiag.c:(.text+0xdbd): undefined reference to `mcg_to_fe_parms'
/usr/bin/ld: netcvdiag.c:(.text+0xdd5): undefined reference to `mcg_get_satpos'
collect2: error: ld returned 1 exit status
make: *** [Makefile:74: netcvdiag] Fehler 1

M-Reimer · May 29, 2023 at 12:50 PM

Ärgerlich. So ist genau die Struktur wie es auch bei graphlcd-base gemacht wird und da hat sich bisher nie jemand beschwert...

An der Stelle bräuchte ich dann echt Infos wie Distribution und Compiler-Version um das potentiell in einer VM nachstellen zu können. Bei mir (Arch Linux) läuft alles ohne Fehler und vor allem auch ohne Warnungen.

Edit: Ich hab mal meine alte Ubuntu-VM wieder ausgepackt und alle Updates installiert und dort sehe ich den Fehler.

M-Reimer · May 29, 2023 at 1:37 PM

OK. Jetzt bitte nochmal testen. Die Reihenfolge der Linker-Parameter hat wohl tatsächlich immer noch nicht gepasst. Wenn das so jetzt immerhin kompiliert, dann tagge ich später nochmal ein "0.0.x" release. Sowie ich meine Tests abschließen konnte (nicht vor nächstem Wochenende) geht die Library dann auf Version 1.0.0.

seahawk1986 · May 29, 2023 at 3:12 PM

Quote from M-Reimer

Über ein paar Rückmeldungen wäre ich dankbar.

Ich versuche die libnetceiver gerade für yaVDR zu paketieren. Ich würde mir ein install Target im Haupt-Makefile wünschen, damit dh_auto_install automatisch das Richtige tut:

Diff

Index: libnetceiver-0.0.3+git20230529-5-6d9b7e6/Makefile
===================================================================
--- libnetceiver-0.0.3+git20230529-5-6d9b7e6.orig/Makefile    2023-05-29 11:34:46.000000000 +0000
+++ libnetceiver-0.0.3+git20230529-5-6d9b7e6/Makefile    2023-05-29 12:57:58.653656606 +0000
@@ -19,3 +19,7 @@
 clean:
     $(MAKE) -C lib/ clean
     $(MAKE) -C tools/ clean
+
+install:
+    $(MAKE) -C lib/ install
+    $(MAKE) -C tools/ install

Display More

Außerdem gibt es etliche Warnungen wegen einer erneuten Definition von bool nach diesem Muster (vollständige Ausgabe ist im Anhang):

Code

cc -c -g -O2 -ffile-prefix-map=/build/libnetceiver-0.0.3+git20230529-5-6d9b7e6=. -flto=auto -ffat-lto-objects -flto=auto -ffat-lto-objects -fstack-protector-strong -Wformat -Werror=format-security -fPIC -Wall -I../common -I../.. -DCLIENT -DLIBRARY -D_REENTRANT -D_GNU_SOURCE -DAPI_SOCK -I/usr/include/libxml2 -O3 -o mld_client.o mld_client.c
In file included from headers.h:20,
                 from mld_client.c:10:
interfaces.h:13: warning: "bool" redefined
   13 | #define bool    int
      |

M-Reimer · May 29, 2023 at 4:01 PM

"make install" ist drin. Dachte eigentlich ich hätte das schon aber für Arch ist mir das nicht aufgefallen weil ich zwei Pakete baue. Einmal "libnetceiver" und einmal "libnetceiver-tools". Kann aber natürlich jeder selbst entscheiden wie er paketiert. Ich dachte mir nur das die wenigsten, die sich heute noch "libnetceiver" als Abhängigkeit für z.B. minisatip installieren wirklich auch die Tools brauchen. Wenn man minisatip dagegen baut, dann zieht es sich das halt als Abhängigkeit rein aber nur die wenigsten minisatip-Nutzer werden auch einen Netceiver haben.

Wegen der vielen "redefined"-Meldungen. Hast du eine Ahnung wie man die triggert? Auf Arch bewirkt "-Wall" auf jeden Fall leider nicht das diese Meldungen kommen. Entsprechend hatte ich gedacht ich wäre an der Stelle sauber (keine Warnungen).

Wie man das sauber löst weiß ich jetzt so spontan auch nicht. Eigentlich wollte ich keine großartigen Änderungen machen. Im Prinzip sagt mein Gefühl aber: "LibNetCeiver sollte weder "bool" noch "true" oder "false" definieren". Eventuell in ein "#ifndef" schachteln?

Ist "bool", "true" und "false" nicht ganz regulärer Bestandteil der Sprache "C"?

Edit: https://www.w3schools.com/c/c_booleans.php

Wundert mich an der Stelle nur das "stdbool.h" bei deinem Build reingezogen wird. Die "libnetceiver" selbst nutzt aktuell kein "stdbool.h".

seahawk1986 · May 29, 2023 at 5:19 PM

Quote from M-Reimer

Einmal "libnetceiver" und einmal "libnetceiver-tools". Kann aber natürlich jeder selbst entscheiden wie er paketiert.

Bei Debian-Paketen werden die Dateien erst nach der Installation in ein temporäres Verzeichnis (debian/tmp) mittels dh_install aufgeteilt, wenn aus einem Quellpaket mehrere Pakete entstehen sollen. Entsprechend der Gepflogenheiten unter Debian/Ubuntu kommt dann noch libnetceiver-dev Paket für die Header und die pkg-config Datei dazu.

SHF · May 29, 2023 at 10:48 PM

Die Fehlermeldung gibt es nur bei "true", merkwürdig.

Und nur die Definition von "true" unterscheidet sich von der in der stdbool.h ( != 0 vs. 1 ).

Die Umdefinition einfach raus zu schmeissen, könnte also Probleme machen.

Die Fehlermeldung kommt wahrscheinlich vom fehlenden #undef, des alten "true".

Korrekt wäre wohl so

Code

/* Booleans */
#ifdef false
    #undef false
#define false    0
#ifdef true
    #undef true
#define true    (!false)

M-Reimer · May 29, 2023 at 11:38 PM

So wie ich das verstanden habe ist es ja auch "nur" eine Warnung und kein Fehler. Das war so seit Anfang an drin. Klar wäre es besser das irgendwie zu optimieren, aber an der Stelle lasse ich dann Leute vor die auch einen Netceiver direkt vor Ort haben um direkt zu testen ob eine Änderung negative Auswirkungen hat.

Neue Struktur für NetCeiver Software

Participate now!

Users Viewing This Thread