wget und unbekanntes charset ?!

hallo,

habe ein problem mit wget, hole per wget relevante daten aus einer website, die dann in einem txtfile gespeichert werden. Das funktioniert auch wunderbar. Allerdings nicht wenn die webseite im header kein charset angegeben hat. Dann werden die daten zwar auch geholt und im textfile gespeichert, allerdings als "data" anstatt utf8, iso oder sonst ein charset.

darauf gestoßen bin ich als ich "file txtfile" in der console eingegeben hab, wenn in der htmlseite ein charset angegeben ist, hat auch das txtfile dieses charset, ansonsten halt data

wenn ich nun versuche das txtfile in ein char array einzulesen dann bricht das programm mit "speicherzugriffsfehler" bei sonderzeichen ab.

gibt es eine möglichkeit wget zu sagen das es immer die daten in utf8 speichern soll ?
oder das textfile, was fälschlicherweise als "data" gespeichert wurde in utf8 zu konvertieren ?
oder beim einlesen des txtfiles in ein char array die sonderzeichen einfach ignoriert ?

hab schon stundenlang google durchsucht, und das wget manual durchgearbeitet, konnte aber keine lösung finden.

Hat da jemand nen tip ?

hy,

erstmal danke für die antworten, wchar werd ich mir mal näher anschauen, allerdings glaub ich das es probleme mit der gtk ui geben wird.

an iconv hab ich auch schon gedacht, problem ist nur das iconv das ein und ausgabe charset wissen will. nur was ist das eingangsformat ? "data" welches ja "file" anzeigt gibt es bei iconv nicht

@ skan!

danke für den tip, geht aber leider nicht, iconv meckert zwar nicht, wandelt aber auch nicht. "file" sagt immernoch die txtdatei sei "data".

Muss wohl drauf hoffen das der websitenersteller mal das charset angibt, oder das wget ne funktion eingebaut bekommt die es erlaubt ein charset zu bestimmen.

danke ! @ ratata

damit funzt die "convertierung"