Entropie von Nachrichten < Krypt.+Kod.+Compalg. < Theoretische Inform. < Hochschule < Informatik < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 16:22 Di 14.04.2015 | | Autor: | asgaroth |
Hallo,
ich versuche mich gerade mit Entropie (Informationstheorie) auseinanderzusetzen. Ich habe einen (verrauschten) Kommunikationskanal
nach Shannon ( http://coral.lili.uni-bielefeld.de/Classes/Summer96/Textdesc/funslides/img10.gif ) (Informationssource und Transmitter bzw. Receiver und Destination sind in meinem Fall eins).
Shannon definiert Entropie der Wahrscheinlichkeiten [mm] $p_1,...,p_i$ [/mm] in "Mathematical Theory of Communication" als [mm] H = - \sum_{i}p_i * log_2(p_i)[/mm] und sagt es sei ein Maß für die Unsicherheit eines Ereignisses.
Er sagt weiterhin die Entropie für eine Informationsquelle sei [mm] H=\sum_{i}P_i*p_i(j)log_{2}(p_i(j)) [/mm] für alle möglichen Zustände i und mögliche erzeugte Symbole j.
In z.B. Wikipedia ist Entropy erklärt als:
"In information theory, entropy is the average amount of information contained in each message received"
bzw.
"Maß für den mittleren Informationsgehalt oder auch Informationsdichte einer Nachricht"
In Bossert - "Kanalkodierung" steht "Sei X eine Menge von Zeichen [...] Unsicherheit (Entropie) H(X) ist definiert als Mittelwert der Selbstinformation"
Die Formeln in Bossert und Wikipedia sind die gleichen wie bei Shannon. Es wird jedoch von einer diskreten,gedächtnislosen Quelle (diskrete Zufallsvariable) X gesprochen und [mm] $p_i [/mm] = P(X = i)$ die Wahrscheinlichkeit das Zeichen i auftritt.
Im Studium wurde uns Entropie anhand der Englischen bzw. Deutschen Sprache erklärt und der Häufigkeiten einzelner Buchstaben.
Ich komme nun aber durch die ganzen verschiedenen Definitionen die zwar eigentlich gleich sind aber irgendwie halt auch nicht nicht mehr mit. Bei Shannon verstehe ich, dass er eine Informationsquelle als Markow-Kette sieht, d.h. Zustände die bei einem Zustandsübergang mit einer bestimmten Warhscheinlichkeit ein bestimmtes Symbol produzieren. Danach hat man für jedes Symbol aus dem Alphabet eine Wahrscheinlichkeit und kann als Summe die Entropie berechnen.
Die Frage die ich gerade klären soll ist: Wie unterscheidet sich die Entropie einer Nachricht im Shannonmodell ohne Rauschen von einer Nachricht mit Rauschen?
Ist Entropie einer Nachricht im Endeffekt das gleiche wie Entropie einer Informationsquelle?
Müsste ich für den zweiten Fall die Verbundentropie der zwei Quellen (Information Source und Noise Source) berechnen?
Vielen Dank im vorraus, Asga mit Brett vor dem Kopf :)!
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 12:08 So 19.04.2015 | | Autor: | Infinit |
Hallo Asga,
da hast Dur Dir ein nicht gerade einfaches Thema vorgenommen, aber ein paar Tipps bzw. Kommentare kann ich Dir wohl geben.
Zunächst einmal ist es egal, ob die Information aus einer diskreten oder kontinuierlichen Quelle kommt. Die Rechnung mit einer diskreten Quelle ist den meisten Leuten einleuchtender, hier werden Wahrscheinlichkeiten addiert, im kontinuierliche Fall rechnet man mit Integralen, was vielen Leuten etwas unheimlicher ist.
Was Deine Frage anbelangt zum Rauschen, so kann durchaus auch Rauschen eine Entropie besitzen, auf jeden Fall stört solch ein Rauschen die Entscheidungsfindung im Empfänger, welches Zeichen gerade gesendet wurde. Shannon gibt hierfür Abschätzungen an, die mathematisch mit Ungleichheiten beschrieben werden und insofern ist es nicht gerade einfach, eine Optimalstrategie zur Dekodierung zu entwickeln.
Bei additivem weißen Gaußschen Rauschen gibt es einen Ausdruck mit Hilfe einer Gleichung, die die Kanalkapazität bestimmt als Funktion des Geräuschspannungsabstandes und der Bandbreite. Näheres kannst Du selbst ergoogeln unter "Shannon-Hartley-Gesetz".
Deine zweite Frage zielt auf die Übertragung von Information ab. Die Informationsquelle besitzt eine gewisse Entropie, die Nachrichtensignalisierung muss nun so gewählt werden, dass diese Entropie auch übertragen werden kann. In allen mir bekannten Fällen ist die Entropie des Nachrichtensignals größer als die Entropie der Quelle, man "verschwendet" auf Kosten der Einfachheit also ein paar Bits, kann das Ganze damit aber noch handhabbar halten. Was wir als Nachrichtentechniker von Shannon gelernt haben, ist, dass es eine Codierung gibt, die beliebig nahe sich der Entropie der Informationsquelle annähern kann, leider gibt es jedoch keinen allgemeingültigen Hinweis, wie solch eine Nachrichtencodierung auszusehen hat.
Viele Grüße,
Infinit
|
|
|
|
