mittlere Entropie < Stochastik < Oberstufe < Schule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 19:52 Di 03.05.2011 | | Autor: | mikexx |
| Aufgabe | Wir betrachten nun ein Zufallsexperiment mit den (paarweise disjunkten) Ereignissen [mm] A_1,...,A_k. [/mm] Die Ereignisse haben die Wahrscheinlichkeiten [mm] p_i=P(A_i) [/mm] mit [mm] \summe_{i=1}^k p_i=1 [/mm]. Es erscheint sinnvoll die mittlere Entropie [mm] H(p_1,...,p_k)=-\summe_{i=1}^k p_i \log_2(p_i) [/mm] der Ereignisse [mm] A_1,...,A_k [/mm] als Maß für die Unsicherheit des Zufallsexperiments mit möglichen Ausgängen [mm] A_1,...,A_k [/mm] zu verwenden. Wir wollen zeigen, dass die Gleichverteilung ([mm] p_i=1/k [/mm]) maximale Entropie hat.
a) Betrachten Sie zunächst den Fall von zwei Ereignissen (k=2) und zeigen Sie, dass H(p,1-p)<H(0.5,0.5) für alle 0<p<1 mit [mm] p\neq [/mm] 0.5.
[Hinweis: Es handelt sich hier um eine einfache Kurvendiskussion.] |
Ich frage mich, inwiefern hier eine (einfache) Kurvendiskussion zu machen ist:
Ich würde beide Funktionen erstmal hinschreiben:
[mm] H(p,1-p)=-\summe_{i=1}^2 p_i\cdot \log_2(p_i) [/mm] mit [mm] p_1=p [/mm] und [mm] p_2=1-p, [/mm] also
[mm] H(p,1-p)=-(p\cdot \log_2(p)+(1-p)\cdot \log_2((1-p)))
[/mm]
[mm] =-p\cdot \log_2(p)-(1-p)\cdot \log_2(1-p)
[/mm]
Sowie
[mm] H(0.5,0.5)=-0.5\cdot \log_2(0.5)-0.5\cdot \log_2(0.5)=1
[/mm]
Ich muss jetzt zeigen, dass
[mm] -p\cdot \log_2(p)-(1-p)\cdot \log_2(1-p)<1 [/mm] für alle 0<p<1 mit [mm] p\neq [/mm] 0.5
Ist das jetzt die Kurvendiskussion, von der im Hinweis die Rede ist?
Also betrachte:
1.) 0<p<0.5
2.) 0.5<p<1
??
|
|
| |
|
> Wir betrachten nun ein Zufallsexperiment mit den (paarweise
> disjunkten) Ereignissen [mm]A_1,...,A_k.[/mm] Die Ereignisse haben
> die Wahrscheinlichkeiten [mm]p_i=P(A_i)[/mm] mit [mm]\summe_{i=1}^k p_i=1 [/mm].
> Es erscheint sinnvoll die mittlere Entropie
> [mm]H(p_1,...,p_k)=-\summe_{i=1}^k p_i \log_2(p_i)[/mm] der
> Ereignisse [mm]A_1,...,A_k[/mm] als Maß für die Unsicherheit des
> Zufallsexperiments mit möglichen Ausgängen [mm]A_1,...,A_k[/mm] zu
> verwenden. Wir wollen zeigen, dass die Gleichverteilung ([mm] p_i=1/k [/mm])
> maximale Entropie hat.
>
> a) Betrachten Sie zunächst den Fall von zwei Ereignissen
> (k=2) und zeigen Sie, dass H(p,1-p)<H(0.5,0.5) für alle
> 0<p<1 mit [mm]p\neq[/mm] 0.5.
>
> [Hinweis: Es handelt sich hier um eine einfache
> Kurvendiskussion.]
> Ich frage mich, inwiefern hier eine (einfache)
> Kurvendiskussion zu machen ist:
>
> Ich würde beide Funktionen erstmal hinschreiben:
>
> [mm]H(p,1-p)=-\summe_{i=1}^2 p_i\cdot \log_2(p_i)[/mm] mit [mm]p_1=p[/mm] und
> [mm]p_2=1-p,[/mm] also
>
> [mm]H(p,1-p)=-(p\cdot \log_2(p)+(1-p)\cdot \log_2((1-p)))[/mm]
>
> [mm]=-p\cdot \log_2(p)-(1-p)\cdot \log_2(1-p)[/mm]
>
> Sowie
>
> [mm]H(0.5,0.5)=-0.5\cdot \log_2(0.5)-0.5\cdot \log_2(0.5)=1[/mm]
>
>
> Ich muss jetzt zeigen, dass
>
> [mm]-p\cdot \log_2(p)-(1-p)\cdot \log_2(1-p)<1[/mm] für alle 0<p<1
> mit [mm]p\neq[/mm] 0.5
>
> Ist das jetzt die Kurvendiskussion, von der im Hinweis die
> Rede ist?
>
> Also betrachte:
>
> 1.) 0<p<0.5
> 2.) 0.5<p<1
>
> ??
Du kannst doch die Funktion
f: [mm] p\mapsto -p\cdot \log_2(p)-(1-p)\cdot \log_2(1-p)
[/mm]
im Intervall 0<p<1 untersuchen !
Am Ergebnis lässt sich das Gewünschte ablesen.
LG Al-Chw.
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 21:11 Di 03.05.2011 | | Autor: | mikexx |
Okay, danke für den Hinweis.
Ich weiß nur nicht so recht, was ich da eigentlich diskutieren resp. hinschreiben soll:
Also die Funktion hat im Intervall 0<p<1 ihr Maximum bei x=0,5 und nimmt dort den Funktionswert 1 an.
[Das kann man mit den Ableitungen usw. natürlich ganz klassisch zeigen und aufschreiben, gut.]
Dann könnte man wohl noch zeigen, dass die Funktion zwischen 0 und 0,5 monoton ansteigt und zwischen 0,5 und 1 monoton fällt.
Ansonsten fällt mir nichts für eine "Kurvendiskussion" ein. Oder ist das auch schon genügend?
Ich würde sagen, damit ist ja gezeigt, dass die Funktion auf dem Intervall [mm] 0
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 00:08 Mi 04.05.2011 | | Autor: | mikexx |
Mit anderen Worten:
Was soll man hier "diskutieren" resp. muss man zeigen:
1.) Extremstellen
2.) Monotonieverhalten
Und? [Kommt da noch etwas hinzu?]
Wie bereits in der Frage oben formuliert, würde ich sagen, dass das ausreichend ist, um die Behauptung zu zeigen.
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 00:27 Mi 04.05.2011 | | Autor: | dennis2 |
Zunächst: Ich traue mir nicht zu, Dir eine Antwort zu geben, daher schreibe ich nur eine Mitteilung.
In der Aufgabenstellung resp. in dem Hinweis steht doch, dass es auf eine "einfache Kurvendiskussion" hinausläuft.
Das suggeriert für mich schon, dass Du ein paar "Instrumente" aus der typischen Kurvendiskussion heranziehen sollst: Du meinst, dass es ausreicht, die Funktion auf Extrema und Monotonie zu untersuchen:
Ja, wieso nicht, wenn damit alles gezeigt werden kann!
Du sollst zeigen, dass [mm] H(p,1-p)
H(0.5,0.5)=1 (Das habe ich auch raus.)
Für mich folgt nun das, was Du zeigen sollst aus dem, was Du an Kurvendiskussion vorgeschlagen hast. Dann ists doch okay!
Man korrigiere mich bitte, wenn was falsch ist.
|
|
|
| |
|
> Okay, danke für den Hinweis.
>
> Ich weiß nur nicht so recht, was ich da eigentlich
> diskutieren resp. hinschreiben soll:
>
> Also die Funktion hat im Intervall 0<p<1 ihr Maximum bei
> x=0,5 und nimmt dort den Funktionswert 1 an.
> [Das kann man mit den Ableitungen usw. natürlich ganz
> klassisch zeigen und aufschreiben, gut.]
>
> Dann könnte man wohl noch zeigen, dass die Funktion
> zwischen 0 und 0,5 monoton ansteigt und zwischen 0,5 und 1
> monoton fällt.
>
> Ansonsten fällt mir nichts für eine "Kurvendiskussion"
> ein. Oder ist das auch schon genügend?
> Ich würde sagen, damit ist ja gezeigt, dass die Funktion
> auf dem Intervall [mm]0
> ist.
Klar, wie dennis2 schon mitgeteilt hat: diese "kleine
Kurvendiskussion" genügt für diesen Fall.
Jetzt solltest du dich wohl dem Fall k>2 zuwenden,
eventuell zunächst mal dem Fall k=3.
LG Al-Chw.
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 06:26 Do 05.05.2011 | | Autor: | mikexx |
Danke.
Den Fall, dass k>2 ist, werde ich aber nicht mehr behandeln, weil dafür gibts nur "Bonuspunkte" und die Zeit nutze ich lieber für Anderes.
|
|
|
| |
|
> Danke.
>
> Den Fall, dass k>2 ist, werde ich aber nicht mehr
> behandeln, weil dafür gibts nur "Bonuspunkte" und die Zeit
> nutze ich lieber für Anderes.
Hallo mikexx,
ich gebe dir trotzdem noch einen Tipp am Beispiel $\ k=3$.
Die 3 Wahrscheinlichkeiten, die sich zu 1 aufaddieren
müssen, seien $\ p$,$\ q$ und $\ r$ mit $\ r=1-p-q$ . Dann ist
$\ H(p,q,r)\ =\ H(p,q,1-p-q)\ =\ [mm] \underbrace{-\frac{1}{ln(2)}}_k*\left[\ p*ln(p)+q*ln(q)+r*ln(r)\ \right]$
[/mm]
$\ =\ [mm] k*\left[\ p*ln(p)+q*ln(q)+(1-p-q)*ln(1-p-q)\ \right]$
[/mm]
Für ein Maximum dieser (im interessierenden Bereich
differenzierbaren) Funktion der verbliebenen zwei
Variablen $\ p$ und $\ q$ müssen die partiellen Ableitungen
[mm] \frac{\partial H}{\partial p} [/mm] und [mm] \frac{\partial H}{\partial q} [/mm] beide verschwinden, jedenfalls sofern
der Fall eines Maximums am Rand des Definitionsbe-
reiches ausgeschlossen werden kann. Letzteres sollte
man sich noch klar machen.
Aus den entstehenden Gleichungen kann man schließen,
dass $\ p=1-p-q=r$ und deshalb [mm] p=q=r=\frac{1}{3} [/mm] sein muss.
LG Al-Chw.
|
|
|
|
