www.vorhilfe.de
Vorhilfe

Kostenlose Kommunikationsplattform für gegenseitige Hilfestellungen.
Hallo Gast!einloggen | registrieren ]
Startseite · Forum · Wissen · Kurse · Mitglieder · Team · Impressum
Forenbaum
^ Forenbaum
Status Vorhilfe
  Status Geisteswiss.
    Status Erdkunde
    Status Geschichte
    Status Jura
    Status Musik/Kunst
    Status Pädagogik
    Status Philosophie
    Status Politik/Wirtschaft
    Status Psychologie
    Status Religion
    Status Sozialwissenschaften
  Status Informatik
    Status Schule
    Status Hochschule
    Status Info-Training
    Status Wettbewerbe
    Status Praxis
    Status Internes IR
  Status Ingenieurwiss.
    Status Bauingenieurwesen
    Status Elektrotechnik
    Status Maschinenbau
    Status Materialwissenschaft
    Status Regelungstechnik
    Status Signaltheorie
    Status Sonstiges
    Status Technik
  Status Mathe
    Status Schulmathe
    Status Hochschulmathe
    Status Mathe-Vorkurse
    Status Mathe-Software
  Status Naturwiss.
    Status Astronomie
    Status Biologie
    Status Chemie
    Status Geowissenschaften
    Status Medizin
    Status Physik
    Status Sport
  Status Sonstiges / Diverses
  Status Sprachen
    Status Deutsch
    Status Englisch
    Status Französisch
    Status Griechisch
    Status Latein
    Status Russisch
    Status Spanisch
    Status Vorkurse
    Status Sonstiges (Sprachen)
  Status Neuerdings
  Status Internes VH
    Status Café VH
    Status Verbesserungen
    Status Benutzerbetreuung
    Status Plenum
    Status Datenbank-Forum
    Status Test-Forum
    Status Fragwürdige Inhalte
    Status VH e.V.

Gezeigt werden alle Foren bis zur Tiefe 2

Navigation
 Startseite...
 Neuerdings beta neu
 Forum...
 vorwissen...
 vorkurse...
 Werkzeuge...
 Nachhilfevermittlung beta...
 Online-Spiele beta
 Suchen
 Verein...
 Impressum
Das Projekt
Server und Internetanbindung werden durch Spenden finanziert.
Organisiert wird das Projekt von unserem Koordinatorenteam.
Hunderte Mitglieder helfen ehrenamtlich in unseren moderierten Foren.
Anbieter der Seite ist der gemeinnützige Verein "Vorhilfe.de e.V.".
Partnerseiten
Dt. Schulen im Ausland: Mathe-Seiten:

Open Source FunktionenplotterFunkyPlot: Kostenloser und quelloffener Funktionenplotter für Linux und andere Betriebssysteme
Forum "Uni-Stochastik" - Kullback Leibler Distanz
Kullback Leibler Distanz < Stochastik < Hochschule < Mathe < Vorhilfe
Ansicht: [ geschachtelt ] | ^ Forum "Uni-Stochastik"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien

Kullback Leibler Distanz: relative Entropie
Status: (Frage) beantwortet Status 
Datum: 10:49 So 28.06.2009
Autor: peter.suedwest

Aufgabe
Die Kullback-Leibler Distanz sei so definiert:
[mm]D(p || p') = \int_{supp\{p(m)\}} ... \int p(m) \log(\frac{p(m)}{p'(m)}) dm[/mm]

mit p und p' Wahrscheinlichkeitsdichtefunktionen und m vektoriell

Hallo,

1)
bei mir im Skript steht jetzt, dass ich [mm]p(m) \log(\frac{p(m)}{p'(m)})[/mm] als Erwartungswert auffassen kann. Wie kann ich diesen Zusammenhang herstellen?

2)
Warum  mehrere Integrale, bzw. worauf beziehen sich diese?

3)
und wie genau verstehe ich supp{.} in Bezug auf die Dichtefunktion
-> die Definition von Wikipedia kenne ich. Ich suche nach einer Interpretation


Wäre super wenn mir da jemand weiterhelfen könnte.

Mfg

        
Bezug
Kullback Leibler Distanz: Antwort
Status: (Antwort) fertig Status 
Datum: 11:40 So 28.06.2009
Autor: luis52

Moin peter.suedwest,

>  
> 1)
>  bei mir im Skript steht jetzt, dass ich [mm]p(m) \log(\frac{p(m)}{p'(m)})[/mm]
> als Erwartungswert auffassen kann. Wie kann ich diesen
> Zusammenhang herstellen?

1) Im allgemeinen ist fuer stetiges [mm] $g:\IR^k\to\IR$: [/mm]

[mm] $$\operatorname{E}[g(\mathbf{X})]=\int_{-\infty}^{+\infty}\cdots\int_{-\infty}^{+\infty}g(\mathbf{x})f(\mathbf{x})\mathbf{dx}$$ [/mm]

Es ist [mm] $\operatorname{supp}(f(\mathbf{x}))=\{\mathbf{x}\mid \mathbf{x}\in\IR^k\,,f(\mathbf{x})>0\}$. [/mm] Wegen [mm] $f(\mathbf{x})\ge [/mm] 0$ stimmt  [mm] $\operatorname{E}[g(\mathbf{X})]$ [/mm] mit


[mm] $$\int\cdots\int_{\operatorname{supp}(f(\mathbf{x}))} g(\mathbf{x})f(\mathbf{x})\mathbf{dx}$$ [/mm]

ueberein.

                              

>  
> 2)
> Warum  mehrere Integrale, bzw. worauf beziehen sich diese?

Darauf, dass $p_$ die Dichte eines *Zufallsvektors* ist.

>  
> 3)
> und wie genau verstehe ich supp{.} in Bezug auf die
> Dichtefunktion

Hier musst du allerdings die zweite Berechnungsmoeglichkeit verwenden, da [mm] $\log(0)$ [/mm] nicht existiert.

vg Luis
    



Bezug
                
Bezug
Kullback Leibler Distanz: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 15:31 So 28.06.2009
Autor: peter.suedwest

1) Im allgemeinen ist fuer stetiges $ [mm] g:\IR^k\to\IR [/mm] $:

    $ [mm] \operatorname{E}[g(\mathbf{X})]=\int_{-\infty}^{+\infty}\cdots\int_{-\infty}^{+\infty}g(\mathbf{x})f(\mathbf{x})\mathbf{dx} [/mm] $



Es ist $ [mm] \operatorname{supp}(f(\mathbf{x}))=\{\mathbf{x}\mid \mathbf{x}\in\IR^k\,,f(\mathbf{x})>0\} [/mm] $. Wegen $ [mm] f(\mathbf{x})\ge [/mm] 0 $ stimmt  $ [mm] \operatorname{E}[g(\mathbf{X})] [/mm] $ mit


    $ [mm] \int\cdots\int_{\operatorname{supp}(f(\mathbf{x}))} g(\mathbf{x})f(\mathbf{x})\mathbf{dx} [/mm] $



ueberein.

was ist da jetzt was ?
was ist in meinem Fall [mm]g(x) = p(m) [/mm] und [mm]f(x) = log(\frac{p(m)}{p'(m)}) [/mm] ?

Grüße

Bezug
                        
Bezug
Kullback Leibler Distanz: Antwort
Status: (Antwort) fertig Status 
Datum: 15:39 So 28.06.2009
Autor: luis52


>
> was ist da jetzt was ?

Deine Aufgabenstellung scheint etwas verkuerzt zu sein:

Die Kullback-Leibler Distanz sei so definiert:
$ D(p || p') = [mm] \int_{supp\{p(m)\}} [/mm] ... [mm] \int [/mm] p(m) [mm] \log(\frac{p(m)}{p'(m)}) [/mm] dm $

mit p und p' Wahrscheinlichkeitsdichtefunktionen und m vektoriell


Ich *vermute*, dass $p_$ die Dichte ist. Demnach entspricht $f_$ der Funktion $p_$ und $g_$ der Funktion [mm] $\log(\frac{p}{p'})$. [/mm]

vg Luis


Bezug
                                
Bezug
Kullback Leibler Distanz: Mitteilung
Status: (Mitteilung) Reaktion unnötig Status 
Datum: 15:42 So 28.06.2009
Autor: peter.suedwest

ok danke.

Bezug
        
Bezug
Kullback Leibler Distanz: Frage (überfällig)
Status: (Frage) überfällig Status 
Datum: 15:46 So 28.06.2009
Autor: peter.suedwest

Die Begründung dafür, dass die Kullback- Leibler Distanz nicht symmetrisch ist kann durch [mm]log(\frac{p(m)}{p'(m)}) [/mm] begründet werden nehme ich an, ist das richtig?

also etwa Bsp.:
wenn Fläche/Integral von p(m) klein bzgl p'(m) folgt [mm]D(p || p') < \infty[/mm]
wenn Fläche/Integral von p(m) groß bzgl p'(m) folgt [mm]D(p || p') = \infty[/mm]

Ist das so korrekt?

Bezug
                
Bezug
Kullback Leibler Distanz: Fälligkeit abgelaufen
Status: (Mitteilung) Reaktion unnötig Status 
Datum: 16:20 Mi 29.07.2009
Autor: matux

$MATUXTEXT(ueberfaellige_frage)
Bezug
Ansicht: [ geschachtelt ] | ^ Forum "Uni-Stochastik"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien


^ Seitenanfang ^
www.vorhilfe.de