www.vorhilfe.de
Vorhilfe

Kostenlose Kommunikationsplattform für gegenseitige Hilfestellungen.
Hallo Gast!einloggen | registrieren ]
Startseite · Forum · Wissen · Kurse · Mitglieder · Team · Impressum
Forenbaum
^ Forenbaum
Status Vorhilfe
  Status Geisteswiss.
    Status Erdkunde
    Status Geschichte
    Status Jura
    Status Musik/Kunst
    Status Pädagogik
    Status Philosophie
    Status Politik/Wirtschaft
    Status Psychologie
    Status Religion
    Status Sozialwissenschaften
  Status Informatik
    Status Schule
    Status Hochschule
    Status Info-Training
    Status Wettbewerbe
    Status Praxis
    Status Internes IR
  Status Ingenieurwiss.
    Status Bauingenieurwesen
    Status Elektrotechnik
    Status Maschinenbau
    Status Materialwissenschaft
    Status Regelungstechnik
    Status Signaltheorie
    Status Sonstiges
    Status Technik
  Status Mathe
    Status Schulmathe
    Status Hochschulmathe
    Status Mathe-Vorkurse
    Status Mathe-Software
  Status Naturwiss.
    Status Astronomie
    Status Biologie
    Status Chemie
    Status Geowissenschaften
    Status Medizin
    Status Physik
    Status Sport
  Status Sonstiges / Diverses
  Status Sprachen
    Status Deutsch
    Status Englisch
    Status Französisch
    Status Griechisch
    Status Latein
    Status Russisch
    Status Spanisch
    Status Vorkurse
    Status Sonstiges (Sprachen)
  Status Neuerdings
  Status Internes VH
    Status Café VH
    Status Verbesserungen
    Status Benutzerbetreuung
    Status Plenum
    Status Datenbank-Forum
    Status Test-Forum
    Status Fragwürdige Inhalte
    Status VH e.V.

Gezeigt werden alle Foren bis zur Tiefe 2

Navigation
 Startseite...
 Neuerdings beta neu
 Forum...
 vorwissen...
 vorkurse...
 Werkzeuge...
 Nachhilfevermittlung beta...
 Online-Spiele beta
 Suchen
 Verein...
 Impressum
Das Projekt
Server und Internetanbindung werden durch Spenden finanziert.
Organisiert wird das Projekt von unserem Koordinatorenteam.
Hunderte Mitglieder helfen ehrenamtlich in unseren moderierten Foren.
Anbieter der Seite ist der gemeinnützige Verein "Vorhilfe.de e.V.".
Partnerseiten
Dt. Schulen im Ausland: Mathe-Seiten:

Open Source FunktionenplotterFunkyPlot: Kostenloser und quelloffener Funktionenplotter für Linux und andere Betriebssysteme
Forum "mathematische Statistik" - Normalverteilung: MLS-Schätzer
Normalverteilung: MLS-Schätzer < math. Statistik < Stochastik < Hochschule < Mathe < Vorhilfe
Ansicht: [ geschachtelt ] | ^ Forum "mathematische Statistik"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien

Normalverteilung: MLS-Schätzer: \mu bei unbekanntem \sigma^2
Status: (Frage) beantwortet Status 
Datum: 11:14 Mi 01.10.2014
Autor: GeMir

Aufgabe
Seien [mm] $X_1, \ldots, X_n \overset{iid}{\sim} N(\mu, \sigma^2), \sigma^2 [/mm] > 0$ unbekannt. Bestimmen Sie den Maximum-Likelihood-Schätzer für [mm] \mu. [/mm]






Den unbekannten Parameter [mm] $\sigma^2$ [/mm] ersetzen wir durch den erwartungstreuen Schätzer [mm] $\hat{\sigma}^2 [/mm] = [mm] \frac{1}{n-1}\cdot\sum_{i=1}^{n}{(X_i-\bar{X})^2}$ [/mm] (Stichprobenvarianz)

Die Likelihood-Funktion ist gegeben durch (gemeinsame Dichte von $n$ unabhängigen Zufallsvariablen): [mm] $L(\mu [/mm] | [mm] x_1, \ldots, x_n) [/mm] = [mm] \prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}\hat{\sigma}}e^{-\frac{(x_i-\mu)^2}{2\hat{\sigma}^2}}}$ [/mm]

Die Log-Likelihood-Funktion ist dann gegeben durch:

[mm] l(\mu [/mm] | [mm] x_1, \ldots, x_n)&= \sum_{i=1}^{n}{\ln\bigg(\frac{1}{\sqrt{2\pi}\hat{\sigma}}e^{-\frac{(x_i-\mu)^2}{2\hat{\sigma}^2}}\bigg)}\\ [/mm]
= [mm] \sum_{i=1}^{n}{\Bigg(\ln\bigg(\frac{1}{\sqrt{2\pi}\hat{\sigma}}\bigg) + \ln\bigg(e^{-\frac{(x_i-\mu)^2}{2\hat{\sigma}^2}}\bigg)\Bigg)}\\ [/mm]
= [mm] \sum_{i=1}^{n}{\Bigg(\ln\bigg(\frac{1}{\sqrt{2\pi}\hat{\sigma}}\bigg) - \frac{(x_i-\mu)^2}{2\hat{\sigma}^2}\Bigg)}\\ [/mm]
= [mm] n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\hat{\sigma}}\bigg) [/mm] - [mm] \sum_{i=1}^{n}{\frac{(x_i-\mu)^2}{2\hat{\sigma}^2}}\\ [/mm]
= [mm] n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\hat{\sigma}}\bigg) [/mm] - [mm] \frac{1}{2\hat{\sigma}^2}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}\\ [/mm]
= [mm] n\cdot\ln\bigg(\frac{1}{\sqrt{2\pi}\hat{\sigma}}\bigg) [/mm] - [mm] \frac{1}{2\hat{\sigma}^2}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2} [/mm]

Notwendige Bedingung: [mm] $\frac{\partial l}{\partial\mu} [/mm] = 0$

[mm] \frac{\partial l}{\partial \mu} [/mm] = [mm] \frac{1}{\hat{\sigma}^2}\cdot(n\bar{x}-n\mu) [/mm]

Also:

[mm] \frac{1}{\hat{\sigma}^2}\cdot(n\bar{x}-n\mu) [/mm] = [mm] 0\\ [/mm]
[mm] n\bar{x}-n\mu [/mm] = [mm] 0\\ [/mm]
[mm] \bar{x}-\mu [/mm] = [mm] 0\\ [/mm]
[mm] \bar{x} [/mm] = [mm] \mu [/mm]

Hinreichende Bedingung: [mm] $\frac{\partial^2 l}{\partial\mu\partial\mu} \neq [/mm] 0$

[mm] $\frac{\partial^2 l}{\partial\mu\partial\mu} [/mm] &= [mm] -\frac{n}{\hat{\sigma}^2} [/mm] < 0$ für alle [mm] $\mu$ [/mm]

$l$ (und somit $L$) hat ein lokales Maximum an der Stelle [mm] $\mu [/mm]  = [mm] \bar{x}$. [/mm] Die zweite Ableitung ist aber für alle [mm] $\mu$ [/mm] kleiner Null und somit ist das gefundene Maximum auch global.

Das heißt, wir erhalten den selben Schätzer, egal, ob die Varianz bekannt ist oder nicht?

        
Bezug
Normalverteilung: MLS-Schätzer: Antwort
Status: (Antwort) fertig Status 
Datum: 11:31 Mi 01.10.2014
Autor: luis52


> Seien [mm]X_1, \ldots, X_n \overset{iid}{\sim} N(\mu, \sigma^2), \sigma^2 > 0[/mm]
> unbekannt. Bestimmen Sie den Maximum-Likelihood-Schätzer
> für [mm]\mu.[/mm]
>  
>
>
> Den unbekannten Parameter [mm]\sigma^2[/mm] ersetzen wir durch den
> erwartungstreuen Schätzer [mm]S^2_x = \frac{1}{n-1}\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}[/mm]

Moin, wie das?

>  
> Die Likelihood-Funktion ist gegeben durch (gemeinsame
> Dichte von [mm]n[/mm] unabhängigen Zufallsvariablen): [mm]L(\mu | x_1, \ldots, x_n) = \prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}S_x}e^{-\frac{(x_i-\mu)^2}{2S^2_x}}}[/mm]

Die korrekte Funktion ist

[mm]L(\mu | x_1, \ldots, x_n) = \prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}\red{\sigma}}e^{-\frac{(x_i-\mu)^2}{2\red{\sigma}^2}}}[/mm]




Bezug
                
Bezug
Normalverteilung: MLS-Schätzer: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 11:36 Mi 01.10.2014
Autor: GeMir

[mm] $\sigma^2$ [/mm] ist unbekannt in dem Modell und müsste somit geschätzt werden. Oder?

Der Schätzer ist aber [mm] $\hat{\sigma}^2 [/mm] = [mm] \frac{1}{n-1}\cdot\sum_{i=1}^{n}{(X_i-\bar{X})^2}$ [/mm] (schon korregiert).

Bezug
                        
Bezug
Normalverteilung: MLS-Schätzer: Antwort
Status: (Antwort) fertig Status 
Datum: 13:48 Mi 01.10.2014
Autor: luis52


> [mm]\sigma^2[/mm] ist unbekannt in dem Modell und müsste somit
> geschätzt werden. Oder?

Korrekt. Aber um [mm] $\hat \mu_{ML}$ [/mm] zu bestimmen musst du $L$ als Funktion von [mm] $\mu$ [/mm] und [mm] $\sigma^2$ [/mm] auffassen und maximieren. Die erste Komponente der Stelle des Optimums ist der gesuchte Schaetzer. Du darfst nicht fuer [mm] $\hat\sigma^2$ [/mm] irgend einen Phantasieschaetzer verwenden.


>  
> Der Schätzer ist aber [mm]\hat{\sigma}^2 = \frac{1}{n-1}\cdot\sum_{i=1}^{n}{(X_i-\bar{X})^2}[/mm]
> (schon korregiert).


Bezug
                                
Bezug
Normalverteilung: MLS-Schätzer: Mitteilung
Status: (Mitteilung) Reaktion unnötig Status 
Datum: 14:54 Mi 01.10.2014
Autor: GeMir

Danke.
Ich dachte, in Analogie mit Tests, wäre es sinnvoll statt dem unbekannten Parameter den (erwartungstreuen) Schätzer zu nehmen.

Bezug
                                        
Bezug
Normalverteilung: MLS-Schätzer: Mitteilung
Status: (Mitteilung) Reaktion unnötig Status 
Datum: 15:39 Mi 01.10.2014
Autor: luis52


>  Ich dachte, in Analogie mit Tests, wäre es sinnvoll statt
> dem unbekannten Parameter den (erwartungstreuen) Schätzer
> zu nehmen.

Nope ;-)


Bezug
                                                
Bezug
Normalverteilung: MLS-Schätzer: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 16:53 Do 02.10.2014
Autor: GeMir

Eingabefehler: "{" und "}" müssen immer paarweise auftreten, es wurde aber ein Teil ohne Entsprechung gefunden (siehe rote Markierung)

Ok, wenn ich mich nicht verrechnet habe, sieht die (wunderschöne) Hesse-Matrix folgendermaßen aus:

Hess($l$) = $\begin{pmatrix}
-\frac{n}{\sigma^2} & -\frac{1}{(\sigma^2)^2}\sum_{i=1}^{n}{(x_i - \mu)}\\
-\frac{1}{(\sigma^2)^2}\sum_{i=1}^{n}{(x_i - \mu)} & -\frac{3}{2(\sigma^2)^2} + \frac{\sum_{i=1}^{n}{(x_i - \mu)^2}}{(\sigma^2)^4}
\end{pmatrix}$

Und damit $l$ ein globales Maximum an der Stelle $\bigg(\bar{x}; \sum_{i=1}^{n}{(x_i - \mu)^2\bigg)$ hat, muss Hess($l$) positiv definit sein.

So weit ok?

Bezug
                                                        
Bezug
Normalverteilung: MLS-Schätzer: Fälligkeit abgelaufen
Status: (Mitteilung) Reaktion unnötig Status 
Datum: 17:20 Sa 04.10.2014
Autor: matux

$MATUXTEXT(ueberfaellige_frage)
Bezug
                                                                
Bezug
Normalverteilung: MLS-Schätzer: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 23:39 Sa 04.10.2014
Autor: GeMir

Die Frage interessiert mich immer noch.

Bezug
                                                        
Bezug
Normalverteilung: MLS-Schätzer: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 22:22 So 05.10.2014
Autor: luis52


> Ok, wenn ich mich nicht verrechnet habe, sieht die
> (wunderschöne) Hesse-Matrix folgendermaßen aus:
>  
> Hess($l$) = [mm]$\begin{pmatrix} -\frac{n}{\sigma^2} & -\frac{1}{(\sigma^2)^2}\sum_{i=1}^{n}{(x_i - \mu)}\\ -\frac{1}{(\sigma^2)^2}\sum_{i=1}^{n}{(x_i - \mu)} & -\frac{3}{2(\sigma^2)^2} + \frac{\sum_{i=1}^{n}{(x_i - \mu)^2}}{(\sigma^2)^4} \end{pmatrix}$[/mm]
>  
> Und damit [mm]l[/mm] ein globales Maximum an der Stelle
> [mm]\bigg(\bar{x}; \sum_{i=1}^{n}{(x_i - \mu)^2\bigg)[/mm] hat, muss
> Hess([mm]l[/mm]) positiv definit sein.
>  
> So weit ok?

Moin, die rechte untere Ecke der Matrix kommt mir nicht koscher vor.


Bezug
                                                                
Bezug
Normalverteilung: MLS-Schätzer: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 22:43 So 05.10.2014
Autor: GeMir

Stimmt. Jetzt sollte es aber halāl sein:

[mm] \frac{\partial l}{\partial\sigma^2} [/mm] = [mm] \frac{-\sigma^2+n\bar{x^2}-2\mu n\bar{x}+n\mu^2}{2(\sigma^2)^2} [/mm]

[mm] \frac{\partial l}{\partial\sigma^2 \partial\sigma^2} [/mm] = [mm] \frac{-1(2(\sigma^2)^2)-4\sigma^2(-\sigma^2+n\bar{x^2}-2\mu n\bar{x}+n\mu^2)}{(2(\sigma^2)^2)^2} [/mm] = [mm] \frac{-4(\sigma^2)^2+4(\sigma^2)^2-4\sigma^2n\bar{x^2} + 8\sigma^2\mu n\bar{x} - 4\sigma^2 n \mu^2)}{4(\sigma^2)^4} [/mm] = [mm] \frac{- n(\bar{x^2} - 2\mu \bar{x} + \mu^2)}{(\sigma^2)^3} [/mm]

Also:

Hess(l) = [mm] $\begin{pmatrix} \displaystyle-\frac{n}{\sigma^2} & \displaystyle-\frac{n\cdot\sum_{i=1}^{n}{(x_i - \mu)^2}}{(\sigma^2)^2}\\ \displaystyle-\frac{n\cdot\sum_{i=1}^{n}{(x_i - \mu)^2}}{(\sigma^2)^2} & \displaystyle-\frac{n\cdot\sum_{i=1}^{n}{(x_i - \mu)^2}}{(\sigma^2)^3}\\ \end{pmatrix} [/mm] = [mm] -\frac{n}{\sigma^2}\cdot\begin{pmatrix} 1 & \displaystyle\frac{\sum_{i=1}^{n}{(x_i - \mu)^2}}{\sigma^2}\\ \displaystyle\frac{\sum_{i=1}^{n}{(x_i - \mu)^2}}{\sigma^2} & \displaystyle\frac{\sum_{i=1}^{n}{(x_i - \mu)^2}}{(\sigma^2)^3}\\ \end{pmatrix}$[/mm]

Bezug
                                                                        
Bezug
Normalverteilung: MLS-Schätzer: Antwort
Status: (Antwort) fertig Status 
Datum: 10:03 Mo 06.10.2014
Autor: luis52


> Stimmt. Jetzt sollte es aber halāl sein:

Welche Sprache ist das?

>  
> [mm]\frac{\partial l}{\partial\sigma^2}[/mm] =
> [mm]\frac{-\sigma^2+n\bar{x^2}-2\mu n\bar{x}+n\mu^2}{2(\sigma^2)^2}[/mm]

[ok]

>  
> [mm]\frac{\partial l}{\partial\sigma^2 \partial\sigma^2}[/mm] =
> [mm]\frac{-1(2(\sigma^2)^2)-4\sigma^2(-\sigma^2+n\bar{x^2}-2\mu n\bar{x}+n\mu^2)}{(2(\sigma^2)^2)^2}[/mm]
> = [mm]\frac{-4(\sigma^2)^2+4(\sigma^2)^2-4\sigma^2n\bar{x^2} + 8\sigma^2\mu n\bar{x} - 4\sigma^2 n \mu^2)}{4(\sigma^2)^4}[/mm]
> = [mm]\frac{- n(\bar{x^2} - 2\mu \bar{x} + \mu^2)}{(\sigma^2)^3}[/mm]

*Ich* erhalte

[mm] $\frac{1}{2\sigma^4}-\frac{1}{\sigma^6}\sum_{i=1}^{n}(x_i [/mm] - [mm] \mu)^2$ [/mm]



Bezug
                                                                                
Bezug
Normalverteilung: MLS-Schätzer: Frage (beantwortet)
Status: (Frage) beantwortet Status 
Datum: 12:44 Mo 06.10.2014
Autor: GeMir

"Halal" ist arabisch und ist dasselbe für Muslime, was "koscher" für Juden ist. So in etwa.

Bei der Quotientenregel habe ich mich gestern wohl verrechnet, jetzt komme ich zu [mm] $$\frac{\sigma^2-2n\sum_{i=1}^{n}{(x_i-\mu)^2}}{2(\sigma^2)^3}$$ [/mm] also dasselbe aber halt mit $n$. [mm] $n\bar{x^2}-2\mu [/mm] n [mm] \bar{x}+n\mu^2 [/mm] = [mm] n\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}$ [/mm] und nicht [mm] $\sum_{i=1}^{n}{(x_i-\mu)^2}$, [/mm] oder?

Bezug
                                                                                        
Bezug
Normalverteilung: MLS-Schätzer: Antwort
Status: (Antwort) fertig Status 
Datum: 13:30 Mo 06.10.2014
Autor: luis52


>  jetzt komme ich zu  [mm]$n\bar{x^2}-2\mu[/mm] n  [mm]\bar{x}+n\mu^2[/mm] = [mm]n\cdot\sum_{i=1}^{n}{(x_i-\mu)^2}$[/mm]  

[mm] $n\overline{x^2}=n\cdot\frac{1}{n}\sum x_i^2=\sum x_i^2$. [/mm] Bei dir steht rechts nach Ausmultiplizieren der Klammer [mm] $n\sum x_i^2$. [/mm]



Bezug
                                                                                                
Bezug
Normalverteilung: MLS-Schätzer: Mitteilung
Status: (Mitteilung) Reaktion unnötig Status 
Datum: 17:17 Mo 06.10.2014
Autor: GeMir

Ar-r-rgh! Schon wieder dieses "x quer"! Ja, klar :)

Bezug
Ansicht: [ geschachtelt ] | ^ Forum "mathematische Statistik"  | ^^ Alle Foren  | ^ Forenbaum  | Materialien


^ Seitenanfang ^
www.vorhilfe.de