Maximum-Likelihood-Schätzung

Seien ${\displaystyle X_{1},\ldots ,X_{n}}$ unabhängig und identisch verteilte Zufallsvariablen aus einer normalverteilten Grundgesamtheit ${\displaystyle X_{i}\sim {\mathcal {N}}(\mu ,\sigma ^{2}),\;i=1,\ldots n}$ mit dem unbekannten Erwartungswert ${\displaystyle \mu }$ und der unbekannten Varianz der Grundgesamtheit ${\displaystyle \sigma ^{2}}$. Seien die Realisierungen der Zufallsvariablen ${\displaystyle x_{1},\ldots ,x_{n}}$, dann ist die Likelihood-Funktion (auch Plausibilitätsfunktion genannt) einer Stichprobe mit Umfang ${\displaystyle n}$

${\displaystyle L(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\prod _{i=1}^{n}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right)}$

und die log-Likelihood-Funktion

${\displaystyle \log(L(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2}))=-{\frac {n}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}}$.

Um einen Schätzer ${\displaystyle {\hat {\sigma }}^{2}}$ für ${\displaystyle \sigma ^{2}}$ finden, wird die log-Likelihood-Funktion nach ${\displaystyle \sigma ^{2}}$ abgeleitet

${\displaystyle {\frac {\partial \log(L(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2}))}{\partial \sigma ^{2}}}=-{\frac {n}{2\sigma ^{2}}}+{\frac {1}{2\sigma ^{4}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}}$

und gleich Null gesetzt um ein Maximum zu finden

${\displaystyle 0=-{\frac {n}{2{\hat {\sigma }}^{2}}}+{\frac {1}{2{\hat {\sigma }}^{4}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}\quad \Longrightarrow \quad {\hat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}}$

(für eine Herleitung der Varianz der Grundgesamtheit in Matrixnotation, siehe Klassisches lineares Modell). Die zweite Ableitung ergibt sich als

${\displaystyle {\frac {\partial ^{2}\log(L(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2}))}{\partial \sigma ^{2}\partial \sigma ^{2}}}={\frac {1}{\sigma ^{4}}}\left({\frac {n}{2}}-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{\sigma ^{2}}}\right)}$

und an der Stelle ${\displaystyle \sigma ^{2}={\hat {\sigma }}^{2}}$:

${\displaystyle {\frac {1}{{\hat {\sigma }}^{4}}}\left({\frac {n}{2}}-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{{\hat {\sigma }}^{2}}}\right)={\frac {1}{{\hat {\sigma }}^{4}}}\left({\frac {n}{2}}-{\frac {n{\hat {\sigma }}^{2}}{{\hat {\sigma }}^{2}}}\right)=-{\frac {n}{2{\hat {\sigma }}^{4}}}<0}$,

d. h., es handelt sich um ein Maximum, wenn ${\displaystyle {\hat {\sigma }}^{2}>0}$.