Allgemeine Definition

Angenommen, es liegen ${\displaystyle n}$ unabhängige Beobachtungen mit Erwartungswert ${\displaystyle \operatorname {E} (y_{i})=\mu _{i}}$ und Varianz ${\displaystyle \operatorname {Var} (y_{i})=\sigma ^{2}}$ vor. Die Variablen ${\displaystyle x_{0}=1,x_{1},x_{2},\ldots ,x_{k}}$ sind verfügbar als potentielle Regressoren. Sei das spezifizierte Modell definiert durch die Teilmenge ${\displaystyle M\subset \{0,1,2,\ldots ,k\}}$ von miteinbezogenen erklärenden Variablen mit der dazugehörigen Versuchsplanmatrix ${\displaystyle \mathbf {X} _{M}}$. Für den Kleinste-Quadrate-Schätzer erhält man ${\displaystyle {\hat {\boldsymbol {\beta }}}_{M}=(\mathbf {X} _{M}^{\top }\mathbf {X} _{M})^{-1}\mathbf {X} _{M}^{\top }\mathbf {y} }$.

Im Allgemeinen ist das Akaike-Informationskriterium definiert durch

${\displaystyle AIC=-2\ell ({\hat {\boldsymbol {\beta }}}_{M},{\hat {\sigma }}^{2};\mathbf {y} ,\mathbf {X} _{M})+2(\mid M\mid +1)}$,

wobei ${\displaystyle \ell ({\hat {\boldsymbol {\beta }}}_{M},{\hat {\sigma }}^{2})}$ der Maximalwert der log-Likelihood-Funktion ist, d. h., die log-Likelihood-Funktion wenn die ML-Schätzer ${\displaystyle {\hat {\boldsymbol {\beta }}}_{M}}$ und ${\displaystyle {\hat {\sigma }}^{2}}$ in die log-Likelihood-Funktion eingesetzt werden. Kleinere AIC-Werte gehen mit einer besseren Modellanpassung einher. Die Anzahl der Parameter ist hier ${\displaystyle \mid M\mid +1}$, da die Varianz der Störgrößen ebenfalls als ein Parameter gezählt wird. In einem linearen Modell mit normalverteilten Störgrößen (Klassisches lineares Modell der Normalregression) erhält man für die negative log-Likelihood-Funktion (für die Herleitung der log-Likelihood-Funktion, siehe Maximum-Likelihood-Schätzung)

${\displaystyle {\begin{aligned}-2\ell ({\hat {\boldsymbol {\beta }}}_{M},{\hat {\sigma }}^{2};\mathbf {y} ,\mathbf {X} _{M})&=-2\ln(L({\hat {\boldsymbol {\beta }}}_{M},{\hat {\sigma }}^{2};\mathbf {y} ,\mathbf {X} _{M}))=n\cdot \ln(2\pi )+n\cdot \ln({\hat {\sigma }}^{2})+{\frac {(\mathbf {y} -\mathbf {X} _{M}{\hat {\boldsymbol {\beta }}}_{M})^{\top }(\mathbf {y} -\mathbf {X} _{M}{\hat {\boldsymbol {\beta }}}_{M})}{{\hat {\sigma }}^{2}}}\\&\propto n\cdot \ln({\hat {\sigma }}^{2})+{\frac {(\mathbf {y} -\mathbf {X} _{M}{\hat {\boldsymbol {\beta }}}_{M})^{\top }(\mathbf {y} -\mathbf {X} _{M}{\hat {\boldsymbol {\beta }}}_{M})}{{\hat {\sigma }}^{2}}}\\&=n\cdot \ln({\hat {\sigma }}^{2})+{\frac {n{\hat {\sigma }}^{2}}{{\hat {\sigma }}^{2}}}\\&=n\cdot \ln({\hat {\sigma }}^{2})+n\\&\propto n\cdot \ln({\hat {\sigma }}^{2})\end{aligned}}}$

und damit

${\displaystyle AIC=n\ln({\hat {\sigma }}^{2})+2(\mid M\mid +1)}$.

Hierbei ist ${\displaystyle n}$ der Stichprobenumfang und ${\displaystyle {\hat {\sigma }}^{2}}$ die Varianz der Störgrößen. Die Varianz der Störgrößen ${\displaystyle {\hat {\sigma }}^{2}}$ wird mittels der Residuenquadratsumme aus dem Regressionsmodell geschätzt (siehe Erwartungstreue Schätzung der Varianz der Störgrößen). Allerdings ist zu beachten, dass ${\displaystyle {\hat {\sigma }}^{2}}$ die verzerrte (und nicht wie gewöhnlich die erwartungstreue) Variante der Schätzung der Varianz der Störgrößen ${\displaystyle {\hat {\sigma }}^{2}={\tfrac {1}{n}}{\hat {\boldsymbol {\varepsilon }}}^{\top }{\hat {\boldsymbol {\varepsilon }}}}$ ist.