Fisherinformatie

In de wiskundige statistiek is de fisherinformatie van een familie kansdichtheden een grootheid die informatie geeft over de kwaliteit van parameterschattingen. De grootheid is genoemd naar de Britse statisticus Ronald Aylmer Fisher.

Definitie

Eenparametrisch model

Zij ${\displaystyle \{f_{\vartheta }|\vartheta \in \Theta \}}$ een familie kansdichtheden, geparametriseerd door ${\displaystyle \vartheta \in \Theta }$, met ${\displaystyle \Theta }$ een open verzameling.

De fisherinformatie ${\displaystyle I(\vartheta )}$ is gedefinieerd als de verwachtingswaarde van het kwadraat van de score ${\displaystyle S(\vartheta ,x)}$ voor de uitkomst ${\displaystyle x}$:

${\displaystyle S(\vartheta ,x)={\frac {\partial }{\partial \vartheta }}\ln f_{\vartheta }(x)={\frac {{\frac {\partial }{\partial \vartheta }}f_{\vartheta }(x)}{f_{\vartheta }(x)}}}$

en

${\displaystyle I(\vartheta )=\operatorname {E} (S^{2}(\vartheta ,X))}$,

waarin ${\displaystyle X}$ de kansdichtheid ${\displaystyle f_{\vartheta }}$ heeft.

Onder bepaalde regulariteitsvoorwaarden is de verwachtingswaarde van de score gelijk aan 0, zodat de fisherinformatie dan ook gelijk is aan de variantie van de score:

${\displaystyle I(\vartheta )=\operatorname {var} (S(\vartheta ,X))}$

Meerdere parameters

Als de parameter meerdimensionaal is: ${\displaystyle \vartheta =(\vartheta _{1},\ldots ,\vartheta _{m})}$, is de fisherinformatiematrix de generalisatie van de fisherinformatie. Deze is gedefinieerd als de symmetrische matrix ${\displaystyle I(\vartheta )}$ met als elementen:

${\displaystyle [I(\vartheta )]_{rk}={\frac {\partial }{\partial \vartheta _{r}}}\ln(f_{\vartheta }(x)){\frac {\partial }{\partial \vartheta _{k}}}\ln(f_{\vartheta }(x))={\frac {1}{(f_{\vartheta }(x))^{2}}}{\frac {\partial }{\partial \vartheta _{r}}}f_{\vartheta }(x){\frac {\partial }{\partial \vartheta _{k}}}f_{\vartheta }(x)}$

Voorbeelden

Discrete verdelingen

In het geval van een discrete verdeling betreft het dichtheden ten opzichte van de telmaat, dus kansfuncties.

Binomiale verdeling

Voor de binomiale verdeling met parameters ${\displaystyle n}$ en succeskans ${\displaystyle p}$ geldt:

${\displaystyle S(p,x)={\frac {x-np}{p(1-p)}}}$

Er geldt:

${\displaystyle \operatorname {E} S(p,X)=\operatorname {E} {\frac {X-np}{p(1-p)}}=0}$,

zodat de fisherinformatie is:

${\displaystyle I(p)=\operatorname {var} S(p,X)=\operatorname {var} \left({\frac {X-np}{p(1-p)}}\right)={\frac {n}{p(1-p)}}}$

Poissonverdeling

Voor de poissonverdeling met parameter ${\displaystyle \lambda }$ geldt:

${\displaystyle S(\lambda ,x)={\frac {x}{\lambda }}-1}$

Ook is weer:

${\displaystyle \operatorname {E} S(\lambda ,X)={\frac {\operatorname {E} X}{\lambda }}-1=0}$

De fisherinformatie is dus:

${\displaystyle I(\lambda )=\operatorname {var} S(\lambda ,X)={\frac {\operatorname {var} (X)}{\lambda ^{2}}}={\frac {1}{\lambda }}}$

Continue verdelingen

Exponentiële verdeling

Voor de exponentiële verdeling met parameter ${\displaystyle \lambda }$ geldt:

${\displaystyle S(\lambda ,x)={\frac {\partial }{\partial \lambda }}\ln \left(\lambda e^{-\lambda x}\right)={\frac {\partial }{\partial \lambda }}(\ln \lambda -\lambda x)={\frac {1}{\lambda }}-x}$

Er geldt weer:

${\displaystyle \operatorname {E} S(\lambda ,X)={\frac {1}{\lambda }}-\operatorname {E} X=0}$

De fisherinformatie is dus:

${\displaystyle I(\lambda )=\operatorname {var} (S(\lambda ,X))=\operatorname {var} (X)={\frac {1}{\lambda ^{2}}}}$

Normale verdeling

Voor de normale verdeling met parameters 0 en ${\displaystyle \sigma ^{2}=\vartheta }$ geldt:

${\displaystyle S(\vartheta ,x)=-{\frac {1}{2\vartheta }}+{\frac {x^{2}}{2\vartheta ^{2}}}}$

Er geldt weer:

${\displaystyle \operatorname {E} S(\vartheta ,X)=-{\frac {1}{2\vartheta }}+{\frac {\operatorname {E} X^{2}}{2\vartheta ^{2}}}=0}$

De fisherinformatie is dus:

${\displaystyle I(\sigma ^{2})=I(\vartheta )=\operatorname {var} (S(\vartheta ,X))={\frac {\operatorname {var} (X^{2})}{4\vartheta ^{4}}}={\frac {1}{2\vartheta ^{2}}}={\frac {1}{2\sigma ^{4}}}}$

Vat men ${\displaystyle \sigma }$ als parameter op, dan geldt:

${\displaystyle S(\sigma ,x)=-{\frac {1}{\sigma }}+{\frac {x^{2}}{\sigma ^{3}}}}$

Ook dan is:

${\displaystyle \operatorname {E} S(\sigma ,X)=-{\frac {1}{\sigma }}+{\frac {\operatorname {E} X^{2}}{\sigma ^{3}}}=0}$

zodat

${\displaystyle I(\sigma )=\operatorname {var} (S(\sigma ,X))={\frac {\operatorname {var} (X^{2})}{\sigma ^{6}}}={\frac {2}{\sigma ^{2}}}}$

Als de verwachtingswaarde gelijk is aan ${\displaystyle \mu }$ geldt voor deze parameter:

${\displaystyle S(\mu ,x)={\frac {x-\mu }{\sigma ^{2}}}}$

Weer is

${\displaystyle \operatorname {E} S(\mu ,X)=\operatorname {E} {\frac {x-\mu }{\sigma ^{2}}}=0}$

en is:

${\displaystyle I(\mu )=\operatorname {var} (S(\mu ,X))={\frac {\operatorname {var} (X)}{\sigma ^{4}}}={\frac {1}{\sigma ^{2}}}}$

Voor het parameterpaar ${\displaystyle (\mu ,\sigma ^{2})}$ geldt:

${\displaystyle S((\mu ,\sigma ^{2}),x)=\left({\frac {x-\mu }{\sigma ^{2}}},{\frac {(x-\mu )^{2}-\sigma ^{2}}{2\sigma ^{4}}}\right)}$,

zodat de fisherinformatiematrix gelijk is aan:

${\displaystyle I(\mu ,\sigma ^{2})=\operatorname {E} {\begin{bmatrix}{\frac {(X-\mu )^{2}}{\sigma ^{4}}}&{\frac {X-\mu }{\sigma ^{2}}}{\frac {(X-\mu )^{2}-\sigma ^{2}}{2\sigma ^{4}}}\\{\frac {X-\mu }{\sigma ^{2}}}{\frac {(X-\mu )^{2}-\sigma ^{2}}{2\sigma ^{4}}}&{\frac {((X-\mu )^{2}-\sigma ^{2})^{2}}{4\sigma ^{8}}}\end{bmatrix}}={\begin{bmatrix}{\frac {1}{\sigma ^{2}}}&0\\0&{\frac {1}{2\sigma ^{4}}}\end{bmatrix}}}$

Zie ook

• Cramér-Rao-ongelijkheid