識別可能性

統計学における識別可能性（しきべつかのうせい、）は、統計モデルの性質の一種。モデルが識別可能（しきべつかのう、）であるとは、モデルからの標本が無限に取れる場合に、そのモデルの母数を特定できることを指し、精確な推定を行う上で重要な性質である。数学的には、母数の値が異なれば観測変数の確率分布も異なるという性質と同義である。通常、モデルが識別可能となるのは、ある種の技術的制約の下でのみであり、この場合、これらの要件の集合を識別条件（しきべつじょうけん、）と呼ぶ。

識別可能性を持たないモデルは識別不能（しきべつふのう、）であると言われる。この場合、2種類以上のパラメータの与え方が観測上同質である。ただし、モデルが識別不能であっても、モデルパラメータの特定の部分集合の真の値を推定できることがあり、その場合そのモデルは部分的に()識別可能であると言う。また、真のパラメータがどの範囲にあるべきかという制限を加えることができる場合もあり、その場合モデルは()と呼ばれる。

実験データセットを用いてモデルを検証する際は、を用いて、(モデルの特性に関する厳密に理論的な考察とは別に)より広い範囲で識別可能性について言及することができる。

定義をパラメータ空間上で定義された統計モデルとする。が識別可能であるとは、写像が一対一対応することである:

また、対偶を取ることで、「モデルが識別可能であるとは、が成立する(異なるのもとで実現される確率分布は互いに異なる)ことである」と解釈することもできる。確率分布が確率密度関数の形で与えられる場合、測度が非零である集合においてのみ異なるものとみなすべきである。(例えば、指示関数を用いて定義される2つの密度は集合でのみ異なる密度を与えるが、一点集合は零集合であるので、2つの密度は「互いに異なる」とはみなされない。)

写像の可逆性という意味でのモデルの識別可能性は、モデルを無限に観測し続けることができれば、モデルの真のパラメータを学習できることと同値である。実際、モデルからの観測列をとしたとき、大数の強法則より

が全ての可測集合に対して成立する。したがって、モデルが識別可能であれば、無限の観測回のもとでモデルに含まれる真の確率分布を特定することができ、写像の可逆性より、を与える真のパラメータを特定することもできる。

具体例

例1: 正規分布のパラメータ推定統計モデルを、正規分布の位置尺度分布族であるとする:

このもとで、とが与える確率密度関数が一致する条件を考えると、条件式として

が得られる(なお、途中で両辺の対数を取った)。最後の条件がほとんど全ての実数で成立するためには、やの項の係数が0にならなければならず、そのためとが得られる。ではが課されているので、結局が導かれ、そのもとではに依存しない部分も0となっている。ゆえにが成立しているため、このモデルは識別可能である。

例2: 線形回帰モデル統計モデルとして、1次元の目的変数と次元の説明変数からなる標準的な線形回帰モデルを考える:

がで成立することを利用すれば、パラメータに関する連立方程式

が得られる。この連立方程式がの解を一意に持つためには、行列がフルランク、すなわち正則行列である必要がある(ただし、とした)。これは、識別条件の例である。

例3: 測定誤差モデル統計モデルとして、古典的なのもとでのを考える:

ここで、はそれぞれ互いに独立な確率変数で、それぞれ平均が0で分散が未知である正規分布に従うとする。我々はだけを観測することができ、は直接観測することはできないとする。このとき、の同時確率分布は平均がであるような2変量の正規分布となり、高々3つのパラメータしか持たない。一方、興味のあるモデルは4つのパラメータ( および各潜在変数の確率分布の分散)を持つので、モデルは識別不可能である。より具体的には、の分散をそれぞれとしたとき、の分散、の共分散、の分散は定まるが、これを与えるの組を一意に定めることはできない。

この例は識別不可能であるものの、その範囲として取りうる値に制限を与えることが可能な集合識別可能な例でもある。具体的には、の符号はのそれに一致し、その絶対値の範囲はを満たす。

なお、この例において3つの潜在変数の独立性を持ったまま、変数が正規分布に従わないと仮定すると、モデルが識別可能になることが知られている。

識別可能性

Źródło i licencja