研究の掃溜ノオト

since 2011/2/13 知能ロボ研究の合間に思ったこととか書いてます。

[PR]

[PR]上記の広告は3ヶ月以上新規記事投稿のないブログに表示されています。新しい記事を書く事で広告が消えます。

ガウス分布の逐次推定（平均と分散の更新式）

Key Words: ガウス分布逐次推定逐次学習オンライン学習パラメータ推定平均値分散
gaussian, normal distribution, sequential learning, online learning, parameter inference, mean, variance

　データが従う確率密度関数（PDF）を推定することを考えましょう.
状況として

予め全てのデータが与えられている

データは時間をおいて逐次与えられる

の２つが考えられますが今回は2の方に注目します.

　データがガウス分布に従っていると仮定するとPDFを同定するためにはデータの平均値と分散だけ求めればいいことになります. n個のデータが得られているとき平均値μ_nと分散σ_n²はそれぞれ

と定義されます.

　さて今n+1個目の新しいデータが得られたとします. この時平均値と分散はどのようになるでしょうか. もちろん上式のnをn+1に変えて計算すれば求まります. しかし今までのデータをすべて保持しておくのはメモリ的に無駄が多いです. そこで前に計算した平均値μ_nと分散σ_n²と新しく得たデータx_n+1だけから新たな平均値μ_n+1と分散σ_n+1²を求めることを考えます. これが出来れば平均値と分散だけ保持していれば良いことになります.

　結論から言うと平均値と分散の更新式は

となります. ただし

と置きました. もっともαに関しては予め定数で与えてしまうことが多いようです. こうすれば今までに得たデータの数を保持する必要もなくなります.

　これでガウス分布の逐次学習ができましたね！データが来るたびに先述の更新式に従って平均値と分散を更新していけばいいだけです. 今回個人的にガウス分布の逐次学習方法を調べていて思ったのですが平均値の更新式は載っていても分散の更新式が載っていない資料がほとんどでした. ある資料には分散も平均値と同様に更新式が求まるとだけ書いてあったので自分で導出して見ることにしました. そして導出したのが先述の更新式です. それでは以下に平均値と分散の更新式の導出をそれぞれ載せて終わりたいと思います.

平均値の更新式の導出
平均値の定義より