忍者ブログ

研究の掃溜ノオト

since 2011/2/13 知能ロボ研究の合間に思ったこととか書いてます。

[PR]

×

[PR]上記の広告は3ヶ月以上新規記事投稿のないブログに表示されています。新しい記事を書く事で広告が消えます。

ガウス分布の逐次推定(平均と分散の更新式)

Key Words: ガウス分布 逐次推定 逐次学習 オンライン学習 パラメータ推定 平均値 分散
gaussian, normal distribution, sequential learning, online learning, parameter inference, mean, variance

 データが従う確率密度関数(PDF)を推定することを考えましょう.
状況として

  1. 予め全てのデータが与えられている

  2. データは時間をおいて逐次与えられる


の2つが考えられますが今回は2の方に注目します.
 データがガウス分布に従っていると仮定するとPDFを同定するためにはデータの平均値と分散だけ求めればいいことになります. n個のデータが得られているとき平均値μnと分散σn2はそれぞれ

と定義されます.

 さて今n+1個目の新しいデータが得られたとします. この時平均値と分散はどのようになるでしょうか. もちろん上式のnをn+1に変えて計算すれば求まります. しかし今までのデータをすべて保持しておくのはメモリ的に無駄が多いです. そこで前に計算した平均値μnと分散σn2と新しく得たデータxn+1だけから新たな平均値μn+1と分散σn+12を求めることを考えます. これが出来れば平均値と分散だけ保持していれば良いことになります.

 結論から言うと平均値と分散の更新式

となります. ただし

と置きました. もっともαに関しては予め定数で与えてしまうことが多いようです. こうすれば今までに得たデータの数を保持する必要もなくなります.

 これでガウス分布の逐次学習ができましたね!データが来るたびに先述の更新式に従って平均値と分散を更新していけばいいだけです. 今回個人的にガウス分布の逐次学習方法を調べていて思ったのですが平均値の更新式は載っていても分散の更新式が載っていない資料がほとんどでした. ある資料には分散も平均値と同様に更新式が求まるとだけ書いてあったので自分で導出して見ることにしました. そして導出したのが先述の更新式です. それでは以下に平均値と分散の更新式の導出をそれぞれ載せて終わりたいと思います.



平均値の更新式の導出
平均値の定義より

となり求まる.


分散の更新式の導出
これは少し骨が折れます.
今回の導出の方針は定義式から初めて

  1. ∑をxn+1について分ける

  2. 二乗を展開する

  3. μn+1についてある程度まとめる

  4. μn+1を展開する

  5. σn2をひっぱりだす

  6. ∑を適用する

  7. μnについて整理

  8. 全体を整理


となります.
分散の定義より


となり求まる.



PR

この記事へのコメント

Vodafone絵文字 i-mode絵文字 Ezweb絵文字
管理人のみ閲覧できます
 

この記事へのトラックバック

トラックバックURL

プロフィール

HN: 相馬 豊
所属:KU
連絡先(Twitter): @i-horse
インタビューはこちら

カレンダー

09 2017/10 11
S M T W T F S
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31

Twitter

アンケート

マクロミルへ登録

Google Adsence

アクセス解析

リンク

Copyright ©  -- 研究の掃溜ノオト --  All Rights Reserved

Design by CriCri / Photo by momo111 / powered by NINJA TOOLS / 忍者ブログ / [PR]