catalinaの備忘録

ソフトウェアやハードウェアの備忘録。後で逆引きできるように。

PRMLを読みすすめるための記号一般を整理する

PRMLを読んでいるとギリシャ文字がよく現れます。 知識の基盤がある人なら「ああ、アレね」と暗黙のパラメータのように読みすすめられるのかもしれませんが、私のレベルでは「以前も調べた気がするけどなんだっけコレ」となってしまいます。 数式中に現れるギリシャ文字は慣例的で、例えばθは角度でiは虚数を意味するなどがありますが、馴染みがない記号が現れるとそれだけで躊躇してしまうことが多々あります。特に書籍を読み始めた当初はなおのこと。

よく使うものは計算ノートの一番後ろのページにメモ書きで残しているのですが、そろそろノートが一杯になってしまうので捨てた後でも振り返れるようにブログに残してみようと思います。 色々と自分で調べて納得したものもありますが、私の場合は老化などの諸々な事情もあって物覚えが悪いというか、忘れっぽくなってきているようなので「なんだっけこれ?調べた気がする」ってときに振り返れるしおりが必要です。

というわけで今回のブログ記事はPRMLの内容そのものではなく、読み進めるための前提条件として必要になった事前知識の整理といったところでしょうか。 幾つかの書籍をあたってみて学問分野ごとにできる限り一般的っぽいものを選んでみたつもりです。 読み方はネットで調べてみましたが、ちょっと自信ありません。分野や現場によって色々あるらしいので。

統計学に関するもの

読み 意味
{\sigma} シグマ 標準偏差標準偏差の自乗が分散なので、分散は{\sigma ^ 2}として表されます
{\rho} ロー 回帰分析における相関係数
{\mu} ミュー 期待値
{\eta} エータ 分布の位置母数パラメータなど
{\lambda} ラムダ 分布の尺度母数パラメータなど
{\phi} ファイ 線形基底関数モデルにおける基底関数など
{\mit \Sigma  } シグマ 分散共分散行列。和の記号と違って、この場合は斜体で表されます
{\propto} プロポーション 比例

日本で比例記号をプロポーションって読み上げる人っているのかちょっと謎ですね。

「(事後分布) {\propto} (尤度)(事前分布)」って書かれていても「事後分布は事前分布と尤度の積に比例する」って読んだほうが早そうですし、実際に書籍を読んでる最中もそう読んでいます。

ベクトル解析に関するもの

読み 意味
{\delta} ラウンドディー 偏微分の記号
{\nabla f} ナブラ fの勾配
{\nabla \cdot f} fの発散
{\nabla \times f} fの回転
{\nabla ^ 2} ラプラシアン
{||V||} ベクトルVのノルム。直観的に解釈するならVの大きさ

書籍では{\nabla f}スカラー場の勾配を簡単に表記するために使われます。 ラプラシアンは線形基底回帰モデルでラプラス基底を使った例などで取り上げられます。 発散や回転は書籍内では現れませんが、ベクトル解析の分野では基礎となるものらしいので、ここでまとめて列挙しておきました。

一般数学

読み 意味
{\lambda} ラムダ 行列の固有値など
{\ln} エルエヌ 自然対数(ネイピア数eを底とする対数)
{M ^ T} 転置 Mで表される行列またはベクトルの転置
{M ^ {-1}} 逆行列 行列Mの逆行列
{\Sigma} シグマ 和の記号
{\theta} シータ 角度。普通はラジアン単位
{\Pi} パイ 積の記号
{\tau} タウ 合成積の区間

{\tau}はこの分類でいいのかちょっと謎ですが、とりあえず忘れないように入れておきました。 合成積というと馴染みありませんが、畳込みとかコンボリューションと言い換えればソフト屋さんなら通じやすいかと思います。 {\Sigma}は今さら感があるのですが分散共分散行列と混同して困ってしまったので、区別する目的で記載しました。

確率と分布

意味
{P(X)} 確率変数Xの分布
{P(X=1)} 確率変数Xが標本値1をとる確率
{P(X,Y)} X,Yの同時確率分布
{P(X|Y)} Yが与えられたもとでのXの条件付き確率
{E[X] } 確率変数Xの期待値
{V[X] } 確率変数Xの分散
{Bi(n,p)} 二項分布。n=1の場合はベルヌーイ分布
{N(\mu,\sigma ^ 2)} 期待値{\mu}と分散{\sigma ^ 2}を分布のパラメータとする正規分布。別名ガウス分布
{Cov(X,Y)} 確率変数XとYの共分散
\displaystyle {P(X)=\sum^{}_{Y} P(X,Y) } 加法定理
{P(X,Y)=P(Y|X)P(X)} 乗法定理
{P(B|A)=\frac{P(A|B)P(B)}{P(A)}} ベイズの定理

加法定理は離散型確率変数での表現になっていますが、連続型確率変数で同時分布から周辺化を行う操作(積分消去)を離散型確率変数に適用したものととらえれば理解しやすいかと思います。 あと数式の厳密性の話になりますが、議論の対象の確率変数(連続型 or 離散型)によってPの大文字/小文字を使い分けるようですが、一旦はすべて大文字で記載しました。

最後に書籍を読むために直接必要となった知識ではありませんが、色々と調べていった中でパターン認識機械学習の応用に使えそうなものをメモしておきます。

名称 URL
線形予測分析 線形予測法 - Wikipedia
ラドン変換 トモグラフィー - Wikipedia

感想と今後

ブログの記事を書くときに間違えていないかなと確認しながら書いているのですが、wikipediaFFTや畳込みのページがすごく進化していて驚きました。 アニメーションが追加されていて直観的に理解しやすくなっています。

Latex初めて使って楽しくなってきたので色々書きましたが、面白い反面なかなか手ごわいですね。 displaystyleつけないとΣの下に式が来なかったりとか。 あとは、はてなブログの問題のようですが、行列の&が記述できないので諦めました。

今回はノートの隅にメモしておいただけのものを確認しながら一通り整理して記事にするだけでも、自分の中で色々と整理できました。 そろそろ何かプログラム書きながら試したりとかしてみたいですね。 では今回はこれくらいで。