こんにちはゲストさん。会員登録(無料)して質問・回答してみよう!

締切り済みの質問

エントロピーを計算?

こんにちは、大学のレポートでエントロピーを実際に計算しろ。
というものが出てしまって困っています。
実際講義では一切計算には触れていないので、何がなんだかよくわかりません。
説明で
○言語Lにおいて、単語列w1w2…wkの出現確率をP(w1w2…wk)
とすれば、言語LのエントロピーH0(L)は次式で定義される。
 H0(L)=-ΣP(w1w2・・・wk) log2 P(w1w2・・・wk)
○1単語あたりのエントロピーH(L)
 H(L) = -Σ1/kP(w1w2・・・wk) log2 P(w1w2・・・wk)
○パープレキシティ
 Fp(L)=2H(L)

問題の例は、
●10個の数字が等確立で発生される場合
解:H=-Σ9 i=0 p(i)log2p(i)= 10 × log2 10/10= 3.32(bits)
となるようです。
Σの上と下に付く数字はΣの後ろについてる「9」と「i=0」です。

問題は
●10個の数字のうち、0の確率が0.91で、残りの数字がそれぞれ0.01である場合
●「はい」「いいえ」の2単語が等確率で発生される場合

というものです。
是非、分かるかた教えてください。お願いします。

投稿日時 - 2009-08-07 00:17:29

QNo.5188017

すぐに回答ほしいです

このQ&Aは役に立ちましたか?

2人が「このQ&Aが役に立った」と投票しています

回答(1)

ANo.1

情報理論の講義を受けられた訳でしょう?
その中でエントロピーの式の意味があと一つピンとこないのであれば、
関連情報を自分で探せばWikipedia:情報理論など色々と見つかります。
(情報理論、単語、情報量、エントロピー (言語、出現確率、暗号化...)) 等でサーチ

それらの理解をまずはかってください。
答だけ求めても意味が無いでしょう。

結果は 3.11 及び 1 ですので確認に使って下さい。

投稿日時 - 2009-08-09 16:25:26

お礼

自分で探せですか、それじゃぁOKWaveが存在する意味がないですね。

投稿日時 - 2009-08-18 03:57:59

あなたにオススメの質問