情報理論、ハフマン符号について
- 情報理論やハフマン符号について初心者向けの本を教えてください。
- エントロピーと情報や符号の関係について理解できません。エントロピー無しの本があれば教えてください。
- 技術士１次試験（電気電子部門）で出題される情報理論やハフマン符号についての解説を探しています。
- ベストアンサー
情報理論、ハフマン符号について
こんにちは、 今年、技術士１次試験（電気電子部門）を受験する予定です。試験問題（専門科目）をざっと見たのですが、だいたい勉強すれば解けそうなものが多いのですが、中に「情報理論」「符号理論」「ハフマン符号」「符合の木」と呼ばれる全く馴染みのない問題が出題されていました。 全く知らないので初歩を勉強したいのですが、これらを初歩の初歩から解説した本等を教えてください。アマゾンで調べましたが、概要がすぐに解かる様な本はなかったです。 下記解説も、いきなり「エントロピー」が出てきて難解そうです。一応エントロピー（エネルギーの質が時間経過により悪化するもの）はボルツマンの熱力学第二法則として理解しておるつもりですが、なぜそのエントロピーが、情報や符号と関わりあうのか？何となく理解できそうで、理解できません。この理論は本気で取り組むと底が深そうなので、エントロピー無しの本が有難いです。ちなみに試験は１０月です。 http://www.yobology.info/text/Huffman_code/Huffman_code.htm
- rrtrans
- お礼率57% (195/338)
- 科学
- 回答数1
- ありがとう数0
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
回答しておきます。 情報理論における「エントロピー」の定義は、シャノンによって与えられました。その類似性は、乱雑な情報源（不規則な情報源）からある種の符号を生成したときの長さの限界を示すために与えられたものであるという定義によります。 物理学における「エントロピー」は、「分子」または「原子」（無論、素粒子でも良い）という最小単位において、規則性が無いとき、その動きを統計的に扱ったときに「ランダムウォーク」となることによって生じる原理です。 そんな類似性で考えればよいと思います。 さて、一応「ハフマン符号」の場合には、エントロピー符号と呼ばれる最小長符号のため、「エントロピー」の考え方を先に出す教科書もあれば、ハフマン符号化を先に示して、その符号化規則によって、エントロピーを説明するという方法で示している教科書もあります。 手元にあるのは、古いのですが前者に相当する教科書で、大学課程「情報通信工学」、オーム社：刊（1993）です。 では。
関連するQ&A
- 情報理論でのハフマン符号・・・？
学校で情報理論を習っていて、 ハフマン符号化のやり方は、習いました。 ２元情報源を非等長でハフマン符号化は、 たとえば、0,1を確率0.8,0.2で発生する 記憶のない情報源ｓでは、確率の大きい0の ランレングスを利用すれば、２元情報源を ランレングスハフマン符号化すればできる らしいのですが、 ４元情報源を非等長でハフマン符号化をす るのには、どうすれば分かりません。 ２元と同じようにランレングスでできる らしいのですが・・・。 どなたかアドバイスお願いします。
- 締切済み
- その他（学問・教育）
- ハフマン符号によるエントロピー符号化？
現在、JPEG画像圧縮について調べていまして、 １ 非可逆圧縮では、まず離散コサイン変換をして、画像の空間領域を周波数領域に変換 ２ 次に１によって変換した周波数領域をアナログデータと見たて、デジタル化する量子化を行い情報量を削る。 ３ 最後にハフマン符号によるエントロピー符号化で圧縮 とwikipediaで調べて2までは理解できたのですが、３のハフマン符号によるエントロピー符号化というのがよくわかりません。 どなたか詳しい方、わかりやすく教えていただけないでしょうか？ 回答よろしくおねがいいたします。
- ベストアンサー
- その他([技術者向] コンピューター)
- 情報理論
今、情報理論について学んでいます。 学ぶ内容は、自己情報量、エントロピー、Shannon-Fano符号、Huffman符号、Lempel-Ziv符号です。 これらを独学で学べる参考書はあるでしょうか？ もし、知っている方、教えて下さい(>_<)
- ベストアンサー
- その他（学問・教育）
- 大学の情報理論の課題でわからないところがあります。
大学の情報理論の課題でわからないところがあります。 誰か解説をお願いします。 (問題1） ｛0,1｝の二元符号の通信路で、ビット誤り率0.25 の通信路がある。 ｛0.1｝のシンボル生起確率がそれぞれ ｐ, １－ｐ の時、 (a)通信路行列を書け (b)相互情報量を式で書け (c)通信路容量を求めよ (問題2) 0101 を生成多項式 G(x) = x^3＋x+1 の CRC符号 により符号化し、送信符号のビット列を書け 教科書や配布された資料に載ってる解説や公式を見ても どう当てはめていけばよいかわからず困っています。 よろしくお願いします。
- ベストアンサー
- 科学
- 符号理論の問題文について分からない点
他大学の大学院試験の過去問を見ていて、不安な点がありましたので質問お願いいたします。 符号理論の問題です 「情報源符号x1,x2,・・・,xnがそれぞれ確立p(xi)で発生する(i=0,1,・・・,n)」 私は次のように解釈しました 「情報源アルファベット{x1,x2,・・・,xn}の定常分布がp(xi)(i=0,1,・・・,n)である」 間違っているでしょうか？ 参考書が違うためか、微妙に表現方法が違い悩みます（"発生"とかが） よろしくお願いいたします。
- ベストアンサー
- 数学・算数
- ゲージ理論を勉強するには
ゲージ理論というものを耳にして興味を持ちました。 きちんと勉強してゲージ理論を理解したいのですが、 どのような本を読んで勉強すればよいのかわかりません。 良書（洋書も可）を教えてください。 また、ゲージ理論を理解する上で前提となる分野を教えてください。 なお、当方の学力は大学の教養終了程度（電磁気学はマックスウェル方程式、量子力学はさわりまで）です。 よろしくお願いします。
- ベストアンサー
- 物理学
- マクロ経済理論の理解
今、マクロ経済理論を、勉強中です。 この理論を理解するには、解析力学を理解する必要があります。 でも、物理法則（特に量子力学）のイメージを持たずして、解析力学を理解するなんて、想像ができないです。 文系の人は、マクロ経済理論を数学的に本質的に理解しているのでしょうか？
- ベストアンサー
- 科学
- ハフマン符号の圧縮率について
こんにちは。現在、情報処理技術者試験の勉強をして いるのですが、ハフマン符号の圧縮率を問う問題でつ まずいています。 問題は、 同じ文字が、４文字以上続いた場合、(文字)*(文字 数）の３バイトで表す。Aが１５文字連続ならA*15の３ バイトです。(厳密には１５(２桁)が１バイトで表せな いと思いますが、この問題ではそうなっています。） その前提で、「同じ文字がｎ個（１<=n<=15)続く確 率を表１のとおり仮定した場合の圧縮率は何パーセン トか。小数点第一位を四捨五入して答えよ。」(1文字 は1バイトとする) 表１ n 確率 1 0.6 2 0.03 3 0.03 4 0.03 5 0.03 6 0.03 7 0.03 8 0.03 9 0.03 10 0.03 11 0.03 12 0.025 13 0.025 14 0.025 15 0.025 問題は以上です。 私は、1000回事象が起きたと仮定して、 0.6は６００回、0.03は３０回、0.025は２５回 として考えました。 まず、圧縮しない場合、 1*600=600byte(以下b) 2*30=60b 3*30=90b 4*30=120b 5*30=150b 6*30=180b 7*30=210b 8*30=240b 9*30=270b 10*30=300b 11*30=330b 12*25=300b 13*25=325b 14*25=350b 15*25=375b 合計 3800b 次に、圧縮した場合、n=3までは、 1*600=600byte(以下b) 2*30=60b 3*30=90b 合計、750b 4以上は３バイトに圧縮なので、 3b*30=90 これが、４～１１まで同じ確率なので、 合計 3b*30*8=720b 12～15は２５回なので、 合計 3b*25*4=300b 圧縮した場合の 合計、750+720+300=1770b 圧縮率 1770/3800=47% 解答は、79% でした。字数制限で、詳細を記入できな いのですが、なぜ食い違うのか分かりません。 大変な長文ですみません。よろしくお願いします。
- ベストアンサー
- 情報処理技術者
補足
お返事有難うございます。 ＞手元にあるのは、古いのですが前者に相当する教科書で、大学課程「情報通信工学」、オーム社：刊（1993）です。 アマゾンで目次を調べてみますと 第1章 情報通信序論 第2章 情報通信の基礎 第3章 信号処理 第4章 変調・復調方式 第5章 通信ネットワーク 第6章 情報通信システム とありますので、わかりやすいかもしれませんね。但し、試験問題には「符号理論」「ハフマン符号」「符合の木」と呼ばれる問題が出題されていました。この本にも記載されているのでしょうか？ 追伸 資格試験を勉強する際、解かり易いのは高校の先生の書いた本です。大学の先生の書いた本は難しい数式が一杯で、研究者には役立ちますが、資格試験の受験には役に立ちません。試験問題は２５問ですが、比較的初歩的な問題ばかりだからです。