科目名	情報理論
単位数	2.0
担当者	システム工学専攻　准教授　双紙　正和
履修時期	前期（第1ターム）
履修対象	2年
講義形態	講義
講義の目的	情報を効率よくかつ高い信頼性で表現・伝達するための理論と技術を学ぶ。より具体的には、情報通信システムのモデル、情報量、エントロピー、情報源符号化、通信路符号化等を理解し、身につける。
到達目標	情報理論の基本的な知識と理論を修得する。特に、離散情報システムにおける、情報源符号化定理および通信路符号化定理を理解する。【知識2、技能1、思考力・判断力】 情報理論の基本的な概念を説明できる。【表現力】
受講要件	確率、解析の基本的な知識を持っていること。
履修取消の可否	可
履修取消不可の理由
事前・事後学修	事前学修として、先週の内容を復習しておく。また、教科書の該当箇所を読んでおく。事後学修として、講義内容を復習する。その際、少なくとも、講義中に扱った例題を自分で必ず解く。自分で解いてみなければ決して理解できない。
講義内容	1. 情報理論概論 2. 情報源のモデル 3. 情報源の統計的表現 4. マルコフ情報源 5. 通信路モデル 6. 情報源符号化の基礎 7. 符号木とクラフトの不等式 8. 中間まとめ 9. 平均符号長の限界，ハフマン符号 10. 情報源符号化定理 11. 相互情報量 12. 相互情報量の性質 13. 通信路容量 14. 通信路符号化の基礎 15. 通信路符号化定理 ※上記とは別に期末試験を実施する。
期末試験実施の有無	実施する
評価方法・基準	到達目標に書いた内容を、成績評価に係るガイドラインの評価内容基準に従って評価する。 その際、評価の割合は、中間まとめやレポート等の評価で40%、期末試験（100点満点）60%とする。
教科書等	教科書： 今井秀樹，「情報理論」改訂2版 (オーム社） 参考書： 宮川洋，「情報理論」 (電気通信大学講座第39巻) コロナ社 岩垂（編）．「情報伝送と符号の理論」オーム社 今井秀樹，「情報・符号・暗号の理論」（電子情報通信レクチャーシリーズ）コロナ社 T. Cover and J. Thomas, "Elements of Information Theory" (2nd Ed.), Wiley-Interscience D. J. C. MacKay, "Information Theory, Inference and Learning Algorithms", Cambridge University Press
担当者プロフィール	情報セキュリティに関する研究・教育に従事している。 授業内容に関する質問や相談は随時受けつけるが、居室を訪ねる場合には、授業前後の空き時間や電子メールなどで事前にアポイントメントを取ること。
講義に関連する実務経験
課題や試験に対するフィードバック	試験問題に関する問合せがあれば、解説する。
アクティブ・ラーニング
キーワード	情報、通信、情報量、符号、エントロピー、情報源符号化、通信路符号化
備考	【教職】高一種（数学）