情報理論概論

講義名 /Name of Subjecte

情報理論概論

配当年次 /Year of Study

学部１年～４年

到達目標 /Course Objectives

・実社会でどのように情報理論が活かされているのか説明できる
・データ圧縮の仕組みについて説明できる
・データ圧縮の限界について説明できる
・誤り訂正の仕組みについて説明できる
・通信容量と誤り訂正の限界について説明できる
・データサイエンスへの応用事例について、例を挙げて説明できる

授業内容 /Schedule

実施回 /Week	内容 /Contents
第1回	授業の概要: 情報理論とは何か・実社会における情報理論の応用事例
第2回	情報量(1) 不確実性の度合いと意思決定・復習: 対数の基本性質
第3回	情報量(2) 情報エントロピー・復習: 確率変数と期待値・情報エントロピーの性質
第4回	情報量(3) 相互情報量・結合エントロピー・復習: 条件付き確率
第5回	データ圧縮(1) データの符号化・固定長符号と可変長符号・一意複合可能符号・典型系列 / 漸近的等分配性(AEP)
第6回	データ圧縮(2) 効率的符号化・符号の分類・符号木・クラフト・マクミランの不等式
第7回	データ圧縮(3) ハフマン符号・ハフマン符号のアルゴリズム・正準ハフマン符号・ハフマン符号の問題点・平均符号語長の限界
第8回	データ圧縮(4) その他の圧縮アルゴリズム・Lempel-Zivアルゴリズム・ブロックソートアルゴリズムとMTF
第9回	マルコフ情報源(1) 準備・マルコフ情報源・グラフ表現と行列表現・行列演算の練習
第10回	マルコフ情報源(2) マルコフ情報源のエントロピー
第11回	誤り訂正符号(1) 雑音のある通信路・通信路容量・通信符号化定理の意味
第12回	誤り訂正符号(2) ・繰り返し符号・ハミング符号
第13回	誤り訂正符号(3) 畳み込み符号・畳み込み符号の構成方法・ビタビ復号
第14回	情報理論の広がり・データサイエンスへの応用事例
第15回	理解度確認

授業計画コメント /Comments on the Schedule

履修者の理解度によって授業構成を変更することがあります。

この科目は以下のプログラムの指定科目です。
- 2023年度以降の入学者を対象とした「データサイエンス副専攻プログラム」
- 2022年度以前の入学者を対象とした「データサイエンスプログラム」

授業方法 /Teaching Method

講義

使用言語 /Language of Instruction

日本語 /Japanese

英語 /English

日本語・英語以外 /Other Language

準備学習(予習・復習) /Class preparation and review

あらかじめ資料を配布した場合には、事前学習しておくこと（60分）。授業後に復習し、不明な点があれば整理して質問すること（30分）。

成績評価の方法・基準 /Evaluation

評価項目 /Criteria	評価配分 /Percentage	備考/ Remarks
学期末試験（第1学期） /First Term examination
学年末試験（第2学期） /Second Term examination
中間テスト /Mid-term examination
レポート /Reports
小テスト /Quizzes	70 %
平常点（出席、クラス参加、グループ作業の成果等） /Particlpation, Attendance, Group Work, etc.	30 %
その他(備考欄を参照) /Other(see remarks column)
成績評価コメント各目標についてどのような点が評価のポイントになるか、具体的に記入してください。 /General Comments on the Evaluation Criteria:
授業で小テストを課し、理解度を確認します。疑問点やコメントはLMS(Moodle)を通して提出してください。授業への参加度合いの目安とします。

課題等（試験やレポート等）に対するフィードバック /Feedback on Exams or Assignments

小テストやレポートに関する解説は、授業中もしくはLMSを通しておこなう。

教科書 /Textbook

教科書コメント /General Comments on the Textbooks

参考文献 /Reference Book

1.	書籍名 /Title	シリーズ名 /Name of series		著作者 /Author
	『情報理論』			今井秀樹
	出版元 /Publisher	版 /Edition	出版年 /Year	ISBN
	オーム社	改訂2 版	2019 年	978-4274223259
2.	書籍名 /Title	シリーズ名 /Name of series		著作者 /Author
	『イラストで学ぶ情報理論の考え方』	KS情報科学専門書		植松友彦
	出版元 /Publisher	版 /Edition	出版年 /Year	ISBN
	講談社		2012 年	978-4061538177
3.	書籍名 /Title	シリーズ名 /Name of series		著作者 /Author
	『基礎から学ぶ情報理論』			中村篤祥, 喜田拓也, 湊真一, 廣瀬善大
	出版元 /Publisher	版 /Edition	出版年 /Year	ISBN
	ムイスリ出版	2 版	2020 年	978-4896412871

参考文献コメント /General Comments on the Reference Books

履修上の注意 /A Note on Registration

この科目は2021年度まで開講していた「コンピューター科学2」と「情報処理2」の読み替え科目です。「コンピューター科学2」・「情報処理2」とは異なる内容ですが、「コンピューター科学2」または「情報処理2」を過去にすでに履修している場合、随意科目となりますので注意してください。

その他 /Other Information

高校レベルの対数関数と確率に関する知識を前提としています（授業中に簡単に復習をします）。
授業関連の連絡はLMS(Moodle)を介して行います。

カリキュラムマップ /Curriculum map

以下URLを参照
https://www.univ.gakushuin.ac.jp/life/curriculummap.html