常用下载   /  加入收藏  
 
 
    欢迎访问!今天是2018年02月25日  星期日  正月初十      
更多»公告
    当前位置: 首页 » 本科生教育 » 教学大纲 » 信息与计算科学 »  《信息论与编码》教学大纲
 上一篇:《数学模型》教学大纲
 下一篇:《计算机操作系统》教学大纲
《信息论与编码》教学大纲
作者:管理员  来源:本站原创  发布时间:2016年5月11日  点击次数:351

《信息论与编码》教学大纲

Information Theory and Encoding

课程编码:09A03040       学分:3.0         课程类别: 专业任选课

计划学时:48         其中讲课:48          实验或实践:0        上机:0

适用专业:信息与计算科学

推荐教材:于秀兰等,信息论与编码,北京:人民邮电出版社,2014

参考书目:

1.陈运,信息论与编码,北京:电子工业出版社,2007

2.王育民等编著,信息论与编码理论,北京:高等教育出版社,2005

3.曹雪虹等编著,信息论与编码,北京:清华大学出版社,2009

4.沈世镒等,信息论与编码理论,第二版,北京:科学出版社,2010

课程的教学目的与任务

    通过对本课程的学习,使学生了解信息论的形成与发展、信息科学的研究内容和研究方法;掌握应用概率统计、随机过程、代数学等现代数学工具研究信息的度量、提取、传输和处理的一般方法以及提高信息传输系统的有效性、可靠性、实现系统最优化的方法,为后续课程和将来就业打下坚实的基础。

课程的基本要求

通过对本课程的学习,使学生理解信源熵、信道容量、信息率失真函数等信息论基本概念及其性质和无失真信源编码定理、限失真信源编码定理、有噪信道编码定理等基本理论;掌握信源熵、信道容量、信息率失真函数的相关计算;掌握信源编码和信道编码的常见编码方法。

各章节授课内容、教学方法及学时分配建议(含课内实验)

第一章 概论                                               建议学时:2

[教学目的与要求] 理解信息的概念及特征;了解通信系统的构成要素及三类编码问题

(信源编码、信道编码、密码)的不同目的。

[教学重点难点] 重点是信息的概念。

[教学方法] 以课堂讲授为主,课堂讨论为辅

[授课内容]:

第一节  信息的概念

一、什么是信息

二、如何度量信息

第二节  信息传输系统

一、信息传输系统模型

二、信息传输系统的性能指标

第三节  信息论的研究内容

一、基本信息论的研究内容

二、一般信息论的研究内容

三、广义信息论的研究内容

    第四节 信息论和编码理论的形成和发展

第二章 信息的统计度量                                     建议学时:8

[教学目的与要求] 掌握离散随机变量的信息熵、联合熵、条件熵、平均互信息等概念及其计算,并掌握上述概念之间的内在联系。了解连续性随机变量的信息度量的相关概念及其计算。

[教学重点难点] 重点是各种信息熵的计算;难点是联合互信息和条件互信息的计算。

[教学方法] 以课堂讲授为主,课堂讨论为辅。

[授课内容]:

    第一节 随机变量的统计特性

一、随机变量的分类及描述

二、信源的统计特性

三、新到的传输特性

第二节 离散随机变量的自信息和信息熵

一、自信息量

二、信息熵

三、信息熵的性质

第三节 离散随机变量的联合自信息和联合熵

一、联合自信息

二、联合熵

第四节 离散随机变量的条件自信息和条件熵

三、条件自信息

四、条件熵

五、各类熵之间的关系

第五节 离散随机变量的互信息和平均互信息

六、互信息及其性质

七、平均互信息及其性质

八、平均互信息与各类熵之间的关系

九、联合互信息和条件互信息

 第六节 连续随机变量的信息度量

    一、连续随机变量的熵

    二、连续随机变量的平均互信息

第三章 离散信源和熵                                        建议学时:4

[教学目的与要求] 理解离散信源的分类,掌握离散信源的N 次扩展信源的熵的计算。

[教学重点难点] 重点是N次扩展信源的熵;难点是离散平稳信源的极限熵。

[教学方法] 以课堂讲授为主,课堂讨论为辅。

[授课内容]:

第一节  离散信源的分类

第二节  离散信源的N 次扩展信源

一、N次扩展信源的数学模型

二、离散信源N次扩展信源的熵

三、离散无记忆信源N次扩展信源的熵

     第三节 离散平稳信源

        一、离散平稳信源的数学定义

        二、有限维离散平稳信源的条件熵

        三、二维离散平稳信源的平均符号熵

        四、离散平稳信源的极限熵

     第四节 马尔可夫信源

        一、马尔可夫信源的描述

        二、齐次遍历的马尔可夫信源

        三、齐次遍历的马尔可夫信源的极限熵

 

第四章 无失真信源编码                                      建议学时:6

[教学目的与要求] 了解信源编码的基本概念和定长、变长编码定理,掌握各种信源编码方法。

[教学重点难点] 重点是香浓码,霍夫曼码,费诺码等编码方法,了解定长、变长编码定理;难点是无失真信源编码定理。

[教学方法] 以课堂讲授为主,课堂讨论为辅。

[授课内容] :

第一节  信源编码的基本概念

一、信源编码的数学模型

二、信源编码的分类

三、唯一可译码和即时码

四、编码效率

第二节  无失真信源编码

一、无失真定长编码定理

二、无失真变长编码定理

第三节 常见的无失真信源编码方法

    一、香浓码

    二、霍夫曼码

    三、费诺码

    四、香浓-费诺-埃利斯码

第五章 离散信道和信道容量                               建议学时:6

[教学目的与要求] 了解离散信道的分类和数学模型,掌握信道容量的计算方法。

[教学重点难点] 重点是信道容量的计算,难点是一般信道的信道容量的计算。

[教学方法] 以课堂讲授为主,课堂讨论为辅。

[授课内容] :

    第一节 离散信道的分类

    第二节 离散信道的数学模型

第三节  信道容量

一、信息传输率

二、信道容量的定义

第四节 单符号离散信道及其信道容量

    一、典型信道的信道容量

    二、一般信道的信道容量

第六章 有噪信道编码                                       建议学时:14

[教学目的与要求] 理解信道编码的基本概念,掌握线性分组码和循环码。

[教学重点难点] 重点是线性分组码的相关理论,难点是信道编码定理及循环码的构造。

[教学方法] 以课堂讲授为主,课堂讨论为辅。

[授课内容]

第一节  错误概率

一、错误概率和译码规则

二、错误概率和编码方法

    第二节 有噪信道编码

    第三节 联合信源信道编码定理

第四节  信道编码的基本概念

一、信道编码的分类

二、线性分组码的键错和纠错能力

三、最小汉明距离译码

第五节  线性分组码

一、线性分组码的编码和译码

二、完备码和汉明码

三、对偶码

第六节 循环码

    一、码多项式

    二、生成多项式和生成矩阵

    三、监督多项式和监督矩阵

    四、循环码的伴随式

第八章 限失真信源编码                                     建议学时:8

[教学目的与要求] 理解失真函数、信息率失真函数的概念,掌握相应的计算方法。

[教学重点难点] 重点是理解各个概念,难点是限失真编码定理及R(D)的参量表示。

[教学方法] 以课堂讲授为主,课堂讨论为辅。

[教学内容]:

    第一节 失真侧度

一、失真函数

二、平均失真

三、保真度准则

第二节 信息率失真函数

一、信息率失真函数的定义

二、RD)函数的性质

    第三节 限失真信源编码定理

第四节 R(D)函数的计算

一、离散对称信源的RD)函数

   

                                            撰稿人:温凤桐      审核人:靳绍礼

 
» 上一篇:《数学模型》教学大纲
» 下一篇:《计算机操作系统》教学大纲
check_website_is_ok,made by zheng_guang_yu,Do not delete
 
Copyright 济南大学数学科学学院. All rights reserved.
地址:济南市市中区南辛庄西路336号济南大学西校区第七教学楼   邮编:250022   电话(传真):0531-82767313