第一章绪论
一、基本要求
- 掌握消息、信号和信息的基本概念
- 明确信息论的研究对象、研究目的和研究内容
- 掌握通信系统模型
- 什么是信息?什么是消息、信号?
香农信息的定义:信息是指各个事物运动及状态变化的方式。
信息系的基本概念在于它的不确定性,任何已确定的事物都不含信息。
消息:指包含信息的语言、文字、图像等。
信号:消息的物理体系。
- 香农是信息论的奠基人
- 通信系统模型
信源——>信道——>信宿 - 通信系统三项性能指标
有效性
可靠性
安全性
- 三类编码
信源编码
信道编码
加密编码
- 作业练习
信息的基本概念在于它的不确定性。
信息论研究的目的就是要找到信息传输的共同规律,移提高信息传输的可靠性、有效性、保密性、认证性,使信息传输系统达到最优化。
通信系统的性能指标主要是经济性、有效性、可靠性、安全性。
信源编码——有效性
信道编码——可靠性
加密编码——安全性
第二章信源与信源熵1
- 根据参数集和值域是离散还是连续区间金星秀分类:
- 时间离散空间离散信源:T离散,Ex离散。(离散信源)如文字、数字、数据、字母等。
- 时间离散空间连续信源:T离散,Ex连续。(连续信源)如语言、图像、视频等。
- 时间连续空间离散信源:T连续,Exl离散。
- 时间连续空间连续信源:T连续,Ex连续。(波形信源)
- 根据序列的记忆特性进行分类
- 有记忆信源:相关联的
- 无记忆信源:相互独立的
- 典型平稳信号:白噪声。典型非平稳信号:雷达信号。
- 随机过程可分为平稳随机过程和非平稳随机过程两大类,最常见的平稳随机过程为遍历过程。
- 从理论上说任何时间受限的函数,其频谱是无限的。反之,时间是无限的。
- 马尔可夫信源
当信源的记忆长度为m+1时称这种记忆信源为m阶马尔可夫信源。即信源每次发出的符号与前m个符号有关,与更前面的符号无关。
- 自信息量与不确定度
自信息量:符号出现后,提供给收信者的信息量。
不确定度:符号出现前,所含有的不确定性。