【信息论】一、信息与信息论

“The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point.” —— Claude Elwood Shannon

1.1 信息的定义

什么是信息？它与消息、信号之间有什么区别和联系？

1. 信息（非具体的、非物理的）：事物运动状态或存在方式的不确定性的描述；
2. 消息（具体的、非物理的）：用文字、符号、图片、图像等能够被人们感受器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来；
3. 信号（具体的、物理的）：由消息变换而来适合信道传输的物理量（e.g. 声、光、电信号）。

消息中包含信息，是信息的载体。相同的信息可以通过不同的消息形式来表述。

1.2 信息论

香农（Shannon）于 1948 年发表著名的论文《通信的数学理论》（A Mathematical Theory of Communication），奠定了现代信息论研究的基础。

1. 定义：信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。
2. 研究内容：
   • 狭义信息论（香农信息论）：信息的测度、信道容量、信源和信道编码理论
   • 一般信息论：噪声、滤波与预测、估计、保密等
   • 广义信息论：包含所有与信息相关的领域

1.3 通信系统的基本模型