用复杂的规则来保存简单的数据而已
信息含量和事件发生的概率联系在一起。既合理又颠覆！牛逼的一个想法！！！
高概率事件，信息含量低。低概率事件，信息含量高！信息与信息含量似乎表达不是一件事情？信息含量与好像和这条信息带来的价值有关系，是个价值层面上的东西！
香农关于信息的四个核心公理
信息与概率呈负相关；
观测事件不会导致信息损失；
即观察一个事件绝不会导致信息丢失或不确定性增加；
必然发生的事件不包含任何信息；
如果分别观察到两个独立事件，那么这些观察所获得的总信息量，应该等于每个事件单独提供的信息量之和！
这个概率是事件发生的概率吗？观测影不影响事件发生的概率呢？
信息熵的一个直观理解：一个分布的不可预测性越强，其信息熵就越高(就是不确定性）
编码的衡量标准：平均编码长度
平均（有平均就有概率了）编码长度：每个符号的编码长度乘以该符号被信源发送的概率。
编码长度不应该是位数吗，为什么单位用bits呢？ 一个二进制位的0或者1就是一次概率各自为0.5的一次选择了! 所以一个二进制位就对应一比特！！！！
香农信源编码定理：若信息的长度无穷长，则符号对应编码的长度L>H（X）（这个熵值怎么求呢？用相应字符的编码长度乘以相应概率？？？？）。若每个符号的平均编码长度低于熵值，就必然会导致信息丢失！
编码长度不应该是位数吗，为什么单位用bits呢？ 一个二进制位的0或者1就是一次概率各自为0.5的一次选择了!所以一个二进制位就对应一比特！！！！（这个熵值怎么求呢？用相应字符的编码长度乘以相应概率？？？？）再用这个比特数乘以相应的概率，求和，即熵值！
香农-法诺算法：一种压缩算法，其思路是将符号拆分为概率相等的组，直到每个字符都有唯一编码！
解码时，遍历“树”，不会产生歧义！
牛逼的想法！致敬伟人！！！好棒的视频！感谢up主！！！