信息熵与最大熵原理
弟
卷
水 利 电力科技
第
期
信 息 嫡 与 最 大嫡 原 理
冯尚友
武 汉 水 利 电力 大 学 水 能 动 力 工 程 系
’
【摘 要 】 本 文 从 信 息嫡 概 念 出发 论 述 了 与概 率 论 相 联 系 的 嫡 如 不 确 定 性 与 其 测 度 嫡 的关 系 和 条
,
,
件 嫡 等 并 重 点研讨 了 为 社 会 自然 科 学 中许 多 问 题 研 究 提 供 新 理 论 工 具 的 最 大嫡原 理 及 其 应 用 的
展望
。
、
【关 键 词 】 嫡
信 息嫡
条 件嫡
最大 嫡 原理
信 息墒
在 前 文《嫡 的 微 观 解 释 与 信 息 户 中 引 入 随 机 观 念 与统 计 力 学 方 法 后 对 嫡 的 本 质 理 解 具
有 极 为 重 要 的作 用 并 为 信 息 论 中的 信 息 嫡 概 念 提 供 了 前 提 信息 嫡 比 热 力 嫡 含 义 有 更 广 泛 更
,
。
〕
,
,
普 遍 性 的 意 义 因 此 信 息嫡 又 称 为广 义 嫡
曼 起 来 由于 ,
。
,
,
。
通 过 系统 状 态 的 不 确 定 性 将 信 息 与 嫡 联 系 起 来 它 们 之 间 的 可 测 关 系 在
的著 名 关 系 式
, ,
,
,
年 玻 尔兹
联系
一
中 将嫡
,
,
,
与 随 机 出现 的 微 观 态 数 目
一 尸 即将嫡与概率 尸
联 系 起 来 从 而 提 示 了 信 息 炳 的存 在
年西拉德
将嫡 的 减 少 同 获 得 信 息 相 联 系 并 找 出 了 嫡 减 少 原 因 和 通 过 麦 克 斯 韦 妖 传 给 系 统
,
。
负嫡 的 现 象 预 言 了 信 息论 的 诞 生 年 申农
,
飞
与维 纳
,
总 结 前 人 成 果 强 调 了 信 息量 概 念
,
。
通过
一
申农 的 研 究 将 信 息 嫡 与 统 计 嫡 概 念 相 联 系 提 出 了 信 息 嫡 或 广 义 嫡 公 式
艺
、
其中
尸,
为 信 息 嫡 这 是 为纪 念 玻 尔 兹 曼 著 名 的
,
定理 而 取 名
、
为常数 视选择
、 、
,
度量 单 位而 定
为 系 统 处 于 某 种 状 态 的概 率
。
,
从 而 为 热 力嫡 统 计 嫡 进 入 信息 生 物 经 济
,
、
社 会 等 广 阔 领 域 开 辟 了道 路
申农 提 出 信 息 嫡 的 思 路 是
这 个 过 程 所 产 生 的 信 息是 多 少
。
“
在 一个 过 程 中 能 否 定 义 一 个 量 这 个 量 在 某 种 意 义上 能 度 量
,
或 者 更理 想 一 点 所 产 生 的 信 息 速 率 是 多 少
,
,
”〔 ‘习
他将 嫡
用
来 表 述 选 择 不 确 定 性 与 随 机 现 象 的 联 系 关 系 即 把 嫡 作 为 随 机 现 象 不 确 定 性 的度 量 和 信 息量 的量度
度
。
在 信 息 论 中 信 息量 是 一 个 中 心 概 念
, ,
。
。
它 的 出发 点是 把 获 得 的信 息作 为 消 除 不 确 定 性 的 测
。
因 此 信息量 的 大 小 可 用 被 消 除 不 确 定性 的 多少 来表 示
。
而 随 机 现 象 的 不 确 定 性 特性 可
,
,
用 概 率 分 布 函 数 来 描 述 这 就 将 信 息 嫡 与 广 泛 应 用 的
概 率 论 方 法 相 联 系 从 而 更 扩 大 了 信息嫡
的 数学 应 用
本 文 从 信 息嫡 概 念 出发 论 述 了 与 概 率相 联 系 的 嫡 如 不 确 定 性 与 嫡 的 关 系 和 条 件 炳 等
国 家 自然 科 学 基 金 资 助 项 目
,
,
信 息消 与 最 大 炳 原 理
‘
并 重 点 探 讨 了 为 自然 社 会 科 学 及 工 程 技 术 中 许 多 问 题 研 究 提 供新 理 论 工 具 的 最 大 嫡 原 理 及 其 应 用的 展 望
。
、
不 确 定 性 与 其测 度 墒
一 个 随机 试 验 可 能 出 现 多 种 结 果 其 主 要 特 点 是 事前 无 法 确 定 究 竟 会 出 现 哪 种 结 果 即
,
,
随 机 现 象 具有 不 确 定 性
,
。
但 不 同 的 随机 试 验 所具 有 的不 确 定 性 是 不 同的
,
。
如果 我 们能找 到 一
。
个 量 用 以 合理 地 作 为不 确 定 性 的度 量 便 可 确 定 出 各 种 随机 试 验 的 不 确 定 性 程 度 假设研 究 的 随 机 试 验 只 有 有 限 个 不 相 容 的 结 果
……
。 ,
,
,
,
……
,
。
,
相应 的概 率 为
。
,
,
,
且艺
‘
一
,
如果存在测度
。
时 可表示 为
,
,
,
……
它 应 该具 备下列 条 件
。
对 尸 应是连续 函 数 这是 因为
‘
尸 、 的 微 小 变 化 不 应 引起
的 巨 大变化 此 外 连 续 函
。
数也 便 于 数学 处 理
。
若所 有 尸 相 等 即 尸 一
,
‘
青
,
,
贝 。 将为
。
”
的 单 调 上 升 函 数 即 又, 于 等概 率 事 件 状 态 越
,
多 就有 更 多 的选 择 或 更 大 的 不 确 定 性
,
如 果 选 择分 为相继 两个 步 骤 那末原 先 的
将 等 于 各个
、
值 的 加 权 和 这 可 用下 例
二
’
。
来说 明 设 某随机 事件 有 三种结 局 相应概 率 为 几
,
“ “
万 几
’
一
万
一
一
万 川
,
尸,
,
,
,
为 了 确 定 究 竟 那个 结 果 出 现 也 可 分 两 步 选 择 第 一 步 先 确 定 是
出现 还 是
,
或
出现 即
,
已
尸
尸
,
,
显然
,
一
尸
,
尸
。
若果然
出现 其 概 率 为 尸
。
,
则 选 择 结 果 完全 确 定 无 需 再
,
,
进 行 下 一 步 试 验 或 选 择 但 若 出现 概 率 为 尸
则仍 需进 行 下 列 选 择 才 能 最 后 确定 结
果
。
尸
… 立 立
尸
尸
,
尸
这 个选 择 的 不 确 定 性 程 度 为
从 这 个 例 子 说 明 中 可 直 接从 必 要 时再 进 行
, ,
,
一
万拼 瑞 布毕二 州产 州
一
尸
一
,
中选 择
,
、
,
。
,
中那 个 结 果 出 现 若 先 从
作 起 然后有
,
,
,
也 可 达 到 同样 的 目的 说 明 两 步 作 法 所 含 的 不 确 定 程 度 是 一 样 的 即
,
、
一
一
,
、
。
月
气’” ’厂 “ ” ” ,
一 月 ‘, ”
,
‘’“
十
’
‘
’
尸
,
以 ” 十 ”, 月 又
。
兀不了 石
尸 尸 十
式 中右 边 第二 项
的 乘 数 的
。
十
。
为 加 权 因 子 因 为 第 二 步选 择是 在 总 数 的
中进 行
满 足 上 述 条件的
,
申农 给 出 具 有 下 列 形 式
一
,
,
尸
,
…尸
。
一
乙只
只
,
。
式中
为 正 常数 因 此
,
量
就 是 所 谓 的 信 息 嫡 或 申农 嫡 是 个 广 义 嫡
它 给 出 的含
第
卷
,
水利电力科技
,
第
期
义 是 在 未 进 行 随 机 试 验 之 前 它 是 随 机 试 验 结 果 的 不 确 定 性 量 度 在 事 件 出现 后 它 是 从 该 事
件 中 所 得 到 的信 息 量 度 或 信 息 量 事实上 在一个 随机 试验
一
,
。
中 如 果 在 所 有 结 果 中的 任 一 个 等 于
,
,
,
其余 的 等 于 零 时 则 嫡
,
,
可 对 事 件 结 果 作 出 肯 定 的 预 言 而 不存 在 任 何 的 不 确 定 性 如 果 是 其 它 情 况 嫡 恒 大 于
,
零 如 事先 对 结 果 毫 无 所 知 所 有 的 尸 都 相 等 即 尸 一
。
,
?
‘
、
,
,
一
,
,
… 动 则
,
,
将达 到 极 大 值 相互 独 立 则
,
在这 种 极 限情 况 下 随 机 试 验 结 果 具 有 最 大 的 不 确 定 性 如 果 随 机 试 验
一
和
也是 成立 的 性
,
。
从 以 上 的 这 些 信 息 嫡 的 基 本 性 质 看 它 随 具 有 热 力 嫡 的 基 本 性 质 单 值性 可 加 性 和 极 值 但 信 息 嫡 的定 义 却 独 立 于 热 力 嫡 的 概 念 因 此 具 有 更 广 泛 和 普 适 性 的 意 义
下 面 进 一 步 讨 论 条 件 嫡 的 间题 设
,
、
,
、
,
,
。
,
。
两个 随机试验 以
,
,
‘
作 为试 验
。
出现 结 果
的条件下 试验
,
,
出现 结 果
的概 率
。
这 可 根 据 概 率论 中条 件 概 率原 理 直 接 得 出试验
出现
。
下的
的嫡 为
、 、 、 人 、 尹 了 ‘ 、 、
凡
称平均值
为在 献
。
,
一
月
一
。
艺
艺
,
巴
叹 洼
‘
?
月
。
实现 下 试验
以下指出
,
的条 件嫡
八
的 几 个 的 重 要 的性 质 而 不 加 以 证 明 有 兴 趣 者 可 参 阅 〔 〕 或 其 它有关文
、
,
若
和
独立时
,
一
,
与式
同
。
同理 可 得
十
这 个 性 质 称 为嫡 的 加 法 法 则
。
。
是 非负的 若所有 的
袱
一 。才 成 立 此 时 还 有
, ,
‘
,
当且 仅 当
。
。‘
一
,
,
…
,
时
,
,
这 个 结论 只有 当试验
的 任 何 结 果 都使 试 验
的不 确定性 消 除时 才有
,
一
此
时
的结 果 完 全决 定 了
、
的结 果
。
簇
以后 一 般对试验
,
这 个 性 质 可 这 样 理 解 因 为选 择 分 不 确 定性
于选择
。
的结 果 会 增 加 了 解 从 而 消 除 了 部
,
,
因此 量
,
一
,
冠
是 作 了选 择
,
之后 试验
人
对 不 确 定性 的 减 少 量 即 由
,
而得 到 试验
的信息 写成信息量
的形 式 为
一
并称 为选 择 试 验
中含 有 试
验
的信 息量 且
,
,
中含 有
,
的信 息量 与
中 含有
的 信 息量
相等 即
一
,
当
‘
与
独立时
,
,
一 。 即试验
,
,
,
的结 果不包含
。
的任 何 信 息 量
。
如果 说 包含
,
中
有关
的 信息量等 于
的嫡 因而 嫡 就 是 信息量
信 感嫡 与 最 大 滴 原 理
最 大 嫡 原理
根 据 信 息 嫡 条 件 嫡 与物 质 系统 中 某 随 机 现 象 相 关 系 的 特 点 使 人 联 想 到 自然 社 会 中许
, ,
、
多 实 际 系统 的 间题 特 别 是 涉 及 极 值 的 问 题 一 般 说 均 可应 用 广 义 嫡 概 念 寻 求 解 决 从 而 使 嫡 原理 和 相 应 的 有 关 数 学 可 应 用 于 复杂 的 各 种 系 统 中
,
。
,
,
,
,
我 们 知 道 热 力学 第 二 定 律 一 嫡 增 原 理 在 统 计 物理 和 热 力 学 中 是 非 常 有 用 的
理 论 工 具 一 嫡 原理
、
。
。
而 信 息嫡
,
把 墒 与 物 质 系统 中 某 事 件 出 现 的 概 率 联 系起 来 就 为 与 概 率 有 关 的 许 多问 题 找 到 了 一 个 新 的
正 确 利 用这 个原 理 就 可 为 很 多学 科 开 辟新 的 局 面
? 一 ’‘
,
在 众 多 的研 究 工 作 中
二
少 们把 用 于 非 热 力学 领 域 的墒 增 原 理 称 为 最 大 嫡 原 理
。
设 一 个 系统 中的某 随 机 变 量 在时 随 机 变量
也可以是矢量
‘
有 其对 应的概 率 密度 分布 函 数
存
的嫡
,
?
可 由信 息嫡 公 式
? ?
直接 写 出
,
…
,
,
一
艺
招
二 , , ‘
一
离 散型 连续 型
二
王
,
一 丁
从 这 个式 看出 ①若 已 知 研 究 对 象 随 机 变 量
,
了
?
的 概 率分 布函 数 视为分布概率
,
二
一 川
镇
,
就 可 由上 式
求 出嫡 值
⑧ 如 果 通 过 系统 性 质 分 析 知 道 系 统 的 演 变 规 律 墒 值 应 该 达 到 极 大 值 时 就 可
。
用墒 最 大 反 求 未 知 的 概 率 分 布 函 数 这 里 将
的 函 数 即 当分 布 概 率 发 生
变化时
也随之 改变
,
成 为分布 概率
。
的泛函 即
。
一
净
〕
。
这 样 在 给 定 条 件 下 对 所 有 可 能 的' 概 率 分 布 进 行选 择 将 存 在 一 个 使 嫡
布 其表达 式 如式
取 极大值的分
,
所示 这就称 作最大嫡原理
、
一 旦 找到 嫡 最 大 的 相 应 概 率 密 度 分 布 就
。
、
意 味 着 找 到 了一 个 客 观 规 律 或 关 系 式 或 一 条 曲线 等 而 嫡 最 大 意 味 着 系统 状 态 处 于 最 混 乱 最无序的状况
。
。
由 于 物 质 系统 所 处 的 具 体 约 束 条件 不 同 在嫡 达 到 极大 值 时 所 对 应 的 分 布 密 度 函 数 也
不 同 根 据 自然 社 会 科 学 中 和 实 际 工 程 技 术 系统 常 遇 到 的 不 同 约 束 条 件 将 嫡 取 极 值 时 的 概
、
率 分 布 函 数 分 别研 讨 如 下
〔
系统 的 研 究
变 量 仅 能 取 正 值 且 有 给 定 的 平 均 值 或 期 望 值 作 为 约 束 参 数
二
?
。
设 随 机 变 量 子的取 值 为
,
…
一
,
二
一
二
… 们
,
对应的概率 为
,
一
满 足 条 件为
,
?
…
乙户
若
、
一 ‘
二
, ,
研 究 系统 中若 干 函 数 关
… 、
,
,
的平均 值 是 给 定 的 即
,
现 在 的 任 务 是 在 约 束 条 件 下 寻 求 信 息嫡
,
。
,
?
…
。
二
一
,
艺丸 ,
‘
最 大值 从 而 确 定 嫡 值 最 大 的 相 应 概 率 分 布
,
,
对 连 续 情 况 这 类 极 值 是 由一 个 函 数 确 定 的 而 非 由 一 个 自变 量 确 定 的 因 此 要 用 变 分 法
,
,
第
卷
。
水 利 电 力科 技
, , ,
第
期
来求解
引 入 拉 格 朗 日 未 定 乘 子 法 建 立 拉 格 朗 日函 数 方 程 并 令 其 中 的 变 分 为 零 得 相 应 嫡
。
最 大 的概 率 分 布
这 样 推 导 的 概 率分 布 函 数 中 含 有 拉 格 朗 日常 数 可 通 过 上 述 三 个 约 束 条
,
件 来 确 定 最 后 得 到 如 下 的 负 指 数分 布
会
嫡达到最大时 其值为
, ,
一
“
当 变 量 没 有 上 限 和 下 限 值 但 有 给 定的 标 准 差 不 失 为 一 般 性 设 数 学 期 望 值 为零 要 求 密 度 函 数
?
。
。
川 满 足约 束 条 件
户‘ ,
叮
二
,
沈
,
了
,
寻求
匀 二
丁
,
了
, ?户 。
?
了
极 大 仍 引 入 拉 格 朗 日乘 子 法 “ 和 达 至。
。
。
?
据 变分法 这 相
?
当于要求
丁
达到最大 并令 选取 常 数
人和 产
一 户
?
, ‘ , 十
、‘
, 一
、
‘
, ‘
?
,二 一
一
一
,
十 人十
产厂
值 使 其 满 足约束条件 则得
,
二
一
犷 乙兀
若
巴一
‘
这 时嫡 的 极大值 为
厂
。
月
习
一
夕
一 万三
’
‘
了 艺万 叮
一
了 艺犷 叮
一
三 十 石 万
‘ ,
。
一
‘
了 艺万 口
一
,
一 万
“
’
了 乙犷
一仰
吸
“
’
式
就 是 正 态 分 布 在 数 理 统 计 中是 有 广 阔 应 用 的
变 量 出现 于 上 限
和 下限
之间
。
这种 墒 极 大时 对 应的 分布 函 数 为
户‘ 一
厂卜
而平均值
。
,
此 时 的嫡 极 大值 为
一
以 上 讨 论的三 种情 况 表 明 第一 种结 果 是 变量 必 须 大 于 零
。 有限
它 必 须 遵 守 负指 数 分 布 第 二 种 是 变量 可 大 可 小 可 正 可 负 但 标 准 差
,
,
为 有限 值 嫡 极 大时对
,
应 统 计 学 中的 正 态 分 布 或 高斯 分 布
要 求 的概 率分 布 是 均 匀 分 布 型 对 数正 态
、 、 。
第 三 种 是 变 量 仅被 约 束 于 有 限 的 区 间 〔 如 嫡 最 大 时
, ,
如 果 针 对 不 同 问 题 具 有 不 同 的 约 束 条 件 利 用 最 大 嫡 原 理 则可 得 出 常 用 的
一
、
型
、
一
一
柯 一 阂 型 等
分 布 密 度 函 数 其 用 途 可 在 水文 气 象 统 计 科 学 社 会 经
。
,
、
济 环 境 科 学 和 工 程 技 术 等 领 域 中广 泛 的 应 用
参考文献
〔〕
著 沈 永 朝 译 通 信的 数 学 理 论 新 科 学 精 览 北 京 中 国 科 技 出版 社
,
,
,
信 息 墒 与最 大 滴 原 理
〔〕
复 旦 大 学 编 概 率论 第 一 册
,
,
,
北 京 高 等 教 育 出版 社
,
,
,
〔 〕 缪 胜 清 最 大 信息摘 原 理 及其 对 统 计 力 学 的应 用 〔 〕 张学文
,
,
墒 与交 叉 科 学 气象 出 版 社
,
, ,
,
,
最大嫡 原 理 及 其在 气象 学 中 的 应 用 墒 与 交 叉 科 学 气象 出 版 社
,
,
临 〕 冯 尚友 墒 的微 观 解 释 与 信 息 水 利 电力 科 技
,
外
投 稿 日期
一 一
创坛 洲坛 创睑 寸挂, 创盼 创盼 创匕 州脸 创匕 创胜 创匕 创卜 留 睑 创盼 创匕 创沁 创匕 创卜 创巨 创匕 创任 创匕 创论 创除 到沁 创任 训盼 洲睑 创卜 创卜 创睑 创睡 创睑 川睑 创匕 倒睡 窗任 , 侧卜 侧 撼 创匕 创匕 创睡 创卜
?
国际 会议
?
国际 灌溉 计 划会 议
国 际 灌溉 排 水 委 员 会
经 济 与政 治 问 题 与 联 合国 粮 技 术与工 程
农组织
时间
“
共 同召集
。
环境 影 响
日
年
月
欧洲计 划 与 国际 合 作 资金筹 措
时间
。
地 点 意 大 利 罗 马 联 合国 粮 农 组 织 总 部 主 题 为 灌 溉 计 划 的 制 定一 从 理 论 到 实
水 利 工程 径 流 计 算 国 际 会 议 年 月
日一
践
”
。
月
日
主要议题有
地 点 俄 罗斯圣 彼 得 堡 国家 水 文 研 究院
灌溉 计划 的制定 办法 和 技术 的应 用 和
局 限性
讨 论题
水 文 计 算 中径 流 形 成 规 律 的 运 用 长 系列 径 流 计 算 水 文 计 算的 区域 分 析 考 虑 人类 活 动影 响 的 径 流 计 算 特 殊 概
念
。
灌 溉 系统 和 灌溉 计 划 制 定 办 法 之 间的
内在 联 系
在水 资 源 有 限 降 雨 和 盐 碱 状 况 变 化 无
、
常 的条件 下 制 定 灌 溉 计 划 的 局 限 性 和 实例
推 广和 服 务 对 改进 研 究 人 员 管理 人 员 推 广 人员 和 农场 主 之 间 互 通 信 息 的 要 求 配 水 和 灌 溉 计 划 之 间的 制 约
、
、
河 流径流计 算的社 会 经 济概 念
国际 排 水 和 环 境 会 议
。
国 际 灌 排 委 员 会斯 洛 文 尼 亚 国 家 委 员 会
。
社 会 文化 制 度和 政 策 的 制 约
、
、
召集
。
第 四 届 国际 小 水电 会 议
时间 年
月
日一
日
时间
年
月
一
日
地 点 斯洛文 尼亚 的卢布 尔雅那 讨 论 的重 点是
地 点 意大利米兰 主 办 单 位 科 学 技 术 协 会联 合 会
排 水 对 水 文 和 土 壤 性 状 的影 响
排 水 对 生态 系 统 的 影 响 排 水 的 社 会 经 济和 卫 生 保 健 概 念 排 水和
稳定生产 以 及 生 物 实际状 况
。
协 办 单位 欧 洲 委 员 会 能 源 理 事会 欧 洲
小 水 电 协 会 意大 利 小 水 电协 会 主 题 小 水 电的 最 新 发 展 主 要 议题
【信息熵与最大熵原理】相关文章：
静态dilaton黑洞的信息熵10-07
信息熵方程求解算法及其应用11-23
等熵面和湿等熵面倾斜发展的诊断分析11-03
最大熵分布在投资组合中的应用研究07-23
逆熵而行散文09-09
危机管理与熵变07-06
熵的地形信息分析在高程匹配中的应用10-03
熵理论与和谐社会07-02