基于边缘计算与强化学习的配电物联网体系架构研究与应用

针 对 泛 在 物 联 网 与 智 慧 电 网 融 合 背 景 下 涌 现 的 万 物 云 化 下 的 智 能 决 策 与 协 同 自 治 、能 源 生 产与 消 费 双 向 互 逆 流 动 、云 管 边 端 数 据 控 制 流 深 度 融 合 、边 缘 计 算 泛 化 能 力 与 学 习 能 力 均 衡 、多 维 差 异 性 数 据融 合 传 送 机 制 、数 据 融 合 及 优 先 级 自 动 退 避 机 制 等 新 型 需 求 ，提 出 了 一 种 基 于 边 缘 计 算 与 强 化 学 习 的 配 电物 联 网 体 系 架 构 模 型 。 通 过 融 合 泛 在 物 联 网 与 分 布 式 智 慧 电 网 智 能 体 系 ，建 立 多 维 差 异 性 信 息 物 理 高 度 融合 模 型 ，构 建 自 主 全 面 感 知 、全 局 最 优 协 同 、物 理 资 源 虚 拟 化 管 控 、软 硬 件 深 度 解 耦 的 一 体 化 配 电 物 联 网 体系 架 构 ，引 入 边 缘 计 算 机 制 增 强 配 电 物 联 网 体 系 架 构 的 边 缘 计 算 层 级 ，实 现 边 缘 计 算 泛 化 能 力 与 学 习 能 力的 动 态 平 衡 ，引 入 强 化 学 习 算 法 实 现 配 电 物 联 网 体 系 架 构 的 智 能 决 策 与 协 同 自 治 。 基 于ＴｅｎｓｏｒＦｌｏｗ开 源框 架 ，在Ｇｙｍ- Ｔ Ｏ Ｒ ＣＳ 环 境 下 对 架 构 感 知 决 策 进 行 效 能 仿 真 验 证 ，较 好 地 解 决 了 配 电 物 联 网 自 主 感 知 与 智能 决 策 之 间 的 耦 合 矛 盾 ，实 现 全 局 最 优 ，具 有 稳 定 性 高 、抗 干 扰 性 强 、自 主 感 知 性 高 等 优 势 。 以 国 网 江 苏 省电 力 有 限 公 司 辖 区 某 小 型 配 电 网 为 效 能 评 价 载 体 ，对 架 构 模 型 进 行 了 工 程 应 用 分 析 ，验 证 结 果 表 明 所 提 架构 模 型 可 以 实 现 泛 在 物 联 网 下 的 全 面 云 化 ，在 配 电 设 备 泛 在 互 联 、运 维 状 态 全 面 自 主 感 知 、配 电 策 略 全 局 最优 自 主 决 策 、极 端 运 维 环 境 下 的 协 同 自 愈 等 方 面 具 有 明 显 优 势 。

Research and Application of Distribution IoT Architecture Based on Edge Computing and Reinforcement Learning

Iｎ ｖｉｅｗ ｏｆ ｔｈｅ ｅｍｅｒｇｉｎｇ ｎｅｗ ｄｅｍａｎｄｓ ｏｆ ｉｎｔｅｌｌｉｇｅｎｔ ｄｅｃｉｓｉｏｎ ｍａｋｉｎｇ ａｎｄ ｃｏｌｌａｂｏｒａｔｉｖｅ ａｕｔｏｎｏ ｍ ｙ ， ｔｗ ｏ ｗａｙ ｉｎｖｅｒｓｅ ｆｌｏｗ ｏｆ ｅｎｅｒｇｙ ｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｃｏｎｓｕ ｍ ｐｔｉｏｎ ， ｄｅｅｐ ｆｕｓｉｏｎ ｏｆ ｃｌｏｕｄ ｔｕｂｅ ｓｉｄｅ ｄａｔａ ｃｏｎｔｒｏｌ ｆｌｏｗ ， ｂａｌａｎｃｅ ｏｆ ｅｄｇｅ ｃｏ ｍ ｐｕｔｉｎｇ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ａｂｉｌｉｔｙ ａｎｄ ｌｅａｒｎｉｎｇ ａｂｉｌｉｔｙ ， ｍ ｕｌｔｉ ｄｉｍｅｎｓｉｏｎａｌ ｄｉｆｆｅｒｅｎｃｅ ｄａｔａ ｆｕｓｉｏｎ ｔｒａｎｓｍｉｓｓｉｏｎ ｍｅｃｈａｎｉｓｍ ， ｄａｔａ ｆｕｓｉｏｎ ａｎｄ ｐｒｉｏｒｉｔｙ ａｕｔｏ ｍａｔｉｃ ｂａｃｋ ｏｆｆ ｍｅｃｈａｎｉｓｍ ｕｎｄｅｒ ｔｈｅ ｂａｃｋｇｒｏｕｎｄ ｏｆ ｔｈｅ ｉｎｔｅｇｒａｔｉｏｎ ｏｆ ｔｈｅ Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ ａｎｄ ｓｍａｒｔ ｇｒｉｄ ， ｂａｓｅｄ ｏｎ ｅｄｇｅ ｃｏ ｍ ｐｕｔｉｎｇ ａｎｄ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ， ａｎ ａｒｃｈｉｔｅｃｔｕｒｅ ｍ ｏｄｅｌ ｏｆ ｄｉｓｔｒｉｂｕｔｉｏｎ Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ ｗａｓ ｐｒｏｐｏｓｅｄ ． Ｔ ｈｒｏｕｇｈ ｔｈｅ ｉｎｔｅｇｒａｔｉｏｎ ｏｆ ｕｂｉｑｕｉｔｏｕｓ Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ ａｎｄ ｄｉｓｔｒｉｂｕｔｅｄ ｓｍａｒｔ ｇｒｉｄ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍ ， ａ ｍ ｕｌｔｉ ｄｉｍｅｎ ｓｉｏｎａｌ ｄｉｆｆｅｒｅｎｃｅ ｉｎｆｏｒｍａｔｉｏｎ Ｐｈｙｓｉｃａｌ ｈｉｇｈ ｆｕｓｉｏｎ ｍ ｏｄｅｌ ｗａｓ ｅｓｔａｂｌｉｓｈｅｄ ， ａｎ ｉｎｔｅｇｒａｔｅｄ ｄｉｓｔｒｉｂｕｔｉｏｎ Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ ｓｙｓｔｅｍ ａｒｃｈｉｔｅｃｔｕｒｅ ｗｉｔｈ ｉｎｄｅｐｅｎｄｅｎｔ ａｎｄ ｃｏ ｍ ｐｒｅｈｅｎｓｉｖｅ ｐｅｒｃｅｐｔｉｏｎ ， ｇｌｏｂａｌ ｏｐｔｉｍａｌ ｃｏｌｌａｂｏｒａｔｉｏｎ ，ｉｒｔｕａｌ ｍａｎａｇｅｍｅｎｔ ａｎｄ ｃｏｎｔｒｏｌ ｏｆ ｐｈｙｓｉｃａｌ ｒｅｓｏｕｒｃｅｓ ， ｄｅｅｐ ｄｅｃｏｕｐｌｉｎｇ ｏｆ ｓｏｆｔｗａｒｅ ａｎｄ ｈａｒｄ ｗａｒｅ ｗａｓ ｃｏｎｓｔｒｕｃｔｅｄ ， ａｎｄ ｔｈｅ ｅｄｇｅ ｃｏ ｍ ｐｕｔｅｒ ｓｙｓｔｅｍ ｗａｓｉｎｔｒｏｄｕｃｅｄ ｔｏ ｅｎｈａｎｃｅ ｔｈｅ ｅｄｇｅ ｃｏ ｍ ｐｕｔｉｎｇ ｌｅｖｅｌ ｏｆ ｔｈｅ ｄｉｓｔｒｉｂｕｔｉｏｎ Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ ｓｙｓｔｅｍ ａｒｃｈｉｔｅｃｔｕｒｅ ， ｔｈｅ ｄｙｎａ ｍｉｃ ｂａｌａｎｃｅ ｂｅｔｗｅｅｎ ｔｈｅ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ａｂｉｌｉｔｙ ａｎｄ ｌｅａｒｎｉｎｇ ａｂｉｌｉｔｙ ｏｆ ｅｄｇｅ ｃｏ ｍ ｐｕｔｉｎｇ ， ａｎｄ ｔｈｅ ｉｎｔｒｏｄｕｃｔｉｏｎ ｏｆ ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈ ｍ ｔｏ ｒｅａｌｉｚｅ ｉｎｔｅｌｌｉｇｅｎｔ ｄｅｃｉｓｉｏｎ ｍａｋｉｎｇ ａｎｄ ｃｏｌｌａｂｏｒａｔｉｖｅ ａｕｔｏｎｏ ｍ ｙ ｏｆ ｔｈｅ ｄｉｓｔｒｉｂｕｔｉｏｎ Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ ａｒｃｈｉｔｅｃｔｕｒｅ ．Ｂａｓｅｄ ｏｎ ＴｅｎｓｏｒＦｌｏｗ ｏｐｅｎ ｓｏｕｒｃｅ ｆｒａ ｍｅｗ ｏｒｋ ， ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ａｒｃｈｉｔｅｃｔｕｒｅ ｐｅｒｃｅｐｔｉｏｎ ｄｅｃｉｓｉｏｎ ｍａｋｉｎｇ ｗａｓ ｓｉｍ ｕｌａｔｅｄ ａｎｄ ｖｅｒｉｆｉｅｄ ｕｎｄｅｒ Ｇｙ ｍ Ｔ Ｏ Ｒ ＣＳ ｅｎｖｉｒｏｎ ｍｅｎｔ ， ｗ ｈｉｃｈ ｓｏｌｖｅｓ ｔｈｅ ｃｏｕｐｌｉｎｇ ｃｏｎｔｒａｄｉｃｔｉｏｎ ｂｅｔｗｅｅｎ ｔｈｅ ｉｎｄｅｐｅｎｄｅｎｔ ｐｅｒｃｅｐｔｉｏｎ ａｎｄ ｉｎｔｅｌｌｉｇｅｎｔ ｄｅｃｉｓｉｏｎ ｍａｋｉｎｇ ｏｆ ｔｈｅ ｄｉｓｔｒｉｂｕｔｉｏｎ Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ ｂｅｔｔｅｒ ， ｒｅａｌｉｚｅｓ ｔｈｅ ｇｌｏｂａｌ ｏｐｔｉｍｉｚａｔｉｏｎ ， ａｎｄ ｈａｓ ｔｈｅ ａｄｖａｎｔａｇｅｓ ｏｆ ｈｉｇｈ ｓｔａｂｉｌｉｔｙ ， ｓｔｒｏｎｇ ａｎｔｉ ｉｎｔｅｒｆｅｒｅｎｃｅ ａｎｄ ｉｎｄｅｐｅｎｄｅｎｔ ｐｅｒｃｅｐｔｉｏｎ ． Ｔａｋｉｎｇ ａ ｓｍａｌｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｎｅｔｗ ｏｒｋ ｕｎｄｅｒ ｔｈｅ ｊｕｒｉｓｄｉｃｔｉｏｎ ｏｆ Ｓｔａｔｅ Ｇｒｉｄ Ｊｉａｎｇｓｕ Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｃｏ ． ， Ｌｔｄ ．ａｓ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ｃａｒｒｉｅｒ ， ｔｈｅ ｐａｐｅｒ ａｎａｌｙｚｅｓ ｔｈｅ ｅｎｇｉｎｅｅｒｉｎｇ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｔｈｅ ａｒｃｈｉｔｅｃｔｕｒｅ ｍ ｏｄｅｌ ， ａｎｄ ｔｈｅ ｖｅｒｉｆｉｃａｔｉｏｎ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｅ ａｒｃｈｉｔｅｃｔｕｒｅ ｍ ｏｄｅｌ ｐｒｏｐｏｓｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ ｃａｎ ｒｅａｌｉｚｅ ｔｈｅ ｏｖｅｒａｌｌ ｃｌｏｕｄｉｚａｔｉｏｎ ｕｎｄｅｒ ｔｈｅ ｕｂｉｑｕｉｔｏｕｓ Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ ．Ｉｔ ｈａｓ ｏｂｖｉｏｕｓ ａｄｖａｎｔａｇｅｓ ｉｎ ｖｉｅｗ ｏｆ ｔｈｅ ｏｖｅｒａｌｌ ａｕｔｏｎｏ ｍ ｏｕｓ ｐｅｒｃｅｐｔｉｏｎ ｏｆ ｔｈｅ ｕｂｉｑｕｉｔｏｕｓ ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ ｏｆ ｄｉｓｔｒｉｂｕｔｉｏｎ ｅｑｕｉｐｍｅｎｔ ， ｔｈｅ ｏｖｅｒａｌｌ ａｕｔｏｎｏ ｍ ｏｕｓ ｐｅｒｃｅｐｔｉｏｎ ｏｆ ｏｐｅｒａｔｉｏｎ ａｎｄ ｓｔａｔｕｓ ， ｔｈｅ ｇｌｏｂａｌ ｏｐｔｉｍａｌ ａｕｔｏｎｏ ｍ ｏｕｓ ｄｅｃｉｓｉｏｎ ｏｆ ｄｉｓｔｒｉｂｕｔｉｏｎ ｓｔｒａｔｅｇｙ ， ａｎｄ ｔｈｅ ｃｏｏｐｅｒａｔｉｏｎ ｕｎｄｅｒ ｔｈｅ ｅｘｔｒｅｍｅ ｏｐｅｒａｔｉｏｎ ａｎｄ ｍａｉｎｔｅｎａｎｃｅ ｅｎｖｉｒｏｎ ｍｅｎｔ ｗｉｔｈ ｓｅｌｆ ｈｅａｌｉｎｇ ， ｅｔｃ ．