基于重抽样优选缓存经验回放机制的深度强化学习方法

针对深度强化学习算法中经验缓存机制构建问题,提出一种基于TD误差的重抽样优选缓存机制;针对该机制存在的训练集坍塌现象,提出基于排行的分层抽样算法进行改进,并结合该机制对已有的几种典型基于DQN的深度强化学习算法进行改进.通过对Open AI Gym平台上Cart Port学习控制问题的仿真实验对比分析表明,优选机制能够提升训练样本的质量,实现对值函数的有效逼近,具有良好的学习效率和泛化性能,收敛速度和训练性能均有明显提升.     

西北片大坝安全注册现场检查圆满完成

为了提高水电站大坝安全管理水平,确保水电站大坝安全运行,根据《水库大坝安全管理条例》和《水电站大坝安全注册施行细则<试行>的要求,国家电力监管委员会大坝安全监察中心组织检查组,于2004年8月16日至8月30日对碧口、石泉、刘家峡、盐锅峡、八盘峡、青铜峡等六座大坝进行了大坝安全注册换证现场检查。经现场检查认为该六座大坝基本上满足大坝安全注册换证条件,能执行大坝安全有关法规,有比较健全的大坝安全管理规章制度,大坝安全管理人员配备齐、素质高,大坝监测工作比较到位。普遍存在的问题是防汛计划应经省级有关部门批准做得不 …     

深度逆向强化学习研究综述

深度逆向强化学习是机器学习领域的一个新的研究热点,它针对深度强化学习的回报函数难以获取问题,提出了通过专家示例轨迹重构回报函数的方法。首先介绍了3类深度强化学习方法的经典算法;接着阐述了经典的逆向强化学习算法,包括基于学徒学习、最大边际规划、结构化分类和概率模型形式化的方法;然后对深度逆向强化学习的一些前沿方向进行了综述,包括基于最大边际法的深度逆向强化学习、基于深度Q网络的深度逆向强化学习和基于最大熵模型的深度逆向强化学习和示例轨迹非专家情况下的逆向强化学习方法等。最后总结了深度逆向强化学习在算法、理论和应用方面存在的问题和发展方向。     

渤海湾盆地沾化凹陷沙河街组富有机质页岩孔隙分类及孔径定量表征

页岩微观孔隙特征分析和孔径定量表征是页岩油气储层评价和开发的关键。通过岩心观察、薄片鉴定、X-衍射、扫描电镜、氮气吸附等实验手段,分析了渤海湾盆地沾化凹陷富有机质页岩的矿物组成和微观孔隙类型,并对微观孔径进行了定量表征。结果表明：沙河街组页岩具有碳酸盐矿物含量高、粘土矿物含量较低的特征。根据发育位置、成因及产状,将储集空间分为孔隙与裂缝两大类,并制定了孔隙和裂缝的尺度评价标准。孔隙包括矿物基质孔隙和有机质孔隙;裂缝包括构造、层间、超压破裂、成岩和有机质收缩裂缝。氮气吸附等温曲线主要存在3种类型,分别反映了样品中微孔、中孔及宏孔的分布差异。通常氮气吸附实验能更好地表征中孔的发育特征,而扫描电镜所测孔隙更好地表征了宏孔的发育。需要进一步采用二氧化碳吸附、纳米CT及压汞实验定量表征页岩的微孔和宏孔的大小及分布。     

基于动态融合目标的深度强化学习算法研究

针对深度强化学习算法中存在的过估计问题,提出了一种目标动态融合机制,在Deep [Q] Networks（DQN）算法基础上进行改进,通过融合Sarsa算法的在线更新目标,来减少DQN算法存在的过估计影响,动态地结合了DQN算法和Sarsa算法各自优点,提出了DTDQN（Dynamic Target Deep [Q] Network）算法。利用公测平台OpenAI Gym上Cart-Pole控制问题进行仿真对比实验,结果表明DTDQN算法能够有效地减少值函数过估计,具有更好的学习性能,训练稳定性有明显提升。     

束鹿凹陷太古界潜山变质岩储层特征

以勘探程度较低的束鹿太古界变质岩潜山为研究对象,结合区域构造特征,利用岩心观察、薄片鉴定及地震资料,综合研究了束鹿凹陷潜山变质岩的类型和储层特征。研究表明:束鹿凹陷潜山变质岩以片麻岩、片岩、变质石英岩为主,为一套中—低级区域变质;潜山储集空间有溶蚀孔和裂缝2种类型,潜山顶面溶蚀孔、缝发育,深部主要为构造裂缝,裂缝的形成与发育程度受岩性、断层、埋深及古风化作用的影响。文中指出束鹿凹陷南部雷家庄潜山带为变质岩储层发育的优势区域。     

对BWCC固有控制的修改

Borland C 3.1和4.0都提供了Windows标准控制的扩充库BWCC(Borland Windows Custom Control),使用起来非常方便和漂亮。但是,因为它是为美国人开发的,所以当我们使用它来编制中文应用程序时,难免感觉不尽人意,总是希望能够加入中文或者加入一些符合中国人习惯的画面。但是,如果我们再自己编制相应的资源和控制例程,既费时费力又不一定有BWCC好用。由此,我考虑,如果将BWCC库中的位图、图标等资源进行修改、更换或者加入所需的画面和汉字,然后作为自己的库来使用,则事半功倍。因为Windows程序在调入动态连接库时,在程序的启动目录中查找库文件比在PATH各路径目录和Windows系统目录的查找要早,     

九月份大坝中心将继续开展大坝安全注册现场检查工作

为了贯彻落实国家安全生产监督管理局、国家电力监管委员会关于水电站大坝安全注册的有关规定和要求,国家电力监管委员会大坝安全监察中心组织检查组,拟于9月7日至10日对狮子滩大坝、上硐大坝、回龙寨大坝、下硐大坝、大洪河大坝进行大坝安全注册换证现场检查。另外根据四川华能康定水电有限责任公司、华能明台电力有限责任公司、四川华能东西关水电股份有限公司的申请,国家电力监管委员会大坝安全监察中心定于9月13日至19日对冷竹关水电站大坝、明台水电站大坝、东西关水电厂大坝进行大坝安全注册现场检查。(大坝中心李晨溪) 九月…     

鄂西渝东地区东岳庙段页岩气勘探潜力研究

鄂西渝东地区下侏罗统自流井组东岳庙段发育厚层灰黑色页岩,钻井揭示气显示良好。文中利用露头、钻井、测井、分析化验、测试等资料,从页岩沉积特征、有机地化特征、储集条件及含气性等方面对东岳庙段页岩进行了系统研究。结果表明:该段以浅湖—半深湖沉积为主,富有机质页岩发育,有机质丰度高,热演化程度适中,含气性较好,具备页岩气形成的有利地质条件;页岩气富集主要受有机质丰度、热演化程度、储集物性及裂缝发育程度等关键因素控制。据此,初步建立了适合本区陆相页岩气有利区优选标准,并根据标准优选区内西北部乐福店—临溪场为东岳庙段陆相页岩气勘探有利区。     

裂缝型低渗油藏主、侧向井渗透率推算

低渗油藏一般都发育不同程度的天然微裂缝,这些裂缝直接或间接地与水力压裂缝沟通,造成主、侧向井平均渗透率的差异,目前还没有一种能准确推算低渗油藏主、侧向井间等效渗透率的方法。文中在低渗透油藏注水见效时间预测公式的基础上,根据实际动态生产资料．反推计算主、侧向井的渗透率。利用西峰油田长8储层M油藏现场动态资料进行实例验证,证明该方法在现场应用中简单可行。该方法为地质建模、油藏数值模拟、渗流分析技术,以及井排距调整方案等提供了更加准确的数据基础。