产品详情
我们仍以上篇文章[3]中简单的走迷宫小游戏为例继续,样例原型来自“莫烦PYTHON”的强化学习,让探索机器人(红色方框)学会走迷宫,图中黄色圆圈表示是天堂出口(reward为1),黑色方框表示是地狱陷阱(reward为-1)。我们给予机器人的引导只有奖励,如果走到天堂出口奖励给1分,继续重新开始学习,如果走到地狱陷阱处罚扣1分,重新开始学习,其他得零分持续走,行动为“上、下、左、右”四个方向移动。
3.2. DQN 算法
(1)环境的状态 ,状态是对环境的描述,正如机器人在迷宫中的位置,也就是 时刻环境的状态 ,体现为环境状态集中的某一个状态,在智能体做出动作后,状态会发生变化;MDP所有状态的集合是状态空间,状态空间可以是离散或连续的。
折扣因素主要作用:避免连续任务造成回报 无限大;区分即时奖励和未来奖励的重要程度。
这个网络的输入实践了两种情况:一次输入 1 个 50×50 的灰度游戏屏幕(默认程序);一次输入 3 个 50×50 的灰度游戏屏幕;
4.5. 模型训练经验小节
(8)状态价值与动作价值状态值函数
中输入代码路径下,运行:tensorboard –logdir logs
2.3. Q-learning
机器人在策略 和状态 时,采取行动后的行为的所处的最佳的程度,一般用 表示,也是一个期望函数。
(3)这是莫烦源代码输出结果,对于状态的输入,一次为一组坐标数字,也就是当前图及对应动作与下一张图关联,2500多步完成300轮,达到如下误差效果。
深度强化学习部分源代码很清晰,主要包括:络结构定义—— “_build_net”储记忆——“store_transition”选择行为——“choose_action”学习过程——“learn”
在「强化学习」(RL)领域,早期大部分成功的算法都依赖于人工提取特征,并结合线性的值函数或策略表示,算法的表现很大程度上取决于特征提取的质量,隐匿于机器学习中。近年来,「深度学习」(DL)的发展使得我们可以直接从复杂高维的原始输入(例如图像和声音)中捕获特征,并取得较好的表现。然而,深度学习和强化学习又存在着一些差别,导致难以直接将深度神经网络应用于 RL:DL 通常基于大量的人工标注训练数据进行训练,而 RL 则是基于可能存在「延时」的奖励进行学习,很难通过标准的网络结构将输入直接与奖励进行关联大部分 DL 算法都假定数据样本之间相互「独立」,而 RL 则一般应用于高度相关的状态序列在 RL 中当算法学习到新的行为后,数据分布可能发生改变,而 DL 通常假设数据分布是「不变」的
DQN中的经验池是学习的记忆库(类似固定行数的扩展Q-table),用来学习之前的经历,又因为Q learning 是一种离线学习法(off-policy ),它能学习实时经历,也能学习过去的经历,甚至可以学习别人的经历,所以在学习过程中随机的加入之前的经验会让神经网络更有效率。
实践修改代码Github地址:xiaoyw71/Reinforcement-learning-practice
价值函数 一般可以表示为下式,不同的算法会有对应的一些价值函数变种,但思路相同:
我们所实践的DQN算法是指DeepMind的2015年改进型算法,算法伪代码描述如下:
(9)探索率 ,这个比率主要用在强化学习训练迭代过程中,由于我们一般会选择使当前轮迭代价值最大的动作,但是这会导致一些较好的但我们没有执行过的动作被错过。因此我们在训练选择最优动作时,会有一定的概率ϵ不选择使当前轮迭代价值最大的动作,而选择其他的动作。
[8].《DQN 思维决策》莫烦PYTHON ,莫烦 ,2017年02月
这其实就相当于是,我们在计算 的值的时候,用的是target network,然后实际上被训练的是main network,然后每过C steps,target network的参数就会被“赋值”为main network的参数,也就是会被update一次。
[5].《论文趣读:人工智能里程碑?回顾2015年登上Nature的DQN(全文翻译+批注)》CSDN博客,PiperNest (同公众号),2020年10月
DQN结构整体上与强化学习(RL)结构是一致的,基于Q-learning算法结构对比,主要是智能控制的Agent内部发生改变,增加了experience replay 经验池和CNN深度神经网络。
[3].《强化学习之迷宫Q-Learning实践笔记——入门篇》CSDN博客 ,肖永威 ,2021年1月
[1].《【强化学习】Deep Q Network(DQN)算法详解》CSDN博客 , shura_R ,2018年6月
4.1. 代码结构
基于Q-learning 确定Loss FunctionQ-learning 更新公式为:
事实上,对于状态 和动作 、值函数 ,存在这样一个映射: ,由此求解值函数的问题转化为监督学习的问题,而监督学习是一种常见且易于解决的问题。线性回归(Linear Regression) 、支持向量机(Support Vector Machine)、决策树(Decision Tree), 以及神经网络(Neural Network )等都可以用来解决此类问题,DQN利用深度卷积网络(Convolutional Neural Networks,CNN)来逼近值函数。
(1)智能体(Agent):探索机器人大脑,智能体的结构可以是一个神经网络,也可以是一个简单的算法,智能体的输入通常是状态(State),输出通常是策略(Policy);
3.3.3. 深度神经网络CNN实现
(3)状态(State):就是智能体的输入,机器人在迷宫中的位置;
(4)奖励(Reward):机器人进入某个状态时,能给智能体带来正奖励或者负奖励;
对源代码替换部分为:
Q-Main 估计网络就是训练个能够接近真实的最优 的无限逼近函数,
DQN与Q-leanring类似都是基于值迭代的算法,但是在普通的Q-learning中,当状态和动作空间是离散且维数不高时可使用Q-Table储存每个状态动作对的Q值,而当状态和动作空间是高维连续时,使用Q-Table不动作空间和状态太大十分困难。
[4].《DQN 论文解读》 知乎 ,口仆的学习笔记 ,2020年8月
在run_this中,首先我们先 import 两个模块,maze_env 是我们的迷宫环境模块,maze_env 模块我们可以不深入研究,如果你对编辑环境感兴趣,可以去修改迷宫的大小和布局。DQN_modified 模块是 RL 核心的大脑部分。
通过上述实践可以认识到,采用适合的逼近值函数,将产生事半功倍的效果。
(4)网络模型输入替换为图片数据
[7].《深度强化学习(DQN-Deep Q Network)之应用-Flappy Bird》腾讯云 ,用户7225427, 2020年9月
DQN(Deep Reinforcement Learning )算法是提出了一种「卷积神经网络」(CNN)以解决上述挑战,在复杂的 RL 环境中直接通过视频数据生成控制策略。该网络基于 Q-learning 算法的变种进行训练,通过随机梯度下降来更新权重。该算法增加了一种「经验回放机制」(experience replay mechanism)来随机采样之前的状态转移,以平滑训练数据的分布,缓解数据相关性以及分布的不稳定性。
3.3.1. DQN结构概述
如果我们以纯数学的角度来看动作值函数 ,不过就是建立一个从状态空间 到动作空间 的映射,而映射的具体形式是什么,完全可以自己定任何算法(比如有人使用随机森林),只要能够接近真实的最优 就是胜利。于是用CNN完成这种映射的做法应运而生。
(3)存储记忆替换为self.replay_buffer = deque() ,处理过程适应多维图片存取;
图像是由环境部分修改而来: www.635176168.com
(2)Q-Main 估计网络 www.251321283.com
代码详见Hub:xiaoyw71/Reinforcement-learning-practice www.349560367.com
(1)网络定义替换的归集函数q_network(); www.130341635.com
代码使用工具包比较少、简洁,主要有Tensorflow和numpy,以及python自带的Tkinter 。 www.271652475.com
Cost is 0.002506856806576252 www.184848205.com
TargetNet使用的网络参数却是之前的参数, 表示当前网络MainNet的输出,用来评估当前状态动作对的值函数; 表示TargetNet的输出,可以解出targetQ并根据LossFunction更新MainNet的参数,每经过一定次数的迭代,将MainNet的网络参数复制给TargetNet。 www.530674926.com
experience replay其将系统探索环境得到的数据储存起来,这样经验池解决了相关性及非静态分布问题。他是通过在每个timestep下Agent与环境交互得到的转移样本 储存到回放记忆网络,要训练时就随机取出一匹数据(minibatch)来训练,因此打乱样本中的相关性。 www.250588136.com
机器人在策略 和状态 时,采取行动后的状态所处的最佳的(程度)价值(value),一般用 表示,是一个期望函数。
[9].《深度强化学习(三):从Q-Learning到DQN》简书 ,fromeast ,2019年04月
引入TargetNet后,在训练的某段时间里使目标Q值保持不变,一定程度上降低了当前Q值和目标Q值的相关性,提高了算法稳定性。
3.3. DQN结构与组成
(2)动作(Actions):是指动作空间。对于机器人玩迷宫游戏,只有上下左右移动方向可行动,那Actions就是上、下、左、右;
[6].《深度强化学习——DQN》CSDN博客 , 草帽B-O-Y ,2017年6月
4.2. 关于迷宫环境
[2].《深度强化学习之DQN-深度学习与强化学习的成功结合》 OSCHINA 社区 ,CristianoC , 2019年7月
参考:
4.3. 深度强化学习
基于马尔可夫决策过程(MDP)模型,以及贝尔曼方程求解等所实现的强化学习,基本要素包括:
Q-targets的作用其实也是一种打乱相关性的机制,引入Q-targets会使得DQN中出现两个结构完全相同但是参数却不同的网络,预测Q估计的的网络MainNet使用的是最新的参数,而预测Q现实的神经网络
运行部分代码,仍旧使用原代码,未做改变。
状态——行为值函数(Q函数)
(5)环境的状态转化模型,可以理解为一个概率状态机,它可以表示为一个概率模型,即在状态 下采取动作 ,转到下一个状态 的概率,表示为 。
[10].《使用强化学习建立下一个最佳活动(或称行动营销)模型【译文初稿】》 CSDN博客 , 肖永威 ,2021年01月
2.1. 强化学习结构
在一个未知“迷宫”环境中,计算机算法软件(探索机器人控制大脑)基于自身的控制策略行动。基本结构包括:
合并前两张图的处理方法是使用Numpy构建多维数据,输入的定义为:
迷宫游戏代码有三部分组成:maze_env 是迷宫环境,基于Python标准GUI库Tkinter开发DQN_modified 是DQN的核心实现,是RL_brain的修改版run_this 是控制执行算法的代码
2.2. 强化学习基本要素
(2)网络定义名称分别更换为mainQ、targetQ;
DQN改进版本的算法是建立两个相同结构的CNN,其中一个 CNN(MainNet)用于产生当前 Q 值,另外一个 CNN(Target)用于产生 Target Q 值,而这个 Target Q 值则是损失函数的比较基准。
Tkinter 是 Python 的标准 GUI 库。Python 使用 Tkinter 可以快速的创建 GUI 应用程序。
(4)机器人的策略(policy) ,策略是指代表机器人采取动作的依据,即机器人会依据策略 来选择动作。最常见的策略表达方式是一个条件概率分布 , 即在状态 时采取动作 的概率。即 ,此时概率大的动作被机器人选择的概率较高。
通过上述背景知识的介绍,下面我开始解读来自“[莫烦PYTHON]”代码。由于源代码关于深度学习部分为了教学只是适合处理一般的二维数据,不是为图像或复杂数据设计的。我们为了深入学习深度强化学习,试探的改为识别图像,增加环境获取图像,修改神经网络为卷积神经网络,修改记忆存储方法。
(7)折扣因素,奖励衰减因子( ),在 之间。如果为0,则是贪婪法,即价值只由当前延时奖励决定,如果是1,则所有的后续状态奖励和当前奖励一视同仁。大多数时候,我们会取一个0到1之间的数字,即当前延时奖励的权重比后续奖励的权重大。
(2)机器人的动作 , 动作是对智能体行为的描述,是智能体决策的结果。 时刻机器人采取的动作 是它的动作集中某一个动作;MDP所有可能动作的集合是动作空间,动作空间可以是离散或连续的。
所以在此处可以把Q-table更新转化为一函数拟合问题,通过拟合一个函数function来代替Q-table产生Q值,使得相近的状态得到相近的输出动作。因此我们可以想到深度神经网络对复杂特征的提取有很好效果,所以可以将DeepLearning与Reinforcement Learning结合,这就成为了DQN。
根据策略 从状态 开始采取行动 所获得的期望回报,也就是贝尔曼方程,如下式所述:
强化学习在解决问题是比较有探索性的,对于数据分析,“State”可是使用图片表示状态,例如客户加油/购物记录(集)代表某种状态(如流失预警、价格敏感等),也可以直接使用数据表示,例如客户全生命周期管理流程中所有状态,从新客户开始,到流失预警,直到流失,以及流失挽回。
(3)环境的奖励 ,奖励是智能体给出动作后,环境对智能体的反馈。是当前时刻状态、动作和下个时刻状态的标量函数。 时刻机器人在状态 采取的动作 对应的奖励 ,会在 时刻得到;
由于 Tkinter 是内置到 python 的安装包中、只要安装好 Python 之后就能 import Tkinter 库、而且 IDLE 也是用 Tkinter 编写而成、对于简单的图形界面 Tkinter 还是能应付自如。
修改后的环境代码:
(2)这是对本文中代码再微调后输出结果,对于状态的输入,一次为三张图,也就是当前图及对应动作不仅与下一张图关联,也与前两步(图)相关,2500多步完成300轮,达到如下误差效果。
我们观测在不同输入、不同网络情况下,Cost曲线及模型收敛情况。
3.1. DQN思想
4.4. 运行训练策略
保存到本地效果如下图所示:
注:由于软件是使用当前活动窗口,训练期间不要动其他程序,而且关闭屏幕保护等可能导致改变当前活动窗口的情况发生的设置或操作。
Q-learning算法就是按贝尔曼方程一直不断更新 Q table 里的值,迭代过程中根据新的值来判断要在某个 state 采取怎样的 action。
DQN 的 loss function:
获取当前窗口为图片的方法如下所示,适用于Windows环境。
(5)环境(Environment):就是指机器人所走的迷宫,能接收action,返回state和reward。
其中 是网络参数,目标为:
运行计算图如下图所示:
(1) Q-target 目标网络
(6)回报(return),回报是奖励随时间步的积累,在引入轨迹的概念后,回报也是轨迹上所有奖励的总和。
3.3.2. experience replay 经验池
考虑到数据平衡问题,莫烦给出只有一个陷阱和出口的迷宫环境。源代码环境状态表示是坐标数据,这样深度网络采用2层NN,为了深入学习需要,我把环境状态表示改为图片,返回50×50灰度图片做为模型的输入。
> 源代码为2层神经网络,数据维度少,速度快。
(1)这是本文中代码输出结果,对于状态的输入,一次为一张图,也就是当前图及对应动作与下一张图关联,接近3500步完成300轮,达到如下误差效果。
客户评价
平台数据分析能力很强,可视化大屏让管理层一目了然,实施团队专业高效。
AutoML自动建模功能大大降低了我们使用AI的门槛,业务人员也能快速上手。
整体体验很好,实时分析能力符合预期,希望后续能支持更多国产数据库。