谷歌大脑提出并发RL算法，机械臂抓取速度提高一倍

值的连续与离散并发强化学习算法

研究者从连续时间强化学习的角度开始探索，因为它可以轻松地表示系统的并发特性。之后研究者证明，基于连续情况得出的结论同样适用于随后在所有实验中使用的更为常用的离散环境。

连续环境方程

为了进一步分析并发环境，研究者引入下列符号。智能体在一个周期内选择 N 个动作轨迹（a_1 , ..., a_N），其中每个 a_i(t) 为一个用于产生控制，并以时间 t 作为变量的连续函数。令 t_{AS} 为获取状态、推断策略与任意额外通信时延的间隔时间。在 t 时刻，智能体开始计算状态 s(t) 的第 i 个动作 a_i(t)。同时，在时间间隔 (
 

这对于 Q-learning 的收敛性至关重要。

离散环境方程

为了简化离散情形下的符号（此时动作方程 a_i(t) 与该方程在 t 时刻的值 a_i(t) 并非必需），研究者将当前状态设置为 s_t，将当前动作设置为 a_t，将上一时刻动作设置为 a_{t−1}（分别将其下标 i 替换为 t）。在以上符号记法下，研究者定义了离散情形下的并发 Q 方程：





 

简单一阶控制问题

首先，研究者通过对标准的 Cartpole 和 Pendulum 环境的并发版本进行控制变量研究，说明了并发控制范式对基于价值的 DRL 方法的影响。

为了估计不同并发知识表示的相对重要性，研究者分析了每种并发知识表示对其他超参数值组合的敏感性，如下图所示：

简单一阶控制问题

首先，研究者通过对标准的 Cartpole 和 Pendulum 环境的并发版本进行控制变量研究，说明了并发控制范式对基于价值的 DRL 方法的影响。

为了估计不同并发知识表示的相对重要性，研究者分析了每种并发知识表示对其他超参数值组合的敏感性，如下图所示：

（编辑：阜阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!