diff --git a/Reinforcement Learning.pdf b/Reinforcement Learning.pdf index 848b2d7..8c96b1e 100644 Binary files a/Reinforcement Learning.pdf and b/Reinforcement Learning.pdf differ diff --git a/Reinforcement Learning.svg b/Reinforcement Learning.svg index c8c452f..79ceeaa 100644 --- a/Reinforcement Learning.svg +++ b/Reinforcement Learning.svg @@ -1,4 +1,4 @@ -]>‎Reinforcement ‎Learning‎value-based‎policy-based‎带基线的策略梯度方法‎带基线的策略梯度定理——b是不依赖于A的任意‎函数‎随机梯度‎REINFORCE‎用折扣回报的观测值蒙特卡洛近似动作价值‎策略网络提升‎带基线的REINFORCE‎策略网络‎折扣回报‎基线——价值网络做出的预测‎带基线的策略梯度‎梯度上升‎价值网络‎损失函数‎损失函数的梯度‎梯度下降‎Actor-Critic‎策略网络‎用价值网络近似动作价值‎策略网络提升‎价值网络‎TD目标‎损失函数‎损失函数梯度‎梯度下降‎Advantage Actor-Critic (A2C)‎策略网络‎贝尔曼公式‎近似策略梯度蒙特卡洛近似用价值网络替换状态价值函数‎策略网络提升‎价值网络‎TD目标‎损失函数‎损失函数的梯度‎梯度下降‎Multi-agent‎Subtopic 1‎贝尔曼公式‎一般方法‎策略网络提升‎随机梯度——策略梯度的无偏估计‎策略梯度定理‎目标函数‎优势函数(Advantage function)‎ 是的无偏估计的取值对是有影响的接近关于的均值，方差会比较小是很好的基线‎折扣回报‎动作价值是折扣回报的期望‎价值网络只起到基线的作用‎价值网络直接参与策略提升 \ No newline at end of file +]]>‎Reinforcement ‎Learning‎value-based‎policy-based‎一般方法‎目标函数‎策略梯度定理‎随机梯度——策略梯度的无偏估计‎策略网络提升‎带基线的策略梯度方法‎带基线的策略梯度定理——b是不依赖于A的任意‎函数‎随机梯度是的无偏估计的取值对是有影响的接近关于的均值，方差会比较小是很好的基线‎REINFORCE‎折扣回报‎动作价值是折扣回报的期望‎用折扣回报的观测值蒙特卡洛近似动作价值‎策略网络提升‎带基线的REINFORCE‎策略网络‎折扣回报‎基线——价值网络做出的预测‎带基线的策略梯度‎梯度上升‎价值网络‎损失函数‎损失函数的梯度‎梯度下降‎Actor-Critic‎策略网络‎用价值网络近似动作价值‎策略网络提升‎价值网络‎TD目标‎损失函数‎损失函数梯度‎梯度下降‎Advantage Actor-Critic (A2C)‎策略网络‎贝尔曼公式‎优势函数(Advantage function)‎近似策略梯度蒙特卡洛近似用价值网络替换状态价值函数‎策略网络提升‎价值网络‎贝尔曼公式‎TD目标‎损失函数‎损失函数的梯度‎梯度下降‎Multi-agent‎完全合作关系‎multi-agent cooperative A2C(MAC-A2C)‎策略网络‎动作A的概率密度函数‎合作关系 MARL 的策略梯度定理‎随机梯度——策略梯度的无偏估计用近似，用近似‎策略网络提升‎价值网络‎观测‎TD目标‎损失函数‎损失函数的梯度‎梯度下降‎价值网络只起到基线的作用‎价值网络直接参与策略提升‎智能体不能独立做决策，‎需要所有智能体的观测 \ No newline at end of file diff --git a/Reinforcement Learning.xmind b/Reinforcement Learning.xmind index ce639c4..a7b8363 100644 Binary files a/Reinforcement Learning.xmind and b/Reinforcement Learning.xmind differ