diff --git a/Reinforcement Learning.svg b/Reinforcement Learning.svg
index ef2ca66..eb93f26 100644
--- a/Reinforcement Learning.svg
+++ b/Reinforcement Learning.svg
@@ -1,4 +1,4 @@
-]>
\ No newline at end of file
+]]>Reinforcement LearningMDP马尔科夫过程马尔科夫奖励过程回报价值函数马尔科夫决策过程策略状态价值函数动作价值函数贝尔曼期望方程蒙特卡洛方法MDP状态价值一条序列只计算一次回报，也就是这条序列第一次出现该状态是计算后面的累积奖励，而后面再出现该状态时，该状态就被忽略了两种不同的方法贝尔曼最优方程value-basedDP策略迭代策略评估策略提升价值迭代TD价值函数的蒙特卡洛价值函数的时序差分Sarsa在线策略多步Sarsa使用n步的奖励，然后使用之后状态的价值估计动作价值函数更新Q-Learning离线策略蒙特卡洛是无偏的，但有较大的方差；时序差分是有偏的，但方差小policy-based一般方法目标函数策略梯度定理随机梯度——策略梯度的无偏估计策略网络提升带基线的策略梯度方法带基线的策略梯度定理——b是不依赖于A的任意函数随机梯度REINFORCE折扣回报动作价值是折扣回报的期望用折扣回报的观测值蒙特卡洛近似动作价值策略网络提升带基线的REINFORCE策略网络折扣回报基线——价值网络做出的预测带基线的策略梯度梯度上升价值网络损失函数损失函数的梯度梯度下降Actor-Critic策略网络用价值网络近似动作价值策略网络提升价值网络TD目标损失函数损失函数梯度梯度下降Advantage Actor-Critic (A2C)策略网络贝尔曼公式优势函数(Advantage function)近似策略梯度策略网络提升价值网络贝尔曼公式TD目标损失函数损失函数的梯度梯度下降TRPO策略目标Multi-agent完全合作关系multi-agent cooperative A2C(MAC-A2C)策略网络动作A的概率密度函数合作关系 MARL 的策略梯度定理随机梯度——策略梯度的无偏估计策略网络提升价值网络观测TD目标损失函数损失函数的梯度梯度下降价值网络只起到基线的作用价值网络直接参与策略提升智能体不能独立做决策，需要所有智能体的观测结合二者的优势
\ No newline at end of file
diff --git a/Reinforcement Learning.xmind b/Reinforcement Learning.xmind
index a3647c5..42e6d55 100644
Binary files a/Reinforcement Learning.xmind and b/Reinforcement Learning.xmind differ