add polic-based reinforcement learning mind map

Reinforcement Learning.md

@@ -0,0 +1,208 @@
+# Reinforcement Learning
+
+## value-based
+
+## policy-based
+
+### 一般方法
+
+- 目标函数
+
+$$
+J(\theta)=E_{S}[V_{\pi}(S)]
+$$
+- 策略梯度定理
+
+$$
+\frac{\partial J(\theta)}{\partial \theta}=\nabla_{\theta}J(\theta)=\mathbb{E}_{S}[\mathbb{E}_{A\backsim \pi(\cdot | S;\theta)}[\frac{\partial \ln\pi(A|S;\theta)}{\partial \theta}\cdot Q_{\pi}(S,A)]]
+$$
+- 随机梯度——策略梯度的无偏估计
+
+$$
+{g}(s,a;\theta)\triangleq Q_\pi(s,a)\cdot \nabla_{\theta}\ln\pi(a|s;\theta)
+$$
+- 策略网络提升
+
+$$
+\theta\gets\theta+\beta\cdot g(s,a;\theta)
+$$
+
+### 带基线的策略梯度方法
+
+- 带基线的策略梯度定理——b是不依赖于A的任意函数
+
+$$
+\nabla_{\theta}J(\theta)=\mathbb{E}_{S}[\mathbb{E}_{A\backsim \pi(\cdot | S;\theta)}[(Q_{\pi}(S,A)]-b)\cdot \nabla_{\theta}\ln\pi(A|S;\theta)]
+$$
+- 随机梯度
+
+$$
+g_b(s,a;\theta)=[Q_{\pi}(S,A)-b]\cdot\nabla_{\theta}\ln\pi(A|S;\theta)
+$$
+
+### REINFORCE
+
+- 折扣回报
+
+$$
+U_t=\sum_{k-t}^{n}\gamma^{k-t}\cdot R_k
+$$
+- 动作价值是折扣回报的期望
+
+$$
+Q_\pi(s_t,a_t)=\mathbb{E}[U_t|S_t=s_t,A_t=a_t]
+$$
+- 用折扣回报的观测值蒙特卡洛近似动作价值
+
+$$
+\tilde{g}(s_T,a_t;\theta)=u_t\cdot\nabla_{\theta}\ln\pi(a_t|s_t;\theta)
+$$
+- 策略网络提升
+
+$$
+\theta_{new}\gets\theta_{now}+\beta\cdot\sum_{t=1}^{n}\gamma^{t-1}\cdot\tilde{g}(s_t.a_t;\theta_{now})
+$$
+
+### 带基线的REINFORCE
+
+- 策略网络
+
+	- 折扣回报
+
+$$
+u_t=\sum_{k-t}^{n}\gamma^{k-t}\cdot r_k
+$$
+	- 基线——价值网络做出的预测
+
+$$
+\hat{v_t}=v(s_t;\omega)
+$$
+	- 带基线的策略梯度
+
+$$
+\tilde{g}(s_t,a_t;\theta)=(u_t-\hat{v_t})\cdot\nabla_{\theta}\ln\pi(a_t|s_t;\theta)
+$$
+	- 梯度上升
+
+$$
+\theta\gets\theta+\beta\cdot\tilde{g}(s_t,a_t;\theta)
+$$
+
+- 价值网络
+
+	- 损失函数
+
+$$
+L(\omega)=\frac{1}{2n}\sum_{t=1}^{n}[v(s_t;\omega)-u_t]^2
+$$
+	- 损失函数的梯度
+
+$$
+\nabla_{\omega}L(\omega)=\frac{1}{n}\sum_{t=1}^{n}[v(s_t;\omega)-u_t]\cdot\nabla_\omega v(s_t;\omega)
+$$
+	- 梯度下降
+
+$$
+\omega\gets\omega-\alpha\cdot\nabla_{\omega}L(\omega)
+$$
+
+### Actor-Critic
+
+- 策略网络
+
+	- 用价值网络近似动作价值
+
+$$
+\hat{g}(s,a;\theta)\triangleq q(s,a;\omega)\cdot\nabla_{\theta}\ln\pi(a|s;\theta)
+$$
+	- 策略网络提升
+
+$$
+\theta\gets\theta+\beta\cdot\hat{g}(s,a;\theta)
+$$
+
+- 价值网络
+
+	- TD目标
+
+$$
+\hat{y_t}\triangleq r_t+\gamma\cdot q(s_{t+1},a_{t+1};\omega)
+$$
+	- 损失函数
+
+$$
+L(\omega)\triangleq \frac{1}{2}[q(s_t,a_t;\omega)-\hat{y_t}]^2
+$$
+	- 损失函数梯度
+
+$$
+\nabla_{\omega}L(\omega)=[q(s_t,a_t;\omega)-\hat{y_t}]\cdot\nabla_{\omega}q(s_t,a_t;\omega)
+$$
+	- 梯度下降
+
+$$
+\omega\gets\omega-\alpha\cdot\nabla_{\omega}L(\omega)
+$$
+
+### Advantage Actor-Critic (A2C)
+
+- 策略网络
+
+	- 贝尔曼公式
+
+$$
+Q_\pi(s_t,a_t)=\mathbb{E}_{S_{t+1}\backsim p(\cdot|s_t,a_t)}[R_t+\gamma\cdot V_\pi(S_{t+1})]
+$$
+	- 优势函数(Advantage function)
+
+$$
+Q_\pi(s,a)-V_\pi(s)
+$$
+	- 近似策略梯度
+
+$$
+\begin{aligned}g(s_t,a_t;\theta)&=[Q_\pi(s_t,a_t)-V_\pi(s_t)]\cdot\nabla_\theta\ln\pi(a_t|s_t;\theta)\\ &=[\mathbb{E}_{S_{t+1}}[R_t+\gamma\cdot V_\pi(S_{t+1})]-V_\pi(s_t)]\cdot\nabla_\theta\ln\pi(a_t|s_t;\theta)\\
+蒙特卡洛近似\\
+&\thickapprox[r_t+\gamma\cdot V_\pi(s_{t+1})]-V_\pi(s_t)]\cdot\nabla_\theta\ln\pi(a_t|s_t;\theta)\\
+用价值网络v(s;\omega)替换状态价值函数V_\pi(s)\\
+\tilde{g}(s_t.a_t;\theta)&\triangleq [r_t+\gamma\cdot v_\pi(s_{t+1};\omega)]-v_\pi(s_t;\omega)]\cdot\nabla_\theta\ln\pi(a_t|s_t;\theta)
+\end{aligned}
+$$
+	- 策略网络提升
+
+$$
+\theta\gets\theta+\beta\cdot\tilde{g}(s,a;\theta)
+$$
+
+- 价值网络
+
+	- 贝尔曼公式
+
+$$
+V_\pi(s_t)=\mathbb{E}_{A_t\backsim\pi(\cdot|s_t;\theta)}[\mathbb{E}_{S_{t+1}\backsim p(\cdot|s_t,A_t)}[R_t+\gamma\cdot V_\pi(S_{t+1})]]
+$$
+	- TD目标
+
+$$
+\hat{y_t}\triangleq r_t+\gamma\cdot v(s_{t+1};\omega)
+$$
+	- 损失函数
+
+$$
+L(\omega)\triangleq\frac{1}{2}[v(s_t;\omega)-\hat{y_t}]^2
+$$
+	- 损失函数的梯度
+
+$$
+\nabla_\omega L(\omega)=[v(s_t;\omega)-\hat{y_t}]\cdot\nabla_\omega v(s_t;\omega)
+$$
+	- 梯度下降
+
+$$
+\omega\gets\omega-\alpha\cdot\nabla_{\omega}L(\omega)
+$$
+
+## Multi-agent
+
+### Subtopic 1
+