# Reinforcement Learning

## value-based

## policy-based

### 一般方法

- 目标函数

$$
J(\theta)=E_{S}[V_{\pi}(S)]
$$
- 策略梯度定理

$$
\frac{\partial J(\theta)}{\partial \theta}=\nabla_{\theta}J(\theta)=\mathbb{E}_{S}[\mathbb{E}_{A\backsim \pi(\cdot | S;\theta)}[\frac{\partial \ln\pi(A|S;\theta)}{\partial \theta}\cdot Q_{\pi}(S,A)]]
$$
- 随机梯度——策略梯度的无偏估计

$$
{g}(s,a;\theta)\triangleq Q_\pi(s,a)\cdot \nabla_{\theta}\ln\pi(a|s;\theta)
$$
- 策略网络提升

$$
\theta\gets\theta+\beta\cdot g(s,a;\theta)
$$

### 带基线的策略梯度方法

- 带基线的策略梯度定理——b是不依赖于A的任意函数

$$
\nabla_{\theta}J(\theta)=\mathbb{E}_{S}[\mathbb{E}_{A\backsim \pi(\cdot | S;\theta)}[(Q_{\pi}(S,A)]-b)\cdot \nabla_{\theta}\ln\pi(A|S;\theta)]
$$
- 随机梯度

$$
g_b(s,a;\theta)=[Q_{\pi}(S,A)-b]\cdot\nabla_{\theta}\ln\pi(A|S;\theta)
$$

### REINFORCE

- 折扣回报

$$
U_t=\sum_{k-t}^{n}\gamma^{k-t}\cdot R_k
$$
- 动作价值是折扣回报的期望

$$
Q_\pi(s_t,a_t)=\mathbb{E}[U_t|S_t=s_t,A_t=a_t]
$$
- 用折扣回报的观测值蒙特卡洛近似动作价值

$$
\tilde{g}(s_T,a_t;\theta)=u_t\cdot\nabla_{\theta}\ln\pi(a_t|s_t;\theta)
$$
- 策略网络提升

$$
\theta_{new}\gets\theta_{now}+\beta\cdot\sum_{t=1}^{n}\gamma^{t-1}\cdot\tilde{g}(s_t.a_t;\theta_{now})
$$

### 带基线的REINFORCE

- 策略网络

	- 折扣回报

$$
u_t=\sum_{k-t}^{n}\gamma^{k-t}\cdot r_k
$$
	- 基线——价值网络做出的预测

$$
\hat{v_t}=v(s_t;\omega)
$$
	- 带基线的策略梯度

$$
\tilde{g}(s_t,a_t;\theta)=(u_t-\hat{v_t})\cdot\nabla_{\theta}\ln\pi(a_t|s_t;\theta)
$$
	- 梯度上升

$$
\theta\gets\theta+\beta\cdot\tilde{g}(s_t,a_t;\theta)
$$

- 价值网络

	- 损失函数

$$
L(\omega)=\frac{1}{2n}\sum_{t=1}^{n}[v(s_t;\omega)-u_t]^2
$$
	- 损失函数的梯度

$$
\nabla_{\omega}L(\omega)=\frac{1}{n}\sum_{t=1}^{n}[v(s_t;\omega)-u_t]\cdot\nabla_\omega v(s_t;\omega)
$$
	- 梯度下降

$$
\omega\gets\omega-\alpha\cdot\nabla_{\omega}L(\omega)
$$

### Actor-Critic

- 策略网络

	- 用价值网络近似动作价值

$$
\hat{g}(s,a;\theta)\triangleq q(s,a;\omega)\cdot\nabla_{\theta}\ln\pi(a|s;\theta)
$$
	- 策略网络提升

$$
\theta\gets\theta+\beta\cdot\hat{g}(s,a;\theta)
$$

- 价值网络

	- TD目标

$$
\hat{y_t}\triangleq r_t+\gamma\cdot q(s_{t+1},a_{t+1};\omega)
$$
	- 损失函数

$$
L(\omega)\triangleq \frac{1}{2}[q(s_t,a_t;\omega)-\hat{y_t}]^2
$$
	- 损失函数梯度

$$
\nabla_{\omega}L(\omega)=[q(s_t,a_t;\omega)-\hat{y_t}]\cdot\nabla_{\omega}q(s_t,a_t;\omega)
$$
	- 梯度下降

$$
\omega\gets\omega-\alpha\cdot\nabla_{\omega}L(\omega)
$$

### Advantage Actor-Critic (A2C)

- 策略网络

	- 贝尔曼公式

$$
Q_\pi(s_t,a_t)=\mathbb{E}_{S_{t+1}\backsim p(\cdot|s_t,a_t)}[R_t+\gamma\cdot V_\pi(S_{t+1})]
$$
	- 优势函数(Advantage function)

$$
Q_\pi(s,a)-V_\pi(s)
$$
	- 近似策略梯度

$$
\begin{aligned}g(s_t,a_t;\theta)&=[Q_\pi(s_t,a_t)-V_\pi(s_t)]\cdot\nabla_\theta\ln\pi(a_t|s_t;\theta)\\ &=[\mathbb{E}_{S_{t+1}}[R_t+\gamma\cdot V_\pi(S_{t+1})]-V_\pi(s_t)]\cdot\nabla_\theta\ln\pi(a_t|s_t;\theta)\\
蒙特卡洛近似\\
&\thickapprox[r_t+\gamma\cdot V_\pi(s_{t+1})]-V_\pi(s_t)]\cdot\nabla_\theta\ln\pi(a_t|s_t;\theta)\\
用价值网络v(s;\omega)替换状态价值函数V_\pi(s)\\
\tilde{g}(s_t.a_t;\theta)&\triangleq [r_t+\gamma\cdot v_\pi(s_{t+1};\omega)]-v_\pi(s_t;\omega)]\cdot\nabla_\theta\ln\pi(a_t|s_t;\theta)
\end{aligned}
$$
	- 策略网络提升

$$
\theta\gets\theta+\beta\cdot\tilde{g}(s,a;\theta)
$$

- 价值网络

	- 贝尔曼公式

$$
V_\pi(s_t)=\mathbb{E}_{A_t\backsim\pi(\cdot|s_t;\theta)}[\mathbb{E}_{S_{t+1}\backsim p(\cdot|s_t,A_t)}[R_t+\gamma\cdot V_\pi(S_{t+1})]]
$$
	- TD目标

$$
\hat{y_t}\triangleq r_t+\gamma\cdot v(s_{t+1};\omega)
$$
	- 损失函数

$$
L(\omega)\triangleq\frac{1}{2}[v(s_t;\omega)-\hat{y_t}]^2
$$
	- 损失函数的梯度

$$
\nabla_\omega L(\omega)=[v(s_t;\omega)-\hat{y_t}]\cdot\nabla_\omega v(s_t;\omega)
$$
	- 梯度下降

$$
\omega\gets\omega-\alpha\cdot\nabla_{\omega}L(\omega)
$$

## Multi-agent

### Subtopic 1