王树森_DQN学习1
概率论基本概念
随机变量：用大写字母表示随机变量，用小写字母表示随机变量的观测值，只是一个值。
概率密度函数PDF 所有取值和为1
期望：
随机抽样
可以用numpy里的choice来做
强化学习术语
状态，动作，策略
奖励 强化学习目标获得的奖励总和尽量要高
状态转移
状态转移是随机的，随机性来自环境
agent和环境交互
在t时刻迭代时，agent根据策略Π在当前状态st采取动作at，然后环境接收该动作，生成奖励rt，并转移到下一状态st+1。
强化学习的随机性
动作具有随机性，动作是根据策略随机抽样得到的
状态转移有随机性，给定s和a，环境会随机生成新状态s’
奖励与回报
回报的随机性
如果游戏结束，所有的奖励都能被观测到，奖励都是数值用小写字母表示
在t时刻，游戏没有结束，奖励都是随机变量用大写字母表示
随机性来源于动作a和下一个状态
Ut依赖于未来所有的动作和状态
价值函数
如何让AI控制agent
1.策略学习：学习一个好的策略
2.价值学习：学习一个好的Q*函数
