DQN ReplayBuffer

[xxoospring]

ReplayBuffer, sample函数并不能出列queue元素, 也就是说queue一旦入列到capacity个样本，就不会再更新了，Qnet取batch的池子没有变。

[Zhou198]

作者用的是deque()数据结构，以及申明了它的容量大小。当push的元素个数超过改容量时，队头的那些元素（也就是早期被push进去的元素）会自动出列。