StableBaselines-3 DDPG + HER 多重处理

Question

我正在阅读有关 HER 的文档以及 stable-baselines3 网站中有关多重处理的文档 但是，当我尝试训练时，它会抛出错误！ 有没有使用 replay_buffer 进行多处理的示例？

num_cpu = 4
env = make_vec_env(env_name, n_envs=num_cpu, seed=0, vec_env_cls=SubprocVecEnv)
model = DDPG(
    'MultiInputPolicy',
    env,
    verbose = 1,
    tensorboard_log = log_path,
    replay_buffer_class = HerReplayBuffer,
    # Parameters for HER
    replay_buffer_kwargs=dict(
        n_sampled_goal = 4,
        goal_selection_strategy = GoalSelectionStrategy.FUTURE,
        online_sampling = True,
    ),
)
model.learn(total_timesteps = 1000000)

ValueError：无法将输入数组从形状 (6,4) 广播到形状 (4,)

Answer 1

稳定基线3 HER 不支持多处理。