当使用 Hydra 的 optuna 插件时，我可以从另一个配置文件导入搜索空间吗？

Question

我想对同一数据进行超参数优化多个时间序列预测模型。我正在使用 Hydra 的 Optuna Sweeper 插件。不同的模型具有不同的超参数，因此具有不同的搜索空间。目前我的配置文件如下所示：

defaults:
  - datasets: data
  - models: Ets
  - override hydra/sweeper: optuna
  - override hydra/sweeper/sampler: tpe

hydra:
#  launcher:
#    n_jobs: 10
 run:
  dir: data/outputs/${now:%Y-%m-%d}/${user.user}/${now:%H-%M-%S}
 sweeper:
   sampler:
     seed: 123
   direction: minimize
   study_name: main_val
   storage: null
   n_trials: 2
   n_jobs: 4

   search_space: 

# Ets
    models.damped_trend:
      type: categorical
      choices:
      - 'True'
      - 'False'

  # Theta
    # models.method:
    #   type: categorical
    #   choices:
    #   - 'additive'
    #   - 'multiplicative' 

现在，当我使用 --multirun 运行 main_val.py 文件时，我获得了 Ets 的最佳超参数。伟大的。但是，当我想要对另一个模型（在此示例中为 Theta）运行优化时，我必须手动注释掉 Ets 的搜索空间并取消注释 Theta 的搜索空间。事实上，每个模型都有更多的参数需要优化，我正在使用 10 个不同的模型。这使得我的配置文件变得相当长且令人困惑，而且这种注释/取消注释的内容既烦人又容易出错。

我想从另一个 yaml 文件导入每个模型的搜索空间。这可能吗？

我尝试了以下操作：

defaults:
  - datasets: data
  - models: Ets
  - search_spaces: Ets
  - override hydra/sweeper: optuna
  - override hydra/sweeper/sampler: tpe

hydra:
#  launcher:
#    n_jobs: 10
 run:
  dir: data/outputs/${now:%Y-%m-%d}/${user.user}/${now:%H-%M-%S}
 sweeper:
   sampler:
     seed: 123
   direction: minimize
   study_name: main_val
   storage: null
   n_trials: 2
   n_jobs: 4

   search_space: search_spaces

文件 search_spaces/Ets.yaml 如下所示：

models.damped_trend:
  type: categorical
  choices:
  - 'True'
  - 'False'

但我收到错误：

Validation error while composing config:
    Cannot assign str to Dict[str, Any]
        full_key: hydra.sweeper.search_space
        object_type=OptunaSweeperConf

Answer 1

这里有两个选项：

1. 使用 @package 指令
2. 使用 变量插值

详细信息：

使用 @package 指令

@package 指令可用于放置 Ets.yaml在 Hydra.sweeper.search_spaces 包中：

defaults:
  - datasets: data
  - models: Ets
  - [email protected]_space: Ets
  - override hydra/sweeper: optuna
  - override hydra/sweeper/sampler: tpe

hydra:
 run:
  dir: data/outputs/${now:%Y-%m-%d}/${user.user}/${now:%H-%M-%S}
 sweeper:
   sampler:
     seed: 123
   direction: minimize
   study_name: main_val
   storage: null
   n_trials: 2
   n_jobs: 4

使用变量插值：

字符串插值可用于创建从 Hydra.sweeper.search_spaces 到顶层的引用search_spaces 配置。

defaults:
  - datasets: data
  - models: Ets
  - search_spaces: Ets
  - override hydra/sweeper: optuna
  - override hydra/sweeper/sampler: tpe

hydra:
 run:
  dir: data/outputs/${now:%Y-%m-%d}/${user.user}/${now:%H-%M-%S}
 sweeper:
   sampler:
     seed: 123
   direction: minimize
   study_name: main_val
   storage: null
   n_trials: 2
   n_jobs: 4

   search_space: ${search_spaces}