在 Sagemaker 中执行 Sagemaker.sklearn.processing.SKLearnProcessor.run 作业时出现延迟

Question

我使用 Sagemaker 的 SKLearnProcessor.run 来执行我的训练工作。从我的处理作业开始执行到读取processing.py 文件中的第一行代码，有 4-5 分钟的延迟。 作业开始执行后，无论输入文件有多大，作业都会快速完成执行，这符合 Sagemaker 处理能力的预期。

我的问题是，我能否以某种方式减少开始执行processing.py 文件所需的时间。

sklearn_job.run(code= os.path.join('s3://',bucket, code_prefix, 'preprocessing_v2.py'),

'''

            inputs=[ProcessingInput(
                input_name='raw1',
                source= os.path.join('s3://',bucket, input_prefix, 'file1.csv'),
                destination='/opt/ml/processing/input1'),
                   ProcessingInput(
                input_name='raw2',
                source= os.path.join('s3://',bucket, input_prefix, 'file2.csv'),
                destination='/opt/ml/processing/input2')],
            outputs=[ProcessingOutput(output_name='sample_file',
                                      source='/opt/ml/processing/dataset',
                                      destination=os.path.join('s3://',bucket, output_prefix))],
                  
            arguments=["--train_size", "0.8","--test_size","0.2"],
            wait=True, logs=True,
           )

'''

Answer 1

感谢您发帖！您可以通过以下方式减少作业持续时间：

1. 使用轻型 docker 映像（如果您使用托管映像，这不是一个选项）
2. 使用小型数据集来最大程度地减少下载时间

除此之外，实际上您仍然会面临几分钟的“冷启动”（使用 Sklearn Estimator）在 CPU 实例上，我发现很少超过 1-2)，以便 SageMaker 启动和配置计算集群。

这种“冷启动”是该服务的一个良好功能的症状，这是计算集群的瞬态性质：每个作业执行都在新的 EC2 集群上运行（根据您的配置，有 1 台或 N 台机器）。这有利于安全性、可扩展性和容错能力。