试图从BigQuery获取数据时，Vertex AI管道正在失败

Question

我正在尝试运行Google Vertex AI管道，以从BigQuery表中查询。在管道中，我使用的是正确的项目和服务帐户（其中有bigquery.jobs.create访问）。但是我看到它运行时，它正在访问另一个项目E1CD7306FB577E88GQ-UQ。我无法弄清此项目的来源。我正在从顶点AI用户托管笔记本运行管道

pandas_gbq.exceptions.GenericGBQException: Reason: 403 POST https://bigquery.googleapis.com/bigquery/v2/projects/e1cd7306fb577e88gq-uq/jobs?prettyPrint=false: Access Denied: Project e1cd7306fb577e88gq-uq: User does not have bigquery.jobs.create permission in project e1cd7306fb577e88gq-uq.

Answer 1

运行代码的服务代理或服务帐户确实具有所需的许可，但是您的代码正在尝试访问错误项目中的资源。由于顶点AI运行您的培训代码的方式，如果您在代码中未明确指定项目ID或项目编号，则可能会无意间发生此问题。

您可以明确选择所需的项目：

import os

from google.cloud import bigquery

project_number = os.environ["CLOUD_ML_PROJECT_ID"]

client = bigquery.Client(project=project_number)

您可以阅读有关培训代码要求的更多信息在这里。