从 Vertex AI 和 Google Cloud Storage 读取文件

Question

我正在尝试在 GCP/Vertex AI 中设置管道，但遇到了很多麻烦。该管道是使用 Kubeflow Pipelines 编写的，并且具有许多不同的组件，但有一件事特别给我带来了麻烦。最终我想在云调度程序的帮助下从云功能启动它。

给我带来问题的部分相当简单，我相信我只需要某种形式的介绍来说明我应该如何考虑这个设置。我只想从文件（可能是 .csv、.txt 或类似文件）中读取和写入。我想象 GCP 中本地计算机上的文件系统的模拟是云存储，因此这是我暂时尝试读取的位置（如果我错了，请纠正我）。我构建的组件是对 这篇 帖子，看起来像这样。

@component(
    packages_to_install=["google-cloud"],
    base_image="python:3.9"
)


def main(
):
    import csv
    from io import StringIO

    from google.cloud import storage

    BUCKET_NAME = "gs://my_bucket"

    storage_client = storage.Client()
    bucket = storage_client.get_bucket(BUCKET_NAME)

    blob = bucket.blob('test/test.txt')
    blob = blob.download_as_string()
    blob = blob.decode('utf-8')

    blob = StringIO(blob)  #tranform bytes to string here

    names = csv.reader(blob)  #then use csv library to read the content
    for name in names:
        print(f"First Name: {name[0]}")

我收到的错误如下所示：

google.api_core.exceptions.NotFound: 404 GET https://storage.googleapis.com/storage/v1/b/gs://pipeline_dev?projection=noAcl&prettyPrint=false: Not Found

我的大脑出了什么问题？我感觉读写文件不应该这么困难。我一定错过了一些基本的东西吗？非常感谢任何帮助。

Answer 1

尝试指定存储桶名称 w/oa gs://。这应该可以解决问题。另一篇 stackoverflow 帖子也说了同样的事情： Cloud Storage python client failed to检索存储桶

您尝试在 GCP 中访问的任何存储桶都有一个唯一的地址来访问它。该地址始终以 gs:// 开头，指定它是云存储 URL。现在，GCS api 的设计使得它们只需要存储桶名称即可使用它。因此，您只需传递存储桶名称即可。如果您通过浏览器访问存储桶，则需要完整的地址才能访问，因此还需要 gs:// 前缀。