云存储 Google云数据流到云存储 返回

Google云数据流到云存储


VIP
2025-03-09 01:41:43 (12天前) 
  1.              以上参考架构表明存在


云
</跨度>

存储
</跨度>
从…下沉

云
</跨度>
数据流，但Beam API似乎是当前默认的Dataflow API没有

云
</跨度>

存储
</跨度>
I / O …连接器列出。

任何人都可以帮助澄清是否存在一个存在，如果没有什么是从Dataflow带来数据的替代方案

云
</跨度>

存储
</跨度>
。
…

3 条回复
  1. 0# v-star*위위 | 2019-08-31 10-32



    Beam确实支持从GCS写入/读取。你只需使用

    TextIO

    类。




    https://beam.apache.org/documentation/sdks/javadoc/0.2.0-incubating/org/apache/beam/sdk/io/TextIO.html




    要从一个或多个文本文件中读取PCollection，请使用TextIO.Read。您可以使用TextIO.Read.from（String）实例化转换，以指定要读取的文件的路径（例如，如果在本地运行，则为本地文件名或文件名模式，或者
    的
    “gs：///”形式的Google云端存储文件名或文件名模式
    </强>
    ）。



  2. 1# 雪浴冰灵 | 2019-08-31 10-32



    您可以使用TextIO，AvroIO或任何其他读取/写入文件的连接器与GCS进行交互。 Beam将以“gs：//”开头的任何文件路径标识为GCS。 Beam使用可插入的FileSystem [1]接口完成此操作。



    [1]
    <a href =“https://github.com/apache/beam/blob/master/sdks/java/io/google-cloud-platform/src/main/java/org/apache/beam/sdk/io/gcp /storage/GcsFileSystem.java”rel =“nofollow noreferrer”>
    https://github.com/apache/beam/blob/master/sdks/java/io/google-cloud-platform/src/main/java/org/apache/beam/sdk/io/gcp/storage/GcsFileSystem。 java的


登录 后才能参与评论