将5G文件上载到Amazon S3时出现EntityTooLarge错误

作者: 生如夏花
发布时间: 2024-03-11 02:17:49 (4月前)
转自：

3 条回复

0#
回复此人
没身份别烦我 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 通常似乎是要弄清楚如何告诉S3进行分段上传。要将数据从HDFS复制到S3，可以使用s3n文件系统并专门启用分段上传来完成 <code> fs.s3n.multipart.uploads.enabled=true </code> 这可以这样做： <pre> <code> hdfs dfs -Dfs.s3n.awsAccessKeyId=ACCESS_KEY -Dfs.s3n.awsSecretAccessKey=SUPER_SECRET_KEY -Dfs.s3n.multipart.uploads.enabled=true -cp hdfs:///path/to/source/data s3n://bucket/folder/ </code> </pre> 进一步的配置可以在这里找到： <a href="https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html" rel="nofollow"> https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html </A> </DIV>

编辑
1#
回复此人
不易青年。 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 该 宾语 大小限制为5 TB。该 上载 大小仍为5 GB，如手册中所述： <BLOCKQUOTE> 根据您上传的数据大小，Amazon S3提供以下选项： <UL> <LI> 在单个操作中上传对象单个 <code> PUT </code> 操作，您可以上传最大5 GB的对象。 </LI> <LI> 部分上传对象使用Multipart上传API，您可以上传大型对象，最高可达5 TB。 </LI> </UL> </BLOCKQUOTE> <a href="http://docs.aws.amazon.com/AmazonS3/latest/dev/UploadingObjects.html"> http://docs.aws.amazon.com/AmazonS3/latest/dev/UploadingObjects.html </A> 完成分段上传后，S3会验证并重新组合这些部分，然后在S3中有一个对象，最大可达5TB，可以作为单个权限下载，只需一个HTTP <code> GET </code> 请求...但上传速度可能要快得多，即使是小于5GB的文件，因为您可以并行上传这些部分，甚至可以重新尝试上次首次尝试时未成功的部分。 </DIV>

编辑

登录后才能参与评论