如何将EMR流式作业日志复制到S3并清除EMR核心节点磁盘上的日志

作者: 陆离
发布时间: 2025-01-26 12:55:42 (29天前)
转自：

2 条回复

0#
回复此人
与之 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 据我所知，EMR支持的日志自动备份只能在作业结束时使用，因为它基于AWS最初为批处理作业实现的后台日志加载器。也许有一种方法可以让它用于滚动日志，我从来没有听说过它。 </p> <P> 我自己没试过，但如果必须的话，我可能会尝试以下方法： </p> <OL> <LI> 通过在EC2实例上安装S3 <code> S3fs </code> 。 </LI> <LI> 建立 <code> logrotate </code> （或等效）自动复制和清理日志文件。 </LI> </醇> <P> 您可以使用引导操作自动设置以上所有内容。 </p> <P> 如果 <code> S3fs </code> 给你带来问题，然后你可以做更多的脚本并直接使用 <code> aws s3 </code> 命令同步日志，然后在复制后删除它们。 </p> </DIV>

编辑

登录后才能参与评论