我正在创建一个EMR集群,并使用jupyter notebook来运行一些spark任务。我的任务在执行约1小时后死亡,错误是:
遇到错误:无效的状态代码……
关于EMR, livy-conf 是livy的属性的分类 livy.conf 文件,因此在创建EMR集群时,请选择 advanced options 如果选择安装Livy作为应用程序,请通过此EMR配置 Enter Configuration 领域。
livy-conf
livy.conf
advanced options
Enter Configuration
[{'classification': 'livy-conf','Properties': {'livy.server.session.timeout':'5h'}}]
/etc/livy/
/etc/livy/conf/livy.conf
要验证这一点,
ec2 key-pair
key-pair
ssh -i some-ec2-key-pair.pem hadoop@ec2-00-00-00-0.ca-region-n.compute.amazonaws.com
/etc/livy/conf
livy.server.session.timeout