为什么我们需要在运行Spark SBT应用程序时添加“fork in run：= true”？

作者: 谦成
发布时间: 2024-12-11 05:22:34 (1月前)
转自：

3 条回复

0#
回复此人
布偶的表弟派大星丶 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 摘自“SBT for Scala入门”作者：Shiti Saxena <BLOCKQUOTE> 为什么我们需要派生JVM？ 当用户使用运行或控制台命令运行代码时，代码将在与SBT相同的虚拟机上运行。在某些情况下，运行代码可能会导致SBT崩溃，例如System.exit调用或未终止的线程（例如，在同时处理代码时对代码运行测试时）。 如果测试导致JVM关闭，则需要重新启动SBT。为了避免这种风俗，分支JVM很重要。 如果代码遵循下面列出的约束，则不需要派生JVM来运行代码，否则它必须在分叉的JVM中运行： <UL> <LI> 当用户创建的线程自行终止时，不会创建任何线程或程序结束 </LI> <LI> System.exit用于结束程序，用户创建的线程在中断时终止 </LI> <LI> 不进行反序列化或反序列化代码确保使用正确的类加载器 </LI> </UL> </BLOCKQUOTE> </DIV>

编辑
1#
回复此人
甲基蓝 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 我无法找到原因： 但这是他们的构建文件和建议： <a href="https://github.com/deanwampler/spark-scala-tutorial/blob/master/project/Build.scala" rel="nofollow noreferrer"> https://github.com/deanwampler/spark-scala-tutorial/blob/master/project/Build.scala </A> 希望有人能给出更好的答案。 编辑代码： import org.apache.spark.sql.SparkSession <pre> <code> object HelloWorld { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().master("local").appName("BigApple").getOrCreate() import spark.implicits._ val ds = Seq(1, 2, 3).toDS() ds.map(_ + 1).foreach(x => println(x)) } } </code> </pre> build.sbt <pre> <code> name := """untitled""" version := "1.0" scalaVersion := "2.11.7" libraryDependencies += "org.scalatest" %% "scalatest" % "2.2.6" % "test" libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.1.1" </code> </pre> </DIV>

编辑

登录后才能参与评论