Spark：stanford-nlp的火花速度太慢了

您可以试用Spark的Stanford CoreNLP包装器。它应该简化使用，并希望加快您的代码。这里是

git页面

其中还包括可用的命令。如图所示

简短的安装指南

您可以使用以下命令直接将语言模型附加到Spark上下文：

    
      val version = “3.6.0”
val model = s”stanford-corenlp-$version-models” // append “-english” to use the full English model
val jars = sc.asInstanceOf[{def addedJars: scala.collection.mutable.Map[String, Long]}].addedJars.keys // use sc.listJars in Spark 2.0
if (!jars.exists(jar => jar.contains(model))) {
  import scala.sys.process._
  s”wget http://repo1.maven.org/maven2/edu/stanford/nlp/stanford-corenlp/$version/$model.jar -O /tmp/$model.jar”.!!
  sc.addJar(s”/tmp/$model.jar”)
}
</code>