我按照这个例子从Solr获取数据到我的Scala Spark程序。以下是我的代码:
val solrURL =“someurl”val collectionName =“somecollection”
val solrRDD = new SelectSolrRDD(solrURL,…
问题在于您的打包和部署(假设您正在使用maven,您的pom.xml)。问题是运行Spark应用程序时未加载Solr客户端库。您需要将应用程序和任何依赖项打包到“超级jar”中以便部署到群集。
看看如何 火花的Solr 安装它。他们使用maven-shade-plugin来生成超级罐。
我的集群中已经存在了一些火星溶剂,这些垃圾与我正在使用的罐子相冲突。删除这些罐子后,我的代码工作正常。