PROSAGA码农传奇-hadoop其他-可以将经过训练的分类模型存储在Apache Spark中吗？

可以将经过训练的分类模型存储在Apache Spark中吗？

作者: 荧惑
发布时间: 2024-08-09 06:49:31 (9天前)
转自：

<div class =“post-text”itemprop =“text”>
  
    在Mahout的MapReduce支持的NaiveBayes中，Model将被保存到指定的目录中
     <code>
 -o
 </code>
     如果通过CLI进行培训，则参数：
  
   <pre>
 <code>
 mahout trainnb
 -i ${PATH_TO_TFIDF_VECTORS} 
 -o ${"path/to/model}/model 
 -li ${PATH_TO_MODEL}/labelindex 
 -ow 
 -c

</code>
 </pre>
  
    看到：
    <a href="http://mahout.apache.org/users/classification/bayesian.html" rel="nofollow">
      http://mahout.apache.org/users/classification/bayesian.html
    </A>
  
  
    并检索通过：
  
   <pre>
 <code>
 NaiveBayesModel model = NaiveBayesModel.materialize(("/path/to/model"), getConf());

</code>
 </pre>
  
    或者，使用Mahout-Samsara的Spark支持Naive Bayes，可以从命令行训练模型，并且同样可以输出到由
     <code>
 -o
 </code>
     参数：
  
   <pre>
 <code>
 mahout spark-trainnb
 -i ${PATH_TO_TFIDF_VECTORS} 
 -o ${/path/to/model}
 -ow 
 -c

</code>
 </pre>
  
    或者可以通过以下方式在应用程序中训练模型：
  
   <pre>
 <code>
 val model = SparkNaiveBayes.train(aggregatedObservations, labelIndex, false)

</code>
 </pre>
  
    输出到（HD）FS：
  
   <pre>
 <code>
 model.dfsWrite("/path/to/model")

</code>
 </pre>
  
    并检索通过：
  
   <pre>
 <code>
 val retrievedModel = NBModel.dfsRead("/path/to/model")

</code>
 </pre>
  
    看到：
    <a href="http://mahout.apache.org/users/environment/classify-a-doc-from-the-shell.html" rel="nofollow">
      http://mahout.apache.org/users/environment/classify-a-doc-from-the-shell.html
    </A>
  
</DIV>