如何在Mahout Spark上写推荐

作者: 枫
发布时间: 2024-06-07 09:17:24 (14天前)
转自：

3 条回复

0#
回复此人
نسر الصحراء | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 1）Map Reduce在0.10.0中完全弃用。 “新Mahout”是一个数学上富有表现力的Scala DSL，它从引擎中抽象出来 - 例如相同的Scala代码应该能够为Flink / Spark / Other Engines编译。是的，这是基于表现。 2）Java API没有做过很多工作，但是我听说有一些人正在研究它。 3.）我想你是否可以用Java编写Spark推荐引擎。答案是肯定的。但实际上，我的意思是，我没有在scala / Java之间进行大量移植，但理论上你应该能够将Scala函数/类导入到Java代码中？ <a href="http://mahout.apache.org/docs/0.13.1-SNAPSHOT/tutorials/cco-lastfm/" rel="nofollow noreferrer"> 这个链接 </A> 显示了一些关于从头开始编写reccomender的更多信息 - 虽然它是在Scala中，但您需要将其移植到Java（如果您这样做，请随意打开PR，我们将其作为示例包含在内）。 4.）是的，它可以。 <a href="http://mahout.apache.org/docs/0.13.1-SNAPSHOT/tutorials/misc/mahout-in-zeppelin/" rel="nofollow noreferrer"> 这个链接 </A> 描述了如何在Zeppelin中使用Mahout设置Spark，但是任何设置的主体都保持不变（例如，你需要哪些罐子和什么 <code> SparkConf </code> 你需要调整） iirc，你需要mahout-spark，mahout-math，mahout-math-scala。（火花依赖性降低，你只需要使用本地shell程序，例如Zeppelin或Mahout Spark Shell）。 5.）是的，Mahout是一个在Spark或其他分布式引擎上运行的库。 </DIV>

编辑
1#
回复此人
故人 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> 实际上，新的推荐算法@rawkintrevo谈论了存在于基于Apache PredictionIO的端到端交钥匙系统，称为Universal Recommender。 PIO附带一个Java SDK。一些链接： <UL> <LI> 该 <a href="https://github.com/actionml/universal-recommender" rel="nofollow noreferrer"> Universal Recommender项目 </A> 在Github上 </LI> <LI> 的文件 <a href="http://actionml.com/docs/ur" rel="nofollow noreferrer"> 综合UR </A> </LI> <LI> 各个 <a href="http://actionml.com/docs/pio_by_actionml" rel="nofollow noreferrer"> 安装说明 </A> ，注意有 <a href="https://aws.amazon.com/marketplace/pp/B01N310FF0" rel="nofollow noreferrer"> AWS AMI </A> 预先安装并配置为试用。其他一些方法展示了如何进行更具伸缩性的部署。 </LI> <LI> <a href="http://predictionio.incubator.apache.org/" rel="nofollow noreferrer"> Apache PredictionIO文档 </A> </LI> <LI> OS的社区对UR的支持是 <a href="https://groups.google.com/forum/#!forum/actionml-user" rel="nofollow noreferrer"> 这里 </A> 和PIO是 <a href="http://predictionio.incubator.apache.org/support/" rel="nofollow noreferrer"> 这里 </A> 。 </LI> </UL> Apache Mahout，Apache PredictionIO，Spark和Universal Recommender都是用Scala编写的。 UR有一个Java端口，但是没有维护，并且实际上并不需要它，因为您可能需要的所有选项都作为配置参数公开，并且有很好的文档记录。 通过实时发送数据和进行实时查询来进行通信的方式是通过简单的REST调用或使用包含Java的PIO SDK。 UR支持基于用户的，基于项目的购物车（基于项目集），基于多模态数据的推荐（使用许多不同的用户指示符或事件）。它还支持丰富的业务规则。 除了输入数据并决定配置外，无需编写任何内容，其余的是安装和设置。 </DIV>

编辑

登录后才能参与评论