注册
登录
特征工程
如何处理Spark中最新的随机林中的分类功能？
返回
如何处理Spark中最新的随机林中的分类功能？
作者:
狗头军师
发布时间:
2024-05-13 11:58:25 (2月前)
<p>在随机森林的Mllib版本中，可以用参数指定具有名义特征（数字但仍是分类变量）categoricalFeaturesInfo 的列ML随机森林有什么用？在用户指南中，有一个使用VectorIndexer 的示例，该示例也可以转换vector中的分类特征，但是它写为“自动识别分类特征并对其进行索引”</p><p>在关于同一问题的其他讨论中，我发现在随机森林中无论如何数字索引都被视为连续特征，建议您执行一次热编码以避免这种情况，在这种算法的情况下似乎没有意义，并且特别是考虑到上述官方示例！</p><p>我还注意到，当分类列中有很多类别（> 1000）时，一旦用StringIndexer对其进行了索引，随机森林算法就会要求我设置MaxBin参数，该参数应该与连续功能一起使用。这是否意味着如官方示例中所指定的那样，将要将超过箱数的特征视为连续特征，因此对于我的分类列，StringIndexer是可以的，还是意味着整个具有数字标称特征的列都将是假设变量是连续的，进行分类？</p>
收藏
举报
2 条回复
1#
回复此人
狗头军师
|
2020-08-23 15-03
在对同一问题的其他讨论中，我发现无论如何在随机森林中，数值索引都被视为连续特征， 这实际上是不正确的。树模型（包括RandomForest）依赖于列元数据来区分类别变量和数字变量。元数据可以由ML转换器（例如StringIndexer或VectorIndexer）提供，也可以手动添加。模型mllib内部使用的基于RDD 的旧API 出于相同目的而使用。mlcategoricalFeaturesInfo Map 当前的API仅获取元数据，然后转换为所需的格式categoricalFeaturesInfo。 OneHotEncoding仅对于线性模型是必需的，对于多项式朴素贝叶斯分类器，则建议（尽管不是必需）建议使用。
编辑
登录
后才能参与评论
