机器学习如何与大数据融为一体?


只怕再见是故人
2025-04-16 04:25:23 (1天前)

机器学习如何与大数据整合
机器学习和MapReduce有什么区别
我应该考虑的主要概念是什么
这三项中的哪一项(监督学习,无监督学习,强化学习)是决策的主要内容
假设医疗保健和智慧城市使用大数据进行决策有什么区别
大数据与深度学习之间的关系是机器学习技术之一

2 条回复
  1. 1# 春风助手 | 2020-08-23 15-59

    这是我的快速而切题的观点:

    机器学习方法通​​过一种称为“梯度下降”的方法来“学习”,这种方法通常对数据的效率非常低,但是非常通用,易于实现,不需要太多的数据先验知识。为了使这种方法真正发挥作用,您需要大量数据才能获得准确的模型。因此,许多机器学习方法需要大数据。

    机器学习是人工智能的一个领域,旨在赋予机器学习概念的能力,而无需对其进行明确的编程。MapReduce是一种分布式计算方法,可用于加快机器学习训练或任何繁重的计算任务。

    机器学习的主要概念是针对特定任务应使用哪种机器学习算法。例如,监督学习用于回归和分类,并应用于标记的数据集。回归算法用于预测连续变量,分类算法用于分类变量。一项连续任务的示例是预测特定房屋的房地产价格。分类任务的一个示例是预测图片是狗还是猫。

    在无监督学习中,两个主要族是主成分和聚类,它们主要用于未标记的数据集。在这里,机器必须找到最佳的数据隔离。

    强化学习绝对是决策算法;毕竟,RL是为最佳控制和最佳决策而设计的,因为它的基本算法是Bellman方程。

    决策基本上是基于您要解决的问题。例如,如果我想创建的cookie,我可以让我的饼干味道该死的好,但花了很多钱,或者我可以,味道不错,但显著少花饼干。根据我要服务的市场,我的决定会有很大不同。

    由于在此处未正确定义任何一个的任务,因此我将作一些假设。在卫生保健中,一项重要的工作是对肾衰竭患者的治疗。在这里,患者需要每2天去医院2-3个小时,才能通过称为透析的方法对他们的血液进行医疗清洁。在这里,我们可以建立一个强化学习控制器来控制透析过程的流速,药物等,以缩短血液清洁过程并让患者减少痛苦。我亲自参与了这个项目。此处,ML算法的决策是流速和用药量等。

    在智慧城市中,代理商可能想优化交通流量或用电量。对于交通流量,座席的决策将是何时使哪些指示灯亮红色以最大程度地减少交通方面的总浪费时间。对于用电,代理商希望电力以最小的距离传播,从而将电力浪费最小化。

    大数据和深度学习的关系与#1相同,除了全部用我最后一句话中的“很多”代替。深度学习模型是高度参数化的,并且需要大量数据才能完全准确和可用(假设您的网络足够深)。但是,如果有足够的数据,其准确性和能力是不可否认的。SumoLogic的下图显示了模型准确度变化与送入不同机器学习算法的数据量之间的有用关系。

    在此处输入图片说明https://i.stack.imgur.com/5kRom.png

登录 后才能参与评论