什么是机器学习?
机器学习 (ML) 是人工智能的一个子类别,是计算机利用神经网络识别模式并提高其识别能力的过程。经过充分的优化且获得足够的数据,机器学习算法便可预测新的模式和信息。
机器学习过程的组成部分
神经网络
神经网络是一种受人类大脑结构和功能启发而开发的计算模型。它由相互连接且分层排列的人工神经元(也称为节点或单元)组成。每个神经元都获取输入、执行计算并生成输出,然后将输出结果传递给后续层的其他神经元。神经网络设计用于学习数据并进行相应地调整,是机器学习和深度学习的基本组成部分。
在机器学习中,神经网络用于分析和识别数据中蕴含的模式。它们可以基于标记的数据集进行训练,以执行分类、回归或聚类等任务。神经网络通过调整神经元之间连接的权重和偏置,可以从训练数据中学习归纳,并对未知数据 做出预测或决策。
深度学习是机器学习的一个特定分支,它利用具有多个隐藏层的深度神经网络。深度神经网络能够自动学习数据的分层表示,在每一层逐步提取更为抽象的特征。这使深度学习模型能够处理复杂的任务,如图像和语音识别、自然语言处理,甚至是玩游戏。
深度学习
深度学习是机器学习的一个特殊分支,继承了 ML 的功能并实现了超越。
一般而言,机器学习会涉及一些人员的参与,其中工程师会审查算法的结果,并根据其准确性加以调整。深度学习并不依赖人工审查。深度学习算法使用自己的神经网络来检查结果的准确性,然后从中学习。
深度学习算法的神经网络与人脑结构类似,是一种分层的算法结构。神经网络能够在没有工程师提供反馈的情况下,随着时间的推移学会如何更好地完成一项任务。
神经网络开发的两大主要阶段是训练和推理。训练是初始阶段,其中深度学习算法将收到一个数据集,并负责解读数据集代表的内容。然后,工程师向神经网络提供有关解读准确性的反馈,以便进行相应调整。这一过程可能会有多次迭代。推理是指在神经网络部署完毕后,用其处理之前从未见过的数据集并准确预测数据所表示的内容。
机器学习如何运作?
大型数据集的机器学习过程通常包含若干个步骤。以下是企业用例的五个关键步骤:
1. 数据收集和准备:第一步是收集与手头问题相关的数据。这些数据可能包括客户记录、销售数据、网站日志、网站事件、客户反馈或企业内可能存在的任何其他数据。收集的数据随后会进行预处理,包括清理缺失或错误的数据、处理异常值,以及将数据转换为适合分析的格式。
2. 特征工程设计:数据准备完毕后,下一步是从数据集中提取有意义的特征。这通常涉及将原始数据转换为更具代表性的特征,以从中捕获模式和关系。在企业用例中,这可能包括生成客户人口统计信息、购买历史记录、季节性、产品热点、客户错误等特性,或可能影响所解决问题的一切相关属性。
3. 模型选择和训练:完成特征工程设计后,根据问题和可用数据选择合适的机器学习模型。有各种类型的模型,如决策树、随机森林、支持向量机或神经网络。然后,根据问题的性质使用监督学习或无监督学习等方法,基于经过预处理的数据训练所选模型。
4. 模型评估和验证:在这一步中,使用交叉验证或留出验证等验证方法评估训练的模型。分析准确率、精确率、召回率或 F1 分数等模型性能指标,评估模型处理给定问题的效果。验证模型性能以确保其在整个企业数据中的可靠性和通用性至关重要。
5. 部署和监控:一旦获得令人满意的模型,它就会被部署到企业的生产环境中。这涉及将模型集成到现有的业务流程、系统或应用中。部署之后,注意要不断监控模型的性能,检测是否存在偏差,并在有新数据可用时定期更新模型,以确保它始终提供有价值的准确洞见。
这些步骤代表了企业用例中大型数据集的大体机器学习过程。但必须要注意的是,为取得最佳结果,每个步骤都需要细致考虑、迭代和优化。
机器学习模型分为哪些不同类型?
机器学习算法的运作或多或少都会涉及人工干预/强化,具体视情况而定。四种主要的机器学习模型分别为有监督学习、无监督学习、半监督学习以及强化学习。
在有监督学习中,计算机拥有一个标记数据集,并据此学习如何完成人工任务。这是最简单的模型,因为它试图复制人类的学习过程。
在无监督学习中,计算机拥有的是未标记数据,需要从中提取此前未知的模式/洞见。机器学习算法可通过多种不同的方式实现这一目的,包括:
- 聚类分析:计算机在一个数据集内查找相似的数据点,并对其进行相应分组(创建“群集”)。
- 密度估计:计算机通过观察数据集的分布情况来挖掘洞见。
- 异常检测:计算机在数据集中识别与其他数据明显不同的数据点。
- 主成分分析 (PCA):计算机对数据集进行分析和总结,以便进行准确预测。
在半监督学习中,计算机拥有一组部分标记的数据,并利用标记数据执行任务,借此了解用于解读未标记数据的参数。
在强化学习中,计算机会先观察环境,然后根据相应数据来确定可实现风险最小化和/或回报最大化的理想行为。这是一种迭代式方法,需要某种强化信号来帮助计算机更好地判定最佳行为。
深度学习与机器学习有何关联?
机器学习是一种广义的算法,能够处理数据集并从中识别模式、发掘洞见和/或进行预测。深度学习是机器学习的一个特殊分支,继承了 ML 的功能,同时完成了超越。
一般而言,机器学习会涉及一些人员的参与,其中工程师会审查算法的结果,并根据其准确性加以调整。深度学习并不依赖人工审查。深度学习算法使用自己的神经网络来检查结果的准确性,然后从中学习。
深度学习算法的神经网络与人脑结构类似,是一种分层的算法结构。神经网络能够在没有工程师提供反馈的情况下,随着时间的推移学会如何更好地完成一项任务。
神经网络开发的两个主要阶段是训练和推理。训练是初始阶段,在此阶段对数据集提供深度学习算法并解析该数据集代表的内容。然后,工程师向神经网络提供有关解读准确性的反馈,以便进行相应调整。该过程可能会有多次迭代。推理是指在神经网络部署完毕后,用其处理之前从未见过的数据集并对数据所代表的内容进行准确预测。
机器学习有哪些优势?
机器学习像一剂催化剂,有助于打造强大、灵活且恢复能力强的企业。明智的组织选择 ML 来实现自上而下的增长,并提高员工生产力和客户满意度。
很多企业在几个 ML 用例中取得了成功,但这一旅程才刚刚开始。用 ML 进行试验只是第一步,接下来还需要将 ML 模型整合到业务应用和流程中,以便在整个企业范围内进行扩展。
机器学习用例
在各个垂直行业,ML 技术都得到了成功部署,为组织带来了实实在在的成果。
金融服务业
例如,在金融服务领域,银行使用可以总览大量相互关联指标的 ML 预测模型,更好地了解和满足客户需求。ML 预测模型还可用于发现和限制风险。银行可以识别网络威胁、跟踪和记录客户欺诈行为,并更好地预测新产品的风险。ML 在银行业的前三大用例为欺诈检测和防范、个人理财顾问服务,以及信用评分和贷款分析。
制造业
在制造业,公司积极拥抱自动化技术,现已开始对设备和流程进行监测。他们使用 ML 建模来重新组织和优化生产,这样既能响应当前的业务需求,又能为未来可能出现的变化做好准备。最终的结果便是使制造过程既敏捷又富有灵活性。ML 在制造领域的三大主要功能是提高产量、分析根本原因,以及管理供应链和库存。
企业为何使用 MLOps?
许多组织缺乏所需的技能、流程和工具,难以完成这一企业层级的整合。为了成功地大规模实施 ML,公司需要考虑 ML Ops 方面的投入,其中包括简化和标准化 ML 生命周期每个阶段(从模型开发到实施)所需的流程、工具和技术。ML Ops 的新兴应用领域旨在提升 ML 生命周期的敏捷性和速度。这与 DevOps 在软件开发生命周期中的用途相似。
要从 ML 实验推进到 ML 实施,企业离不开强大的 ML Ops 流程。ML Ops 不仅可以为组织带来竞争优势,还使其能够实施其他机器学习用例。此外,还会带来其他益处,包括培养技能更强的专业人才、打造更利于协作的环境、提升盈利能力、优化客户体验,以及实现收入增长。
HPE 和机器学习
HPE 可提供机器学习解决方案来帮助您理清错综复杂的问题并打造从核心企业数据中心到智能边缘的端到端解决方案。
HPE Apollo Gen10 系统提供了企业深度学习与机器学习平台 ,配有行业领先的加速器,可提供卓越的性能,从而全面提升智能技术的速度。
HPE Ezmeral 软件平台旨在帮助企业加速整个组织的数字化转型 。借助此平台,企业能够提高敏捷性和效率、获取深刻洞见并实现业务创新。完整的产品组合涵盖了人工智能、机器学习和数据分析,以及容器编排和管理、成本控制、IT 自动化、AI 驱动型运维以及安全防护。
HPE Ezmeral ML Ops 软件解决方案可扩展 HPE Ezmeral Container Platform 的功能,以此为整个机器学习生命周期提供支持 ,并实施 DevOps 般的流程来规范机器学习工作流程。
为了帮助企业快速突破 ML 概念验证阶段的瓶颈并进入正式运行阶段,HPE Pointnext Advisory and Professional Services 提供了交付 ML 项目所需的专业知识和服务 。HPE Pointnext 专家拥有全球范围内成百上千个研讨会和项目的交付经验,因此他们的技能和专业知识可加速项目部署,将用时从数年缩短为几个月,甚至几周。