【机器学习】深度学习与经典机器学习的优劣势一览

尽管深度学习具有如此高的性能，但使用经典的机器学习和一些特定的情况下，使用线性回归或决策树而不是大型深度网络会更好。在过去几年中，深度学习已成为大多数AI类型问题的首选技...

产业智能官

17270人浏览 · 2018-04-22 00:00:00

产业智能官 · 2018-04-22 00:00:00 发布

尽管深度学习具有如此高的性能，但使用经典的机器学习和一些特定的情况下，使用线性回归或决策树而不是大型深度网络会更好。

在过去几年中，深度学习已成为大多数AI类型问题的首选技术，掩盖了经典的机器学习。其中明显的原因是深度学习已经在包括言语、自然语言、视觉和玩游戏在内的各种各样的任务中多次表现出优异的表现。然而，尽管深度学习具有如此高的性能，但使用经典的机器学习和一些特定的情况下，使用线性回归或决策树而不是大型深度网络会更好。

在这篇文章中，我们将比较深度学习与传统的机器学习技术。在这样做的过程中，我们将找出两种技术的优点和缺点，以及它们在哪里，如何获得最佳的使用。

深度学习>经典机器学习

一流的表现：深度网络已经实现了远远超过传统ML方法的精确度，包括语音、自然语言、视觉和玩游戏等许多领域。在许多任务中，经典ML甚至无法竞争。例如，下图显示了ImageNet数据集上不同方法的图像分类准确性，蓝色表示经典ML方法，红色表示深度卷积神经网络(CNN)方法。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

使用数据进行有效缩放：与传统ML算法相比，深度网络使用更多的数据可以更好地扩展。下面的图表是一个简单而有效的例子。很多时候，通过深层网络来提高准确性的最佳建议就是使用更多的数据!使用经典的ML算法，这种快速简单的修复方法甚至几乎没有效果，并且通常需要更复杂的方法来提高准确性。

640?wx_fmt=png

不需要特征工程：经典的ML算法通常需要复杂的特征工程。首先在数据集上执行深度探索性数据分析，然后做一个简单的降低维数的处理。最后，必须仔细选择最佳功能以传递给ML算法。当使用深度网络时，不需要这样做，因为只需将数据直接传递到网络，通常就可以实现良好的性能。这完全消除了整个过程的大型和具有挑战性的特征工程阶段。

适应性强，易于转换：与传统的ML算法相比，深度学习技术可以更容易地适应不同的领域和应用。首先，迁移学习使得预先训练的深度网络适用于同一领域内的不同应用程序是有效的。

例如，在计算机视觉中，预先训练的图像分类网络通常用作对象检测和分割网络的特征提取前端。将这些预先训练的网络用作前端，可以减轻整个模型的训练，并且通常有助于在更短的时间内实现更高的性能。此外，不同领域使用的深度学习的基本思想和技术往往是相当可转换的。

例如，一旦了解了语音识别领域的基础深度学习理论，那么学习如何将深度网络应用于自然语言处理并不是太具有挑战性，因为基准知识非常相似。对于经典ML来说，情况并非如此，因为构建高性能ML模型需要特定领域和特定应用的ML技术和特征工程。对于不同的领域和应用而言，经典ML的知识库是非常不同的，并且通常需要在每个单独的区域内进行广泛的专业研究。

经典机器学习>深度学习

对小数据更好：为了实现高性能，深层网络需要非常大的数据集。之前提到的预先训练过的网络在120万张图像上进行了训练。对于许多应用来说，这样的大数据集并不容易获得，并且花费昂贵且耗时。对于较小的数据集，传统的ML算法通常优于深度网络。

财务和计算都便宜：深度网络需要高端GPU在大量数据的合理时间内进行训练。这些GPU非常昂贵，但是如果没有他们训练深层网络来实现高性能，这在实际上并不可行。要有效使用这样的高端GPU，还需要快速的CPU、SSD存储以及快速和大容量的RAM。传统的ML算法只需要一个体面的CPU就可以训练得很好，而不需要最好的硬件。由于它们在计算上并不昂贵，因此可以更快地迭代，并在更短的时间内尝试许多不同的技术。

更容易理解：由于传统ML中涉及直接特征工程，这些算法很容易解释和理解。此外，调整超参数并更改模型设计更加简单，因为我们对数据和底层算法都有了更全面的了解。另一方面，深层网络是“黑匣子”型，即使现在研究人员也不能完全了解深层网络的“内部”。由于缺乏理论基础、超参数和网络设计也是一个相当大的挑战。

(来源：IT168）

九个机器学习的迷思

每个组织都有可能以这样或那样的方式利用机器学习，因为42%的高管最近告诉埃森哲，他们预计人工智能将在2021年之前成为他们的创新的后盾。

当技术像机器学习一样被炒得沸沸扬扬时，就会有许多误解产生。以下是关于机器学习可以提供，或不能提供的清晰视角。

640?wx_fmt=jpeg

机器学习被证明是非常有用的，人们很容易假设它可以解决所有问题并适用于所有情况。和其它工具一样，机器学习在特定领域也很有用，特别是对于一直困扰着你，但你永远不会雇用足够的人来解决的问题，或者对于有明确目标，但没有明显的实现方法的问题。

尽管如此，每个组织都有可能以这样或那样的方式利用机器学习，因为42%的高管最近告诉埃森哲，他们预计人工智能将在2021年之前成为他们的创新的后盾。但是，只要你的视野能绕过炒作，并避免下面这些常见的误解你会得到更好的成果——通过了解机器学习可以实现和不能实现的机制。

>>>>

迷思：机器学习就是人工智能

机器学习和人工智能经常被用作同义词，但机器学习是最成功地从研究实验室走出来，迈向现实世界的技术，而人工智能则是一个广泛的领域，它涵盖计算机视觉、机器人技术和自然语言处理等领域，以及不涉及机器学习的约束满足等方法。不妨把它看成是使机器变得智能的一切东西。这些都不是那种一般人所害怕的通用“人工智能”——可以与人竞争甚至攻击人类的东西。

留意这些流行语并做到准确无误。机器学习是关于学习模式和预测大数据集的结果;结果可能看起来很“智能”，但其本质事关以前所未有的速度和规模应用统计数据。

>>>>

迷思：是数据就有用

机器学习需要数据，但并非所有的数据都可用于机器学习。为了训练你的系统，你需要有代表性的数据，以涵盖机器学习系统需要处理的模式和结果。你需要不含与模式不相关的数据(例如显示这些内容的照片——所有站立的男士和所有坐着的女士，或者所有车辆都在车库中，所有自行车都在泥泞的场地中)，因为你所创建的机器学习模型将反映那些过于具体的模式，并在你使用的数据中查找它们。所有用于训练的数据都需要注上正确的标记，并注上上与你要问机器学习系统的问题相匹配的功能，这需要做很多工作。

不要以为你已经拥有的数据是干净，清晰，有代表性或易于标注的。

>>>>

迷思：你总是需要很多数据

最近在图像识别、机器阅读理解、语言翻译和其它领域取得的主要进展已经发生了，因为有了更好的工具，可以并行处理大量数据的GPU等计算硬件，以及大量已标记的数据集，包括ImageNet和斯坦福问题回答数据集(Stanford Question Answering Dataset)。但是，由于有一种称为迁移学习(transfer learning)的技巧，你并不总是需要大量数据才能在特定区域获得良好结果。相反，你可以教机器学习系统如何使用一个大型数据集进行学习，然后将其迁移到属于你自己的，更小的培训数据集的学习能力。这就是Salesforce和Microsoft Azure的自定义视觉API的工作原理：你只需要30到50张图像即可显示想要分类的内容，以获得良好结果。

迁移学习可让你使用相对较少的数据为你自己的问题定制预先训练好的系统。

>>>>

迷思：是人都能创建机器学习系统

市面上有很多用于机器学习的开源工具和框架，以及无数课程向你展示如何使用它们。但机器学习仍然是一项专门技术;你要知道如何准备数据并对其进行分区以进行训练和测试，你要知道如何选择最佳算法以及使用何种启发式算法，以及如何将其转化为可靠的生产系统。你还要监视系统，以确保结果始终保持相关性;无论你的市场变革还是你的机器学习系统是否好得使你最终会遇到不同的客户群，你需要继续检验该模型是否符合你的问题。

要彻底把机器学习弄明白是需要经验;如果你刚刚开始使用API，则可以使用API预先训练模型，在获取或聘用数据科学和机器学习专业知识来构建定制系统时，你可以从代码中调用该模型。

>>>>

迷思：数据中的所有模式都是有用的

哮喘患者，胸痛或心脏病患者以及任何期颐之年的人的肺炎的存活率远高于你的期望。实际上，好到只要有一个简单的用来将入院程序自动化的机器学习系统就可以让他们安然无恙地回家(一种基于规则的，和神经网络一样受训于相同的数据的系统就能做到这个)。不幸的是，他们有如此高的存活率的原因是，他们总是立即入院，因为肺炎对他们来说非常危险。

系统见证了数据中的有效的模式;这对于选择让谁入院来说并不是一种有用的模式(尽管它可以帮助保险公司预测治疗费用)。更危险的是，除非你已经了解它们，否则你不会知道这些无用的反模式出现在你的数据集中。

在其它情况下，一个系统可以学习一种有效的模式(比如争议颇多的面部识别系统，它可以准确地从自拍照中预测性取向)，然而它没有清晰明确的解释，所以没有用(在这种情况下，照片看起来似乎显示了姿势这样的社交线索而不是天生的任何东西)。

“黑匣子”模型是高效的，但它没有澄清他们到底学到了什么模式。像广义加性模型(Generalized Additive Model)这样的更透明，可理解的算法可以更清楚地了解模型的学习内容，从而让你决定它是否适用于部署。

>>>>

迷思：强化学习随时可以使用

几乎所有当今使用的机器学习系统都使用监督学习;在大多数情况下，他们接受了人类参与准备的明确标记的数据集的培训。管护这些数据集需要时间和精力，所以人们对非监督形式的学习，特别是强化学习(RL)有很大的兴趣——在这里，艾真体(agent)通过试错法学习，通过与环境交互并因为正确的行为而获得奖励。DeepMind的AlphaGo系统使用强化学习与监督式学习一同战胜了最高段位的围棋选手，而由卡内基梅隆大学的团队建立的系统Libratus使用强化学习和另外两种人工智能技术在无限德州扑克击败了一部分世界上最好的扑克玩家(具有漫长而复杂的投注策略)。研究人员正在用机器学习对一切进行强化试验——从机器人技术到安全软件的测试。

强化学习在研究领域之外并不常见。谷歌使用DeepMind学习更高效地降低数据中心的温度，从而节省数据中心的电力;微软使用强化学习的一个特别版本，称为上下文赌博机(contextual bandit)，它为MSN.com的访客定制个性化的新闻头条。问题在于很少有现实环境有可轻易发现的奖励和即时反馈，当艾真体在发生任何事情之前采取多项行动时，分配奖励就尤其棘手了。

>>>>

迷思：机器学习没有偏差

由于机器学习从数据中学习，它将复制数据集中的任何偏差。搜寻首席执行官的图像可能会显示白人男性首席执行官的照片，因为有更多的首席执行官通常是白人男性。但事实证明，机器学习也会放大偏差。

经常用于训练图像识别系统的COCO数据集具有男性和女性的照片;但更多的女性是在厨房设备旁边得到展示，更多的男性则和电脑键盘和鼠标或网球拍和滑雪板一起得到展示。在COCO上训练系统，它会比原始照片中的统计数据更强烈地把男性和计算机硬件联系起来。

一个机器学习系统也可能给另一个机器增加偏差。训练这样一个机器学习系统——它具有将单词表征为向量的流行框架——来表示词之间关系的向量，它将学习像“男人之于女人正如计算机程序员之于家庭主妇”或医生之于护士正如老板之于前台那样的刻板印象。如果你使用这样的系统，这个系统把那些具有他和她这样的代词的语言(如英语)翻译成具有中性代词的语言(如芬兰语或土耳其语)，那么“他们是医生”就会变成“他是医生”，“他们是护士”变成“她是护士”。(译注，最后一句话有点费解，但是结合中文网络用语中诞生的新代词TA就不难理解了，因为不确定被指称的人的性别，所以写作TA，而不是他或她，相当于英语的he or she，而有些语言中则用复数形式表示中性性别，如they表示he or she，这里可以理解为they=TA，把这个中文新词套进去就不难理解了)

在购物网站上获得类似的建议是有用的，但在涉及敏感领域时会产生问题，并且会产生反馈回路;如果你加入反对疫苗接种的脸书群，脸书的推荐引擎将建议其它关注阴谋论或者认为地球平的群。

了解机器学习中的偏差问题是很重要的。如果你无法消除训练数据集中的偏差，请使用规则化词对之间的性别关联等技术来减少偏差或将不相关的项目添加到建议中以避免“过滤气泡(filter bubble)”。

>>>>

迷思：机器学习只用于做好事

机器学习为防病毒工具提供了强大的功能，并着眼于全新攻击的行为，以便一出现就能发现它们。但同样地，黑客也正在使用机器学习来研究防病毒工具的防御措施，并通过分析大量公共数据或分析以前的网络钓鱼尝试的成功来大规模地制作有针对性的网络钓鱼攻击。

>>>>

迷思：机器学习会取代人

人们常常担心人工智能会抢走他们的饭碗，它肯定会改变我们所从事的工作以及我们的做事方式;机器学习系统可以改善了效率和合规性并降低了成本。从长远来看，它将在业务中创造新的角色，并使一些当前职位显得过时。但是机器学习所自动化的很多任务在以前根本就不可能做到，要么归咎于复杂性，要么归咎于为规模，例如，你无法聘请足够多的人来查看发布到社交媒体上的每张照片，以查看它是否具有你的品牌特征。

机器学习已经开始做的事情是创造新的商机，例如通过预测性维护改善客户体验，并向业务决策者提供建议和支持。和前几代自动化一样，机器学习可以把员工解放出来，使他们可以尽情地应用自己的专业知识和创造力。

(来源：企业网D1Net）

更侧重于结果的机器智能

在我们目前有关机器学习的所有讨论中，常常会忘记重要的一点：由于真正的机器学习应该是隐藏在后台，所以基于机器学习所采取的行为应该成为技术有效性的关键指标。

更新的机器学习技术、更好的编程技术和更多以数据驱动的技能应该会有所作为，而更好的工具将结果与核心模型相关联也会有所作为。

640?wx_fmt=png

机器智能不仅可以预测故障，而且由此可以防止若干次故障的发生。机器智能不仅可以基于呼叫流量来检测API结构，而且还清楚增加构建了多少个API。机器智能不仅可以识别物体，而且可以防止发生若干次的事故。我想你已明白这一点了。可以说，机器智能的真正衡量标准不是准确性和损失(这是一些深度学习倾向选择的测量标准)，而是其对结果的影响。

我们在从学习模型发展到对结果产生影响的过程中存在两个问题。其一，开发人员所构建的应用程序需要衡量该模型对其结果的影响。其次，他们需要通过轻松整合学习模型来快速构建可影响结果的应用程序。

我们先来看看衡量问题。

假设您正在为一款自动驾驶汽车设计新的视觉模型。唯一重要的事情是，这个更好的模型是否有助于降低事故发生，而并非模型本身是否能够更好或更快地识别物体。

尽管存在很多挑战，但事故毕竟属于偶发事件(这是件好事)，衡量偶发事件的结果有效性并不容易(这是一件坏事)，而且还有存在其他困难。避免事故是一个多变量的问题，而一些变量(比如你的模型)是在你的控制之内。还有其他变量(比如其他车辆的行驶状态、雨天或建筑物)都不在你的可控范围。利用贝叶斯技术、多臂赌博机方法、A/B方法等等，都是可以很好衡量和掌握结果的第一步，但这还不够。

现在让我们来看看第二个问题：构建可进行学习和适应的应用程序，以及如何让衡量问题融入到应用程序中。

构建学习应用程序与构建机器学习模型不同。这是因为应用程序开发领域和机器学习领域不同，很少有跨越这两个领域的工程师。

机器学习领域的人员倾向于以他们认为会影响这些模型的任何输入量来构建模型，并且他们始终需要干净的输入向量(所有输入量必须相同大小、标准化、规范化等)。因此，如果消费倾向模型是建立在过去的顾客行为和产品相似性的基础之上，但是另一个变量(如天气)也会对消费倾向产生影响，那么该模型就不会很理想：它未考虑天气因素，即使应用程序员使用了天气信息(通常只需要一个API)，但并未将其包含到模型中。对机器学习工程师的需求和应用程序开发人员的需求并不完全一致。

事实上，从混乱的现实世界数据转变为模型所需要的干净的输入量，这通常是一条陡峭的曲线。的确，Panda库可使用Python语言编写，但如果应用程序是用Java编写的，那么应用程序开发人员如何正确处理呢?

那么我们如何克服这些挑战?当两个世界相隔甚远时，唯一的解决办法就是让这两个世界相互靠近。

机器学习变得越来越简单，而且这一趋势还会继续。在“学会学习”模型领域，机器学习技术取得了一些非凡的进步 – 开发出可以探索不同空间和不同类型模型的算法。阿尔法狗(AlphaGo)使用了其中的一些技术来赢得人机围棋对抗的比赛。这些机器学习的简单化不仅会鼓励更多人去构建机器学习模型(帮助解决关键技能问题)，还会催生出更容易使用的模型。

但是构建应用程序的范例和应用程序编程人员都需要更加以数据为导向，并且要更注重结果。他们不需要遵循规则进行编程，而是要通过预测进行编程。他们需要更多以API驱动来访问其控制范围之外的系统(无论是从第三方获取天气信息，还是从企业内部其他团队设计的模型所得的预测结果)。他们需要一些有关机器学习的核心教育，以作为从事应用程序员工作的先决条件。

在未来五年，机器学习可能会起到越来越大的作用。但最重要的衡量标准将是机器学习对改善结果所产生的影响。

要做到这一点，应用程序必须吸收机器学习技术。为了实现这一点，机器学习和应用程序之间的缺口必须缩小。更新的机器学习技术、更好的编程技术和更多以数据驱动的技能应该会有所作为，而更好的工具将结果与核心模型相关联也会有所作为。

随着这些方面都协调一致后，拥有机器智能成果的未来将是非常光明的。

(来源：企业网D1Net）

640?wx_fmt=png

人工智能赛博物理操作系统

AI-CPS OS

“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。

AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：

重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？
重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？
重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？

AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：

精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。
高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：

创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

给决策制定者和商业领袖的建议：

超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新
评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开
发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临
较高失业风险的人群；
开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。

产业智能官 AI-CPS

用“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能），在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。

640?wx_fmt=png