作者都是各自领域经过审查的专家,并撰写他们有经验的主题. 我们所有的内容都经过同行评审,并由同一领域的Toptal专家验证.
Audrius Zujus的头像

Audrius Zujus

Audrius是一位经验丰富的产品和项目经理,曾与Uber合作, Deloitte, Rolls-Royce, Deutsche Bank, Warner Bros.

Previously At

Deloitte Digital
Share

听听这篇文章的音频版本

As a project manager, 在您的职业生涯中,您可能参与过许多IT项目, 跨越复杂的整体结构到SaaS web应用程序. 然而,随着人工智能的进步 machine learning不同需求、不同问题的新项目层出不穷.

随着这些技术的兴起, 对于技术项目经理来说,与这些概念建立健康的关系正变得越来越不重要. According to Gartner到2020年,人工智能将产生2.300万个工作岗位,超过了去年的110万个.800万美元,这将产生2美元.到2021年,商业价值将达到9万亿美元. Google’s CEO goes so far as to say “人工智能是人类正在研究的最重要的事情之一. 它比电或火更深刻.”

人工智能的应用 disrupting industries 从金融到医疗保健, 能够抓住这个机会的技术项目经理必须了解人工智能项目管理的独特之处,以及他们如何为不断变化的环境做好最好的准备.

Theory

这一切意味着:AI vs. ML

在深入研究之前,有必要对AI有一个坚实的理解. 有许多不同的术语经常互换使用, 让我们首先深入了解最常见的定义.

人工智能、机器学习和深度学习的发展

人工智能、机器学习和深度学习的发展

人工智能(AI)

AI 例如,计算机科学的一个领域是否致力于解决需要人类智慧才能解决的问题, pattern recognition, learning, and generalization.

近年来,这个术语被过度用于表示人工智能(AGI),它指的是具有自我意识的计算机程序, 具有真实的认知能力. Nevertheless, 在可预见的未来,大多数人工智能系统将是计算机科学家所说的“狭义人工智能”,这意味着它们将被设计成能够很好地执行一项认知任务, 而不是真正为自己“思考”.

Machine Learning (ML)

Machine learning 是人工智能的一个子集,它使用统计技术赋予计算机从数据中学习的能力,而无需明确编程.

近年来,由于一些机器学习方法在人工智能领域取得了成功,许多公司将AI和ML互换使用. 需要明确的是,机器学习指的是程序能够 learn,而人工智能则包括学习和其他功能.

了解更多关于神经网络和深度学习的知识, 请参阅本文末尾的附录.

一个重要的区别:人工智能vs. Standard Algorithms

人工智能的一个关键特点是,它的算法使用大量数据来调整其内部结构,以便, 当出现新数据时, 根据前面给出的数据进行分类. 我们称之为从数据中“学习”,而不是根据代码中严格编写的分类指令进行操作.

想象一下,我们想要编写一个程序来区分汽车和卡车. 在传统的编程方法中, 我们会试着写一个程序来寻找特定的, indicative features, 比如更大的轮子或者更长的车身. 我们必须专门编写代码来定义这些特征的外观以及它们在照片中的位置. 编写这样一个程序并使其可靠地工作是非常困难的, 可能产生假阳性和假阴性, 到最后可能根本无法使用的程度.

这就是人工智能算法变得非常有用的地方. 一旦人工智能算法被训练出来, 我们可以举很多例子, 并调整其内部结构,开始检测与图片成功分类相关的特征,而不是依赖静态, 规定的特性定义.

项目管理中的人工智能

Data Is King

人类并不擅长处理大量数据, 而我们所能获得的庞大数据量有时使我们无法直接使用它. 这就是人工智能系统的用武之地.

关于人工智能系统的一个非常核心的概念是,它们的预测只有和它们的数据一样好. For example, 一个拥有100万个数据点的算法将胜过拥有10个数据点的算法,000 data points. Moreover, BCG reports that “许多公司不理解数据和培训对人工智能成功的重要性. Frequently, 在构建智能系统时,更好的数据比更好的裸算法更为重要, 就像在人类身上,后天的培养往往胜过天性一样.”

有了这些知识, 准备和清理数据将在项目过程中变得更加普遍. 这一步通常是构建人工智能系统中最耗费人力的部分, 由于大多数企业没有以正确的格式准备好数据,因此, 数据分析师可能需要一段时间才能完成这一重要步骤.

数据准备是人工智能项目管理的关键步骤.

数据准备是人工智能项目管理的关键步骤.

Additionally, 数据基础设施设置和数据清理工作比通常的软件开发要线性得多,可能需要不同的项目管理方法.

To summarize, 与构建机器学习模型来运行数据相比,构建正确的数据基础设施和准备要使用的数据可能需要更长的时间. 这是人工智能项目经理在管理团队并考虑人工智能范围和项目评估时需要考虑的一个重要问题.

此外,数据集应该不断地更新新数据. 对独特数据集的访问可能是定义哪个ML产品最成功的主要决定因素. 为了达到机器学习项目的最佳性能,及时了解这一点至关重要, even post-launch.

AI开发生命周期

你们中的大多数人将熟悉标准系统开发生命周期(SDLC)以及不同的方法和技术是如何塑造它的. 值得注意的是,人工智能的发展将给该领域带来一系列新的挑战. 我们可以将AI开发生命周期分成以下几个步骤:构思和数据发现, prioritizing MVPs, 并将mvp开发成成熟的产品.

构思和数据发现

在这第一阶段,重点应该放在 两个关键的事情:ML产品的最终用户和可用的数据池.

通过从两个独立的方面来解决问题, 这些技术可以帮助项目经理快速缩小公司内可用的机器学习产品机会. During this phase, 顶级项目经理可以从他们的机器学习领域的知识中受益,以便更好地理解某些问题可以解决的难度. 机器学习领域的发展非常快, 研究的新进展使一些难题变得容易得多.

如前所述,一旦发现数据,就需要对其进行清理和准备. 这个特定的任务通常是按线性步骤完成的, 不适合典型的项目方法,如敏捷或瀑布, although they can be forced into sprints. Typically, 数据清理是通过逐步增加数据集的大小并与其他开发工作并行地准备数据集来迭代地完成的.

确定最小可行产品(MVP)的优先级

事实是,最好有一个小型产品的工作原型, 而不是一个未完成的大的, 仍然站在这里,展示机器学习产品. 新的ML mvp应该根据交付速度和他们对公司的价值来优先考虑. 如果你能交付产品, 即使是那些可能更小的, with speed, it can be a good, 整个团队的快速胜利—您应该优先考虑这些产品.

以经典的敏捷方式准备这些mvp是一个好主意, 开发团队应该专注于基于数据团队独立准备的不断改进的数据集来交付ML模型. 这里有一个重要的区别 数据团队不一定需要通过与构建MVP的团队相同的Sprint结构来工作.

从MVP到成熟产品

这一步是数据基础设施成为关键的地方. 如果您的机器学习产品需要来自全球的高频API访问, 那么您现在应该考虑如何扩展基础设施以支持ML产品.

在这里,必须仔细评估ML模块的更改,以避免破坏当前产品的性能. 因此,用新的算法或数据集重新训练ML模块并不总是带来线性的性能提高, 在实际部署之前,需要进行大量的测试. ML模块测试的边缘情况和 潜在生成对抗网络(GAN)攻击 还在婴儿期, 但这绝对是项目经理在运行实时ML产品时要牢记的事情.

Key Roles Within the AI Development Lifecycle

开发机器学习应用程序的大量数据需求为人工智能产品的SDLC带来了新的角色. 成为机器学习应用领域的优秀项目经理, 你必须非常熟悉以下三个角色:数据科学家, data engineers, 基础设施工程师. 尽管他们有时会用其他头衔来掩饰, 包括机器学习工程师, 机器学习基础设施工程师, 或者机器学习科学家, 对这些核心位置及其对机器学习开发过程的影响有一个深刻的理解是很重要的.

技术项目经理应该熟悉的三个关键角色:数据科学家, data engineer, 基础设施工程师

技术项目经理应该熟悉的三个关键角色:数据科学家, data engineer, 基础设施工程师

Data Scientist

数据科学家是建立机器学习模型的人. 他们基于对应用统计学的深刻理解来综合各种想法, machine learning, 和分析,然后运用他们的见解来解决实际的商业问题.

数据科学家有时被视为数据分析师的高级版本. Data scientists, however, 通常有较强的编程能力, 是否能够自如地处理跨数据中心的大量数据, 并且拥有机器学习方面的专业知识.

他们还应该对数据基础设施和大数据挖掘有很好的理解,并能够自己进行探索性练习, 从数据中寻找最初的线索和见解.

Fundamental Skills: Python, R, Scala, Apache Spark, Hadoop, Machine Learning, Deep Learning, Statistics, Data Science, Jupyter, RStudio

Data Engineer

数据工程师是专门构建机器学习产品运行所需的软件和基础设施的软件工程师. 他们倾向于关注总体架构和, 虽然他们可能不是机器学习方面的专家, analytics, or big data, 他们应该对这些主题有很好的理解,以便测试他们的软件和基础设施. 这对于使数据科学家创建的机器学习模型能够成功实现并暴露于现实世界是必要的.

Fundamental Skills: Python, Hadoop, MapReduce, Hive, Pig, Data Streaming, NoSQL, SQL, Programming, DashDB, MySQL, MongoDB, Cassandra

基础架构工程师

基础设施工程师负责机器学习产品的骨干:基础设施层. 虽然数据工程师可能会构建其中的一些基础设施, 它通常构建在基础设施团队准备并同意的层的顶部.

基础设施工程师可能跨多个ML团队工作, 目标是创建一个可扩展的高效环境,在这个环境中,机器学习应用程序可以扩展到为数百万用户提供服务. 基础设施工程师不仅要负责平台的软件级别,还要与数据中心合作伙伴协调,以确保一切顺利运行, 从托管数据的地理位置到硬件. 随着这些方面对ML项目越来越重要, 基础设施工程师在人工智能驱动的公司中变得越来越重要.

Fundamental Skills: Kubernetes, Mesos, EKS, GKE, Hadoop, Spark, HDFS, CEPH, AWS, Cloud Computing, Data Center Operations, 端到端计算基础架构, IT Infrastructure, Service Management

今天的共同挑战

随着基于AI和ml的产品的出现, 项目经理可能会遇到熟悉的和完全陌生的挑战. 顶尖的AI和ML项目经理在整个过程中都敏锐地意识到这些潜在的问题, 从规划项目到完成.

Reality Check

尽管人工智能很受欢迎,前景广阔, 你试图解决的问题很有可能不需要复杂的AI解决方案.

许多预测问题可以使用更简单的方法来解决, in some cases, 更可靠的统计回归模型. 对于PM来说,在开始一个项目之前做一个完整的检查,以确保问题确实需要机器学习,这是非常重要的.

有时,明智的做法是从一个更简单的统计模型开始,并与基于机器学习的解决方案并行. For example, 如果你正在构建一个推荐引擎, 从一个更简单、开发周期更快的解决方案开始可能是明智的, 为后续的ML模型提供了一个良好的基线.

AI Scope Creep

当在项目管理中使用机器学习时, 范围蔓延可能源于同时做太多的事情,并且低估了准备数据所需的努力.

解决第一个问题, 管理利益相关者,让他们明白,最好从快速的胜利开始,而不是宏伟的计划. 在整个项目中,在您构建和测试的过程中,不断地交流这种方法.

从易于定义和测试的小型原子特性开始. 如果你发现自己有一个复杂的任务, 试着把它分解成更简单的任务,这些任务可以很好地代替你的主要任务. 沟通这些任务的目的应该是很容易的.

For example, 如果你试图预测用户什么时候会点击特定的广告, 您可以首先尝试预测用户是否完全放弃该AD. In this approach, 该问题得到了简化,并且可以更好地适应和预测当前的ML模型. Facebook has made 这是一个深入探讨这个话题的伟大系列,更多地关注从模型开始到交付的ML管道.

要解决造成范围蔓延的第二个因素, 确保你有能力准备数据来支持你的ML项目. 简单地假设您拥有所需的数据, in the format needed, 项目经理在刚开始ML项目时最常犯的错误是什么. 数据准备和清理通常是ML项目过程中较长的部分, 管理这个步骤是必要的. 确保你的数据科学家能够访问正确的数据,并且能够检查数据的质量和有效性 before 提出他们想要构建的ML特性.

准备在整个项目中持续进行数据标记和清理, 不仅仅是作为发起者, 因为项目总是可以从更好和更多的数据中受益. 这一步并不是最吸引人的任务, 把这项工作分成几个sprint,这样你的数据团队就可以感受到他们努力的进展,而不是面对没完没了的订单积压.

有时,公司将数据标签外包给第三方. 虽然这可以帮助节省时间和前期成本, 它也可能产生不可靠的数据, 最终会阻碍机器学习模型的成功. To avoid this, 使用多重重叠技术, 每个数据都由多方检查,只有在结果匹配时才使用.

When project planning, 为数据团队提供足够的时间进行调整,以防您的标签要求在项目中期发生变化,并且需要重新贴标签.

Finally, 检查您的数据是否可以轻松地与现有的ML方法一起使用,而不是发明新的ML方法, 因为从零开始可以大大增加项目的时间和范围. 请注意,如果您正在尝试解决尚未解决的ML问题, 你很有可能会失败. 尽管机器学习取得了成功,发表了大量的研究论文, 解决机器学习问题可能是一项非常困难的工作. 从一个有很多好的例子和算法的机器学习领域开始,尝试改进它,而不是试图发明一些新的东西,这总是最容易的.

机器学习、期望和用户体验

每个PM都应该准备好考虑他们正在创建的人工智能产品的用户体验,以及如何最好地管理构建这些产品的团队. b谷歌写了一篇很棒的文章 他们对UX和AI的思考方式,重点是人类互动.

如果您的机器学习产品必须与操作员交互,甚至被操作员取代,这一点尤为重要. 这种设计应该给系统的操作人员和用户增加最小的必要压力. For example, 聊天机器人通常基于机器学习, 但它们可以被人类操作员无缝地接管.

还有一种可能性是,利益相关者对机器学习产品的期望远远超过了它们所能提供的. 这通常是媒体在报道人工智能产品时炒作的结果, and thus, 对于项目经理来说,设定合理的期望是很重要的.

一定要解释人工智能工具到底是什么,可以为你的利益相关者实现什么,这样你就可以在他们测试工具之前很好地管理他们的期望. Good UX is great, 但它无法为抱有不切实际期望的用户提供价值, 因此,对于任何参与其中的项目经理来说,管理这些内容并教育他们的利益相关者关于人工智能及其现实能力是至关重要的.

ML中的质量保证(QA)和测试实践

目前形式的人工智能是一个相对较新的领域. 以前从来没有这么多的应用程序使用深度学习来实现他们的目标. 这些新的发展带来了自己的一系列挑战,特别是在测试方面.

虽然测试具有由人编写的明确“规则集”的标准软件相对容易, 详尽地测试机器学习模型要困难得多, 尤其是那些使用神经网络构建的. Currently, 大多数ML模型都是由数据科学家自己测试的, 然而,标准QA团队几乎没有一致同意的测试方法来确保ML产品不会以意想不到的方式失败.

用新的方法来处理已知模型的结果,比如这些 GAN attacks,全面的模型测试将变得越来越重要. 这将成为许多ML项目的优先事项, 在未来的几年里,我们将看到更多的机器学习模型的“集成”类型测试. 对于大多数简单的项目, 目前这可能还不是一个切实的问题, 但如果你正在构建一个关键任务的机器学习产品,记住这一点很重要.

ML模型盗窃和剽窃

Since this Wired article 发表,论文原文在 2016年USENIX安全会议,很明显存在抄袭实时ML模型的可能性.

要做到这一点仍然相当困难, 但如果你有一个通过公开可用API运行的模型, 意识到这种可能性是很重要的. In theory, 拥有大量访问权限的一方可以根据您的网络训练自己的网络,并有效地复制您的预测能力.

就可能性而言,这仍然相当有限, 但是,如果这是您的项目所关心的问题,请务必与您的团队一起制定针对可能的攻击的预防策略.

Talent Shortages

随着目前对世界级人工智能专家的需求, 争夺合适人才的竞争非常激烈. In fact, 据《欧博体育app下载》报道,世界级的人工智能专家每年可以赚到100万美元 为硅谷的科技巨头工作. As a PM, 同时寻找人工智能专家加入你的团队, 注意这些动态,因为它们可能会影响你的招聘周期, budget, 或者工作质量.

这种短缺不仅局限于创造新深度学习算法的创新思维,也适用于高质量的数据工程师和科学家.

许多最有才华的人参加机器学习竞赛,比如 Kaggle 在那里,他们可以因为解决困难的机器学习问题而赢得10万美元以上的奖金. 如果很难在当地聘请机器学习专家,那么寻找开箱即用的解决方案是明智的,比如 远程雇佣专业承包商 or running your own Kaggle 竞争最难的机器学习问题.

人工智能在项目管理中的法律和道德挑战是双重的.

第一组挑战来自用于训练机器学习模型的数据. 了解您使用的数据的来源是至关重要的, 特别是你是否有权使用它以及允许你使用这些数据的许可证.

在部署基于数据训练的模型之前,咨询您的律师来解决此类问题总是很重要的,因为您可能没有正确类型的许可. 因为这是一个相对较新的领域, 这些问题的许多答案都不清楚, 但是pm应该确保他们的团队只使用他们有权使用的数据集.

Here is a good 公开可用的数据集列表 训练你的机器学习算法.

第二组挑战来自于确保你的系统不会产生系统性偏见. There have been 这样的问题不胜枚举 in recent years, 一家相机公司不得不承认,它的微笑识别技术只能检测到特定种族的人,因为它只接受了包含该种族面孔的数据的训练. 另一个例子来自一家大型软件公司, 在学习了几天后就不得不撤回他们的自学Twitter机器人, 由于一群网络喷子的共同努力,它产生了种族歧视和重复疯狂的阴谋.

这些问题的程度可以是轻微的,也可以是破坏项目的, 所以在开发至关重要的系统时, 项目经理应该确保他们考虑到这些可能性,并尽可能早地预防它们.

良好的基础造就坚固的结构

信息管理的进步,导致了人工智能.

信息管理的进步,导致了人工智能.

In summary, 即将到来的人工智能革命带来了一系列有趣的问题, 动态项目通常伴随着修改后的开发过程, 不同的团队原型, and new challenges.

顶级技术项目经理 不仅对AI基础知识有很好的理解,而且对每个项目步骤的难度以及与他们的团队真正可能创造的东西有直觉. 由于人工智能不是现成的商业产品(COTS) solution, 即使是选择购买某些机器学习产品的公司,也必须在测试新事物和正确管理数据和基础设施方面进行投资.

很明显,随着人工智能的出现,软件产品的类型和创造它们的过程正在发生变化. 能够掌握并执行这些新概念的项目经理将成为创造未来机器学习产品的重要参与者.

作者提供的额外材料

附加理论:dl和nn

除了更常见的人工智能(AI)和机器学习(ML)之外,, 项目经理可以从进一步区分深度学习(DL)和神经网络(NN)中受益。.

Deep Learning (DL)

Deep learning 是基于学习数据表示的更广泛的机器学习方法家族的一部分吗, 与经典的特定任务算法相反.

大多数现代深度学习模型都是基于人工神经网络, 尽管他们可以使用各种其他方法.

Neural Networks (NN)

Neural networks 是受生物学启发的, 连接的数学结构,使人工智能系统能够从呈现给它们的数据中学习.

我们可以把这些网络想象成数百万个打开或关闭的小门, 取决于我们的数据输入. 这些技术的成功得益于近年来GPU计算能力的增长, 让我们能够快速调整神经网络中的更多“小门”.

神经网络图

神经网络图

神经网络有多种类型, 每一种都有其特定的用例和复杂程度. 你可能会看到像CNN(卷积神经网络)或RNN(循环神经网络)这样的术语用来描述不同类型的神经网络架构.

为了更好地理解它们的外观和功能,点击这里 是一个伟大的3D可视化 神经网络活跃时的“样子”.

有兴趣了解更多关于人工智能的知识?

If, after reading this, 你会想要更深入地探索这个主题, 我建议你看看这些资源:

理解神经网络

如果你想更深入地了解神经网络的工作原理, 我建议你退房 神经网络上的3Blue1Brown系列 on YouTube. 在我看来,这是迄今为止对神经网络最深入的解释. 它以简单的术语交付,不需要事先的知识.

了解最新的人工智能新闻

如果你想跟上人工智能技术的最新进展,而不想花几个小时阅读学术论文, 我推荐以下方法 Two Minute Papers. 这个频道每周提供两分钟关于最令人印象深刻的新人工智能技术及其实现的更新.

学习ML开发的基础知识

如果你想自己动手写代码的话, 你有一些基本的Python技能, then you can check out Fast.ai. 他们的课程允许任何具有基本开发技能的人开始实验和玩神经网络.

机器学习基础

这个建议是为那些想要从头开始,并努力达到理解和实现机器学习的顶峰的人提供的.

由现在的传奇人物安德鲁·吴恩达(Andrew Ng)创建,他创办了Coursera with this course, 它确实需要大量的时间投资——至少6个月——但它可以是一个非常有效的度过周六的方式.


注意:关键术语的定义改编自维基百科.

了解基本知识

  • 机器学习等同于人工智能吗?

    不,尽管它们经常互换使用, 机器学习是人工智能的一个子集,其具体特征是程序无需明确编程即可学习.

  • 简单来说,什么是深度学习?

    深度学习可以被归类为一类基于学习数据表示的机器学习方法. 它们通常基于人工神经网络,尽管它们可以使用各种其他方法.

  • 你说的神经网络是什么意思?

    神经网络是一种数学结构,它使人工智能系统能够从提供的数据中“学习”. 我们可以把这些网络想象成数百万个打开或关闭的小门, 取决于我们的数据输入.

就这一主题咨询作者或专家.
Schedule a call
Audrius Zujus的头像
Audrius Zujus

Located in Vilnius, Lithuania

Member since July 12, 2018

About the author

Audrius是一位经验丰富的产品和项目经理,曾与Uber合作, Deloitte, Rolls-Royce, Deutsche Bank, Warner Bros.

Toptal作者都是各自领域经过审查的专家,并撰写他们有经验的主题. 我们所有的内容都经过同行评审,并由同一领域的Toptal专家验证.

Previously At

Deloitte Digital

世界级的文章,每周发一次.

订阅意味着同意我们的 privacy policy

世界级的文章,每周发一次.

订阅意味着同意我们的 privacy policy

欧博体育app下载

Join the Toptal® community.