什么是TOPS,为什么它对AI很重要?

科尔同学 2024-04-26 16:51:13

简单来说,TOPS(每秒万亿次操作)是一个用来衡量、简化和宣传人工智能个人电脑(AI PC)中神经处理单元(NPU)性能的术语。TOPS并不是一个完美的衡量标准,很多因素会影响到一个系统处理AI任务的能力。尽管如此,它仍然提供了一个快速参考,让你了解NPU的速度以及它与竞争对手的比较。

随着我们进入AI PC的世界,很多新的术语和缩写开始出现,它们解释了新的硬件和能力。

你可能已经注意到,许多现代笔记本电脑——很快台式机也会这样,随着AMD宣布其Ryzen PRO 8000系列——都配备了包含NPU的处理器(CPU),以提高特定于AI的性能。

随着NPU的出现,我们需要一个新的衡量标准来衡量性能,这就是“TOPS”这个术语发挥作用的地方。

什么是TOPS?

TOPS简单地表示一个系统每秒可以执行多少万亿次操作。TOPS可以用来衡量整体系统性能,也可以用于特定硬件。

例如,NVIDIA的RTX 4090显卡可以提供超过1300 TOPS的性能,无论是用于游戏还是加速AI任务。它是市场上最强大的GPU之一,但这个数字仍然有点令人困惑。

英特尔的Core Ultra CPU——该公司首次提供NPU的产品——总体提供34 TOPS(包括CPU、集成GPU和NPU),其中大约10 TOPS专门用于NPU。AMD的Ryzen 8040移动CPU将NPU性能提高到16 TOPS,即将推出的高通骁龙X Elite将搭载一个能够达到45 TOPS的NPU。

预计英特尔、AMD和高通将继续在未来几代产品中提高NPU性能。我们现在知道,英特尔下一代Lunar Lake CPU将提供一个45 TOPS的NPU,AMD表示希望在其下一代移动芯片中将NPU性能提高三倍。

这些芯片制造商都在利用TOPS来宣传他们的产品,主要是为了简化和宣传系统性能,帮助用户了解他们将能得到什么。

为什么用TOPS来衡量AI性能?

TOPS当然并不代表分析NPU性能的全部。就像2020年下一代游戏机即将问世时的TFLOPs热潮一样,TOPS被用来简化和宣传系统性能,让更多的人了解。一个能够提供比竞争对手多两到三倍TOPS的NPU看起来很牛,但这个指标最终缺乏细微差别。

还有很多其他因素会影响NPU的性能。理论上,一个特定的NPU,比如说100 TOPS,可能针对特定任务进行了调整,在这项任务上它可以比另一个为不同任务调整的200 TOPS的NPU表现得更好。

衡量电脑的整体性能通常使用具体的基准测试和抽象的观察。例如,在笔记本电脑评测中,我们使用专门的测试软件提供了大量的数据指标,但也会提供系统在现实世界场景中性能的“感觉”。

目前已经有针对NPU的基准测试,它们是衡量特定任务能力的一个基础。

TOPS也被用来为板载AI工具设置硬件基准。微软已经为在不依赖连接到微软服务器的情况下在本地运行Copilot设置了40 TOPS的要求。

所以,即使TOPS不是判断NPU性能的最佳指标,它确实为买家提供了一个标准,他们可以大致比较AI PC。

我们应该关心TOPS吗?

如果你是普通的电脑用户,处理电子邮件、浏览网页,你可以继续不担心NPUs和衡量它们性能的方法。

如果你正在购买新笔记本电脑,如果你对新兴的AI PC世界感兴趣,你想关注某些可以帮你让生活更轻松的AI工具的要求。可以关心一下NPUs及其以TOPS衡量。

0 阅读:2

科尔同学

简介:IT、数码、网络知识分享交流