对话黄仁勋|H100正全面投产,AI软件是比硬件更广阔的市场

添加时间:2023-03-30 点击次数:285

在人工智能领域,英伟达正展现出更庞大的布局。



高性能GPU 79%的市占率,让市场对英伟达的记忆停留在最强大的GPU供应商上,忽略了它强大的软件能力和布局。



当全世界都在为算力焦虑时,英伟达在GTC大会上给出了解决方案。



英伟达CEO黄仁勋推出了算力平台DGX Cloud,基于这个云平台,用户可以通过网页浏览器直接调用算力,就像点开百度搜索界面一样方便。而DGX超级计算机则是Open AI采用的算力引擎。



这项云服务目前已经和甲骨文达成合作,微软AWS也即将加入托管。黄仁勋表示,未来中国也可以采用这项服务,中国创业公司可以期待阿里、百度、腾讯提供的底层算力服务。



解决了算力问题,黄仁勋又给出了模型的解决方案。



面向那些没有大模型研发能力,又需要行业专属模型的公司,英伟达推出了NVIDIA AI Foundations,内置了语言模型NEMO、视觉模型PICASSO和生物学模型BIONEMO三种模型,企业可以将行业算法加入其中,生成专属于自己的大模型。



在硬件上,英伟达新推出了适合大模型需求的双 GPU产品 H100 NVL,希望更进一步为客户提供算力服务。



提供算力云平台,让高性能算力不再稀缺



算力是当下最抢手的资源。



除了少数云服务厂商和巨头,大模型企业很少有自建设算力中心的能力。



大模型具有改变各行各业的能力,自GPT 3.5以来,谷歌、百度等公司纷纷推出大模型产品,摩肩接踵的发布会日期宣示着,大模型混战已然开始。



作为Open AI背后的算力支柱,也是目前市面上性能最高、性价比最强的已量产产品,A100成为市面上最抢手的芯片。



一时之间,拥有A100芯片的数量,成为行业判断企业大模型能力的重要指标。



一位行业人士告诉36氪 ,国内某大模型公司拿到新一轮融资后,就赶紧通过私人渠道买了500块A100芯片。



面对如此紧缺的算力需求,英伟达推出了一项新的AI超级计算服务——DGX Cloud云服务。



DGX Cloud背后是DGX(AI超级计算机)的算力能力,通过这个平台,企业无需购买硬件,可以通过网页浏览的方式获取高性能算力,扩展多节点的AI训练。



DGX配有8个H100 GPU或A100 80GB Tensor Core GPU,每个节点共有640GB GPU内存。这8个模组具有很好的通信能力,能更好地传输数据。它配有Transformer引擎,可以处理类似ChatGPT的大模型。



此外,DGX还提供了NVIDIA AI Enterprise 套件,带有AI 解决方案工作流程,可以帮助企业优化框架设计和预训练模型,提高工程师的生产效率。



企业可以通过月租的方式获取算力,每月租金36999美元。可以说,DGX Cloud云平台降低了用户使用算力的门槛。



在部署方式上,DGX支持公有云、私有云和混合云的部署方式。在混合版本,客户在使用自己私有云算力的同时,接入DGX Cloud庞大的算力资源能力。英伟达的DGX官网界面已对外开放。



黄仁勋表示, NVIDIA DGX H100 AI超级计算机已全部全面投入生产,很快将面向全球企业。



目前,英伟达已经和微软Azure、谷歌云和Oracle OCI合作,向用户提供算力能力,使用户能通过浏览器就拥有英伟达DGXAI超级计算机的能力。



Oracle OCI是第一个提供英伟达DGX云的公司,微软 Azure则会从2023年第二季度开始托管,英伟达表示谷歌云也很快会加入合作,但是亚马逊云并未被提到。



在采访中,黄仁勋表示,中国也可以参与这项服务,英伟达在西方是通过和云服务商合作提供算力的,在中国也可以采取这样的方式,中国的创业企业可以期待阿里巴巴、腾讯和百度提供底层算力支持。



英伟达牌大模型



大模型能力仍然是少数技术实力极强公司的专属,大模型训练需要耗费大量时间成本和算力资源,且难度很高。



英伟达发布了另一个重要平台NVIDIA AI Foundations,为企业提供了自制大模型的工具,可以生成定制化的大语言模型(LLM)和生成式AI解决方案,让大模型不再成为难题。



在老黄看来,在某些特定领域,客户需要通过专有数据来构建自己的模型,以此满足公司安全、隐私等诉求,这些客户需要一个类似台积电一样的代工厂。



在大模型生产过程中,英伟达不仅为用户提供了一个原始模型,还有一系列引擎、接口,优化和降低企业生成模型的难度,同时会提供专家支持,帮助企业针对其自定义用例调整模型。



目前,NVIDIA AI Foundations里有语言模型NeMo、视觉模型Picasso和生物学模型 BioNeMo三种模型。



以NeMo为例,大模型训练需要大量参数,如果客户能基于NEMO等模型已有的参数和能力,再将该模型接入到专有的知识库中,就可以拥有既经验丰富,又有特定知识的大模型,让模型变得更加精准、高效,且客户后续也可以对模型进行优化和改进。



PICASSO模型可以生成图像、视频和3D素材。



一个值得关注的消息是,Adobe与英伟达正进行合作,将Photoshop、Premiere Pro 和 After Effects 等 Adobe Creative Cloud旗舰产品,进行和NVIDIA Picasso 联合开发。



Adobe的接入意味着,生成式 AI 为创造带来新可能的能力被认可。



此外,英伟达发布了面向生物学(用于药物研发)的 NVIDIA BioNeMo™云服务新模型,希望可以帮助AI医药领域的企业。



目前,NeMo 生成式 AI 云服务处于抢先体验阶段。Picasso 服务则处于非公开预览阶段,开发人员可通过相关链接申请使用这些服务。



ChatGPT专用芯片性能再升级



在硬件领域,英伟达也推出了新的产品。



黄仁勋隆重推出了一种新的双 GPU产品 H100 NVL。它加载了Transformer引擎,很适合ChatGPT 等大型 LLM。



常规显卡的数据已经无法支撑大模型的数据量需求,H100 NVL单卡显存容量为94GB,最高可提供188GB HBM3 显存。



与HGX A100相比,搭载四对H100和双NVLINK后,服务器的处理速度可以快10倍,且大模型的处理成本降低一个数量级。



此外,面向视频信息,英伟达推出了用于 AI 视频的 NVIDIA L40,能提供比 CPU 高 120 倍的 AI 视频性能,能够用于视频解码和转码功能、视频流、增强现实、生成 AI 视频等场景。



快手和Google Cloud 是L4的早期用户。



在图像生成上,英伟达推出L40,针对图形和支持 AI 的 2D、视频和 3D 图像生成进行了优化。L40 是英伟达元宇宙Omniverse的引擎,可以用来构建数据中心和运行元宇宙的程序。



在图形推荐上,英伟达推出了Grace Hopper for Recommendation Models,主要用于图形推荐模型、矢量数据库和图形神经网络。它将CPU 和 GPU做了一个连接,属于超级芯片范畴,且两类芯片之间的传输速度可以达到900 GB/s。



3月22日上午,英伟达CEO黄仁勋接受了包括36氪在内的媒体采访,以下为部分采访内容:



问题:中国有很多正在开发大型语言模型的中小型公司,担心算力紧缺问题,英伟达推出云服务后,何时会提供给中国客户,这项业务是否会和当前的云服务提供商产生竞争?



黄仁勋:中国会像西方一样参与使用这项服务。在西方,我们和一些云厂商合作来提供算力能力,他们都非常兴奋。



Ampere架构的GPU和Hopper也可以被用于中国市场,能符合出口管制的规定,他们将被用于中国的云计算巨头的产品中,像阿里巴巴、腾讯、百度都是优秀的合作伙伴。



对于中国的在大模型领域创业的初创公司来说,他们正投身于一场生成式人工智能革命,也可以期待阿里巴巴、腾讯、百度提供的人工智能云算力。



问题:目前人工智能芯片需求很大,英伟达的供应情况如何,您怎么看待这种变化?



黄仁勋:自从ChatGPT和人工智能以来,机器视觉计算相关需求迅速增加了。训练和推理方面的需求都增加了,变化发生得很迅速,我们的供应现在还很好,正在努力为所有客户提供服务。



目前全球的人工智能基础设施和视频人工智能计算总量不足,这也是需求上涨的一个主要原因。大模型对云基础设施的需求非常高,有很多创业公司想要使用云,你可以想象到人工智能推理的需求非常大,而且增长显著。



我们正在竞赛,也希望能够跑得更快一点,有足够的供应给每个人。



问题:英伟达是一家在硬件领域的伟大公司,您怎样看硬件市场和软件市场的空间?



黄仁勋:人工智能软件是一个比硬件大得多的市场,基础设施服务市场,硬件销售机会的总额大约在10亿美元;但是,人工智能在自动化、加速等相关的产业,制造业是数亿美元的市场需求;医疗领域,药物发现,科学家实验室研发,药物研究等,又是一个数万亿美元的市场。每一个行业都远远大于硬件领域。



人工智能第一次有机会成为工程师,药物发现科学家、公司研究助理员,或者是艺术、音乐、电影行业的共同创造者,它可以成为城市建筑的合作设计师,它的增加价值不同于以往任何的软件行业,人工智能展现了一种前所未有的技术和能力。



问题:英伟达有了自己的大模型基础,未来英伟达会专注于自己大模型,还是成为一个平台,也会呈现其它玩家的大模型?



黄仁勋:我们可以先做一下分类,首先,像Deep Mind、谷歌大脑这样的优秀实验室,他们有着非常卓越的大模型研究能力,我们和他们非常紧密地合作,为他们提供算力能力,帮助他们推进工作。我们有很多的人工智能公司合作伙伴。



也有另外一类企业,他们并不希望开发人工智能模型,希望使用上述公司的大模型能力。



同时,中间还有一批用户,他们无法使用公开的模型,他们的使用领域太细分了,也许和生物学高度相关,和合成生物学相关,药物设计相关,甚至物理学相关。它自己的基础模型很可能会发生变化。在很多个领域,都可以有一些基础模型,然后客户可以用私有的数据来训练这个模型,他们来创造和运用这个模型,来执行特定公司、行业的事情。那我们就可以和他们合作。他们有领域知识,有数据,我们有人工智能知识,可以计算。



在视频中,我们提供了三个基础模型,一个是语言,一个是视觉语言,还有一个是生物学,将来我们也会有其它的模型,目的很简单,不是为了作为产品提供给客户,只是希望帮助公司树立客户。我们会继续推动模型发展。我们有6个超级计算机,可以用他们来推进大模型的开发。



问题:人工智能产业和游戏行业正在下滑,中国的电动车市场也在放缓,公司在战略层面怎么看待这种变化?



黄仁勋:这三个都是非常重要的业务,他们是完全不同的业务。但是,尽管业务不同,在核心上,计算引擎在基础和视频加速计算方面是相同的。这就是为什么,当我们提高计算机图形能力时,它有助于自动驾驶汽车,它们都有相似之处。



我认为游戏行业正在复苏,并没有放缓。人工智能去年遇到了困难,从我们的角度来看,我们一直在慢慢恢复。数据做得非常好。



我们为电动汽车行业的数据中心和汽车提供数据中心服务,我们提供人工智能来训练模型,以及Omniverse来模拟汽车,即使放缓也没关系,他们也都需要投资软件。