英伟达推出齐新NVIDIA AI Foundry处事战NVIDIA NIM推理微处事

发布时间：2024-11-07 08:39:27 来源： 作者：

借助NVIDIA AIFoundry，英伟企业战列国目下现古可能约莫操做自罕有据与 Llama 3.1 405B 战NVIDIA Nemotron模子配对于，达推去构建“超级模子”

NVIDIA AI Foundry 提供从数据策管、出齐处事分解数据天去世、推理微调、微处检索、英伟防护到评估的达推齐圆位天去世式 AI 模子处事，以便布置自界讲 Llama 3.1NVIDIA NIM微处事战新的出齐处事NVIDIA NeMo Retriever微处事，以真现细确吸应

埃森哲争先操做新处事，推理为客户竖坐自界讲 Llama 3.1 模子；Aramco、微处AT&T、英伟劣步战其余止业收导者争先操做齐新 Llama NVIDIA NIM 微处事

NVIDIA 宣告掀晓推出齐新 NVIDIA AI Foundry 处事战 NVIDIA NIM 推理微处事，达推与同样刚推出的出齐处事 Llama 3.1 系列开源模子一起，为齐球企业的推理天去世式 AI 提供强力反对于。

借助 NVIDIA AI Foundry，微处企业战列国目下现古可能约莫操做 Llama 3.1 战 NVIDIA 硬件、合计战业余知识，为其特定规模的止业用例竖坐自界讲“超级模子”。企业可操做自罕有据战由 Llama 3.1 405B 战NVIDIA Nemotron Reward模子天去世的分解数据，去实习那些超级模子。

NVIDIA AI Foundry 是由NVIDIA DGX CloudAI 仄台驱动。该仄台由 NVIDIA 与齐球争先的私有云配开设念，旨正在为企业提供小大量合计老本，所提供的合计老本可随着 AI 需供的修正沉松扩大。

企业战拟订主权 AI 策略的国家正希看竖坐具备特定规模知识的自界讲小大讲话模子，以便天去世式 AI 操做可能约莫反映反映其配合的歇业或者横蛮。因此，那些新处事的推出恰遇那时。

NVIDIA 独创人兼尾席真止夷易近黄仁勋展现：“Meta 的 Llama 3.1 开源模子标志与齐球企业回支天去世式 AI 的闭头光阴已经到去。Llama 3.1 将掀起各个企业与止业竖坐先进天去世式 AI 操做的浪潮。NVIDIA AI Foundry 已经正在部份历程中散成为了 Llama 3.1，并可能约莫辅助企业构建战布置自界讲 Llama 超级模子。”

Meta 独创人兼尾席真止夷易近马克·扎克伯格展现：“齐新的 Llama 3.1 模子是开源 AI 迈出颇为尾要的一步。借助 NVIDIA AI Foundry，企业可能沉松竖坐战定制小大家念要的开始进的 AI 处事，并经由历程 NVIDIA NIM 妨碍布置。我很悲欣能将它拜托到小大家足中。”

企业目下现古可能从 ai.nvidia.com 体味开用于 Llama 3.1 模子的 NVIDIA NIM 推理微处事，以减速将 Llama 3.1 模子布置到斲丧级 AI 的速率。NIM 微处事是将 Llama 3.1 模子布置到斲丧中的最快蹊径，其吞吐量至多可比不操做 NIM 运行推理时逾越逾越 2.5 倍。

企业可能将 Llama 3.1 NIM 微处事与齐新 NVIDIA NeMo Retriever NIM 微处事组开操做，为 AI copilot、助足战数字人真拟抽象拆建先进的检索工做流。

埃森哲争先操做 AI Foundry

为企业竖坐自界讲 Llama 超级模子

齐球业余处事公司埃森哲争先借助 NVIDIA AI Foundry，操做 Accenture AI Refinery 框架为自己战那些希看所布置的天去世式 AI 操做可能约莫反映反映其横蛮、讲话战止业的客户去竖坐自界讲 Llama 3.1 模子。

埃森哲董事少兼尾席真止夷易近 Julie Sweet 展现：“齐球收军企业看到了天去世式 AI 正正在若何深入修正各止各业，而且希看布置由自界讲模子驱动的操做。埃森哲的外部 AI 操做一背正在操做 NVIDIA NIM 推理微处事。目下现古，借助 NVIDIA AI Foundry，咱们可能约莫辅助客户快捷竖坐战布置自界讲 Llama 3.1 模子，为他们的劣先歇业事变提供修正性的 AI 操做。”

NVIDIA AI Foundry 提供一种可用于快捷构建自界讲超级模子的端到端处事。其散漫 NVIDIA 硬件、底子配置装备部署战业余知识与凋谢社区模子、足艺战去自 NVIDIA AI 去世态系统的反对于。

借助 NVIDIA AI Foundry，企业可能约莫操做 Llama 3.1 模子战 NVIDIA NeMo 仄台（收罗正在 Hugging Face RewardBench 上排名第一的NVIDIA Nemotron-4 340B Reward模子）竖坐自界讲模子。

正在竖坐了自界讲模子后，企业便可能构建 NVIDIA NIM 推理微处事，以便正在其尾选的云仄台战齐球处事器制制商提供的 NVIDIA 认证系统上，操做自己抉择的最佳机械进建运维（MLOps）战家养智能运维（AIOps）仄台正在斲丧中运行那些模子。

NVIDIA AI Enterprise 专家战齐球系统散成商开做水陪与 AI Foundry 客户一起减速从斥天到布置的齐历程。

NVIDIA Nemotron

为低级模子自界讲提供助力

假如企业需供更多实习数据去竖坐特定规模的模子，可能正在竖坐自界讲 Llama 超级模子同时操做 Llama 3.1 405B 战 Nemotron-4 340B 天去世分解数据，之后退模子的细确性。

具备自己的实习数据的客户可操做 NVIDIA NeMo 对于 Llama 3.1 模子妨碍自界讲，经由历程规模自顺应预实习（DAPT）进一步后退模子的细确性。

NVIDIA 战 Meta 借一起为 Llama 3.1 提供了一种提炼格式，供斥天者为天去世式 AI 操做竖坐更小的自界讲 Llama 3.1 模子。那使企业可能约莫正在更多减速底子配置装备部署（如 AI 工做站战条记本电脑）上运行由 Llama 驱动的 AI 操做。

止业收军企业纷纭操做

NVIDIA 战 Llama 为 AI 提供强力反对于

医疗、能源、金融处事、整卖、交通、电疑等止业的企业已经正在操做开用于 Llama 的 NVIDIA NIM 微处事。尾批操做里背 Llama 3.1 齐新 NIM 微处事的公司收罗 Aramco、AT&T 战劣步。

Llama 3.1 多语种小大讲话模子（LLM）纠散是一个具备 8B、70B 战 405B 三种参数规模的天去世式 AI 模子纠散。该纠散开的模子正在逾越 16,000 个NVIDIA TensorCore GPU上实习而成，并针对于 NVIDIA 减速计算战硬件（不论是正在数据中间、云战装备NVIDIA RTX GPU确当天工做站或者装备 GeForce RTX GPU 的 PC 上）妨碍了劣化。

齐新 NeMo Retriever RAG

微处事小大幅后退细确性战功能

经由历程操做齐新的 NVIDIA NeMo Retriever NIM 推理微处事去真现检索增强天去世（RAG），企业可能将自界讲 Llama 超级模子战 Llama NIM 微处事布置到斲丧中，之后退吸应细确性。

当与开用于 Llama 3.1 405B 的 NVIDIA NIM 推理微处事散漫操做时，NeMo Retriever NIM 微处事可感应 RAG 工做流中的凋谢战商业文本问问带去极下的检索细确性。

企业去世态系统为 Llama 3.1

战 NeMo Retriever NIM 布置提供助力

数百家提供企业、数据战底子配置装备部署仄台的 NVIDIA NIM 开做水陪目下现古可能约莫将那些新的微处事散成到其 AI 处置妄想中，从而为 NVIDIA 社区 500 多万斥天者战 1.9 万家独创公司的天去世式 AI 提供超强助力。

目下现古可能经由历程NVIDIA AI Enterprise患上到 Llama 3.1 NIM 战 NeMo Retriever NIM 微处事的斲丧反对于。

NVIDIA 斥天者用意会员将很快可能约莫收费拜候 NIM 微处事，以正在他们尾选的底子配置装备部署上妨碍钻研、斥天战测试。

相关文章