全新由 GPU 加速的 NVIDIA NIM 微服务和云端端点目录，适用于经过优化的预训练 AI 模型，可以在云、数据中心、工作站和 PC 等数亿支持 CUDA 的 GPU 上运行
企业可以使用微服务来加速数据处理、大语言模型（LLM）定制、推理、检索增强生成和护栏功能
已被广泛的 AI 生态系统所采用，包括 Cadence、CrowdStrike、SAP、ServiceNow 等领先的应用平台提供商
美国加利福尼亚州圣何塞—— GTC—— 太平洋时间2024 年3 月18 日——NVIDIA于今日推出数十项企业级生成式AI微服务，企业可以利用这些微服务在自己的平台上创建和部署定制应用，同时保留对知识产权的完整所有权和控制权。
这些云原生微服务目录在NVIDIACUDA®平台上开发，其中包括NVIDIANIM™微服务，可适用于NVIDIA及合作伙伴生态系统中20 多个热门的AI模型进行推理优化。此外，用户现能够以NVIDIACUDA-X微服务的形式使用NVIDIA加速软件开发套件、库和工具，用于检索增强生成（RAG）、护栏、数据处理、HPC等。NVIDIA还发布了20 多项医疗NIM和CUDA-X 微服务。
这些精心挑选的微服务为NVIDIA全栈计算平台增添了新的一层，连接起了由模型开发人员、平台提供商和企业组成的AI生态系统，使其能够通过标准化的路径来运行针对NVIDIACUDA 安装基础（在云、数据中心、工作站和PC 中的数以亿计的GPU）优化的定制AI 模型。
包括Adobe、Cadence、CrowdStrike、GettyImages、SAP、ServiceNow和Shutterstock在内的诸多领先应用、数据和网络安全平台提供商已经率先使用了NVIDIAAI Enterprise 5.0中提供的这些全新NVIDIA 生成式AI 微服务。
NVIDIA创始人兼首席执行官黄仁勋表示：“成熟的企业平台坐拥数据金矿，这些数据可以转化为生成式AI助手。我们与合作伙伴生态系统一起创建的这些容器化AI微服务，是各行业企业成为AI 公司的基石。”
NIM推理微服务将部署时间从几周缩短至几分钟
NIM 微服务提供基于NVIDIA推理软件的预构建容器，包括Triton推理服务器™和 TensorRT™-LLM，使开发者能够将部署时间从几周缩短至几分钟。
它们为语言、语音和药物发现等领域提供行业标准API，使开发者能够使用安全托管在自己的基础设施中的专有数据，来快速构建AI应用。这些应用可按需扩展，从而为在NVIDIA加速计算平台上运行生产级生成式AI 提供灵活性和性能。
NIM 微服务为部署NVIDIA、A121、Adept、Cohere、GettyImages 和Shutterstock的模型，以及谷歌、HuggingFace、Meta、微软、MistralAI 和Stability AI的开放模型提供了快速且性能出色的生产级AI容器。
ServiceNow于今日宣布，其正在使用NIM来更快、更经济地开发和部署针对特定领域的全新助手和其它生成式AI 应用。
用户将能够从亚马逊SageMaker、谷歌KubernetesEngine和微软AzureAI 中访问NIM 微服务，并与Deepset、LangChain和LlamaIndex等流行的AI 框架集成。
面向RAG、数据处理、护栏、HPC的CUDA-X微服务
CUDA-X微服务为数据准备、定制和训练提供端到端的构建模块，助力各行各业加快开发生产级AI。
为了加快AI 采用，企业可以使用CUDA-X微服务，包括用于定制语音和翻译AI 的NVIDIARiva、用于路由优化的NVIDIAcuOpt™，以及用于高分辨率气候和天气模拟的NVIDIAEarth-2。
NeMoRetriever™微服务可让开发者将其AI应用链接到业务数据，包括文本、图像以及条形图、折线图和饼图等可视化内容，以生成高度准确、与上下文相关的结果。借助这些RAG功能，企业可以向助手、聊天机器人和生成式AI生产力工具提供更多数据，从而提高准确性和洞察力。
更多用于定制模型开发的NVIDIANeMo™ 微服务即将陆续发布，其中包括构建用于训练和检索的简洁数据集的NVIDIANeMo Curator、用于利用特定领域数据微调LLM 的NVIDIA NeMoCustomizer、用于分析AI 模型性能的NVIDIA NeMoEvaluator 以及用于LLM 的NVIDIANeMo Guardrails。
生态系统通过生成式AI微服务赋能企业平台
除了领先的应用提供商外，NVIDIA生态系统中的数据、基础设施和计算平台提供商也在使用NVIDIA微服务，为企业带来生成式AI。
包括Box、Cloudera、Cohesity、Datastax、Dropbox和NetApp在内的顶级数据平台提供商正在使用NVIDIA微服务，帮助客户优化RAG管道，并将专有数据集成到生成式AI 应用中。Snowflake正在使用NeMoRetriever，充分利用企业数据来构建AI 应用。
企业可以在自己选择的基础设施上部署NVIDIA AIEnterprise 5.0 中的NVIDIA微服务，例如领先的亚马逊云科技（AWS）、谷歌云、Azure和OracleCloud Infrastructure等云平台。
超过400 个NVIDIA 认证系统也支持NVIDIA微服务，包括思科、戴尔科技、慧与（HPE）、惠普、联想和超微的服务器和工作站。此外，慧与于今日宣布推出面向生成式AI的企业计算解决方案，计划将NIM 和NVIDIAAI Foundation 模型集成到其AI软件中。
NVIDIA AIEnterprise 微服务即将入驻基础设施软件平台，包括与NVIDIA 合作的VMwarePrivate AI Foundation。红帽OpenShift支持NVIDIA NIM微服务，帮助企业更轻松地将生成式AI功能集成到自己的应用中，同时优化了安全性、合规性和控制功能。Canonical也正在通过NVIDIA AIEnterprise 为NVIDIA 微服务添加CharmedKubernetes 支持。
NVIDIA 生态系统由数百家AI 和MLOps 合作伙伴组成，包括Abridge、Anyscale、Dataiku、DataRobot、Glean、H2O.ai、SecuritiAI、Scale.ai、OctoAI和Weights& Biases，它们将通过NVIDIA AIEnterprise 来支持NVIDIA 微服务。
ApacheLucene、Datastax、Faiss、Kinetica、Milvus、Redis和Weaviate等向量搜索提供商也在使用NVIDIA NeMoRetriever 微服务，为企业提供快速响应的RAG 功能。
可用性
开发者可以在ai.nvidia.com免费试用NVIDIA微服务。企业则可以在NVIDIA认证系统和领先的云平台上使用NVIDIA AIEnterprise 5.0 部署生产级NIM 微服务。
(8612917)
友情提示
本站部分转载文章，皆来自互联网，仅供参考及分享，并不用于任何商业用途；版权归原作者所有，如涉及作品内容、版权和其他问题，请与本网联系，我们将在第一时间删除内容！
联系邮箱：1042463605@qq.com