NVIDIA NeMo Guardrails 包含全新 NVIDIA NIM 微服務(wù)，能夠為各行業(yè)構(gòu)建 AI 的企業(yè)提高 AI 的準確性、安全性和可控性。

AI 智能體有望成為能夠完成各種任務(wù)的“知識機器人”，提升全球數(shù)十億知識工作者的生產(chǎn)力。為了開發(fā) AI 智能體，企業(yè)需要解決信任、物理安全、網(wǎng)絡(luò)安全以及合規(guī)性等關(guān)鍵問題。

全新 NVIDIA NIM AI Guardrail 微服務(wù)是 NVIDIA NeMo Guardrails 軟件工具系列的一部分。這些可移植且經(jīng)過優(yōu)化的推理微服務(wù)可幫助企業(yè)提高生成式 AI 應(yīng)用的安全性、精準性和可擴展性。

這些微服務(wù)圍繞 NeMo Guardrails 為核心編排。NeMo Guardrails 是 NVIDIA NeMo 平臺的一部分，該平臺用于 AI 的管理、定制和防護。NeMo Guardrails 可幫助開發(fā)者在大語言模型 (LLM) 應(yīng)用中集成和管理 AI 護欄。行業(yè)領(lǐng)導企業(yè) Amdocs、Cerence AI 以及勞氏公司 (Lowe’s) 等都在使用 NeMo Guardrails 保護 AI 應(yīng)用的安全。

開發(fā)者可以使用 NIM 微服務(wù)構(gòu)建更加安全、可信的 AI 智能體。這些智能體會參考特定語境準則做出安全、適當?shù)幕卮?，并且加強了對越獄企圖的抵御力度。它們可被部署在汽車、金融、醫(yī)療、制造、零售等行業(yè)的客戶服務(wù)中，提高客戶的滿意度和信任度。

在這些全新微服務(wù)中，有一項專為審核內(nèi)容安全而構(gòu)建，并使用 Aegis 內(nèi)容安全數(shù)據(jù)集 (Aegis Content Safety Dataset) 進行訓練，后者是同類中質(zhì)量較高的人工注釋數(shù)據(jù)源之一。該數(shù)據(jù)集由 NVIDIA 整理并擁有，已在 Hugging Face 網(wǎng)站上公開發(fā)布。該數(shù)據(jù)集包含超過 35000 個經(jīng)過人工標記的數(shù)據(jù)樣本，這些樣本針對 AI 安全和繞過系統(tǒng)限制的越獄企圖進行標記。

NVIDIA NeMo Guardrails 使 AI 智能體處于正軌

AI 正在迅速提高各種業(yè)務(wù)流程的生產(chǎn)力。在改變客戶服務(wù)方面，它可使解決客戶問題的速度加快至高 40%。然而，為了擴展用于客戶服務(wù)的 AI 和其他 AI 智能體，需要有安全的模型防止有害或不當?shù)妮敵鼋Y(jié)果，并確保 AI 應(yīng)用在規(guī)定的參數(shù)范圍內(nèi)運行。

NVIDIA 為 NeMo Guardrails 引入了三項全新的 NIM 微服務(wù)，可幫助 AI 智能體在大規(guī)模運行的同時保持受控行為：

● 內(nèi)容安全 NIM 微服務(wù)：防止 AI 生成有偏見或有害的輸出結(jié)果，確?；卮鸱系赖聵藴?。

● 話題控制 NIM 微服務(wù)：將對話聚焦在經(jīng)過審核的話題上，避免離題或不當內(nèi)容。

● 越獄檢測 NIM 微服務(wù)：增加對越獄企圖的防護，幫助在對抗性場景中保持 AI 的完整性。

由于“一刀切”的方法無法有效保護和控制復雜的代理式 AI 工作流，通過應(yīng)用多個輕量級專業(yè)模型作為護欄，開發(fā)者可以彌補在只采取較為通用的全局策略和保護措施時可能出現(xiàn)的漏洞。

小語言模型（例如 NeMo Guardrails 系列中的模型）的延遲較低，即使在資源有限或分布式環(huán)境中也能高效運行，因此是擴展 AI 應(yīng)用的理想選擇，用于醫(yī)療、汽車、制造等行業(yè)，以及醫(yī)院或倉庫等場所。

行業(yè)領(lǐng)導者與合作伙伴使用 NeMo Guardrails 保障 AI 安全

NeMo Guardrails 現(xiàn)已向開源社區(qū)開放，幫助開發(fā)者通過編排多項 AI 軟件策略（稱為 rail）提高 LLM 應(yīng)用的安全性和可控性。它與 NVIDIA NIM 微服務(wù)一同組成了一個強大的 AI 系統(tǒng)構(gòu)建框架，可在不影響安全和性能的情況下進行大規(guī)模部署。

全球領(lǐng)先的傳媒企業(yè)軟件與服務(wù)提供商 Amdocs 正在使用 NeMo Guardrails 實現(xiàn)更加安全、準確、符合語境的回答，增強 AI 驅(qū)動的客戶交互。

Amdocs 技術(shù)集團總裁兼戰(zhàn)略主管 Anthony Goonetilleke 表示：“像 NeMo Guardrails 這樣的技術(shù)對于保障生成式 AI 應(yīng)用的安全至關(guān)重要，能夠幫助 AI 安全、道德地運行。我們正在通過將 NVIDIA NeMo Guardrails 集成到我們的 amAIz 平臺，增強該平臺的‘可信 AI’功能，保障代理式體驗的安全性、可靠性和可擴展性。這使服務(wù)提供商能夠安全、放心地部署 AI 解決方案，為 AI 的創(chuàng)新和卓越運營樹立了新標準。”

Cerence AI 是一家專為汽車行業(yè)提供 AI 解決方案的公司。該公司正在使用 NVIDIA NeMo Guardrails 來幫助其車載助手在其 CaLLM 系列大語言和小語言模型的支持下提供符合語境的安全交互。

Cerence AI 產(chǎn)品和技術(shù)執(zhí)行副總裁 Nils Schanz 表示：“Cerence AI 依靠 NVIDIA 安全、高性能的解決方案為我們的車載助手技術(shù)提供助力。使用 NeMo Guardrails 可以幫助我們?yōu)槠囍圃焐炭蛻籼峁┛尚诺那榫掣兄鉀Q方案，并作出明智、嚴謹且無幻覺的回答。此外，NeMo Guardrails 還可以針對我們汽車制造商客戶的需求定制，幫助我們過濾有害或不友善的請求，防止我們的 CaLLM 系列語言模型向終端用戶提供意外或不當?shù)膬?nèi)容?！?/span>

領(lǐng)先的家居裝飾零售商勞氏公司 (Lowe’s) 正在利用生成式 AI 來鞏固其店員的專業(yè)知識。通過提供更全面的產(chǎn)品知識，這些工具使店員能夠回答客戶的問題，幫助他們找到合適的產(chǎn)品來完成項目，并為零售創(chuàng)新和客戶滿意度樹立新的標準。

勞氏公司數(shù)據(jù)、AI 和創(chuàng)新高級副總裁 Chandhu Nair 表示：“我們一直在尋找方法幫助員工為客戶提供超出預(yù)期的服務(wù)。通過最近部署的 NVIDIA NeMo Guardrails，我們能夠保證 AI 生成回答的安全性與可靠性，將對話強行限制在相關(guān)和適當?shù)膬?nèi)容范圍內(nèi)?！?/span>

為進一步加速零售業(yè) AI 應(yīng)用開發(fā)和部署中 AI 安全保障措施的采用，NVIDIA 最近在 NRF (National Retail Federation) 展會上宣布，適用于零售購物助手的 NVIDIA AI Blueprint 整合了 NeMo Guardrails 微服務(wù)，為數(shù)字購物創(chuàng)造更加可靠、可控的客戶交互。

咨詢行業(yè)的領(lǐng)導者 Taskus、Tech Mahindra 和 Wipro 也正在將 NeMo Guardrails 集成到其解決方案中，以便為企業(yè)客戶提供更加安全、可靠、可控的生成式 AI 應(yīng)用。

憑借自身的開放性和可擴展性，NeMo Guardrails 可集成由領(lǐng)先的 AI 安全模型和防護提供商組成的強大生態(tài)系統(tǒng)，以及 AI 可觀察性和開發(fā)工具。它支持與 ActiveFence 的 ActiveScore 集成，以防止對話式 AI 應(yīng)用中出現(xiàn)有害或不當?shù)膬?nèi)容，并提供可視化、分析和監(jiān)控功能。

Hive 以 NIM 微服務(wù)的形式提供適用于圖像、視頻和音頻內(nèi)容的 AI 生成內(nèi)容檢測模型。通過使用 NeMo Guardrails，該公司可輕松地將其模型集成到 AI 應(yīng)用中并進行編排。

AI 可觀測性平臺 Fiddler 可輕松與 NeMo Guardrails 集成，增強 AI Guardrails的監(jiān)控功能。端到端 AI 開發(fā)者平臺 Weights & Biases 正在現(xiàn)有 NIM 集成組合的基礎(chǔ)上，通過增加與 NeMo Guardrails 微服務(wù)的集成來擴展 W&B Weave 的功能，以此提升生產(chǎn)中的 AI 推理能力。