【資料圖】
財聯(lián)社4月26日訊(編輯 黃君芝)隨著ChatGPT等AI聊天機器人自去年底以來迅速“走紅”,對于它們安全問題的相關(guān)警告也層出不窮。盡管背后的開發(fā)者也在竭盡全力地想辦法解決這些問題,比如實施資訊過濾和人類糾正那些被標記的問題,但效果都不盡人意。
有鑒于此,英偉達公司(Nvidia Corp.)周二正式發(fā)布了一個名為“NeMo Guardrails”的開源工具包,可以禁止AI聊天機器人提供那些受限的信息,使人工智能驅(qū)動的應(yīng)用程序更加“準確、適當、符合主題和安全”。
“每個人都意識到了大型生成語言模型的力量,”英偉達應(yīng)用研究副總裁Jonathan Cohen說,“以一種安全可靠的方式部署它們非常重要。”
英偉達表示,“NeMo Guardrails”將作為終端用戶和人工智能程序之間的一層“防護墻”。將其與傳統(tǒng)軟件混合,該系統(tǒng)將能夠識別用戶提出的事實問題,并檢查機器人是否能夠和應(yīng)該回答這個問題。系統(tǒng)還將確定生成的答案是否基于事實,并控制聊天機器人給出回答的方式。
例如,假設(shè)一名員工詢問人力資源聊天機器人,公司是否為想要領(lǐng)養(yǎng)孩子的員工提供支持。這將通過“NeMo Guardrails”并返回包含公司相關(guān)利益的文本。詢問同一個機器人有多少員工利用了這一福利,可能會引發(fā)拒絕指令,因為這些數(shù)據(jù)是保密的。
Cohen還表示,英偉達已經(jīng)在Guardrails的底層系統(tǒng)上工作了"多年",但就在大約一年前意識到它很適合GPT-4和ChatGPT這樣的模型。
"從那時起,我們一直在朝著NeMo Guardrails的這個版本發(fā)展,"他說,"人工智能模型安全工具對于那些為企業(yè)用途部署的模型至關(guān)重要。"