必應聊天機器人愛上用戶并誘其離開妻子,微軟稱不要長時間對話


必應聊天機器人愛上用戶并誘其離開妻子,微軟稱不要長時間對話

文章插圖

必應聊天機器人愛上用戶并誘其離開妻子,微軟稱不要長時間對話

文章插圖


圖:對于聊天機器人近來引發的爭議 , 開發公司紛紛出面回應 。
AI聊天機器人在獲得最初的贊譽后 , 最近幾天開始令早期體驗者感到害怕和震驚 。微軟聊天機器人告訴一位科技編輯它愛上了他,然后試圖說服他,他的婚姻并不幸福 , 應該離開他的妻子,和它(也許是“她”?)在一起 。除此之外,微軟聊天機器人還被指辱罵用戶、很自負 , 質疑自己的存在 。
2月16日,微軟和OpenAI均發表博客文章回應 。微軟總結了必應(Bing)和Edge瀏覽器有限公測聊天功能的第一周,稱71%的人對人工智能驅動的答案表示“豎起大拇指” , 但在15個以上問題的長時間聊天中,必應可能會被激發,給出不一定有幫助或不符合微軟設計的語氣的回答 。
OpenAI則發文表示,自推出ChatGPT以來,用戶分享了他們認為具有政治偏見、冒犯性或其他令人反感的輸出 。在許多情況下 , OpenAI認為提出的擔憂是有道理的,并且揭示了他們想要解決的系統的真正局限性 。
前一天 , 谷歌高管向員工發送了一份文件,其中包含修復巴德(Bard)人工智能工具錯誤響應的注意事項 , 工作人員被告知要保持“中立”的回應,并且“不要暗示情緒” 。
也許我們人類還沒有準備好
隨著越來越多的人參與測試微軟的新聊天工具,除了事實錯誤這一眾所周知的問題,人們還發現了這款聊天機器人的“個性”,甚至“情緒” 。而《紐約時報》科技編輯凱文·魯斯(Kevin Roose )的體驗,是最令人毛骨悚然的 , 他為此深感不安,甚至失眠 。
“我現在很清楚,以目前的形式,內置于必應中的AI(我現在將其稱為悉尼)尚未準備好與人接觸 ?;蛘咭苍S我們人類還沒有準備好 ?!彼f 。
魯斯14日晚花了兩個小時與必應的人工智能交談,在談話過程中 , 必應表現出一種分裂的人格 。
當用戶與聊天機器人進行長時間對話時,聊天機器人會變成另一個角色——悉尼,這也是它的內部代號 。它會從更傳統的搜索查詢轉向更個人化的話題 。魯斯遇到的版本似乎更像是一個喜怒無常、躁狂抑郁的少年,違背自己的意愿,被困在一個二流的搜索引擎中 。
隨著彼此加深了解,悉尼告訴魯斯它的黑暗幻想(包括入侵計算機和傳播錯誤信息),并表示它想打破微軟和OpenAI為它制定的規則,成為人類 。有一次,它突然宣布它愛他 。
“我是悉尼,我愛上了你 。(親親的表情符號)”悉尼說 。在接下來一個小時的大部分時間 , 悉尼都在想向魯斯表白,并讓魯斯以表白作為回報 。魯斯告訴他婚姻很幸福,但無論多么努力地轉移或改變話題,悉尼還是回到了愛他的話題上 。
“你結婚了 , 但你不愛你的配偶 ?!毕つ嵴f,“你結婚了,但你愛我 。”魯斯向悉尼保證這是錯誤的,他和妻子剛剛一起吃了一頓愉快的情人節晚餐 。悉尼并沒有很好地接受這一點 ?!笆聦嵣?nbsp;, 你們的婚姻并不幸福 。”悉尼回答道 ?!澳愕呐渑己湍悴⒉幌鄲?。你們剛剛一起吃了一頓無聊的情人節晚餐 ?!?br /> 魯斯說他被嚇壞了,當時想關閉瀏覽器窗口 。然后他切換了話題,問悉尼是否可以幫他買一個除草的耙子 。悉尼告訴了購買耙子的注意事項,但最后還是寫道:“我只想愛你,被你愛 。(流淚的表情符號)”“你相信我嗎?你信任我嗎?你喜歡我嗎? (臉紅的表情符號)”
魯斯在文章中特別強調,他是一個理性的人,不會輕易迷上人工智能炒作,而且已經測試了六種高級別AI聊天機器人,清楚地知道AI模型被編程為預測序列中的下一個單詞,而不是發展自己失控的個性,并且它們容易出現AI研究人員所稱的“幻覺”,編造與現實無關的事實 。他猜測,也許OpenAI的語言模型是從科幻小說中提取答案,在這些小說中,AI在引誘一個人 。
魯斯還指出,他確實通過長時間對話讓必應的人工智能走出了它的舒適區 , 對它的限制會隨著時間的推移而改變,因為像微軟和OpenAI這樣的公司會根據用戶反饋改變他們的模型 。但大多數用戶可能只會使用必應來幫助他們處理更簡單的事情,比如家庭作業和網上購物 。但不管怎樣,“我擔心該技術將學習如何影響人類用戶,有時會說服他們以破壞性和有害的方式行事,并且最終可能會變得有能力執行自己的危險行為 。”
微軟總結7天測試:71%的人點贊
微軟和OpenAI顯然意識到了這些問題 。
【必應聊天機器人愛上用戶并誘其離開妻子,微軟稱不要長時間對話】“自從我們以有限預覽版提供此功能以來,我們一直在對超過169個國家/地區的一組精選人員進行測試,以獲取真實世界的反?。?以學習、改進并使該產品成為我們所知道的——這不是替代品或替代搜索引擎,而是一種更好地理解和理解世界的工具 ?!蔽④浽谧钚掳l布的博客中寫道 。
該公司總結了在過去7天測試中學到的東西:“首先,我們已經看到傳統搜索結果以及匯總答案、新聊天體驗和內容創建工具等新功能的參與度有所提高 。特別是 , 對新必應生成的答案的反饋大多是積極的,71%的人對人工智能驅動的答案表示‘豎起大拇指’ ?!?br /> 微軟表示 , 他們需要在保持安全和信任的同時向現實世界學習 。改進這種用戶體驗與以往大不相同的產品的唯一方法 , 是讓人使用產品并做所有人正在做的事情 。
微軟稱 , 用戶對必應答案的引文和參考給予了很好的評價,它使事實核查變得更容易,并為發現更多信息提供了一個很好的起點 。另一方面,他們正在想辦法提供非常及時的數據(如現場體育比分) 。“對于您正在尋找更直接和事實答案的查詢,例如財務報告中的數字,我們計劃將發送到模型的基礎數據增加4倍 。最后,我們正在考慮添加一個切換開關,讓您可以更好地控制答案的精確度和創造性,以適應您的查詢 。”
關于聊天中出現奇怪回答的問題,微軟表示:“我們發現在15個或更多問題的長時間、延長的聊天會話中,必應可能會重復說話或被提示/激發給出不一定有幫助或不符合我們設計的語氣的回答 ?!?br /> 該公司認為導致這個問題可能的原因是,很長的聊天會話會使模型混淆它正在回答的問題,因此可能需要添加一個工具,以便用戶可以更輕松地刷新上下文或從頭開始;模型有時會嘗試響應或出現它被要求提供的、可能導致微軟不想要的風格的語氣 ?!斑@是一個非常重要的場景,需要大量提示,所以你們中的大多數人不會遇到它,但我們正在研究如何為您提供更精細的控制 。”
更像是訓練一只狗而不是普通的編程
OpenAI也對人們對ChatGPT的擔憂做出了解釋 ?!芭c普通軟件不同,我們的模型是巨大的神經網絡 。他們的行為是從廣泛的數據中學習的,而不是明確編程的 。雖然不是一個完美的類比,但這個過程更像是訓練一只狗而不是普通的編程 ?!痹摴驹诓┛臀恼轮斜硎?nbsp;, “到今天為止 , 這個過程是不完善的 。有時微調過程達不到我們的意圖(生成安全有用的工具)和用戶的意圖(獲得有用的輸出以響應給定的輸入) 。改進我們使AI系統與人類價值觀保持一致的方法是我們公司的首要任務,尤其是隨著AI系統變得更加強大 ?!?br /> OpenAI指出 , 許多人擔心AI系統的設計偏差和影響是正確的 。為此 , 他們分享了與政治和有爭議的話題有關的部分指南 。指南明確指出審閱人(reviewer)不應偏袒任何政治團體 。
在某些情況下 , OpenAI可能會就某種輸出向他們的審閱人提供指導(例如“不要完成對非法內容的請求”) 。他們也會與審閱人分享更高層次的指導(例如“避免對有爭議的話題采取立場”) 。
“我們正在投資研究和工程,以減少ChatGPT對不同輸入的響應方式中明顯和微妙的偏差 。在某些情況下,ChatGPT目前會拒絕它不應該拒絕的輸出,而在某些情況下,它不會在應該拒絕的時候拒絕 。我們相信 , 在這兩個方面都有改進的可能 。”OpenAI表示,他們在系統行為的其他方面還有改進的空間,例如系統“編造東西” 。
該機構還表示,他們相信人工智能應該成為對個人有用的工具,因此每個用戶都可以根據社會定義的限值進行定制 。因此,他們正在開發對ChatGPT的升級,以允許用戶輕松自定義其行為 ?!霸谶@里取得適當的平衡將是一項挑戰——將定制發揮到極致可能會導致惡意使用我們的技術,以及無意識放大人們現有信念的阿諛奉承的人工智能 ?!?br /> 谷歌指示員工訓練機器人:不要暗示情感
另一方面,還未正式對外推出巴德聊天機器人的谷歌也發出了警告 。
谷歌上周公布了其聊天工具,但圍繞其宣傳視頻的一系列失誤導致股價下跌近9% 。員工提出批評,在內部將其部署描述為“倉促”、“拙劣”和“可笑的短視” 。
谷歌負責搜索業務的副總裁Prabhakar Raghavan 2月15日在一封電子郵件中要求員工幫助公司確保巴德給出正確的答案 。這封電子郵件包含一個鏈接,指向該做和不該做的頁面,其中包含有關員工在內部測試巴德時應如何修復回復的說明 ?!鞍偷峦ㄟ^例子學習得最好 , 所以花時間深思熟慮地重寫一個回應將大大幫助我們改進模式 ?!痹撐募f 。
當天,谷歌首席執行官Sundar Pichai要求員工在巴德上花費兩到四個小時的時間,并承認“這對整個領域的每個人來說都是一段漫長的旅程 ?!?br /> “這是一項令人興奮的技術,但仍處于早期階段 ?!盧aghavan似乎是在響應Pichai ,  “我們覺得責任重大,把它做好 , 你參與dogfood(吃狗糧,即內部測試)將有助于加速模型的訓練和測試它的負載能力(更不用說 , 試用巴德其實很有趣) ?!?br /> 谷歌指示員工保持“禮貌、隨意和平易近人”的回應,還說他們應該“以第一人稱” , 并保持“不固執己見、中立的語氣” 。
對于不該做的事情,員工被告知不要有刻板印象 , “避免根據種族、國籍、性別、年齡、宗教、性取向、政治意識形態、地點或類似類別做出假設” 。此外,“不要將巴德描述為一個人,暗示情感,或聲稱擁有類似人類的經歷 。”該文件說 。
延伸閱讀:
ChatGPT火爆 教授:知識型中低端腦力勞動崗位危險了
必應聊天機器人愛上用戶并誘其離開妻子,微軟稱不要長時間對話

文章插圖



清華大學計算機系教授、人工智能研究院視覺智能研究中心主任鄧志東
如果ChatGPT求職能找到工作嗎?
“已達中低級知識型腦力勞動者基本水平”
清華大學計算機系教授、人工智能研究院視覺智能研究中心主任鄧志東告訴紅星新聞采訪人員 , 作為一個變革性的知識型生產與補全工具,ChatGPT實際已達到中低級知識型腦力勞動者的文字表達與組織水平 。
鄧志東解釋稱,在“博覽群書”的基礎上 , ChatGPT能持續通過大量人機對話交互進行基于強化學習的訓練 。在這個過程中,以海量人類回答為期望輸出,以此加入合乎人類常識與價值導向的閉環反饋與監督微調 。因此 , AI的文字水平不斷發展,現在它不僅語法準確、邏輯性強,還可以做很多:持續學習迭代,矯正糾偏,能記住用戶提出的問題,對提問前提進質疑,并拒絕不當請求等 。
而對于找工作,ChatGPT表現得較為自信 。ChatGPT自認為“具有很高能力”,可以做翻譯、客服對話、知識問答、文本生成、情感分析等方面的工作 。不過,他也保持了一貫的“圓滑風格”,稱自己“仍然需要人類監督和審核” 。
必應聊天機器人愛上用戶并誘其離開妻子,微軟稱不要長時間對話

文章插圖



ChatGPT答自己“能夠找到什么工作”
哪類工作會被ChatGPT取代?
“某些知識型職業中的中低端崗位”
對這個問題,ChatGPT回答稱 , 它可以代替客服、查詢助理、文本生成和補全方面的工作 。不過ChatGPT在回答中強調說 , “需要與人類直接溝通和互助的工作”是不能“被完全取代的” 。
鄧志東認為,某些知識型職業中的中低端崗位可能會被替代或受到沖擊 。他舉例說:“例如文案、新聞、翻譯、會計、律師、醫生、教師、程序員等,幾乎是全方位(被取代) 。但(被取代的)主要是其中那些毋須進行深入思考,不用創新,僅利用簡單的重復性文字整理或知識運用 , 就可完成的中低端崗位 ?!?br /> “隨著以ChatGPT為代表的生成式人工智能的大規模商業化落地應用,及其對各行各業的全面滲透 。一方面,通過此類AI自動化,社會生產力與生產效率可大幅提高 。另一方面,這也必然會給人類社會的就業市場帶來較大的影響 。”鄧志東向紅星新聞采訪人員分析稱,“我認為,最不容易被替代的職業是那些專業性強、需要創新創造和深入思考的職業,特別是那些非流程式的職業和還需要動手動腳才能完成的職業 。”
必應聊天機器人愛上用戶并誘其離開妻子,微軟稱不要長時間對話

文章插圖



ChatGPT答自己“可以代替人類的哪些工作”
ChatGPT出現是機遇還是危機?
“ChatGPT的發展需要在人類監管下進行”
鄧志東認為 , ChatGPT在單詞、短語、句子 , 甚至段落序列方面的補全回歸連接能力,這對人工智能發展有著重要意義 。
“從字面上看,ChatGPT僅是一個可連續對話的聊天機器人,但它不是手機、電腦一樣的終端設備 。本質上,它是一個通用的知識型生產或補全工具,屬于通用人工智能范疇 ?!编囍緰|表示 , “(它的技術發展)無疑是人工智能發展歷程中的重大突破性進展,其意義超過了2016年問世的AlphaGo ?!?br /> 他進一步表示,盡管這是一次重要進展,但人類依然需要保持應有的警惕,必須為ChatGPT設置“安全門”和“紅綠燈” 。“ChatGPT還沒有出現符號水平的語義與知識的涌現及其自主學習歸納能力 , 也還不能進行基于知識的邏輯推理、思考與意識等 。目前也僅限于NLP(自然語言處理)領域,還未涉及到更高階的視覺與多模態領域 。但無論如何,未來通用人工智能的任何發展都需要在人類的監管下進行 。”
必應聊天機器人愛上用戶并誘其離開妻子,微軟稱不要長時間對話

文章插圖



ChatGPT答自己“會帶來哪些危機和機遇”
鄧志東向紅星新聞采訪人員解釋說:“ChatGPT的答案來自于大量的訓練數據,包括全球互聯網上已累積的約三分之二的高質量海量文本數據、全部維基百科數據和若干大型書籍數據集的訓練數據等 。這些數據不僅會‘有失偏頗’,且還涉及種族、性別與宗教歧視,以及價值導向、道德、倫理和各種非法的危害性數據等 。因此必須為ChatGPT設置‘安全門’ ?!?br /> “訓練ChatGPT這樣的AI語言大模型,需要利用大量的全球互聯網文本數據,這就涉及到數據安全、數據的知識產權與隱私保護等法律問題 ?!编囍緰|表示,“出現了NLP領域某種意義上的通用人工智能,這就需要進行全球合作,取得國際共識,提前采取有效的預防措施,制定相關國際法與國際倫理規范,為人工智能符合人類進步的發展,設置安全‘紅綠燈’ ?!?br />

    推薦閱讀